OVHcloud donne un avant-goût de son premier modèle, Olala
Concurrence française en vue pour Mistral ?
OVHcloud lève le voile sur sa première famille de LLM, baptisée Olala. Son premier représentant, Olala mini 7A1B, se présente comme un modèle compact à mélange d’experts, capable de fonctionner sur un GPU grand public. Le modèle et ses poids seront publiés sous licence Apache 2.0.
Octave Klaba, PDG d’OVHcloud, avait annoncé en juin dernier que son groupe planchait sur la conception de sa propre famille de grands modèles de langage (LLM), après le rachat de Dragon LLM. L’hébergeur roubaisien en a dévoilé le premier représentant mardi 17 novembre, en prélude à un lancement officiel programmé pour jeudi 19 novembre, à l’occasion de son événement annuel parisien.
Voici donc le premier modèle d’OVHcloud : Olala mini 7A1B. Dans cette configuration initiale, il repose sur une architecture globale de 7 milliards de paramètres, dont un milliard de paramètres actifs (A1B) répartis entre plusieurs couches de 256 experts. Le nombre de couches n’est pas précisé, pas plus que le nombre de paramètres par expert.
Une architecture « inédite » pensée pour limiter l’empreinte mémoire
Cette configuration à mélange d’experts (MoE), courante dans l’industrie, permet de ne solliciter qu’une fraction du modèle global à chaque requête, pour accélérer les calculs, mais cela ne réduit pas la quantité de paramètres à charger en mémoire : il faut placer les 7 milliards de paramètres.
OVHcloud revendique par ailleurs une architecture « inédite », qui appelle à un mécanisme d’attention hybride avec un mélange de couches Differential-TPA et Mamba-3.
Les premières sont des couches d’attention. Elles combinent une technique de compression des requêtes visant à réduire l’empreinte mémoire nécessaire à l’inférence (c’est la partie TPA, pour Tensor Product Attention) et une méthode de lecture différentielle (Differential) permettant au modèle de se concentrer principalement sur les informations pertinentes.
Les couches Differential-TPA sont couplées à des couches Mamba-3, qui permettent au modèle de travailler sur la base d’un résumé de taille constante, par opposition aux couches d’attention classiques, dont les besoins en mémoire augmentent au fur et à mesure que la conversation progresse (et donc que le contexte s’allonge). En revanche, on ne connait pas (encore ?) les modalités exactes d’assemblage, comme la proportion de chaque type de couches.
OVHcloud parle d’architecture inédite, mais ce genre d’association hybride existe déjà, notamment avec Nemotron 3 de NVIDIA qui a des couches d’attention GQA (Grouped-Query Attention) à la place des Differential-TPA et Mamba-2.
7 milliards de paramètres en BF16 dans 8 Go de mémoire ?
Fort de ces choix architecturaux, OVH affirme que son Olala mini est capable de fonctionner « sur un GPU doté d’un minimum de 8 Go de mémoire, il atteint 160 tokens par seconde sur une RTX A4500, et même sans GPU, sur un simple processeur, à 50 tokens par seconde ». Il se prêterait donc particulièrement bien à un fonctionnement en local, mais OVHcloud ne précise pas de quel genre de CPU on parle.
Mais les chiffres demandent des précisions. En effet, OVHcloud parle de paramètres au format BF16, ce qui donne 14 Go de mémoire rien que pour les paramètres, sans parler du contexte. Ça ne passe pas dans 8 Go de mémoire vidéo, même en forçant. En revanche, avec une quantification sur 8 ou 4 bits, on passe à 7 ou 3,5 Go, de quoi tenir avec plus ou moins de place pour le contexte et le cache dans les 8 Go d’un GPU. D’ailleurs la RTX A4500 utilisée comme référence par OVHcloud a 20 Go de mémoire. Il est aussi possible de déplacer une partie des paramètres dans la mémoire du PC, mais au prix d’importantes pertes de performances.
Dans cette première version très compacte, Olala mini 7A1B est limité à une fenêtre de contexte de 32 000 tokens. Cette fenêtre désigne pour rappel la mémoire de travail immédiate du modèle : c’est elle qui contient (et limite) les échanges, l’historique des requêtes et des réponses et les éventuels documents fournis.
Dommage qu’OVHcloud ne donne aucun résultat de benchmark pour son modèle, autre que ceux du nombre de tokens par seconde, ce qui ne permet pas de juger de sa qualité.
Un premier cas d’usage chez Qwant
OVH indique avoir trouvé un premier cas d’usage chez Qwant : le moteur de recherche (propriété depuis 2023 d’une entreprise codétenue par la famille Klaba et la Caisse des dépôts) aurait adopté Olala pour ses réponses flash (la fonction de réponses par IA générative), avec « des réponses 20 % plus rapides et des coûts de fonctionnement divisés par trois par rapport au modèle précédemment utilisé ». Qwant s’appuyait jusqu’ici sur les modèles de Mistral, récemment lâchés par Ecosia.
Si le modèle semble taillé pour cet usage de réponses rapides, avec une fenêtre de contexte réduite, il lui faudra plus de ressources pour prétendre répondre à des requêtes complexes. Sur ce point, OVH donne un aperçu de sa feuille de route, avec l’annonce, d’ici la fin de l’année 2026, d’une version 1.1 qui portera la fenêtre de contexte à 128 000 tokens et améliorera les performances en raisonnement mathématique.
L’entreprise évoque ensuite, sans la dater, une version 2.0 amenée à se décliner sous forme de modèles spécialisés respectivement dans les usages agentiques en entreprise, le code dans une logique DevOps et la cybersécurité. La version dédiée aux usages agentiques devrait notamment sous-tendre un autre des grands projets d’OVH, la suite OVHai Workspace pensée comme une alternative à Microsoft 365 ou Google Workspace et présentée en juin dernier lors du salon Vivatech.
Entraînement sur des supercalculateurs européens et licence ouverte
OVH indique avoir bénéficié de l’équivalent de 7 millions d’euros d’heures de calcul sur trois supercalculateurs publics européens (Jupiter, MeluXina et Jean Zay) équipés en puces NVIDIA (GH200, A100 et H100) pour l’entraînement d’Olala mini.
Désormais doté d’une équipe dédiée en interne, OVHai LLM répond à cette contribution avec la promesse d’un modèle relativement ouvert, puisqu’il sera publié « avec ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l’AI Act ».
Le tout sera diffusé via Hugging Face sous licence Apache 2.0. L’entreprise ne précise pas à ce stade si le code et les jeux de données d’entraînement seront publiés, mais cette ouverture devrait permettre de faire tourner le modèle chez soi sans contrainte, ou de repartir du modèle brut pour le réentraîner sur la base de données d’entreprise.
Hormis la contribution publique sur l’entrainement, OVH ne donne aucune indication quant aux investissements financiers nécessaires à cette incursion dans le domaine des LLM. Octave Klaba assure toutefois qu’elle se révèlera bénéficiaire à terme. « On ne peut pas juste compter sur la générosité de certains Labs à partager leurs modèles LLM en open source dans les années à venir. Le savoir-faire dans l’entraînement de modèles s’est largement démocratisé et le coût d’un entraînement a été divisé par 20 en 3 ans. Désormais, il est possible de créer les modèles LLM tout en rendant cette activité rentable », déclare-t-il dans un communiqué.
La suite est déjà en marche avec Olala v2.0 qui « dépassera les 100 milliards de paramètres », promet l’entreprise.