À Paris, Dragon LLM parie sur une IA souveraine et économe en énergie.
Auréolées d’un halo futuriste et moderne, les intelligences artificielles (IA) actuelles reposent pourtant sur des infrastructures déjà vieillissantes. Leurs moteurs, souvent obsolètes et peu optimisés, n’ont pas été repensés depuis leur conception. Les IA s’appuient sur des architectures qui ont surtout évolué de manière empirique, par ajouts successifs plutôt que par refonte complète. On a affiné les algorithmes, accru la puissance de calcul, optimisé certaines étapes, sans jamais repenser en profondeur leur structure. Résultat, ces systèmes atteignent des performances impressionnantes, mais au prix d’une consommation énergétique considérable.
Il faut savoir que l’intelligence artificielle moderne plonge ses racines dans un champ de recherche qu’on imagine rarement à son origine : la traduction automatique. Au milieu des années 2010, les ingénieurs de Google et d’autres laboratoires tentent de faire parler leurs ordinateurs dans plusieurs langues, sans grand naturel. Les traducteurs automatiques de l’époque se contentent souvent d’aligner les mots, sans en saisir le sens. De cette recherche va pourtant naître l’architecture “Transformer”, dont les grandes lignes de fonctionnement ont été publiées par les ingénieurs de Google Brain et Google Translate en 2017 dans un article intitulé Attention is All You Need (L’attention est tout ce dont vous avez besoin).
Architecture “Transformer”
Cette architecture bouleverse la manière dont les ordinateurs apprennent à comprendre le langage. En la testant, les chercheurs découvrent, en effet, qu’elle ne se contente pas de traduire, elle apprend les structures du discours, les relations entre les mots, la logique des phrases. De fil en aiguille, l’idée s’élargit. Si une machine peut traduire, pourquoi ne pourrait-elle pas aussi résumer, raisonner ou répondre ? Ces premiers essais donneront naissance aux ancêtres des grands modèles de langage actuels. Huit ans plus tard, l’architecture “Transformer” reste la colonne vertébrale de l’intelligence artificielle moderne. Elle alimente encore les modèles les plus récents de GPT, Claude, Gemini ou Mistral.
“Transformer” montre cependant aujourd’hui certaines limites. Elle demande beaucoup de mémoire et d’énergie, surtout lorsqu’il faut traiter de longs textes ou de grandes quantités de données. Dans l’article On The Computational Complexity of Self-Attention (À propos de la complexité computationnelle de l’auto-attention), publié en 2022, Feyza Duman Keles, une chercheuse spécialisée en théorie de la complexité appliquée à l’apprentissage automatique, signale déjà la complexité quadratique de “Transformer”. Pour faire simple, on peut dire que le coût du calcul augmente au carré avec la longueur du texte, ce qui limite sa capacité à raisonner sur de grands contextes. De plus, le système ne garde pas vraiment la mémoire de ce qu’il a déjà appris et chaque requête est traitée séparément, ce qui empêche l’IA d’apprendre de façon continue.
Dragon LLM, une solution européenne
Face à ces limites, de nombreux chercheurs plaident pour une remise à plat de ces architectures. L’enjeu n’est plus seulement d’entraîner des modèles toujours plus grands, mais de concevoir des IA plus frugales, capables de délivrer des performances élevées avec un moindre coût énergétique. Une approche qui pourrait, à terme, rendre l’intelligence artificielle plus soutenable pour la planète comme pour les infrastructures qui la font tourner. C’est en partie la philosophie adoptée par la start-up Dragon LLM qui vient de dévoiler Dragon, la première architecture d’intelligence artificielle de nouvelle génération conçue et entraînée sur les supercalculateurs européens.
“Une architecture d’intelligence artificielle, c’est comme le plan d’une usine, explique Olivier Debeugny, fondateur et CEO de Dragon LLM. Les données – textes, images, sons, etc. – sont les matières premières. L’architecture définit comment cette usine va transformer ces matières premières pour produire quelque chose de compréhensible : une phrase, une image, une décision. Selon le plan choisi, l’usine ne fonctionnera pas de la même manière, car certains misent sur la puissance brute, d’autres sur la rapidité ou l’efficacité énergétique. Ce plan intérieur détermine donc comment le modèle pense, apprend et répond.”
Une conception hybride
Avec sa nouvelle architecture, Dragon LLM annonce une conception hybride, optimisée pour les longs textes et raisonnements complexes. Selon ses tests, Dragon requiert trois fois moins de puissance de calcul pour des performances comparables aux leaders mondiaux. L’IA peut donc être déployée sur des serveurs standards, sans dépendre de processeurs spécialisés, un point crucial pour les PME souhaitant exploiter la génération de texte en interne.
“Sur de longues séquences, notre architecture peut générer du texte environ trois fois plus vite qu’un ‘Transformer’ classique, précise Olivier Debeugny. Pour reprendre l’analogie avec l’usine, cela veut dire qu’avec un même processeur, on peut faire tourner davantage de chaînes de production, et donc réduire le coût de calcul. On obtient des modèles plus efficaces avec moins de puissance.
Techniquement, au lieu de ‘repenser à tout l’historique’ avant de répondre, notre système s’appuie sur des boîtes mémoire dynamiques qui s’adaptent à la question en temps réel, ce qui accélère le traitement, réduit la consommation énergétique et permet de faire tourner les modèles sur de simples CPU. C’est un point crucial en Europe. Même de grandes banques me disent : nous avons des GPU au siège (processeurs optimisés pour l’IA, ndlr), mais en production, nous n’avons que des CPU (simples processeurs, ndlr). Adapter les modèles à cette réalité, c’est répondre à une demande concrète.”
Vers un “Airbus de l’IA” ?
Pour Olivier Debeugny, l’avenir de l’intelligence artificielle sur le Vieux Continent passera par une approche coopérative plutôt que centralisée. Il plaide pour la constitution d’un “Airbus de l’IA générative”, réunissant une constellation de PME européennes spécialisées capables d’innover ensemble, sans dépendre des logiques de valorisation ni des levées de fonds massives.
“Comme Airbus à ses débuts, il ne s’agit pas de créer un géant ex nihilo, mais de faire travailler ensemble des acteurs déjà compétents et rentables pour fédérer leurs ressources et leurs talents, souligne-t-il. Dans les années 1950, personne ne pensait qu’en Europe on serait capable de rivaliser avec Boeing, McDonnell Douglas ou Lockheed. Les Américains n’y croyaient pas. Et pourtant, à force de coopération et de patience, Airbus est devenu un acteur mondial de premier plan. C’est la même logique que nous devons adopter pour l’IA générative : avancer peut-être plus lentement, mais sur des bases solides, partagées et européennes.”
Dans les années 1950, personne ne pensait qu’en Europe on serait capable de rivaliser avec Boeing” – Olivier Debeugny (Dragon LLM).
Selon lui, cette dynamique européenne en matière d’IA s’est nettement accélérée depuis 2023. Dragon LLM fait partie des quatre start-up lauréates d’un concours de la Commission européenne visant à soutenir la création de modèles de fondation européens. Le prix, assorti d’une dotation financière et surtout d’un accès prioritaire aux supercalculateurs d’EuroHPC, symbolise selon lui un véritable changement de ton à Bruxelles. “C’est la première fois que je vois un tel volontarisme européen, confie-t-il. Ils ont tout fait pour nous donner les moyens d’aller vite, en simplifiant les démarches et en ouvrant l’accès à des ressources de calcul considérables.”
Une révolution technologique de plus
L’intelligence artificielle européenne avance sur une ligne de crête, avec une innovation qui progresse à une vitesse vertigineuse, mais dont l’adoption reste encore lente et inégale. “Il y a un écart entre la déferlante d’investissements et la réalité des usages, reconnaît Olivier Debeugny. Ce qu’on a déjà connu avec internet va se reproduire. Au début, tout le monde s’emballe, puis l’usage se stabilise, et ça devient un outil du quotidien. Aujourd’hui, tout le monde utilise internet, demain, tout le monde utilisera l’IA générative. C’est une question de temps et d’ordre des choses. L’IA générative fait beaucoup de bruit parce qu’elle touche les professions intellectuelles, les cols blancs. Mais c’est une révolution technologique de plus, comme l’industrie a connu le travail à la chaîne, puis la robotisation.
La société finira par s’adapter. Je reste un grand optimiste. Ces modèles font bien ce que nous, humains, faisons mal, comme trouver une information dans 10.000 pages et la résumer en une seconde. Mais ils ne remplaceront pas notre capacité à comprendre le contexte. L’avenir, c’est l’équilibre entre les deux.”
De la traduction à l’intelligence artificielle
Basée à Paris, Dragon LLM, anciennement Lingua Custodia, trouve son origine dans la crise financière de 2007-2008. À cette époque, son fondateur, Olivier Debeugny, travaille dans le secteur bancaire, où il dirige une équipe internationale de relation client. Confronté à la nécessité de produire des traductions financières complexes, il constate l’absence d’un outil de traduction automatique à la fois performant et sécurisé, les solutions disponibles, comme Google Translate, étant inadaptées pour des raisons techniques et de confidentialité.De cette intuition naît l’idée de créer une technologie de traduction automatisée reposant sur des modèles linguistiques propriétaires. Après un congé sabbatique dédié à la création d’entreprise, Olivier Debeugny fonde sa société à la fin de l’année 2011, entouré d’une petite équipe mêlant ingénieurs, linguistes et chercheurs. L’entreprise travaille alors sur des modèles statistiques, précurseurs des approches modernes de traitement du langage, tout en développant une forte culture de publication scientifique.
Modèles de langage de type GPT
À partir de 2019, l’arrivée des modèles de langage de type GPT marque un tournant. L’équipe de recherche identifie le potentiel de ces nouvelles architectures pour aller au-delà de la simple traduction. Dragon commence alors à combiner sa maîtrise linguistique et sa capacité d’ingénierie pour concevoir ses propres modèles. Aujourd’hui, la start-up compte une quinzaine de collaborateurs, dont 11 chercheurs et ingénieurs IA.Fidèle à son ADN scientifique, la société développe des architectures de modèles de langage optimisées pour tourner sur des infrastructures locales (CPU), afin de rendre l’IA accessible et moins énergivore. Lauréate en 2024 du Large AI Grand Challenge de la Commission européenne, elle a pu entraîner sa nouvelle architecture sur les supercalculateurs Leonardo (Italie) et Jupiter (Allemagne), dans le cadre du programme EuroHPC, une initiative européenne qui finance un réseau de supercalculateurs à très haute performance pour renforcer la souveraineté technologique et la capacité de calcul de l’Union européenne.
Suivez Trends-Tendances sur Facebook, Instagram, LinkedIn et Bluesky pour rester informé(e) des dernières tendances économiques, financières et entrepreneuriales.
