Dans un paysage dominé par les architectures américaines et asiatiques, une jeune pousse française basée à Paris tente de tracer une autre voie.
La startup Dragon LLM, anciennement Lingua Custodia, vient de dévoiler Dragon, la première architecture d’intelligence artificielle de nouvelle génération conçue et entraînée sur les supercalculateurs européens Leonardo et JUPITER, gérés par EuroHPC.
Dans le monde de l’intelligence artificielle, l’ architecture est la façon dont un modèle est construit et organisé pour traiter l’information. C’est un peu comme le plan de circulation d’une chaine de construction : il définit l’ordre dans lequel les différentes pièces (ou couches de neurones) doivent être assemblées pour ensuite communiquer et fonctionner ensemble pour accomplir une tâche. Au début de l’intelligence artificielle, les modèles de langage utilisaient des architectures comme les RNN (réseaux récurrents) ou Long Short Term Memory (LSTM), qui lisaient les textes mot par mot, dans l’ordre. Cela marchait, mais ces modèles avaient du mal à retenir le contexte sur de longues phrases.
En 2017, une équipe de chercheurs de Google annonce la sortie de l’architecture Transformer. Encore utilisée aujourd’hui, elle a profondément changé la manière dont les modèles comme GPT, Claude ou Llama comprennent le langage. Plutôt que de lire les mots un à un, elle repose sur un mécanisme d’attention qui permet au modèle d’examiner l’ensemble d’une phrase et d’en évaluer le sens global. Par exemple, dans « Caroline a posé le livre sur la table avant de le refermer », l’architecture Transformer saisit que c’est le livre, et non la table, qui est refermé. Cette capacité à établir les bonnes relations de sens, tout en traitant les informations en parallèle, rend les modèles plus rapides, plus cohérents et bien plus proches de la compréhension humaine.
Un pas vers l’autonomie technologique européenne
Avec sa nouvelle architecture, Dragon LLM annonce une conception hybride, optimisée pour les longs textes et raisonnements complexes. Résultat : une consommation énergétique réduite et des coûts d’utilisation divisés, sans perte de précision. Dans un communiqué, l’entreprise insiste sur l’efficacité de son approche. Selon ses tests, Dragon requiert trois fois moins de puissance de calcul pour des performances comparables aux leaders mondiaux. L’IA peut être déployée sur des serveurs standards, sans dépendre de GPU massifs, un point crucial pour les PME souhaitant exploiter la génération de texte en interne. Au-delà de l’innovation technique, le lancement de Dragon porte une dimension politique et stratégique. « Notre ambition est simple : construire une IA utile, responsable et accessible, au service des entreprises européennes. L’Europe peut innover sans copier les géants américains ou chinois, et Dragon en est la preuve », explique Olivier Debeugny, fondateur et CEO de Dragon LLM.
Dragon LLM a déjà entraîné un modèle de fondation de 3,6 milliards de paramètres, conçu comme démonstration de son architecture. Il est accessible en open source sur la plateforme Hugging Face (Dragon-3B-Base-alpha).
Les versions destinées à la production devraient suivre dans les prochains mois, avec la promesse d’une IA plus frugale, plus rapide et plus démocratique. Une évolution qui, si elle tient ses promesses, pourrait marquer le début d’une nouvelle ère pour l’intelligence artificielle européenne.