Les intelligences artificielles génératives continuent d’« halluciner », c’est-à-dire de fournir des réponses fausses, mais formulées avec assurance. Une étude menée par des chercheurs, dont certains liés à OpenAI, révèle que ce biais n’est pas un accident mais le résultat même de leur conception : mieux vaut, pour ces modèles, donner une réponse approximative que reconnaître leur ignorance.
Combien de fois une IA générative, que ce soit OpenAI, Claude ou Mistral, n’a-t-elle pas répondu à votre requête ? Si cela pouvait arriver lorsque le secteur a explosé, ce n’est plus trop le cas maintenant, surtout que la plupart ont aujourd’hui accès à Internet. Mais cela ne veut pas dire qu’elles ont toujours raison. Les hallucinations sont encore très fréquentes, que cela plaise ou non. Et la raison à cela est double.
Le premier élément est tout simplement que l’IA générative présente des failles et, donc, qu’elle commet des erreurs, que ce soit lié à un manque d’entraînement ou à ses bases de données incomplètes ou erronées. La seconde est plus profonde et implique la manière même dont l’IA générative a été pensée.
Une réponse avant tout
Une équipe de chercheurs, dont plusieurs directement liés à OpenAI, s’est penchée sur les raisons pour lesquelles les intelligences artificielles hallucinaient. Ils sont arrivés à la conclusion qu’offrir une réponse primait sur le fait qu’elle soit juste.
Les chercheurs ont comparé le fonctionnement de cette technologie à celui d’un étudiant face à un QCM. S’il ne connaît pas la réponse, il aura tendance à en choisir une au hasard, en espérant que ce soit la bonne. C’est pareil – ou presque – pour l’IA.
Quand elle ne sait pas, elle va inventer une réponse « probable » en espérant tomber juste. Elle préfère risquer d’avoir faux plutôt que de ne rien répondre. Et ce fonctionnement est lié à la manière dont elles sont entraînées.
« Les grands modèles de langage hallucinent, car les phases d’entraînement et d’évaluation récompensent le fait de deviner plutôt que d’avouer un doute », explique l’étude. Plus encore, leur manière de fonctionner « ne fait pas de différence entre des affirmations erronées et des faits ».
Les chatbots ont été « optimisés pour les tests scolaires où deviner en cas d’incertitude améliore les performances ». Exprimer ses incertitudes ne fait pas partie de leur formation.
Statistiquement possiblement vrai
Dans leur étude, les chercheurs proposent une solution au problème : revoir leur fonctionnement. Au lieu que les robots conversationnels se cantonnent à répondre absolument quelque chose, en partant du principe qu’ils auront statistiquement plus de chances de dire vrai qu’en ne répondant rien, les chercheurs suggèrent d’instaurer des « seuils de confiance », à la manière des QCM à coefficient. Ainsi, en cas de mauvaises réponses, le chatbot perdrait des points et n’en perdrait aucun en cas d’absence de réponse.
Ce système serait la seule solution, selon les scientifiques, pour endiguer le problème des hallucinations des IA génératives. Mais pour que cela fonctionne vraiment, il faudrait que tout le secteur l’adopte. Or, étant donné que le taux de réussite des machines à différents tests est un argument marketing, il y a malheureusement peu de chances pour que les acteurs de l’IA acceptent de se plier à un jeu qui mettrait l’ensemble de leurs produits sur un même pied d’égalité.
