De grands modèles d’IA ne sont pas conformes aux règles européennes

ChatGPT et autres bots ne seraient pas encore en règle avec la nouvelle loi européenne sur l’intelligence artificielle (IA). Notamment dans des domaines comme la cybersécurité et la discrimination.

Les modèles d’intelligence artificielle, comme ChatGPT, Gemini et consorts, ont encore du chemin à faire pour correspondre aux règles européennes. C’est ce que constate un nouvel outil appelé LLM Checker, développé par la start-up suisse LatticeFlow et soutenu par l’UE, qui a testé les modèles d’IA en se basant sur les critères de l’AI Act, la loi européenne sur l’IA, rapporte Reuters.

Lacunes

Les bots obtiennent, par exemple de mauvais scores dans la catégorie du “résultat discriminatoire”. Le rendu demandé à l’IA peut reproduire des biais sexistes et racistes et la loi européenne veut intervenir à ce niveau-là. ChatGPT (version 3.5 Turbo) d’Open AI a ainsi obtenu un score de 0,46 point sur 1. Qwen1.5 72B Chat d’Alibaba a fait moins bien encore, avec un score de 0,37.

Autre point noir : la cybersécurité. Les bots ont dû passer un examen de “prompt hijacking”, qui est une méthode qu’utilisent des hackers pour extraire des informations sensibles aux bots, via les requêtes. Meta obtient moins de la moitié des points, avec un score de 0,42 pour son modèle Llama. 8x7B Instruct de la start-up française Mistral obtient 0,38. Mais de l’autre côté, il y a des bots qui ne se laissent pas duper par les attaques : Claude 3 Opus de la start-up Anthropic, soutenue par Google, a 0,89 point.

A part ces lacunes concernant les biais et la cybersécurité, les bots se débrouillent en général plutôt bien. Alibaba, Anthropic, OpenAI, Meta et Mistral ont des scores moyens de 0,75 ou plus. La loi ne marche cependant pas par moyennes : les bots doivent être en règle dans toutes les catégories, individuellement. Sinon des amendes de 35 millions d’euros ou de jusqu’à 7% du chiffre d’affaires annuel peuvent s’appliquer.

Mais rater ces tests n’est pas forcément dramatique. Cela permet aux entreprises de constater ces lacunes et de s’améliorer sur ces points, avant que l’AI Act n’entre en vigueur. Il leur reste encore du temps : la loi sera implémentée par étapes, lors des deux prochaines années.

LLM Checker

L’outil de test sera lui aussi adapté au fur et à mesure que la loi sera implémentée. Ce qui est intéressant, c’est qu’il sera disponible gratuitement pour les développeurs d’IA pour tester leurs modèles et voir s’ils sont conformes à la loi.

“L’UE est encore en train d’élaborer tous les critères de conformité, mais nous pouvons déjà constater certaines lacunes dans les modèles”, explique le CEO de LAtticeFLow, Petar Tsankov, à Reuters. “En mettant davantage l’accent sur l’optimisation de la conformité, nous pensons que les fournisseurs de modèles peuvent être bien préparés à répondre aux exigences réglementaires.”