Des chercheurs de Carnegie Mellon, une université de Pittsburgh spécialisée en recherches informatiques, ont créé une entreprise fictive et ont laissé l’intelligence artificielle (IA) la diriger. Les employés qui avaient des craintes pour leur emploi avec l’arrivée de l’IA en entreprise devraient être rassurés par les résultats de l’expérience. Du moins, dans un premier temps.
Les chercheurs ont mis au point TheAgentCompany, une entreprise virtuelle conçue pour simuler le quotidien d’une PME technologique. Cette infrastructure comprend des sites web internes, des processus de gestion documentaire, des scripts, ainsi que des collègues virtuels avec lesquels les agents IA doivent interagir. L’objectif est de reproduire le plus fidèlement possible les conditions de travail d’un employé humain. Un ensemble de 175 tâches variées a été conçu pour évaluer les performances des agents dans des rôles tels que développeur, analyste de données, responsable des ressources humaines ou chef de projet.
24 % des tâches seulement accomplies
Les tests ont été menés avec différents agents IA construits à partir de modèles LLM, notamment GPT-4 (OpenAI), Claude (Anthropic) ou Gemini (Google). Malgré les capacités avancées de ces modèles, les résultats montrent que même les agents les plus performants ne parviennent à accomplir que 24 % des tâches de manière autonome. Les tâches simples, bien balisées et à objectif unique sont généralement bien exécutées. En revanche, les agents échouent régulièrement face à des missions nécessitant une planification stratégique, une adaptation contextuelle ou une collaboration soutenue avec d’autres agents. L’autonomie de l’IA reste donc très partielle.
Selon les conclusions des chercheurs de Carnegie Mellon, leur travail souligne que, malgré les avancées rapides de l’IA générative, une autonomie véritable des agents IA dans le cadre professionnel demeure un objectif à long terme. Si certaines tâches peuvent d’ores et déjà être automatisées, la complexité des environnements réels continue de poser des défis majeurs. La question n’est plus de savoir si l’IA peut aider, mais jusqu’où et à quelles conditions elle pourra remplacer un humain dans des fonctions cognitives avancées.
Les résultats complets de l’étude sont consultables à l’adresse: https://arxiv.org/pdf/2412.14161
