Paul Jorion
L’intelligence artificielle et le consommateur
Si la loi contraint à évoquer le recours à l’IA, on rassure: on parle en termes de “traçabilité” et de “transparence” ; on rapporte non plus un raisonnement, mais le fait que le processus est parfaitement contrôlé, que les données utilisées sont irréprochables et que tout a été enregistré à des fins de vérification éventuelle.
Un candidat à l’achat souhaitait souscrire un prêt hypothécaire. La banque ne refusait pas, mais n’était disposée à lui accorder que les deux tiers de la somme demandée. Le client était furieux: il avait consulté toute la documentation et avait bien droit à l’intégralité du montant. Il avait donc téléphoné à la banque, où quelqu’un s’était engagé à le rappeler très rapidement. La personne avait consulté le service spécialisé, qui lui avait répondu: “Dans le principe, il a raison, mais il a aussi un prêt sur une grosse cylindrée et rembourse des travaux importants dans la maison qu’il occupe actuellement”. Un être humain avait donc analysé le dossier. Débutait ensuite un exercice de diplomatie: comment l’organisme allait-il présenter les choses au demandeur? Fallait-il tout lui expliquer de A à Z?
L’histoire se déroulait il y a 20 ans. Aujourd’hui, le montant accordé est calculé par une intelligence artificielle, qui a appris à statuer à partir d’un nombre astronomique de données (ce qu’on appelle le big data) portant sur des consommateurs qui ont remboursé leur emprunt et sur d’autres, qui y ont échoué, ainsi que sur le coût de ces mauvaises créances pour le prêteur. Au coeur de la prise de décision se trouve un réseau de neurones artificiels dont le “savoir” provient de sa capacité à s’être corrigé au fil de son apprentissage, chaque fois qu’un choix malheureux était identifié. Si on soulève le capot, on constate que ce “savoir” est un réseau complexe exclusivement composé de coefficients, comme 0,73 ou 0,46, attachés à ses différents arcs. Autrement dit, il n’y a rien à voir parce que ce qui permet au dispositif de prendre des décisions pertinentes (il a été testé sur des milliers de cas) est distribué, c’est-à-dire réparti, dans l’ensemble du réseau.
Si l’on vous demande si ce que vous entendez là est du Mozart ou du Beethoven et que l’on scanne au même moment votre cerveau, on verra que la réflexion est assurée non pas par un unique neurone (qui serait le neurone du Mozart ou celui du Beethoven), mais par une multitude de neurones qui décident collectivement. L’intelligence artificielle (IA) fondée sur un réseau neuronal, c’est exactement la même chose.
Que fait-on alors aujourd’hui quand un client furieux appelle la banque? En l’absence d’experts ès IA capables de soulever le capot pour analyser ce que veulent dire les 0,73 et autres 0,46, en l’absence d’êtres humains au fait du “raisonnement” suivi par la machine, processus hypercomplexe de rassemblement d’informations suivi d’un tri débouchant sur l’expression d’une décision, la fourniture d’explications se réduit à un exercice de communication ou de relations publiques.
On n’explique plus parce que si l’on connaît parfaitement le mécanisme utilisé, la prise de décision, elle, est opaque. Alors, deux cas. Si la loi n’oblige pas à révéler que le processus est confié à l’IA, faire comme si tout se passait comme avant demeure possible: “Un expert a soigneusement examiné votre dossier.” Si la loi contraint à évoquer le recours à l’IA, on rassure: on parle en termes de “traçabilité” et de “transparence” ; on rapporte non plus un raisonnement, mais le fait que le processus est parfaitement contrôlé, que les données utilisées sont irréprochables et que tout a été enregistré à des fins de vérification éventuelle. On s’abstient d’avouer au client: “Le robot a pris le pouvoir mais c’est normal, parce qu’il est beaucoup plus fort que nous: faisons-lui confiance!” Même si c’est la vérité. Mais ça ferait trop mauvaise impression.
On s’abstient d’avouer au client: “Le robot a pris le pouvoir mais c’est normal, parce qu’il est beaucoup plus fort que nous: faisons-lui confiance!”
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici