Erreurs de jugement: arrêtez ce bruit, s’il vous plaît!

Nous nous trompons. Nos erreurs de jugement proviennent de biais, que nous partageons avec les autres. Mais aussi de bien d’autres choses plus personnelles que le prix Nobel d’économie Daniel Kahneman appelle des “bruits”. Celui-ci a d’ailleurs rédigé un livre passionnant sur le sujet, avec le spécialiste de la psychologie cognitive Olivier Sibony.

Daniel Kahneman est celui qui a introduit la psychologie chez les économistes, ébranlant du même coup les anciens modèles qui reposaient sur un homo economicus bien trop rationnel pour être réel. Pour le psychologue américano-israélien, notre jugement peut être victime d’une multitude de déviations systématiques, de “biais”.

On se souvient par exemple toujours mieux des premiers éléments d’une liste que l’on apprend par coeur. Et on a tendance à accorder davantage de valeur aux produits que l’on a partiellement créés (le “biais Ikea”). On préfère aussi toujours les éléments qui confirment une hypothèse plutôt que ceux qui les infirment, etc. Ces recherches ont valu à Daniel Kahneman et son compère Amos Tversky le prix Nobel d’économie en 2002.

Mais ces multiples biais cognitifs que nous partageons avec la plupart des gens n’expliquent pas toutes nos erreurs de jugements. Pourquoi, pour un même patient, tel médecin diagnostique-t-il telle pathologie mais formule un autre diagnostic quand on lui représente le cas peu après? Pourquoi, pour un même crime, tel juge va-t-il prononcer une condamnation de 15 mois et l’autre de 15 ans? Pourquoi, pour assurer un même risque, tel employé d’une compagnie d’assurance va-t-il demander une prime de 80.000 euros, et l’autre de 160.000? Ces variations individuelles, qu’on ne peut donc pas expliquer par un biais collectif, Daniel Kahneman, les appelle des “bruits”. L’économiste vient d’ailleurs de co-rédiger, avec le juriste américain Cass R. Sunstein et le spécialiste en psychologie cognitive Olivier Sibony, un livre passionnant sur le sujet, Noise, dont la traduction française vient de paraître *.

Avec quelques journalistes, nous avons eu la chance de rencontrer à Paris Olivier Sibony et Daniel Kahneman…

TRENDS-TENDANCES. D’où vient cet intérêt pour les bruits?

DANIEL KAHNEMAN. J’avais été consultant dans une compagnie d’assurance et j’avais eu l’idée de présenter à plusieurs dizaines de souscripteurs ( les employés d’une compagnie d’assurance qui acceptent ou refusent de couvrir un risque, Ndlr) un même dossier de couverture pour une entreprise fictive, mais ressemblant à la réalité. Et les souscripteurs devaient estimer la prime qu’ils allaient demander pour couvrir ce risque. Un souscripteur parle pour sa compagnie, et la question était de savoir si la compagnie parlait d’une même voix. Nous avions demandé au management avant l’exercice: quelle dispersion attendez-vous? Il avait répondu 10%. Or, l’écart que nous avons trouvé en prenant deux souscripteurs au hasard était de 52%. Cinq fois plus. C’était très surprenant. Il y avait beaucoup plus de “bruit” que ce à quoi on pouvait s’attendre. Nous nous sommes donc demandé pourquoi il y a tant de bruit, et pourquoi les gens ne le reconnaissent pas.

Mais précisément, quelle est la différence entre “bruit” et “biais”?

OLIVIER SIBONY. Le biais est une erreur moyenne, partagée, commune à la majorité de gens. Si l’on nous demande de donner une estimation sur le temps que cela prendra de mener un projet à bien, on sait qu’il existe le biais du planificateur qui fait en sorte qu’une large majorité de personnes seront trop optimistes. Le biais est une erreur partagée. Mais si vous demandez une estimation à 100 personnes, certains vont surestimer beaucoup, d’autres un peu. Les variations que l’on aperçoit à l’intérieur de ce biais, c’est le bruit.

D.K. Des études montrent que la durée des peines prononcées par un juge dépend de la chaleur qu’il fait ce jour-là: quand il fait chaud, les peines sont plus sévères. Quand on dit que la température a un effet sur les juges, c’est un biais. Mais le fait que cela soit aléatoire, c’est du bruit. Le bruit est un concept statistique.

O.S. Beaucoup se disent: il faut traquer les biais dans le système pour corriger les erreurs. Mais il est difficile de savoir pour une décision donnée quel biais va vous égarer. Si une entreprise se demande s’il faut réallouer une partie de ses ressources à un nouveau projet, divers biais peuvent jouer. Le biais de l’optimisme vous dira: ce projet a beaucoup d’avenir, il faut le faire. Le biais du statu quo dira: le projet actuel est très important, il ne faut pas le faire. Dans quelle direction allez-vous vous tromper le plus souvent? On n’en sait rien. Le résultat net de ces combinaisons de biais est le bruit.

Et il y a beaucoup de bruits?

D.K. On trouve du bruit dans de nombreux secteurs: les compagnies d’assurance, mais aussi dans les diagnostics médicaux, dans le recrutement, etc. Cependant, le vrai scandale se trouve dans le système juridique. Une étude a présenté le même crime à 208 juges fédéraux américains. La peine moyenne qui en est résulté est de sept ans, mais la différence moyenne entre deux juges pris au hasard était de quatre ans! Cela montre l’ampleur de la loterie du système judiciaire. C’est choquant. Pourtant, les juges américains refusent de reconnaître l’existence de ce problème.

O.S. Cette étude sur la variabilité des peines dans la justice est un des très rares cas où l’on a soumis le même problème à des juges différents. Mais très peu d’études se sont penchées là-dessus. La plupart des études sur la variabilité des décisions cherchent autre chose, et en particulier un biais partagé.

En médecine aussi on s’interroge sur l’existence de biais: y a-t-il une tendance à sur-diagnostiquer une maladie ou à la sous-diagnostiquer? Mais la question que l’on devrait se poser est plutôt: pour un patient donné, passe-t-on à côté de sa maladie? On devait s’intéresser à l’exactitude des diagnostics, non à la moyenne de ceux -ci.

Ces écarts de diagnostic sont importants?

O.S. Les études sur les médecins qui regardent une radiographie et qui disent ici il y a une tumeur, ici il n’y en a pas, montrent une variabilité très importante. L’extrême est la psychiatrie, où l’accord entre médecins sur un cas devient l’exception. Des études suggèrent qu’il y a moins de 10% des cas où les médecins font le même diagnostic sur un même patient! Cette variabilité se retrouve dans de nombreux domaines, y compris dans celui des travailleurs sociaux qui doivent décider si on retire un enfant à ses parents pour le placer dans une famille d’accueil. Une fois encore, l’angle par lequel les études abordent le problème est de se demander si les travailleurs sociaux ont des biais. Ont-ils tendance à retirer plus souvent un enfant à une famille de telle origine ethnique, de telle couleur de peau ou de tel milieu social? La réponse malheureusement est oui. Mais il se trouve aussi que d’un travailleur social à l’autre, le pourcentage de cas d’enfants placés dans une famille d’accueil varie considérablement. De même, quand vous regardez les demandes d’asile, dans le même tribunal de Miami, un juge admet 5% des candidats à l’asile, un autre 88%. Et l’on trouve aussi une grande variabilité dans des domaines où l’on aurait tendance à penser que ce n’est pas une question de jugement, comme reconnaître les empreintes digitales.

D’où vient tout ce bruit?

D.K. De plusieurs sources. Il y a le bruit de niveau. Quand on parle des juges plus sévères que d’autres, il y a des juges davantage choqués par la violence, par le fait que la victime soit une personne âgée… Chacun a des perceptions différentes, et c’est très difficile à analyser car comme nous avons des personnalités différentes, nous avons aussi des jugements personnels, et l’on ignore quelles dimensions sont plus importantes pour une personne ou pour une autre.

Il y a le bruit de pattern. Un certain juge face à un prévenu qui lui rappelle son fils sera plus clément. C’est un effet stable pour ce juge-là. Mais il est unique à ce juge-là.

La troisième source est le bruit occasionnel: le même juge, dans des conditions différentes (quand il fait chaud ou non), fera des jugements différents. On voit que les médecins changent leur prescription selon l’heure de la journée. Dans l’après-midi, ils donnent beaucoup plus d’opioïdes que le matin, plus d’antibiotiques et dépistent moins le cancer… Tout ce qui demande davantage d’attention. Du point de vue du patient, c’est une loterie.

Il y a donc ce côté social, dont les gens ne sont pas conscients. Mais il y a aussi une question plus subtile: si l’on voit le bruit dans les écarts entre un groupe de décisions individuelles, il n’y a aucune raison de croire qu’il y ait moins de bruit pour les décisions uniques.

Mais si le bruit est le résultat de notre personnalité, pourquoi vouloir le gommer?

O.S. Il y a deux types de jugements pour lesquels le bruit est indésirable, pour des raisons différentes. Il y a des jugements prédictifs pour lesquels on connaîtra la vraie valeur, parfois dans très longtemps (aura-t-on décarboné l’économie en 2050? on ne le saura qu’en 2050) ou à court terme (qui va gagner le match demain? ). Ce sont des jugements prédictifs ou la variabilité est une source d’erreur, et ce n’est pas compliqué de le comprendre. Mais il y a aussi des décisions qui n’ont pas de valeur objective, comme le prononcé d’une peine. Il y a des erreurs, mais on ne les voit jamais. Et là, la raison centrale pour lesquelles le bruit est indésirable est l’injustice et la perte de crédibilité du système. Même si on ne sait pas si, pour un tel délit, la peine juste est d’un an ou cinq ans, la variabilité elle-même est source d’injustice et décrédibilise le système.

On peut lutter contre cette “nuisance sonore”?

D.K. Oui, nous l’espérons. Le biais est une maladie. Il y a donc un médicament ou un vaccin qui peut le guérir. Mais contre le bruit, il est difficile de savoir quel médicament peut nous guérir. Du coup, pour le combattre, nous parlons d’hygiène de la décision. C’est comme se laver les mains. En le faisant, nous ne savons pas quels germes nous tuons, mais nous espérons qu’ils seront tués.

Comment rendre alors nos décisions plus “hygiéniques”?

D.K. Nous proposons des méthodes qui proviennent du sens commun psychologique. Par exemple, l’idée de subdiviser un problème en éléments séparés avant de formuler une opinion générale. On sait que cela améliore le jugement et nous avons plusieurs propositions dans ce sens. Ou encore résister aux intuitions prématurées et former ses intuitions après avoir réfléchi.

O.S. La réduction du bruit doit se faire avec tact et subtilité, en emmenant les gens avec soi. Le cas des juges américains est intéressant. Le Congrès avait passé une directive qui obligeait les juges à observer certains barèmes de peines, qui pouvaient varier mais dans une certaine mesure seulement. Mais la réaction de juges était hostile parce qu’ils avaient l’impression d’être dépossédés de leur liberté de jugement. Et une fois que ces contraintes techniques ont été relâchées, les juges ont été très contents et ont recommencé à partir dans tous les sens. Un bon exemple, en revanche, est le score Apgar, qui évalue six caractéristiques du nouveau-né et qui a été adopté en médecine parce que les médecins se disent qu’il les aide à prendre les bonnes décisions.

Finalement, pour éliminer le bruit, il faudrait éliminer le facteur humain?

O.S. Nous parlons beaucoup d’algorithmes ; et nous nous demandons dans quelles conditions les algorithmes sont supérieurs aux humains. La grande surprise est que les règles, même très simples, sont supérieures à l’intuition humaine. La supériorité des algorithmes est qu’ils n’ont pas de bruit, contrairement aux humains. Il y a beaucoup de circonstances dans lesquelles nous voulons la diversité. Personne ne voudrait que les critiques de cinéma aient tous la même opinion. Mais il y a des situations pour lesquelles le côté humain n’est pas désirable. On ne veut pas qu’un juge exprime sa personnalité en prononçant une peine. Et si, du côté du prévenu, il y a un contexte humain particulier, on voudrait que tous les juges le prennent en compte de la même manière.

Mais les algorithmes aussi produisent des biais.

O.S. Oui, mais le biais dans les algorithmes reflète souvent le biais des humains. Il est très rare que l’algorithme introduise lui-même un biais. Un exemple classique est celui d’Amazon qui avait conçu un algorithme pour choisir les C.V. sur la base des personnes qui, dans l’entreprise, avaient réalisé des carrières courtes et médiocres ou longues et brillantes. On s’est aperçu que l’algorithme ne choisissait que des hommes parce que l’expérience montrait que pour réussir chez Amazon, il valait mieux être un homme. On a donc retiré cet algorithme avec horreur! Mais l’algorithme reproduisait seulement les décisions des recruteurs humains d’Amazon.

Il ne faut pas remplacer toutes les décisions humaines par des algorithmes. Mais avant de critiquer par principe les algorithmes parce qu’ils comportent des biais (ce qui est vrai), regardons l’ensemble du tableau. Et demandons-nous s’ils ont un avantage sur nous. Et ils en ont un: ils n’ont pas de bruit.

Alors en pratique, il nous serait facile de faire moins de bruit?

D.K. Notre livre veut y contribuer. Les organisations peuvent améliorer leur prise de décision. Pour les individus, c’est plus difficile. Personnellement, après 50 ans, je ne crois pas que j’aie un meilleur jugement!