Comment éviter la discrimination sur les plateformes numériques ?

A la fin des années 1980, Ian Ayres et Peter Siegelman, tous deux professeurs de droit, ont voulu savoir si les Afro-Américains et les femmes se voyaient proposer les mêmes offres que les hommes blancs lorsqu'ils souhaitaient acheter une voiture. Ils ont alors formé 38 personnes - des Noirs, des Blancs, des hommes et des femmes - afin qu'elles négocient un achat sur la base d'un scénario précis. Les différences qu'ils ont observées se sont révélées particulièrement troublantes : à véhicules égaux, les 153 concessions ont pratiqué un prix plus élevé pour les Afro-Américains et les femmes que pour les hommes blancs. Les femmes noires, quant à elles, se voyaient proposer l'offre la plus élevée, avec en moyenne un supplément d'environ 900 dollars par rapport aux hommes blancs. Si, pour le plus grand nombre, ces résultats ne se sont pas révélés surprenants, et encore moins pour la communauté afro-américaine et pour les femmes, ils ont démontré de façon saisissante à quel point la discrimination était ancrée sur les marchés. Douze ans plus tard, le commerce en ligne faisait ses premiers pas. Les entrepreneurs s'essayaient à la vente en ligne, y compris de véhicules. Les économistes Fiona Scott Morton, Florian Zettelmeyer et Jorge Silva-Risso ont passé au crible cette nouvelle méthode de vente de voitures. Ainsi, ont-ils constaté qu'elle avait sonné le glas de la discrimination fondée sur la race et le genre, cette dernière persistant dans le secteur automobile traditionnel. En effet, la première génération de plateformes de vente en ligne, à laquelle appartenaient eBay, Amazon et Priceline, était plus égalitaire. Les transactions s'effectuaient de manière relativement anonyme. Ainsi, un utilisateur pouvait négocier un achat sans communiquer de données permettant de l'identifier, et ce jusqu'à ce que le vendeur accepte son offre. Comme l'affirmait un célèbre dessin publié dans le New Yorker, " On the Internet, nobody knows you're a dog " (" Sur Internet, personne ne sait que vous êtes un chien "). Toutefois, à l'heure actuelle, les plateformes, ainsi que leurs utilisateurs, savent si vous êtes blanc ou noir, un homme ou une femme, un être humain ou un chien. En réalité, au lieu d'y mettre un terme, l'Internet s'est révélé être une nouvelle source de discrimination. Dans la mesure où leur identité est dévoilée, les groupes défavorisés sont désormais confrontés aux mêmes obstacles que ceux qu'ils affrontent depuis longtemps dans la vie réelle, des obstacles qui se révèlent même parfois pires en raison de l'absence de réglementation, des photos qui mettent en évidence la race et le sexe et du fait que les discriminateurs potentiels peuvent agir sans jamais entrer en contact réel avec leurs victimes. Que s'est-il passé et comment pouvons-nous réagir ? Lorsque le commerce en ligne n'en était encore qu'à ses balbutiements, les achats sur la toile exigeaient souvent un acte de foi. Un vendeur en Floride pouvait mettre en vente sur eBay une carte de base-ball de Nolan Ryan datant de l'époque où il jouait chez les California Angels, en 1974, accompagnée d'une description de son état général. Un collectionneur du Massachusetts pouvait enchérir sur la carte sans même la voir, sur la base de la seule description. Une telle carte en excellent état est estimée à 60 dollars. En revanche, si elle est cornée, son prix est nettement moindre. Qu'est-ce qui empêchait un vendeur de tromper le client sur la marchandise ? Bien peu de choses : une étude menée par les économistes Ginger Jin et Andrew Kato a montré qu'au début des années 2000, les vendeurs sur eBay n'étaient pas très honnêtes quant à la qualité de leurs cartes de collection. A l'aube de l'e-commerce, une partie du marché disposait d'éléments dont l'autre partie n'avait pas connaissance : l'état d'une carte de base-ball, la fiabilité et le soin accordé à l'emballage, etc. De tels défis se manifestent sur tous les marchés, mais ils se sont révélés particulièrement lourds de conséquences sur les plateformes en ligne, et ce pour deux raisons principales. Tout d'abord, il est difficile de vérifier la véracité des informations données par le vendeur si vous ne pouvez pas voir le produit de vos propres yeux. Ensuite, les vendeurs en ligne étaient novices par définition puisque cette technique n'existait que depuis quelques années seulement. Aucune marque de renom, telle que Sotheby's ou Sears, ne pouvait garantir aux acheteurs qu'ils ne se retrouveraient pas le bec dans l'eau. Au fil du temps, les évaluations et les commentaires des acheteurs ont permis aux vendeurs en ligne de se forger une réputation. Toutefois, pourquoi se contenter des impressions communiquées alors que tant d'informations potentiellement utiles sur l'identité des vendeurs et des acheteurs étaient accessibles ? Par exemple, au cours d'une étude sur le prêt entre particuliers menée en 2012 par Jefferson Duarte, Stephan Siegel et Lance Young, les sujets ont évalué la fiabilité de leur emprunteur potentiel sur la seule base de ses photos. Il est apparu que les gens qui " paraissaient fiables " étaient plus susceptibles de voir leur demande de prêt accordée. Plus étonnant encore, ils étaient aussi plus susceptibles de les rembourser. En résumé, si ces informations triées sur le volet pouvaient aider les participants à évaluer les perspectives d'une transaction, alors cela valait la peine de les fournir. Sur les sites web proposant des services en free-lance, des voitures partagées, voire la promenade de votre chien, la plupart des vendeurs peuvent désormais choisir les personnes avec qui ils traitent sur la base de leur apparence physique ou d'un simple pseudonyme. Si la disponibilité de ces informations est propre au concept de la plateforme, certains sites respectent en grande partie l'anonymat, tandis que d'autres reviennent à des pratiques depuis longtemps bannies des marchés traditionnels. De la même manière, sur de nombreux sites, les acheteurs potentiels peuvent visualiser les produits, mais également les noms et les photos des vendeurs. Bien que la mise à disposition d'informations détaillées sur les participants à une transaction puisse être rassurante, des éléments de plus en plus nombreux démontrent que cette pratique favorise la discrimination. Le site de location à court terme Airbnb est un bel exemple de l'émergence de la discrimination en ligne, qui démontre la façon dont les choix de conception du site exercent une influence sur l'ampleur de cette discrimination. Lorsqu'un locataire potentiel effectue une recherche dans une liste de biens, il peut voir une description ainsi que des photos du bien et du propriétaire en question. Les hôtes peuvent quant à eux voir les noms - et la plupart du temps, les photos - des locataires potentiels avant de les accepter ou de les refuser. L'un d'entre nous (Mike, qui travaille avec Benjamin Edelman et Daniel Svirsky) s'est penché sur la discrimination raciale qui a cours sur Airbnb. Dans une étude portant exclusivement sur le marché américain, le groupe a créé 20 profils d'utilisateurs et envoyé des demandes de location à 6.400 hôtes environ. Les profils et les demandes étaient identiques, seul un détail changeait la donne : le nom de l'utilisateur. La moitié des profils présentaient des noms qui (selon les registres de naissance) sont les plus courants au sein de la communauté blanche. Pour l'autre moitié, les noms choisis étaient les plus utilisés au sein de la communauté noire. Les demandes adressées par des profils à consonance afro-américaine avaient 16 % moins de chance d'être acceptées. Par ailleurs, cette discrimination était bien ancrée, puisqu'elle se manifestait à la fois dans le cas des offres bon marché comme des plus chères, dans les quartiers cosmopolites et homogènes, mais également dans le cas de propriétaires proposant une chambre au sein de leur habitation ou de biens loués par des personnes en possédant plusieurs. La plupart des hôtes qui rejetaient les demandes provenant des profils à consonance afro-américaine n'avaient jamais hébergé de personne noire - ce qui démontre que certaines personnes sont particulièrement enclines à discriminer sur la base de la race. Depuis lors, les chercheurs ont recensé les cas de discrimination raciale sur la plupart des plateformes en ligne. Ce recensement est rendu possible grâce à deux facteurs. Tout d'abord, les indicateurs raciaux : certains sont évidents, comme les photos, alors que d'autres sont plus subtils, comme le nom. La discrétion des acteurs du marché quant à la personne avec laquelle ils effectuent la transaction constitue le second facteur. Un autre aspect de l'e-commerce a favorisé la discrimination, parfois de manière illogique, au lieu de l'éradiquer : le recours aux algorithmes et au big data. Les résultats proposés par Google, les livres conseillés par Amazon et les films recommandés par Netflix constituent autant d'exemples de machines qui remplacent une appréciation humaine imparfaite au regard des désirs des clients. On aurait ainsi tendance à penser que sans le jugement humain, les préjugés disparaissent eux aussi. Tant s'en faut. En réalité, la discrimination générée par les algorithmes se manifeste là où les êtres humains auraient probablement tendance à l'éviter. Dans une étude particulièrement édifiante, la professeure de sciences informatiques Latanya Sweeney a tenté de comprendre le rôle que revêt la race dans les publicités de Google. Elle a ainsi dressé la liste des noms afro-américains les plus courants, dont Deshawn et Latanya, et a recensé les publicités qui s'affichaient. Elle a ensuite recherché les noms les plus fréquents au sein de la population blanche, comme Geoffrey. Il est apparu que les recherches de prénoms à consonance afro-américaine faisaient généralement apparaître des publicités invitant l'internaute à consulter un éventuel casier judiciaire. Evidemment, Google n'a pas fait en sorte d'afficher de telles annonces aux gens qui recherchent des prénoms afro-américains. De tels résultats s'affichent parce qu'un algorithme " a décidé ", sur la base de l'historique des recherches, qu'une personne qui sonde le Web en quête d'un prénom tel que " Deshawn ", est plus susceptible de cliquer sur une annonce invitant à consulter le casier judiciaire (et donc générer des bénéfices pour Google), qu'une personne recherchant le prénom " Geoffrey ". En résumé, ce choix, inconscient sans doute, est celui des programmeurs à l'origine des algorithmes de Google. Même lorsqu'elles concernent un même secteur, les plateformes diffèrent très souvent et donnent dès lors lieu à des niveaux de discrimination variés. Prenons l'exemple de la publication ou non de photos des utilisateurs. Uber ne fournit pas aux conducteurs une photo de leurs passagers potentiels, à la différence de son concurrent Lyft. Ce faisant, Uber favorise moins la discrimination que Lyft. De la même façon, la page principale arborant les résultats de recherches effectuées sur le site de location de vacances HomeAway affiche uniquement des photos des biens à louer. Celles des propriétaires n'apparaissent que plus tard (voire jamais). En revanche, Airbnb affiche la photo des propriétaires sur la page de résultats principale. Les entreprises adoptent plusieurs approches pour détecter cette discrimination potentielle et prendre des mesures pour y remédier. Ainsi, eBay a fait appel à une équipe de psychologues sociaux pour déterminer si, à article égal, les vendeurs masculins pouvaient pratiquer un prix supérieur à celui pratiqué par leurs homologues féminines (et tel est bien le cas). La plupart du temps, les entreprises évitent la question. Même les sociétés faisant preuve des meilleures intentions peuvent ne pas opter pour l'approche la plus efficace en matière de lutte contre la discrimination car, selon nous, aucun système ne permet de passer au crible les choix de conception disponibles et leurs conséquences. Dans cet article, nous proposerons une structure destinée aux entreprises qui souhaitent concevoir et exploiter un espace de vente florissant tout en limitant le risque de discrimination. Nous proposons ici deux principes directeurs pour les plateformes aux prises avec ce type de défi. Nous analyserons ensuite quatre choix susceptibles d'affecter la discrimination. ? Principe 1 : ne sous-estimez pas le potentiel de la discriminationPour commencer, les plateformes devraient assurer un suivi plus rigoureux. La plupart du temps, elles ne connaissent pas la race et le sexe de leurs membres. Un rapport régulier (et un audit occasionnel) sur la race et le sexe des utilisateurs, ainsi que les valeurs de réussite de chaque groupe sur la plateforme, est une étape nécessaire (bien qu'insuffisante) pour révéler les problèmes, et ainsi pouvoir les résoudre. Cela permet de lever le voile sur des situations où la discrimination est problématique et de suivre les progrès accomplis en la matière. Il peut aussi s'agir d'une première démarche de bonne foi dans la lutte contre la discrimination. Par exemple, Airbnb devrait dresser régulièrement un rapport des taux d'acceptation des locataires en fonction de la race et du sexe. En mettant ces informations à disposition de l'utilisateur et du législateur, les entreprises seront poussées à résoudre au plus vite les problèmes de discrimination susceptibles d'émerger au fur et à mesure de l'évolution de leur plateforme. ? Principe 2 : privilégiez l'expérienceLes plateformes doivent faire ce qu'elles font le mieux : expérimenter. Des entreprises telles que Facebook, Yelp et eBay sont passées d'un concept expérimental au développement de nouveaux produits et de nouvelles fonctionnalités. Pour tester des choix qui pourraient, à l'instar d'autres manipulations, exacerber les pratiques de discrimination, ces sociétés doivent procéder à des essais aléatoires sous contrôle. Il convient de saluer Airbnb (bien que le rapport n'ait pas été rendu public) pour ses derniers tests qui consistaient à masquer les photos des propriétaires des résultats de la recherche pour comparer les effets sur la réservation. ? Choix de conception n° 1 : fournissez-vous trop d'informations ? La plupart du temps, la modification la plus simple et la plus efficace réalisée par une plateforme consiste à dissimuler les données sensibles de l'utilisateur, dont la race et le sexe, jusqu'à la fin de la transaction. Certaines de ces plateformes, comme Amazon et eBay, le font déjà. Cependant, pour de nombreuses autres, cela impliquerait de procéder à une refonte totale de leur méthode de travail. Le dirigeant d'une plateforme cotée à plusieurs milliards de dollars nous a avoué que son entreprise n'envisagerait jamais de supprimer les photos et les noms. Outre le choix des informations à révéler, les plateformes déterminent quelle importance leur accorder. De plus en plus d'éléments montrent que cette mise en exergue n'est pas anodine. Sur certaines plateformes, par exemple, les frais d'envoi sont séparés (et donc moins visibles de prime abord) que le prix de base. Au cours d'une expérience très intéressante, les économistes Jennifer Brown, Tanjim Hossain et John Morgan ont démontré que dans de telles circonstances, un prix inférieur augmentait les chances de vente de l'article, même s'il est compensé par des frais d'expédition supérieurs. En d'autres termes, le client n'est pas seulement influencé par les informations qu'il voit, mais également par les données les plus visibles de prime abord. A cet égard, on pourrait citer l'exemple d'Airbnb qui affiche les photos des propriétaires dès les résultats de la recherche alors qu'HomeAway ne le fait pas. En mettant moins la race en évidence, les plateformes pourraient limiter la discrimination. ? Choix de conception n° 2 : pourriez-vous davantage automatiser le processus de transaction ? Lorsque vous utilisez l'application Uber, vous devez appuyer sur l'écran pour commander une course et ce n'est qu'après avoir confirmé que vous connaissez l'identité du chauffeur. En théorie, vous pouvez toujours annuler la transaction si vous n'appréciez pas l'évaluation ou le look du chauffeur. Toutefois, cela implique des démarches supplémentaires, et ce faible " coût de transaction " suffit sans doute à refroidir la plupart des annulations fondées sur l'apparence. Uber pourrait aussi permettre aux passagers de visualiser le conducteur avant de confirmer ou d'annuler leur réservation, mais elle a choisi de ne pas le faire. Lorsque les transactions sont validées avant que la race et le sexe ne soient révélés, l'utilisateur est moins en proie à la discrimination. Prenons l'exemple de la fonction de réservation immédiate sur Airbnb, plus pratique et plus simple. L'hôte qui l'utilise autorise les locataires à effectuer une réservation sans validation préalable. Cette option fonctionne sur une base volontaire : les propriétaires doivent l'activer. Les recherches ont montré que l'option par défaut, quelle qu'elle soit, restait la plus utilisée. Si Airbnb activait la réservation instantanée par défaut, et demandait aux propriétaires de la désactiver volontairement, la discrimination s'en trouverait vraisemblablement réduite. L'entreprise pourrait même envisager de faire payer les propriétaires pour avoir le droit de choisir leurs clients, en imposant un prix pour annuler la réservation automatique. Selon nous, une plus grande automatisation et l'instauration d'incitations financières - pour autant qu'elles soient mises en oeuvre intelligemment - peuvent réduire la discrimination et accroître les bénéfices sur plusieurs plateformes en éliminant les va-et-vient nécessaires pour mener une transaction à terme. ? Choix de conception n° 3 : les règles en matière de discrimination pourraient-elles devenir une priorité ? Lors d'une étude menée en 2012, l'équipe composée de Lisa Shu, Nina Mazar, Francesca Gino, Dan Ariely et Max Bazerman a voulu savoir si un élément aussi anodin que la place de la signature sur un formulaire pouvait exercer une influence sur l'honnêteté. Ils ont constaté que bien souvent, les personnes sont invitées à communiquer des informations et à signer à la fin du document pour en attester l'authenticité. Ils se sont demandé si les signataires seraient moins enclins à tricher s'ils signaient au début du document, avant de le remplir. En effet, il est apparu que la signature en tête du document donnait lieu à une plus grande sincérité à la fois lors d'expériences menées en laboratoire et lors d'une expérience menée auprès d'une compagnie d'assurances de voitures. Cela a également fonctionné dans le cadre des déclarations fiscales. Les sites de vente peuvent dès lors en tirer les leçons : si vous souhaitez que vos membres opèrent des choix particuliers, réfléchissez bien au moment le plus propice pour les y amener. La plupart des plateformes disposent de règles interdisant la discrimination, mais elles sont généralement rédigées en tout petits caractères. Par exemple, sur Airbnb, les propriétaires doivent accepter de ne pas céder à la discrimination, mais ils le font lorsqu'ils s'inscrivent pour la première fois en tant que propriétaires. Au moment où un propriétaire décide d'accepter un locataire potentiel, il a probablement oublié cette clause. Les entreprises pourraient présenter les règles anti-discrimination à un moment plus opportun, et ainsi faire en sorte que le propriétaire s'engage à ne pas faire de discrimination pendant la transaction. Certains contreviendront forcément à ces règles, mais cela impliquerait un choix bien plus conscient. ? Choix de conception n° 4 : vos algorithmes doivent-ils tenir compte de la discrimination ? Les choix de conception déterminent également dans quelle mesure un algorithme conduit à la discrimination. A ce stade, la plupart des programmeurs ont fait fi des facteurs tels que la race et le sexe. Ils ont simplement espéré les meilleurs résultats. Néanmoins, la plupart du temps, la probabilité qu'un algorithme favorise l'égalité est nulle. Le meilleur exemple étant les recherches sur Google et l'affichage des annonces liées au casier judiciaire. Si un programmeur veut privilégier l'équité, il devra vérifier dans quelle mesure le sexe et la race influencent l'expérience utilisateur et devra définir des objectifs précis. Souhaite-t-il que les clients de couleur et les clients blancs soient traités sur un pied d'égalité ? Que les femmes profitent des mêmes prix que les hommes ? Google a adapté son algorithme à la suite de l'étude menée sur le casier judiciaire évoquée plus haut, mais les entreprises peuvent assurer un suivi plus proactif de ces mesures. Cela pourrait limiter la discrimination envers certains utilisateurs. Par exemple, imaginons qu'Uber constate que certains passagers accordent une faible note aux conducteurs noirs qui ont pourtant reçu cinq étoiles de la part de nombreux autres passagers. L'entreprise pourrait pondérer les avis des utilisateurs qui se révèlent discriminatoires dans le calcul du score global du chauffeur. Les plateformes existent dans un contexte social plus large. Naturellement, il est impossible de créer un monde qui ne tienne compte ni de la couleur de peau ni du sexe, simplement en concevant des plateformes moins enclines à la discrimination. En outre, c'est se bercer d'illusions que d'imaginer que chaque concepteur de plateforme travaille en ce sens. Parfois, la discrimination est bonne pour les affaires. Lorsque tel est le cas, nous ne pouvons en appeler qu'à la responsabilité sociale des dirigeants de l'entreprise, ou espérer que la législation permette de changer cette situation. Pourtant, dans de nombreux cas, le principe selon lequel " obtenir de bons résultats signifie aussi faire une bonne action " persiste. C'est le moment idéal pour lutter contre la discrimination sans trop débourser, voire en augmentant le chiffre d'affaires. Il arrive également que certaines entreprises éclairées enclenchent un cercle vertueux, forçant d'autres acteurs économiques à suivre le mouvement. Prenons l'exemple des orchestres symphoniques aux Etats-Unis. La diversité n'y est pas une mince affaire. Au milieu des années 1960, moins de 10 % des musiciens des cinq plus grands orchestres américains (Boston, Philadelphia, Chicago, New York et Cleveland) étaient des femmes. Dans les années 1970 et 1980, pour promouvoir la diversité, les groupes ont modifié leurs procédures d'audition pour éliminer les risques de discrimination. Au lieu de réaliser les auditions en direct, les musiciens étaient installés derrière un écran ou une paroi. Dans une importante étude menée en 2000, les économistes Claudia Goldin et Cecilia Rouse ont constaté que cet écran augmentait le taux de réussite des musiciennes à raison de 160 %. En fait, elles ont attribué un quart de l'augmentation de la diversité au sein des orchestres à ce principe pourtant simple. De plus, sachant que la sélection reposait désormais davantage sur la maîtrise de l'instrument, l'orchestre s'en portait d'autant mieux. Il y a plusieurs années, lorsque nous avons parcouru cette étude pour la première fois, nous avons été stupéfaits par les données relatives aux effets de la discrimination et à l'impact considérable d'un minuscule changement. Pourtant, à notre grand dam, cette solution semblait bien trop spécifique. Il était difficile d'imaginer des interactions entre des acheteurs et des vendeurs, ou entre des employeurs et des candidats, où le sexe et la race n'étaient jamais mentionnés. Le Web a changé tout cela. A l'origine, Internet offrait la possibilité de créer des espaces ne tenant pas compte des questions de race, de sexe et d'âge. Nous vivons désormais à une époque où les programmeurs peuvent choisir où et quand placer des écrans virtuels. Nous espérons qu'ils en feront bon usage, afin de créer une société plus égalitaire. Ray Fisman est professeur d'économie comportementale à l'Université de Boston et co-auteur de " The Inner Lives of Markets : How People Shape Them - And They Shape Us ". Michael Luca est assistant à la Harvard Business School et assistant invité à l'Université de Stanford. RAY FISMAN ET MICHAEL LUCA (HARVARD BUSINESS REVIEW)La première génération de plateformes de vente en ligne, à laquelle appartenaient eBay, Amazon et Priceline, était plus égalitaire. A l'heure actuelle, les plateformes, ainsi que leurs utilisateurs, savent si vous êtes blanc ou noir, un homme ou une femme, un être humain ou un chien. La plupart des plateformes disposent de règles interdisant la discrimination, mais elles sont généralement rédigées en tout petits caractères. Parfois, la discrimination est bonne pour les affaires. Lorsque tel est le cas, nous ne pouvons en appeler qu'à la responsabilité sociale des dirigeants de l'entreprise, ou espérer que la législation permette de changer cette situation.