Les algorithmes sont un élément essentiel de la vie moderne. Les gens s'appuient sur des recommandations algorithmiques pour parcourir des catalogues approfondis et trouver les meilleurs films, itinéraires, informations, produits, personnes et investissements. Parce que les gens entraînent les algorithmes sur leurs décisions (par exemple, les algorithmes qui font des recommandations sur les sites de commerce électronique et de réseaux sociaux), les algorithmes apprennent et codifient les préjugés humains.

Les recommandations algorithmiques présentent un biais en faveur des choix populaires et des informations qui suscitent l'indignation, comme les informations partisanes. Au niveau sociétal, les préjugés algorithmiques perpétuent et amplifient les préjugés raciaux structurels dans le système judiciaire, les préjugés sexistes chez les personnes embauchées par les entreprises et les inégalités de richesse dans le développement urbain.

Les biais algorithmiques peuvent également être utilisés pour réduire les biais humains. Les algorithmes peuvent révéler des préjugés structurels cachés dans les organisations. Dans un article publié dans les Proceedings of the National Academy of Science , mes collègues et moi avons découvert que les préjugés algorithmiques peuvent aider les gens à mieux reconnaître et corriger leurs préjugés.

Le parti pris dans le miroir

Dans neuf expériences, Begum Celikitutan, Romain Cadario et moi-même avons demandé aux participants à l'étude d'évaluer les chauffeurs Uber ou les annonces Airbnb en fonction de leurs compétences de conduite, de leur fiabilité ou de la probabilité qu'ils louent l'annonce. Nous avons donné aux participants des détails pertinents, comme le nombre de voyages qu'ils avaient effectués, une description de la propriété ou une note en étoiles. Nous avons également inclus une information biaisée non pertinente :une photographie révélant l'âge, le sexe et l'attrait des conducteurs, ou un nom qui impliquait que les hôtes de l'annonce étaient blancs ou noirs.

Une fois que les participants ont effectué leurs évaluations, nous leur avons montré l'un des deux résumés d'évaluation suivants :un montrant leurs propres évaluations ou un autre montrant les évaluations d'un algorithme formé sur leurs évaluations. Nous avons informé les participants du biais qui aurait pu influencer ces notes ; par exemple, les clients Airbnb sont moins susceptibles de louer auprès d'hôtes portant des noms distinctement afro-américains. Nous leur avons ensuite demandé de juger dans quelle mesure le biais avait eu sur les notes dans les résumés.

Que les participants aient évalué l’influence biaisée de la race, de l’âge, du sexe ou de l’attractivité, ils ont constaté plus de biais dans les évaluations effectuées par les algorithmes qu’eux-mêmes. Cet effet miroir algorithmique s'est produit que les participants jugent les évaluations de vrais algorithmes ou que nous montrions aux participants leurs propres évaluations et leur disions de manière trompeuse qu'un algorithme avait effectué ces évaluations.

Les participants ont constaté plus de biais dans les décisions des algorithmes que dans leurs propres décisions, même lorsque nous leur avons accordé un bonus en espèces si leurs jugements de biais correspondaient aux jugements émis par un autre participant ayant vu les mêmes décisions. L'effet miroir algorithmique persistait même si les participants appartenaient à la catégorie marginalisée, par exemple en s'identifiant comme femme ou comme Noir.

Les participants à la recherche ont été tout aussi capables de constater des biais dans les algorithmes entraînés sur leurs propres décisions que dans les décisions d’autres personnes. En outre, les participants étaient plus susceptibles de constater l'influence des préjugés raciaux dans les décisions des algorithmes que dans leurs propres décisions, mais ils étaient tout aussi susceptibles de constater l'influence de caractéristiques défendables, comme le nombre d'étoiles, sur les décisions des algorithmes et sur leurs propres décisions. décisions.

Tache aveugle de biais

Les gens voient davantage leurs préjugés dans les algorithmes, car ceux-ci suppriment les angles morts des préjugés. Il est plus facile de déceler les préjugés dans les décisions des autres que dans les vôtres, car vous utilisez des preuves différentes pour les évaluer.

Lorsque vous examinez vos décisions pour rechercher des préjugés, vous recherchez des preuves de préjugés conscients, que vous ayez pensé à la race, au sexe, à l'âge, au statut ou à d'autres caractéristiques injustifiées au moment de prendre une décision. Vous négligez et excusez les préjugés dans vos décisions parce que vous n’avez pas accès à la machinerie associative qui alimente vos jugements intuitifs, où les préjugés se manifestent souvent. Vous pourriez penser :« Je n'ai pas pensé à leur race ou à leur sexe lorsque je les ai embauchés. Je les ai embauchés uniquement sur la base de leur mérite. »

Lorsque vous examinez les décisions des autres pour déceler leur parti pris, vous n'avez pas accès aux processus qu'ils ont utilisés pour prendre ces décisions. Vous examinez donc leurs décisions pour déceler tout parti pris, où le parti pris est évident et plus difficile à excuser. Vous pourriez voir, par exemple, qu'ils n'embauchaient que des hommes blancs.

Les algorithmes suppriment l’angle mort des biais, car vous voyez les algorithmes plus comme vous voyez les autres que vous-même. Les processus de prise de décision des algorithmes sont une boîte noire, semblable à la façon dont les pensées des autres vous sont inaccessibles.

Les participants à notre étude qui étaient les plus susceptibles de démontrer l'angle mort des biais étaient les plus susceptibles de constater plus de biais dans les décisions des algorithmes que dans leurs propres décisions.

Les gens externalisent également les préjugés dans les algorithmes. Voir des préjugés dans les algorithmes est moins menaçant que de voir des préjugés en vous-même, même lorsque les algorithmes sont formés à vos choix. Les gens rejettent la faute sur les algorithmes. Les algorithmes sont formés sur les décisions humaines, mais les gens appellent le biais réfléchi « biais algorithmique ».

Verre correcteur

Nos expériences montrent que les gens sont également plus susceptibles de corriger leurs préjugés lorsqu’ils se reflètent dans les algorithmes. Dans une dernière expérience, nous avons donné aux participants la possibilité de corriger les notes qu'ils avaient évaluées. Nous avons montré à chaque participant ses propres notes, que nous avons attribuées soit au participant, soit à un algorithme entraîné sur ses décisions.

Les participants étaient plus susceptibles de corriger les notes lorsqu’elles étaient attribuées à un algorithme, car ils pensaient que les notes étaient plus biaisées. En conséquence, les notes finales corrigées étaient moins biaisées lorsqu'elles étaient attribuées à un algorithme.

Les biais algorithmiques aux effets pernicieux sont bien documentés. Nos résultats montrent que les biais algorithmiques peuvent être exploités à bon escient. La première étape pour corriger les préjugés est de reconnaître leur influence et leur orientation. En tant que miroirs révélant nos préjugés, les algorithmes peuvent améliorer notre prise de décision.