Et si ce n'était pas une mauvaise chose ?

Une nouvelle recherche menée par Carey Morewedge, professeur de marketing à la Questrom School of Business de l'Université de Boston et chercheur émérite d'Everett W. Lord, a révélé que les gens reconnaissent davantage leurs préjugés dans les décisions des algorithmes que dans les leurs, même lorsque ces décisions sont les mêmes. même. La recherche, publiée dans les Actes de l'Académie nationale des sciences , suggère des moyens par lesquels la sensibilisation pourrait aider les décideurs humains à reconnaître et à corriger leurs préjugés.

"Un problème social est que les algorithmes apprennent et, à grande échelle, introduisent des biais dans les décisions humaines sur lesquelles ils ont été formés", explique Morewedge, qui préside également le département marketing de Questrom. Par exemple :en 2015, Amazon a testé (et a rapidement abandonné) un algorithme pour aider ses responsables du recrutement à filtrer les candidats. Ils ont constaté que le programme renforçait les curriculum vitae qu'il pensait provenir de candidats masculins et dévalorisait ceux des candidates féminines, un cas évident de préjugé sexiste.

Mais la même année, seulement 39 % des effectifs d’Amazon étaient des femmes. Si l'algorithme avait été formé sur les données d'embauche existantes d'Amazon, il n'est pas étonnant qu'il ait donné la priorité aux candidats masculins – Amazon l'était déjà. Si son algorithme comportait un préjugé sexiste, "c'est parce que les managers d'Amazon étaient partiaux dans leurs décisions d'embauche", explique Morewedge.

"Les algorithmes peuvent codifier et amplifier les préjugés humains, mais ils révèlent également les préjugés structurels de notre société", dit-il. "De nombreux préjugés ne peuvent pas être observés au niveau individuel. Il est difficile de prouver un parti pris, par exemple, dans une seule décision d'embauche. Mais lorsque nous additionnons les décisions au sein et entre les personnes, comme nous le faisons lors de la construction d'algorithmes, cela peut révéler des biais structurels dans nos systèmes et nos organisations."

Morewedge et ses collaborateurs, Begüm Çeliktutan et Romain Cadario, tous deux de l'Université Erasmus aux Pays-Bas, ont conçu une série d'expériences conçues pour démystifier les préjugés sociaux des gens (notamment le racisme, le sexisme et l'âgisme).

L'équipe a ensuite comparé la reconnaissance par les participants à la recherche de la façon dont ces préjugés ont influencé leurs propres décisions par rapport aux décisions prises par un algorithme. Dans les expériences, les participants ont parfois vu les décisions de véritables algorithmes. Mais il y avait un piège :d'autres fois, les décisions attribuées aux algorithmes étaient en réalité des choix déguisés des participants.

Dans l’ensemble, les participants étaient plus susceptibles de constater des biais dans les décisions qu’ils pensaient provenir des algorithmes que dans leurs propres décisions. Les participants ont également constaté autant de biais dans les décisions des algorithmes que dans celles des autres personnes. (Les gens reconnaissent généralement mieux les préjugés chez les autres qu'en eux-mêmes, un phénomène appelé « angle mort des préjugés ».) Les participants étaient également plus susceptibles de corriger les préjugés dans ces décisions après coup, une étape cruciale pour minimiser les préjugés à l'avenir.

Les algorithmes suppriment l'angle mort du biais

Les chercheurs ont mené des groupes de participants, soit plus de 6 000 au total, à travers neuf expériences. Dans la première, les participants ont évalué un ensemble d'annonces Airbnb, qui comprenaient quelques informations sur chaque annonce :sa note moyenne en étoiles (sur une échelle de 1 à 5) et le nom de l'hôte. Les chercheurs ont attribué ces listes fictives à des hôtes dont les noms étaient « distinctement afro-américains ou blancs », sur la base de recherches antérieures identifiant des préjugés raciaux, selon le journal. Les participants ont évalué leur probabilité de louer chaque logement.

Dans la seconde moitié de l'expérience, les participants ont été informés d'un résultat de recherche expliquant comment la race de l'hôte pouvait biaiser les notes. Ensuite, les chercheurs ont montré aux participants un ensemble de notes et leur ont demandé d'évaluer (sur une échelle de 1 à 7) la probabilité qu'un biais ait influencé les notes.

Les participants ont vu soit leur propre note qui leur était renvoyée, soit leur propre note sous le couvert d'un algorithme, leur propre note sous le couvert de celle de quelqu'un d'autre, ou une véritable note d'un algorithme basée sur leurs préférences.

Les chercheurs ont répété cette configuration plusieurs fois, testant les biais liés à la race, au sexe, à l’âge et à l’attractivité dans les profils des chauffeurs Lyft et des hôtes Airbnb. À chaque fois, les résultats étaient cohérents. Les participants qui pensaient avoir vu les notes d'un algorithme ou celles de quelqu'un d'autre (qu'elles l'aient réellement été ou non) étaient plus susceptibles de percevoir un biais dans les résultats.

Morewedge attribue cela aux différentes preuves que nous utilisons pour évaluer les préjugés chez les autres et les préjugés en nous-mêmes. Puisque nous avons un aperçu de notre propre processus de pensée, dit-il, nous sommes plus susceptibles de retracer notre réflexion et de décider qu'elle n'était pas biaisée, peut-être motivée par un autre facteur qui a influencé nos décisions. Cependant, lorsque nous analysons les décisions d'autres personnes, tout ce que nous devons juger, c'est le résultat.

"Disons que vous organisez un panel de conférenciers pour un événement", explique Morewedge. "Si tous ces intervenants sont des hommes, vous pourriez dire que le résultat n'est pas le résultat de préjugés sexistes, car vous ne pensiez même pas au genre lorsque vous avez invité ces intervenants. Mais si vous assistiez à cet événement et voyiez un panel de tous -les locuteurs masculins, vous êtes plus susceptible de conclure qu'il y a eu des préjugés sexistes dans la sélection."

En effet, dans l’une de leurs expériences, les chercheurs ont découvert que les participants qui étaient plus sujets à cet angle mort de biais étaient également plus susceptibles de constater des biais dans les décisions attribuées aux algorithmes ou à d’autres que dans leurs propres décisions. Dans une autre expérience, ils ont découvert que les gens voyaient plus facilement leurs propres décisions influencées par des facteurs relativement neutres ou raisonnables, comme le nombre d'étoiles d'un hôte Airbnb, par rapport à un préjugé préjudiciable, comme la race, peut-être parce qu'admettre préférer un score de cinq étoiles La location d'étoiles n'est pas aussi menaçante pour l'estime de soi ou pour la façon dont les autres pourraient nous percevoir, suggère Morewedge.

Les algorithmes comme miroirs : voir et corriger les préjugés humains

Dans l'expérience finale des chercheurs, ils ont donné aux participants la possibilité de corriger les biais dans leurs évaluations ou dans les évaluations d'un algorithme (réel ou non). Les gens étaient plus susceptibles de corriger les décisions de l'algorithme, ce qui réduisait le biais réel dans ses évaluations.

Il s'agit d'une étape cruciale pour Morewedge et ses collègues, dit-il. Pour toute personne motivée à réduire les préjugés, être capable de les constater est la première étape. Leurs recherches montrent que les algorithmes peuvent être utilisés comme des miroirs :un moyen d'identifier les préjugés même lorsque les gens ne peuvent pas les voir en eux-mêmes.

"À l'heure actuelle, je pense que la littérature sur les biais algorithmiques est sombre", déclare Morewedge. "Beaucoup d'entre eux disent que nous devons développer des méthodes statistiques pour réduire les préjugés dans les algorithmes. Mais une partie du problème réside dans le fait que les préjugés proviennent des personnes. Nous devrions travailler à améliorer les algorithmes, mais nous devrions également travailler à nous rendre moins biaisés.

"Ce qui est passionnant dans ce travail, c'est qu'il montre que les algorithmes peuvent codifier ou amplifier les préjugés humains, mais que les algorithmes peuvent également être des outils pour aider les gens à mieux voir leurs propres préjugés et à les corriger", dit-il. "Les algorithmes sont une arme à double tranchant. Ils peuvent être un outil qui amplifie nos pires tendances. Et les algorithmes peuvent être un outil qui peut nous aider à nous améliorer."