La carte thermique montre les fréquences relatives des répondants qui ont évalué un scénario comme « Passable » (c'est-à-dire « Assez juste » ou « Très juste »). L'échelle de couleurs est centrée sur la cote d'équité moyenne de toutes les expériences. Crédit :Patterns/Gordon et Kern et al.
Aujourd'hui, l'apprentissage automatique aide à déterminer le prêt auquel nous avons droit, le travail que nous obtenons et même qui va en prison. Mais lorsqu'il s'agit de ces décisions potentiellement bouleversantes, les ordinateurs peuvent-ils faire un choix équitable ? Dans une étude publiée le 29 septembre dans la revue Patterns , des chercheurs allemands ont montré qu'avec une supervision humaine, les gens pensent que la décision d'un ordinateur peut être aussi juste qu'une décision prise principalement par des humains.
"Une grande partie de la discussion sur l'équité dans l'apprentissage automatique s'est concentrée sur les solutions techniques, comme la façon de réparer les algorithmes injustes et de rendre les systèmes équitables", déclare Ruben Bach, spécialiste des sciences sociales et co-auteur de l'Université de Mannheim, en Allemagne. "Mais notre question est la suivante :qu'est-ce que les gens pensent être juste ? Il ne s'agit pas seulement de développer des algorithmes. Ils doivent être acceptés par la société et répondre aux croyances normatives du monde réel."
La prise de décision automatisée, où une conclusion est tirée uniquement par un ordinateur, excelle dans l'analyse de grands ensembles de données pour détecter des modèles. Les ordinateurs sont souvent considérés comme objectifs et neutres par rapport aux humains, dont les préjugés peuvent obscurcir les jugements. Pourtant, les préjugés peuvent s'infiltrer dans les systèmes informatiques à mesure qu'ils apprennent à partir de données qui reflètent des modèles discriminatoires dans notre monde. Comprendre l'équité dans les décisions informatiques et humaines est essentiel pour construire une société plus équitable.
Pour comprendre ce que les gens considèrent comme juste sur la prise de décision automatisée, les chercheurs ont interrogé 3 930 personnes en Allemagne. Les chercheurs leur ont donné des scénarios hypothétiques liés aux systèmes de banque, d'emploi, de prison et de chômage. Dans les scénarios, ils ont ensuite comparé différentes situations, y compris si la décision conduit à un résultat positif ou négatif, d'où proviennent les données d'évaluation et qui prend la décision finale :humain, ordinateur ou les deux.
"Comme prévu, nous avons constaté que la prise de décision entièrement automatisée n'était pas favorisée", déclare Christoph Kern, spécialiste des sciences sociales et co-premier auteur, de l'Université de Mannheim. "Mais ce qui était intéressant, c'est que lorsque vous avez une supervision humaine sur la prise de décision automatisée, le niveau d'équité perçue devient similaire à la prise de décision centrée sur l'homme." Les résultats ont montré que les gens perçoivent une décision comme plus juste lorsque les humains sont impliqués.
Les gens étaient également plus préoccupés par l'équité lorsqu'il s'agissait de décisions liées au système de justice pénale ou aux perspectives d'emploi, où les enjeux sont plus importants. Considérant peut-être que le poids des pertes est supérieur au poids des gains, les participants ont jugé les décisions qui peuvent conduire à des résultats positifs plus justes que les décisions négatives. Par rapport aux systèmes qui s'appuient uniquement sur des données liées à des scénarios, ceux qui s'appuient sur des données supplémentaires non liées provenant d'Internet ont été considérés comme moins équitables, ce qui confirme l'importance de la transparence et de la confidentialité des données. Ensemble, les résultats ont montré que le contexte compte. Les systèmes de prise de décision automatisés doivent être soigneusement conçus lorsque des problèmes d'équité se posent.
Bien que les situations hypothétiques de l'enquête puissent ne pas se traduire entièrement dans le monde réel, l'équipe réfléchit déjà aux prochaines étapes pour mieux comprendre l'équité. Ils prévoient d'approfondir l'étude pour comprendre comment différentes personnes définissent l'équité. Ils souhaitent également utiliser des enquêtes similaires pour poser davantage de questions sur des idées telles que la justice distributive, l'équité de l'allocation des ressources au sein de la communauté.
"D'une certaine manière, nous espérons que les gens de l'industrie pourront considérer ces résultats comme matière à réflexion et comme des éléments à vérifier avant de développer et de déployer un système de prise de décision automatisé", déclare Bach. "Nous devons également nous assurer que les gens comprennent comment les données sont traitées et comment les décisions sont prises en fonction de celles-ci." Les illusions morales peuvent modifier notre comportement
