L'équité algorithmique est de plus en plus importante car, à mesure que de plus en plus de décisions de plus grande importance sont prises par des programmes informatiques, le potentiel de préjudice augmente. Aujourd'hui, les algorithmes sont déjà largement utilisés pour déterminer les cotes de crédit, ce qui peut faire la différence entre posséder une maison et en louer une. Et ils sont utilisés dans la police prédictive, qui suggère une probabilité qu'un crime soit commis, et en notant la probabilité qu'un criminel commette un autre crime à l'avenir, qui influe sur la sévérité de la peine.

C'est un problème, dit Adam Smith, professeur d'informatique à l'université de Boston, car la conception de nombreux algorithmes est loin d'être transparente.

« Beaucoup de ces systèmes sont conçus par des entreprises privées et leurs détails sont exclusifs, " dit Smith, qui est également membre de la faculté des sciences des données à l'Institut Hariri pour l'informatique. "Il est difficile de savoir ce qu'ils font et qui est responsable des décisions qu'ils prennent."

Récemment, Smith et une équipe conjointe d'informaticiens BU-MIT ont réexaminé ce problème, en espérant apprendre quoi, si quoi que ce soit, peut être fait pour comprendre et minimiser les biais des systèmes de prise de décision qui dépendent de programmes informatiques.

Les chercheurs de la BU—Smith, Ran Canetti, professeur d'informatique et directeur du Centre pour les systèmes d'information fiables et la cybersécurité de l'Institut Hariri, et Sarah Scheffler (GRS'21), un doctorant en informatique - travaillent avec le MIT Ph.D. étudiants Aloni Cohen, Nishanth Dikkala, et Govind Ramnarayan pour concevoir des systèmes dont les décisions concernant tous les sous-ensembles de la population sont également exactes.

Leur travail a récemment été accepté pour publication lors de la prochaine conférence 2019 de l'Association for Computing Machinery sur l'équité, Responsabilité, et la transparence, surnommé "ACM FAT".

Les chercheurs croient qu'un système qui discrimine les personnes qui ont eu du mal à établir des antécédents de crédit perpétuera cette difficulté, limiter les opportunités pour un sous-ensemble de la population et préserver les inégalités existantes. Qu'est-ce que cela signifie, ils disent, est que les systèmes de classement automatisés peuvent facilement devenir des prophéties autoréalisatrices, qu'ils classent la probabilité de défaut d'une hypothèque ou la qualité d'une éducation universitaire.

« Les systèmes automatisés sont de plus en plus complexes, et ils sont souvent difficiles à comprendre pour les laïcs et pour les personnes au sujet desquelles des décisions sont prises, " dit Smith.

Le problème des prédictions auto-réalisatrices

"L'interaction entre l'algorithme et le comportement humain est telle que si vous créez un algorithme et le laissez fonctionner, il peut créer une société différente parce que les humains interagissent avec elle, " dit Canetti. " Vous devez donc faire très attention à la façon dont vous concevez l'algorithme. "

Ce problème, disent les chercheurs, s'aggravera à mesure que les futurs algorithmes utiliseront plus de sorties d'algorithmes antérieurs comme entrées.

« Une fois que vous avez le même programme informatique qui prend beaucoup de décisions, les biais qui existent sont reproduits plusieurs fois à plus grande échelle, " Smith dit. " Vous obtenez le potentiel d'un vaste changement sociétal causé par un programme informatique. "

Mais comment exactement un algorithme, qui est fondamentalement une fonction mathématique, être partial ?

Scheffler suggère deux manières :« Une méthode consiste à utiliser des données biaisées, " dit-elle. " Si votre algorithme est basé sur des données historiques, il apprendra bientôt qu'une institution particulière préfère accepter les hommes plutôt que les femmes. Une autre façon est qu'il y a des précisions différentes sur différentes parties de la population, alors peut-être qu'un algorithme est vraiment bon pour déterminer si les Blancs méritent un prêt, mais cela pourrait avoir un taux d'erreur élevé pour les personnes qui ne sont pas blanches. Il pourrait avoir une précision de 90 % sur un ensemble de la population et de 50 % sur un autre ensemble."

"C'est ce que nous regardons, " dit Smith. "Nous demandons 'Comment le système fait-il des erreurs ?' et 'Comment ces erreurs sont-elles réparties entre les différentes parties de la population ?'"

L'impact réel du biais algorithmique

En mai 2016, journalistes de ProPublica, une salle de presse d'investigation à but non lucratif, examiné l'exactitude de COMPAS, l'un des nombreux outils algorithmiques utilisés par les systèmes judiciaires pour prédire la récidive, ou la probabilité qu'un prévenu commette un autre crime. Les premiers constats n'étaient pas rassurants.

Lorsque les chercheurs de ProPublica ont comparé le risque de récidive prévu par l'outil avec les taux de récidive réels au cours des deux années suivantes, ils ont trouvé que, en général, COMPAS a fait les choses correctement dans 61 % des cas. Ils ont également constaté que les prédictions de récidive violente n'étaient correctes que dans 20 % des cas.

Plus troublant, ils ont constaté que les accusés noirs étaient beaucoup plus susceptibles que les accusés blancs d'être considérés à tort comme plus susceptibles de commettre à nouveau un crime, et les accusés blancs étaient plus susceptibles que les accusés noirs d'être considérés à tort comme présentant un faible risque de récidive. Selon l'article de ProPublica, il s'agissait d'une démonstration claire du biais de l'algorithme.

En réponse, Northpointe inc., le créateur de COMPAS, a publié une autre étude qui a fait valoir que l'algorithme COMPAS est en fait juste selon une mesure statistique différente du biais :le calibrage. Le logiciel de Northpointe est largement utilisé, et comme de nombreux outils algorithmiques, ses calculs sont propriétaires, mais la société a dit à ProPublica que sa formule pour prédire qui récidivera est dérivée des réponses à 137 questions dont les réponses proviennent soit des accusés, soit des casiers judiciaires.

L'étude de Northpointe a révélé que pour chaque score de risque, la fraction de prévenus blancs qui ont reçu ce score et ont récidivé (parmi tous les prévenus blancs qui ont reçu ce score) est à peu près égale à la fraction de prévenus noirs qui ont reçu ce score et ont récidivé, sur tous les accusés noirs qui ont reçu ce score.

"ProPublica et Northpointe sont parvenus à des conclusions différentes dans leurs analyses de l'équité de COMPAS. Cependant, leurs deux méthodes étaient mathématiquement solides - l'opposition résidait dans leurs différentes définitions de l'équité, " dit Scheffler.

L'essentiel est que tout mécanisme de prédiction imparfait (qu'il soit algorithmique ou humain) sera biaisé selon au moins l'une des deux approches :l'approche d'équilibrage des erreurs utilisée par ProPublica, et la méthode d'étalonnage privilégiée par Northpointe.

Surmonter les biais algorithmiques

Lorsqu'il s'agissait de résoudre le problème du biais algorithmique, l'équipe de recherche BU-MIT a créé une méthode d'identification du sous-ensemble de la population que le système ne juge pas équitablement, et envoyer leur avis à un système différent qui est moins susceptible d'être biaisé. Cette séparation garantit que la méthode se trompe de manière plus équilibrée en ce qui concerne les individus pour lesquels elle prend une décision.

Et tandis que les chercheurs ont trouvé de nombreuses situations où cette solution semblait bien fonctionner, ils restent préoccupés par la façon dont les différents systèmes fonctionneraient ensemble. « Il existe de nombreuses mesures d'équité différentes, " dit Scheffler, « et il y a des compromis entre eux. Alors, dans quelle mesure les deux systèmes sont-ils compatibles avec la notion d'équité que nous voulons atteindre ? »

« Ce qui arrive à ces personnes dont les décisions seraient différées influence vraiment la façon dont nous considérons le système dans son ensemble, " dit Smith. " A ce stade, nous réfléchissons toujours à ce que signifieraient les différentes solutions. »

Toujours, dit Canetti, la recherche indique une issue possible à l'énigme du biais statistique, celui qui pourrait permettre la conception d'algorithmes qui minimisent le biais. Ce défi, il dit, nécessitera l'expertise de nombreuses disciplines.