Nos vies sont de plus en plus affectées par les algorithmes. Les gens peuvent se voir refuser des prêts, travaux, Conditions d'assurance, voire la libération conditionnelle sur la base des scores de risque qu'ils produisent.

Pourtant, les algorithmes sont notoirement sujets aux biais. Par exemple, les algorithmes utilisés pour évaluer le risque de récidive criminelle ont souvent des taux d'erreur plus élevés dans les groupes ethniques minoritaires. Comme ProPublica l'a découvert, l'algorithme COMPAS – largement utilisé pour prédire la récidive dans le système de justice pénale américain – avait un taux de faux positifs plus élevé chez les Noirs que chez les Blancs; les Noirs étaient plus susceptibles d'être prédit à tort de récidiver.

De telles découvertes ont conduit certains à prétendre que les algorithmes sont injustes ou discriminatoires. En réponse, Les chercheurs en IA ont cherché à produire des algorithmes qui évitent, ou au moins minimiser, injustice, par exemple, en égalisant les taux de faux positifs entre les groupes raciaux. Récemment, un groupe du MIT a indiqué qu'il avait développé une nouvelle technique pour éliminer les biais des algorithmes sans compromettre la précision. Mais corriger les algorithmes est-il le meilleur moyen de lutter contre les injustices ?

Cela dépend du genre d'équité que nous recherchons. Les philosophes moraux et politiques opposent souvent deux types d'équité :procédurale et substantielle. Une police d'écriture, procédure, ou plan d'action, est équitable sur le plan procédural lorsqu'il est équitable indépendamment des résultats qu'il entraîne. La décision d'un arbitre de football peut être juste, indépendamment de la façon dont cela affecte le résultat du jeu, simplement parce que la décision a été prise sur la base d'une application impartiale des règles. Ou le traitement d'un parent de ses deux enfants peut être juste parce qu'il ne manifeste aucune partialité ou favoritisme, même si cela a pour résultat que la vie d'un enfant se passe beaucoup mieux que celle de l'autre.

Par contre, quelque chose qui est substantiellement juste produit des résultats justes. Supposons qu'un arbitre de football accorde une pénalité légère à une équipe qui est menée 1-0 parce qu'elle pense que l'avance de l'autre équipe est le résultat d'un pur hasard. Par conséquent, le match se termine par un match nul 1-1. Cette décision semble inéquitable sur le plan procédural – l'arbitre applique les règles de manière moins stricte à une équipe qu'à l'autre. Mais si un match nul reflète la performance relative des deux équipes, cela peut être substantiellement juste.

Alternativement, imaginez qu'une mère et un père favorisent des enfants différents. Chaque parent traite injustement l'enfant défavorisé, au sens procédural. Mais si le résultat final est que les deux enfants reçoivent un amour égal, alors leurs actions peuvent être substantiellement justes.

Qu'est-ce qui est juste ?

Les chercheurs en IA soucieux d'équité ont, pour la plupart, se sont concentrés sur le développement d'algorithmes qui sont procéduralement équitables - équitables en raison des caractéristiques des algorithmes eux-mêmes, pas les effets de leur déploiement. Mais que se passe-t-il si c'est l'équité substantielle qui compte vraiment ?

Il existe généralement une tension entre l'équité procédurale et l'exactitude – les tentatives pour atteindre les formes d'équité procédurale les plus couramment préconisées augmentent le taux d'erreur global de l'algorithme. Prenez l'algorithme COMPAS par exemple. Si nous égalisions les taux de faux positifs entre les Noirs et les Blancs en ignorant les prédicteurs de récidive qui avaient tendance à être possédés de manière disproportionnée par les Noirs, le résultat probable serait une perte de précision globale, avec plus de personnes prédites à tort de récidiver, ou ne pas récidiver.

Nous pourrions éviter ces difficultés si nous nous concentrions sur l'équité substantielle plutôt que procédurale et si nous concevions simplement des algorithmes pour maximiser la précision, tout en bloquant ou en compensant simultanément tout effet substantiellement injuste que ces algorithmes pourraient avoir. Par exemple, au lieu d'essayer de garantir que les erreurs de prédiction de la criminalité affectent également les différents groupes raciaux - un objectif qui peut de toute façon être inaccessible - nous pourrions à la place nous assurer que ces algorithmes ne sont pas utilisés de manière à désavantager les personnes à haut risque. Nous pourrions proposer aux personnes considérées comme « à haut risque » des traitements de réadaptation plutôt que, dire, les soumettant à une nouvelle incarcération.

Alternativement, nous pourrions prendre des mesures pour compenser la tendance d'un algorithme à attribuer un risque plus élevé à certains groupes qu'à d'autres - en proposant des programmes de réadaptation réduisant les risques de préférence aux Noirs, par exemple.

Viser une équité substantielle en dehors de la conception de l'algorithme laisserait les concepteurs d'algorithmes libres de se concentrer sur la maximisation de la précision, avec équité laissée aux régulateurs de l'État, avec une contribution experte et démocratique. Cette approche a été couronnée de succès dans d'autres domaines. En médecine, par exemple, les médecins se concentrent sur la promotion du bien-être de leurs patients tandis que les bailleurs de fonds et les décideurs politiques promeuvent une répartition équitable des ressources de santé entre les patients.

En substance ou en procédure

Bien sûr, la plupart d'entre nous hésiteraient à renoncer complètement à l'équité procédurale. Si un arbitre sanctionne chaque infraction mineure par une équipe, tout en laissant un autre s'en tirer avec des fautes majeures, nous penserions que quelque chose s'est mal passé – même si la bonne équipe gagne. Si un juge ignore tout ce que dit un défendeur et écoute attentivement le plaignant, nous penserions que c'était injuste, même si le défendeur est un milliardaire de la jet-set qui, même s'il est reconnu coupable, être bien mieux loti qu'un plaignant plus méritant.

Nous nous soucions de l'équité procédurale. Pourtant, l'équité substantielle compte souvent plus - au moins, beaucoup d'entre nous ont des intuitions qui semblent être cohérentes avec cela. Certains d'entre nous pensent que les présidents et les monarques devraient avoir le pouvoir discrétionnaire d'offrir des grâces aux délinquants condamnés, même si cela applique les règles juridiques de manière incohérente - en laissant certains, mais pas les autres, décroché. Pourquoi penser que c'est justifié ? Peut-être parce que les pardons contribuent à assurer une équité substantielle lorsque des processus équitables sur le plan procédural entraînent des conséquences injustement sévères.

Beaucoup d'entre nous pensent également que la discrimination positive est justifiée, même quand il a l'air, toute en face, être inéquitable sur le plan procédural, car il accorde une plus grande considération à certains groupes qu'à d'autres. Peut-être tolérons-nous cette injustice parce que, en atténuant les effets de l'oppression passée, l'action positive tend à promouvoir l'équité réelle.

Si l'équité substantielle importe généralement plus que l'équité procédurale, contrer les algorithmes biaisés par des modifications de la conception algorithmique n'est peut-être pas le meilleur chemin vers l'équité après tout.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.