Un nouvel outil d'intelligence artificielle (IA) pour détecter la discrimination injuste, par exemple sur la base de la race ou du sexe, a été créé par des chercheurs de Penn State et de l'Université Columbia.

Prévenir le traitement injuste des individus sur la base de la race, le sexe ou l'origine ethnique, par exemple, une préoccupation de longue date des sociétés civilisées. Cependant, détecter de telles discriminations résultant de décisions, que ce soit par des décideurs humains ou des systèmes d'IA automatisés, peut être extrêmement difficile. Ce défi est encore exacerbé par l'adoption généralisée de systèmes d'IA pour automatiser les décisions dans de nombreux domaines, notamment la police, crédit à la consommation, l'enseignement supérieur et les entreprises.

« Les systèmes d'intelligence artificielle, tels que ceux impliqués dans la sélection des candidats à un emploi ou à l'admission dans une université, sont formés sur de grandes quantités de données, " dit Vasant Honavar, Professeur et Chaire Edward Frymoyer des sciences et technologies de l'information, État de Penn. "Mais si ces données sont biaisées, ils peuvent affecter les recommandations des systèmes d'IA."

Par exemple, il a dit, si une entreprise n'a jamais embauché une femme pour un type de travail particulier, alors un système d'IA formé sur ces données historiques ne recommandera pas une femme pour un nouvel emploi.

"Il n'y a rien de mal avec l'algorithme d'apprentissage automatique lui-même, " dit Honavar. " Il fait ce qu'il est censé faire, qui consiste à identifier les bons candidats à l'emploi en fonction de certaines caractéristiques souhaitables. Mais comme il a été formé sur l'historique, données biaisées, il a le potentiel de faire des recommandations injustes."

L'équipe a créé un outil d'IA pour détecter la discrimination par rapport à un attribut protégé, comme la race ou le sexe, par des décideurs humains ou des systèmes d'IA basés sur le concept de causalité dans lequel une chose - une cause - provoque une autre chose - un effet.

"Par exemple, la question, « Y a-t-il une discrimination fondée sur le sexe dans les salaires ? » peut être recadré comme, « Le genre a-t-il un effet causal sur le salaire ?, ' ou en d'autres termes, « Une femme serait-elle mieux payée si elle était un homme ? dit Aria Khademi, étudiant diplômé en sciences et technologies de l'information, État de Penn.

Puisqu'il n'est pas possible de connaître directement la réponse à une question aussi hypothétique, l'outil de l'équipe utilise des algorithmes d'inférence contrefactuels sophistiqués pour arriver à une meilleure estimation.

"Par exemple, " dit Khadémi, « un moyen intuitif d'estimer au mieux ce que serait un salaire équitable pour une femme est de trouver un homme qui soit similaire à la femme en ce qui concerne les qualifications, productivité et expérience. Nous pouvons minimiser la discrimination salariale fondée sur le sexe si nous veillons à ce que des hommes et des femmes similaires reçoivent des salaires similaires. »

Les chercheurs ont testé leur méthode en utilisant différents types de données disponibles, telles que les données sur les revenus du Bureau du recensement des États-Unis pour déterminer s'il existe une discrimination fondée sur le sexe dans les salaires. Ils ont également testé leur méthode à l'aide des données du programme Stop and Frisk du département de police de la ville de New York pour déterminer s'il existe une discrimination à l'encontre des personnes de couleur lors des arrestations effectuées après les contrôles. Les résultats ont été publiés en mai dans Actes de la conférence Web 2019.

« Nous avons analysé un ensemble de données sur le revenu des adultes contenant le salaire, informations démographiques et professionnelles pour près de 50 personnes, 000 personnes, " a déclaré Honavar. "Nous avons trouvé des preuves de discrimination fondée sur le sexe dans les salaires. Spécifiquement, nous avons constaté que les chances qu'une femme touche un salaire supérieur à 50 $, 000 par an ne représente qu'un tiers de celui d'un homme. Cela suggérerait que les employeurs devraient rechercher et corriger, le cas échéant, les préjugés sexistes dans les salaires."

Bien que l'analyse par l'équipe de l'ensemble de données d'arrêt et de fouille de New York - qui contient des informations démographiques et autres sur les conducteurs arrêtés par la police de New York - ait révélé des preuves d'un possible préjugé racial contre les Hispaniques et les Afro-américains, il n'a trouvé aucune preuve de discrimination à leur encontre en moyenne en tant que groupe.

"Vous ne pouvez pas corriger un problème si vous ne savez pas que le problème existe, " a déclaré Honavar. " Pour éviter la discrimination sur la base de la race, genre ou d'autres attributs, vous avez besoin d'outils efficaces pour détecter la discrimination. Notre outil peut vous y aider."

Honavar a ajouté qu'à mesure que les systèmes d'intelligence artificielle basés sur les données déterminent de plus en plus comment les entreprises ciblent les publicités auprès des consommateurs, comment les services de police surveillent les individus ou les groupes pour les activités criminelles, comment les banques décident qui obtient un prêt, qui les employeurs décident d'embaucher, et comment les collèges et les universités décident qui est admis ou reçoit une aide financière, il y a un besoin urgent d'outils comme celui que lui et ses collègues ont développé.

"Notre outil, " il a dit, « peuvent contribuer à garantir que de tels systèmes ne deviennent pas des instruments de discrimination, obstacles à l'égalité, menaces à la justice sociale et sources d'injustice.