Une étude de Deb Raji, un étudiant de quatrième année à la Faculté des sciences appliquées et du génie de l'Université de Toronto, et des chercheurs du Massachusetts Institute of Technology soulignent les préjugés raciaux et sexistes trouvés dans les services de reconnaissance faciale.

Raji a passé l'été 2018 en tant que stagiaire au Media Lab du MIT, où elle a audité les technologies commerciales de reconnaissance faciale fabriquées par des entreprises de premier plan telles que Microsoft, IBM et Amazon. Les chercheurs ont découvert que tous avaient tendance à confondre les femmes à la peau plus foncée avec les hommes.

Mais un service en particulier - Amazon's Rekognition - a montré un niveau de biais plus élevé que les autres. Bien qu'il puisse identifier le sexe des hommes à la peau claire avec une précision de près de 100 %, il a classé les femmes à tort comme des hommes 29 % du temps, et les femmes à la peau plus foncée pour les hommes 31 pour cent du temps.

Rekognition a récemment été piloté par la police à Orlando, Floride., utiliser le service dans des scénarios de maintien de l'ordre tels que la numérisation des visages sur les caméras et leur comparaison avec ceux des bases de données criminelles.

"Le fait que la technologie ne caractérise pas bien les visages noirs pourrait conduire à une identification erronée des suspects, " dit Raji. " Amazon est dû à une certaine pression publique, étant donné les scénarios à enjeux élevés dans lesquels ils utilisent cette technologie. »

Avec les progrès rapides et le déploiement de produits d'intelligence artificielle (IA), cette nouvelle étude souligne la nécessité de tester non seulement les performances des systèmes, mais aussi pour les biais potentiels contre les groupes sous-représentés.

Bien que les algorithmes doivent être neutres, Raji explique que parce que les ensembles de données - les informations utilisées pour "former" un modèle d'IA - proviennent d'une société qui est toujours aux prises avec des préjugés quotidiens, ces biais sont intégrés dans les algorithmes.

"Disons que je veux des exemples de ce à quoi ressemble une peau saine. Si vous la recherchez maintenant sur Google, vous verrez surtout des femmes à la peau claire, " dit Raji. " Vous ne verrez pas un homme pendant des pages, et vous ne verriez pas une femme à la peau plus foncée jusqu'à ce que vous fassiez vraiment défiler vers le bas. Si vous intégrez cela dans un modèle d'IA, il adopte cette vision du monde et adapte ses décisions en fonction de ces préjugés."

Ces biais doivent être dénoncés, tout comme on tiendrait une personne pour responsable, dit Raji. « Il y a ce danger accru lorsque vous intégrez ce biais dans un algorithme par rapport à lorsqu'un humain prend une décision préjudiciable. Quelqu'un vous dira que c'est faux, que ce soit le public ou votre patron, " elle dit.

"Avec l'IA, nous avons tendance à nous décharger de cette responsabilité. Personne ne mettra un algorithme en prison."

La passion de Raji pour le sujet des préjugés dans l'apprentissage automatique vient de son temps en tant qu'étudiante de l'année d'expérience professionnelle (PEY Co-op) à la startup d'IA Clarifai, où le sujet de l'IA et de l'éthique était régulièrement discuté au sein de l'entreprise axée sur la recherche.

"C'est quelque chose que l'entreprise a remarqué et a été très explicite à propos de l'adressage, et c'est un sujet qui m'a personnellement touché car je fais partie d'une minorité visible, " elle dit.

Cela découle également de ses propres expériences personnelles avec les technologies à préjugés raciaux. "Je construisais quelque chose lors d'un hackathon et je me demandais pourquoi il ne pouvait pas détecter mon visage, ou pourquoi un robinet automatique ne peut pas détecter ma main, " elle dit.

Raji a partagé ses expériences avec une informaticienne et une activiste numérique, Joy Buolamwini, au Media Lab du MIT. Cela a conduit au stage, et à Raji de devenir l'auteur principal d'un article qu'elle a présenté à la conférence de l'Association pour l'avancement de l'intelligence artificielle sur l'éthique et la société de l'IA.

"Je sais qu'on dirait que j'ai écrit un article de recherche en trois mois, " dit Raji. " Mais ce problème s'infiltre en moi depuis bien plus longtemps. "

Raji termine actuellement son dernier trimestre en sciences de l'ingénieur et dirige une initiative dirigée par des étudiants appelée Project Include, qui forme des étudiants à enseigner la programmation informatique dans les quartiers à faible revenu de Toronto et de Mississauga. Elle est également mentorée chez Google AI. Dans le cadre du programme de mentorat, elle travaille sur une nouvelle thèse qui se concentre sur des solutions pratiques pour responsabiliser les entreprises.

« Les gens minimisent parfois l'urgence en disant :'Bien, L'IA est tellement nouvelle, ' », dit Raji. « Mais si vous construisez un pont, l'industrie vous permettrait-elle de prendre des raccourcis et de faire ce genre d'excuses ? »