En 2020, la police de Detroit a arrêté un homme noir pour avoir volé à l'étalage près de 4 000 $ de montres dans une boutique haut de gamme. Il a été menotté devant sa famille et a passé une nuit en prison. Après quelques interrogatoires, cependant, il est devenu clair qu'ils avaient la mauvaise personne. Alors pourquoi l'ont-ils arrêté en premier lieu ?

La raison :un algorithme de reconnaissance faciale avait fait correspondre la photo sur son permis de conduire à des images de caméra de sécurité granuleuses.

Les algorithmes de reconnaissance faciale, dont il a été démontré à maintes reprises qu'ils sont moins précis pour les personnes à la peau plus foncée, ne sont qu'un exemple de la façon dont les préjugés raciaux sont reproduits et perpétués par les technologies émergentes.

"Il y a une urgence car l'IA est utilisée pour prendre des décisions à très gros enjeux", déclare le professeur invité MLK S. Craig Watkins, dont le siège universitaire pour son séjour au MIT est l'Institute for Data, Systems, and Society (IDSS). "Les enjeux sont plus importants car les nouveaux systèmes peuvent reproduire les biais historiques à grande échelle."

Watkins, professeur à l'Université du Texas à Austin et directeur fondateur de l'Institute for Media Innovation, étudie les impacts des médias et des systèmes basés sur les données sur le comportement humain, avec une concentration particulière sur les problèmes liés au racisme systémique. "L'une des questions fondamentales du travail est la suivante :comment construire des modèles d'IA qui traitent plus efficacement les inégalités systémiques ?"

IA éthique

L'inégalité est perpétuée par la technologie de nombreuses façons dans de nombreux secteurs. Un vaste domaine est celui des soins de santé, où Watkins dit que l'inégalité se manifeste à la fois dans la qualité et l'accès aux soins. La demande de soins de santé mentale, par exemple, dépasse de loin la capacité des services aux États-Unis. Cette demande a été exacerbée par la pandémie et l'accès aux soins est plus difficile pour les communautés de couleur.

Pour Watkins, éliminer les biais de l'algorithme n'est qu'un élément de la construction d'une IA plus éthique. Il travaille également au développement d'outils et de plates-formes qui peuvent s'attaquer de front aux inégalités en dehors de la technologie. Dans le cas de l'accès à la santé mentale, cela implique de développer un outil pour aider les prestataires de santé mentale à fournir des soins plus efficacement.

"Nous construisons une plate-forme de collecte de données en temps réel qui examine les activités et les comportements et tente d'identifier les modèles et les contextes dans lesquels certains états mentaux émergent", explique Watkins. "L'objectif est de fournir des informations fondées sur des données aux prestataires de soins afin de fournir des services à plus fort impact."

Watkins n'est pas étranger aux problèmes de confidentialité qu'une telle application soulèverait. Il adopte une approche du développement centrée sur l'utilisateur et fondée sur l'éthique des données. "Les droits sur les données sont un élément important", affirme-t-il. "Vous devez donner à l'utilisateur un contrôle total sur la manière dont ses données sont partagées et utilisées et sur les données qu'un prestataire de soins voit. Personne d'autre n'y a accès."

Lutter contre le racisme systémique

Ici au MIT, Watkins a rejoint l'Initiative sur la lutte contre le racisme systémique (ICSR) récemment lancée, une collaboration de recherche IDSS qui rassemble des professeurs et des chercheurs du MIT Stephen A. Schwarzman College of Computing et au-delà. L'objectif de l'ICSR est de développer et d'exploiter des outils informatiques qui peuvent aider à effectuer un changement structurel et normatif vers l'équité raciale.

La collaboration ICSR a des équipes de projet distinctes qui étudient le racisme systémique dans différents secteurs de la société, y compris les soins de santé. Chacune de ces « verticales » aborde des problèmes différents mais interconnectés, de la durabilité à l'emploi en passant par les jeux. Watkins fait partie de deux groupes ICSR, police et logement, qui visent à mieux comprendre les processus qui conduisent à des pratiques discriminatoires dans les deux secteurs. "La discrimination dans le logement contribue de manière significative à l'écart de richesse raciale aux États-Unis", déclare Watkins.

L'équipe de police examine les tendances dans la façon dont différentes populations sont policières. "Il y a évidemment une histoire importante et chargée de maintien de l'ordre et de race en Amérique", déclare Watkins. "Il s'agit d'une tentative de comprendre, d'identifier des modèles et de noter les différences régionales."

Watkins et l'équipe de police construisent des modèles en utilisant des données qui détaillent les interventions, les réponses et la race de la police, entre autres variables. L'ICSR est un bon choix pour ce type de recherche, dit Watkins, qui note l'orientation interdisciplinaire de l'IDSS et du SCC.

"Le changement systémique nécessite un modèle collaboratif et une expertise différente", déclare Watkins. "Nous essayons de maximiser l'influence et le potentiel du côté informatique, mais nous n'y arriverons pas avec le calcul seul."

Opportunités de changement

Les modèles peuvent également prédire les résultats, mais Watkins prend soin de souligner qu'aucun algorithme ne résoudra à lui seul les défis raciaux.

"À mon avis, les modèles peuvent éclairer les politiques et les stratégies que nous, en tant qu'humains, devons créer. Les modèles informatiques peuvent informer et générer des connaissances, mais cela n'équivaut pas au changement." Il faut un travail supplémentaire et une expertise supplémentaire en matière de politique et de plaidoyer pour utiliser les connaissances et les idées pour progresser vers le progrès.

Selon lui, l'un des principaux leviers de changement sera la construction d'une société plus éduquée par l'IA grâce à l'accès à l'information et aux opportunités de comprendre l'IA et son impact de manière plus dynamique. Il espère voir plus de droits sur les données et une meilleure compréhension de l'impact des systèmes sociétaux sur nos vies.

"J'ai été inspiré par la réponse des jeunes aux meurtres de George Floyd et Breonna Taylor", dit-il. "Leurs morts tragiques mettent en lumière les implications réelles du racisme structurel et ont forcé la société au sens large à accorder plus d'attention à ce problème, ce qui crée plus d'opportunités de changement."