Chez les êtres humains, l'intelligence n'est pas une inoculation contre les préjugés et le sectarisme. Il en va de même pour les ordinateurs. Les machines intelligentes découvrent le monde à travers les filtres du langage humain et du comportement historique, ce qui signifie qu'elles peuvent tout aussi facilement absorber les pires valeurs de l'humanité qu'elles peuvent le mieux.

Les chercheurs qui visent à développer des machines toujours plus intelligentes ont du pain sur la planche pour s'assurer qu'ils n'imprègnent pas par inadvertance les ordinateurs de misogynie, racisme ou d'autres formes de fanatisme.

"C'est un risque énorme, " dit Marzyeh Ghassemi, professeur adjoint au département d'informatique et à la faculté de médecine de l'Université de Toronto, qui se concentre sur les applications de soins de santé pour l'intelligence artificielle (IA). "Comme toutes les avancées qui font avancer les sociétés, il y a de grands risques que nous devons décider d'accepter ou de ne pas accepter."

Le biais peut se glisser dans les algorithmes de plusieurs manières. Dans une branche très influente de l'IA connue sous le nom de "traitement du langage naturel, " des problèmes peuvent survenir à partir du "corps de texte" - le matériel source que l'algorithme utilise pour en savoir plus sur les relations entre les différents mots.

Traitement du langage naturel, ou "PNL, " permet à un ordinateur de comprendre le discours de style humain - informel, conversationnel et contextuel. Les algorithmes de PNL passent au peigne fin des milliards de mots de texte d'entraînement - le corpus pourrait être, dire, l'intégralité de Wikipédia. Un algorithme fonctionne en attribuant à chaque mot un ensemble de nombres qui reflètent différents aspects de sa signification — « roi » et « reine » par exemple, aurait des scores similaires relatifs à l'idée de royauté, mais des scores opposés relatifs au genre. La PNL est un système puissant qui permet aux machines d'apprendre les relations entre les mots - dans certains cas, sans intervention humaine directe.

« Même si nous ne leur enseignons pas toujours spécifiquement, ce qu'ils apprennent est incroyable, " dit Kawin Ethayarajh, un chercheur qui se concentre en partie sur l'équité et la justice dans les applications de l'IA. "Mais c'est aussi un problème. Dans le corpus, la relation entre 'roi' et 'reine' pourrait être similaire à la relation entre 'docteur' et 'infirmière'."

Mais bien sûr, tous les rois sont des hommes; tous les médecins ne sont pas des hommes. Et toutes les infirmières ne sont pas des femmes.

Lorsqu'un algorithme absorbe les tropes sexistes des attitudes humaines historiques, cela peut entraîner des conséquences dans la vie réelle, comme cela s'est produit en 2014 lorsqu'Amazon a développé un algorithme pour vérifier les curriculum vitae des candidats. L'entreprise a formé ses machines en utilisant 10 ans de décisions d'embauche. Mais en 2015, ils ont reconnu que, dans les épreuves, le système accordait une préférence non méritée aux curriculum vitae des candidats masculins. Ils ont modifié le système pour le forcer à ignorer les informations sur le genre, mais ont finalement fermé le projet avant de le mettre en œuvre car ils ne pouvaient pas être sûrs que leur algorithme ne commettait pas d'autres formes de discrimination.

L'atténuation des sources sexistes peut impliquer des ajustements technologiques et méthodologiques. « Si nous pouvons comprendre exactement quelles sont les hypothèses sous-jacentes du corpus qui entraînent l'apprentissage de ces biais, nous pouvons soit sélectionner des corpus sans ces biais, soit les corriger au cours du processus de formation, " dit Ethayarajh.

Il est courant pour les chercheurs de concevoir un algorithme qui corrige automatiquement les hypothèses préjudiciables. En ajustant le poids des nombres qu'il attribue à chaque mot, l'ordinateur peut éviter de faire des associations sexistes ou racistes.

Mais quelles sont exactement les hypothèses qui doivent être corrigées ? À quoi ressemble vraiment une IA impartiale ? Débats sur les privilèges, bigoterie, la diversité et les biais systémiques sont loin d'être réglés. Un algorithme d'embauche devrait-il avoir une position sur l'action positive ? Une voiture autonome doit-elle être particulièrement prudente si un autre véhicule porte un autocollant « Bébé à bord » ? Comment une analyse des documents juridiques basée sur l'IA devrait-elle prendre en compte le traitement historique des peuples autochtones ? Les problèmes sociétaux litigieux ne disparaissent pas simplement parce que les machines prennent en charge certaines recommandations ou décisions.

De nombreuses personnes considèrent le modèle de multiculturalisme imparfait mais relativement réussi du Canada comme une chance de mener une recherche équitable sur l'IA.

« Le Canada a certainement une opportunité, " dit Ronald Baecker, professeur émérite d'informatique et auteur de Computers and Society:Modern Perspectives. Il voit un rôle pour le gouvernement pour corriger les inégalités sociétales, les injustices et les préjugés associés à l'IA par, par exemple, mettre en place des protections pour les employés qui choisissent de dénoncer les produits biaisés ou injustes basés sur l'IA. "Il y a un besoin de plus de réflexion et de législation en ce qui concerne le concept de ce que j'appellerais 'l'objection de conscience' par les employés de haute technologie."

Il estime également que les informaticiens qui développent des technologies intelligentes devraient être tenus d'étudier l'impact sociétal d'un tel travail. "Il est important que les professionnels qui travaillent dans l'IA reconnaissent leur responsabilité, ", dit-il. "Nous sommes confrontés à des situations de vie ou de mort dans des activités de plus en plus importantes où l'IA est utilisée."

Les algorithmes qui aident les juges à fixer la caution et à condamner les criminels peuvent absorber des préjugés de longue date dans le système juridique, comme traiter les personnes racialisées comme si elles étaient plus susceptibles de commettre d'autres crimes. Les algorithmes pourraient signaler des personnes de certaines communautés comme présentant un risque trop élevé pour recevoir un prêt bancaire. Ils pourraient également être plus efficaces pour diagnostiquer le cancer de la peau chez les personnes blanches que chez les personnes à la peau plus foncée, en raison d'avoir été formé sur du matériel source faussé.

Les enjeux sont incroyablement élevés dans les soins de santé, où des algorithmes inéquitables pourraient pousser encore plus loin les personnes qui ont été mal servies dans le passé.

Dans son travail à l'Université de Toronto et au Vector Institute for Artificial Intelligence, Ghassémi, comme d'autres chercheurs, prend soin d'identifier les biais potentiels et les inégalités dans ses algorithmes. Elle compare les recommandations et les prédictions de ses outils de diagnostic aux résultats du monde réel, mesurer leur exactitude pour différents genres, les courses, âges et facteurs socio-économiques.

En théorie, Le Canada offre une longueur d'avance aux chercheurs intéressés par des applications de soins de santé qui reflètent des valeurs d'équité, diversité et inclusion. Notre système de santé universel crée un référentiel de dossiers de santé électroniques qui fournit une multitude de données médicales qui pourraient être utilisées pour former des applications basées sur l'IA. Ce potentiel a attiré Ghassemi à Toronto. Mais la technologie, informations, le formatage et les règles d'accès à ces dossiers varient d'une province à l'autre, ce qui complique la création du type d'ensembles de données qui peuvent faire avancer la recherche.

Ghassemi a également été surpris d'apprendre que ces enregistrements ne contiennent que rarement des données sur la race. Cela signifie que si elle utilise un algorithme pour déterminer dans quelle mesure un traitement donné sert différents secteurs de la société, elle pouvait identifier les disparités entre les hommes et les femmes, par exemple, mais pas entre les blancs et les personnes racialisées. Par conséquent, dans son enseignement et sa recherche, elle utilise des données américaines accessibles au public qui contiennent des informations sur la race.

« Audit mes propres modèles [à l'aide de données américaines], Je peux montrer quand quelque chose est plus imprécis pour les personnes d'ethnies différentes, " dit-elle. "Je ne peux pas faire cette évaluation au Canada. Je n'ai aucun moyen de vérifier."

Ghassemi s'intéresse à la création d'applications d'IA justes en elles-mêmes, et qui peuvent également aider les êtres humains à contrer leurs propres préjugés. « Si nous pouvons fournir des outils basés sur de grandes populations diverses, nous donnons aux médecins quelque chose qui les aidera à faire de meilleurs choix, " elle dit.

Femmes, par exemple, sont considérablement sous-diagnostiqués pour les maladies cardiaques. Une IA pourrait signaler un tel danger à un médecin qui pourrait l'ignorer. "C'est un endroit où une solution technologique peut aider, parce que les médecins sont des humains, et les humains sont biaisés, " elle dit.

Ethayarajh est d'accord avec Ghassemi et Baecker pour dire que le Canada a une occasion importante de faire valoir son avantage en matière d'équité et de partialité dans la recherche sur l'intelligence artificielle.

"Je pense que les chercheurs en IA ici sont très conscients du problème, " Ethayarajh dit. "Je pense qu'une partie de cela est, si vous regardez autour du bureau, vous voyez beaucoup de visages différents. Les personnes travaillant sur ces modèles seront les utilisateurs finaux de ces modèles. Plus généralement, Je pense qu'il y a une très forte concentration culturelle sur l'équité qui en fait un domaine important pour les chercheurs de ce pays. »