Les systèmes d'intelligence artificielle sont des outils puissants pour les entreprises et les gouvernements pour traiter les données et répondre aux situations changeantes, que ce soit en bourse ou sur un champ de bataille. Mais il y a encore des choses pour lesquelles l'IA n'est pas prête.

Nous sommes des spécialistes de l'informatique qui travaillons à comprendre et à améliorer les façons dont les algorithmes interagissent avec la société. Les systèmes d'IA fonctionnent mieux lorsque l'objectif est clair et qu'il existe des données de haute qualité, comme lorsqu'on leur demande de faire la distinction entre différents visages après avoir appris de nombreuses photos de personnes correctement identifiées.

Parfois, les systèmes d'IA fonctionnent si bien que les utilisateurs et les observateurs sont surpris de la perspicacité de la technologie. Cependant, parfois le succès est difficile à mesurer ou défini de manière incorrecte, ou les données d'entraînement ne correspondent pas à la tâche à accomplir. Dans ces cas, Les algorithmes d'IA ont tendance à échouer de manière imprévisible et spectaculaire, bien qu'il ne soit pas toujours immédiatement évident que quelque chose s'est même mal passé. Par conséquent, il est important de se méfier du battage médiatique et de l'excitation à propos de ce que l'IA peut faire, et ne pas supposer que la solution qu'il trouve est toujours correcte.

Quand les algorithmes sont à l'œuvre, il devrait y avoir un filet de sécurité humain pour éviter de nuire aux gens. Nos recherches ont démontré que dans certaines situations, les algorithmes peuvent reconnaître des problèmes dans leur fonctionnement, et demander de l'aide humaine. Spécifiquement, nous montrons, demander de l'aide humaine peut aider à atténuer les biais algorithmiques dans certains contextes.

À quel point l'algorithme est-il sûr ?

Les systèmes d'intelligence artificielle sont utilisés dans les condamnations pénales, profilage de personnalité basé sur le visage, reprendre le dépistage, l'inscription aux soins de santé et d'autres tâches difficiles où la vie et le bien-être des gens sont en jeu. Les agences gouvernementales américaines commencent à intensifier leur exploration et leur utilisation des systèmes d'IA, en réponse à un récent décret du président Donald Trump.

Il est important de se souvenir, bien que, que l'IA peut cimenter les idées fausses sur la façon dont une tâche est abordée, ou amplifier les inégalités existantes. Cela peut se produire même lorsque personne n'a explicitement dit à l'algorithme de traiter quelqu'un différemment.

Par exemple, de nombreuses entreprises ont des algorithmes qui tentent de déterminer les caractéristiques d'une personne par son visage, par exemple pour deviner son sexe. Les systèmes développés par les entreprises américaines ont tendance à mieux catégoriser les hommes blancs que les femmes et les personnes à la peau plus foncée; ils font pire avec les femmes à la peau foncée. Systèmes développés en Chine, cependant, ont tendance à faire pire sur les visages blancs.

La différence n'est pas due au fait qu'un groupe a des visages plus faciles à classer que d'autres. Plutôt, les deux algorithmes sont généralement entraînés sur une vaste collection de données qui n'est pas aussi diversifiée que la population humaine globale. Si l'ensemble de données est dominé par un type particulier de visage - les hommes blancs aux États-Unis, et les visages chinois en Chine – alors l'algorithme analysera probablement mieux ces visages que d'autres.

Peu importe comment la différence survient, le résultat est que les algorithmes peuvent être biaisés en étant plus précis sur un groupe que sur un autre.

Garder un œil humain sur l'IA

Pour les situations à enjeux élevés, la confiance de l'algorithme dans son propre résultat – son estimation de la probabilité que le système ait trouvé la bonne réponse – est tout aussi importante que le résultat lui-même. Les personnes qui reçoivent la sortie des algorithmes doivent savoir comment prendre les résultats au sérieux, plutôt que de supposer que c'est correct parce qu'il s'agit d'un ordinateur.

Ce n'est que récemment que les chercheurs ont commencé à développer des moyens d'identifier, beaucoup moins de tentatives de réparation, inégalités dans les algorithmes et les données. Les algorithmes peuvent être programmés pour reconnaître leurs propres lacunes - et suivre cette reconnaissance avec une demande d'aide pour la tâche.

De nombreux types d'algorithmes d'IA calculent déjà un niveau de confiance interne - une prédiction de l'efficacité de l'analyse d'un élément particulier d'entrée. En analyse faciale, de nombreux algorithmes d'IA ont une confiance plus faible sur les visages plus sombres et les visages féminins que pour les visages masculins blancs. On ne sait pas dans quelle mesure cela a été pris en compte par les forces de l'ordre pour les utilisations à enjeux élevés de ces algorithmes.

L'objectif est que l'IA elle-même localise les zones où elle n'atteint pas la même précision pour différents groupes. Sur ces entrées, l'IA peut reporter sa décision à un modérateur humain. Cette technique est particulièrement bien adaptée aux tâches lourdes en contexte comme la modération de contenu.

Les modérateurs de contenu humain ne peuvent pas suivre le flot d'images publiées sur les sites de médias sociaux. Mais la modération du contenu de l'IA est réputée pour ne pas prendre en compte le contexte derrière un message - en identifiant à tort les discussions sur l'orientation sexuelle comme un contenu explicite, ou en identifiant la Déclaration d'indépendance comme un discours de haine. Cela peut finir par censurer à tort un groupe démographique ou politique plutôt qu'un autre.

Pour profiter du meilleur des deux mondes, notre recherche suggère de noter tout le contenu de manière automatisée, en utilisant les mêmes méthodes d'IA déjà courantes aujourd'hui. Ensuite, notre approche utilise des techniques nouvellement proposées pour localiser automatiquement les inégalités potentielles dans la précision de l'algorithme sur différents groupes de personnes protégées, et de remettre les décisions concernant certains individus à un humain. Par conséquent, l'algorithme peut être totalement impartial sur les personnes sur lesquelles il décide réellement. Et les humains décident de ces individus où la décision algorithmique aurait inévitablement créé un biais.

Cette approche n'élimine pas les biais :elle « concentre » simplement le potentiel de biais sur un plus petit ensemble de décisions, qui sont ensuite manipulés par des personnes, en utilisant le bon sens humain. L'IA peut encore effectuer l'essentiel du travail de prise de décision.

Il s'agit d'une démonstration d'une situation où un algorithme d'IA travaillant avec un humain peut récolter les bénéfices et l'efficacité des bonnes décisions de l'IA, sans être enfermé dans ses mauvais. Les humains auront alors plus de temps pour travailler sur le flou, des décisions difficiles qui sont essentielles pour garantir l'équité et la justice.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.