Doctorat de l'Université de Toronto l'étudiant David Madras dit que de nombreux algorithmes d'aujourd'hui sont bons pour faire des prédictions précises, mais je ne sais pas comment bien gérer l'incertitude. Si un algorithme mal calibré prend la mauvaise décision, c'est généralement très mal.

"Un utilisateur humain peut mieux comprendre une situation qu'un ordinateur, qu'il s'agisse d'informations non disponibles parce qu'elles sont de nature très qualitative, ou quelque chose qui se passe dans le monde réel qui n'a pas été entré dans l'algorithme, " dit Madras, un chercheur en apprentissage automatique du département d'informatique qui est également affilié au Vector Institute for Artificial Intelligence.

"Les deux peuvent être très importants et peuvent avoir un effet sur les prédictions qui devraient être [faites]."

Madras présente ses recherches, « Prévoir de manière responsable :accroître l'équité en apprenant à différer, " à la Conférence internationale sur les représentations de l'apprentissage (ICLR), à Vancouver cette semaine. La conférence est axée sur les méthodes et les performances de l'apprentissage automatique et rassemble des leaders dans le domaine.

Madras dit que lui et Toniann Pitassi, un professeur dans les départements d'informatique et de mathématiques de l'Université de Toronto et un expert en théorie informatique qui explore également l'équité informatique, ainsi que Richard Zemel, professeur d'informatique à l'Université de Toronto et directeur de recherche du Vector Institute, ont développé leur modèle dans un souci d'équité. Lorsqu'il existe un certain degré d'incertitude, un algorithme doit avoir la possibilité de répondre, « Je ne sais pas » et de reporter sa décision à un utilisateur humain.

Madras explique si Facebook utilisait un algorithme pour taguer automatiquement les personnes dans les images, ce n'est peut-être pas si important si le marquage est mal fait. Mais lorsque les résultats individuels ont un impact élevé, le risque peut être plus grand. Il dit que le modèle n'a pas encore été appliqué à une application spécifique, mais les chercheurs réfléchissent plutôt aux types de façons dont il pourrait être utilisé dans des cas réels.

« En milieu médical, il peut être important de produire quelque chose qui puisse être interprété – il y a une certaine incertitude entourant sa prédiction – et un médecin doit décider si un traitement doit être administré. »

Superviseur diplômé de Madras Zemel, qui occupera une chaire de recherche industrielle du CRSNG en apprentissage automatique cet été, examine également comment l'apprentissage automatique peut être rendu plus expressif, contrôlable et équitable.

Zemel dit que l'apprentissage automatique basé sur des données historiques, comme l'approbation d'un prêt bancaire ou la durée des peines de prison, reprendra naturellement les préjugés. Et les biais dans l'ensemble de données peuvent jouer dans les prédictions d'une machine, il dit.

"Dans ce document, nous pensons beaucoup à un décideur externe. Afin de former notre modèle, nous devons utiliser les décisions historiques qui sont prises par les décideurs. Les résultats de ces décisions, créés par les décideurs existants, peuvent être eux-mêmes biaisés ou, dans un sens, incomplets."

Madras pense que l'accent accru mis sur l'équité algorithmique parallèlement aux questions de confidentialité, sécurité et de sûreté, contribuera à rendre l'apprentissage automatique plus applicable aux applications à enjeux élevés.

« Cela soulève des questions importantes sur le rôle d'un système automatisé qui prend des décisions importantes, et comment les amener à prédire de la manière que nous voulons qu'ils le fassent."

Madras dit qu'il continue de réfléchir aux questions d'équité et aux domaines connexes, comme la causalité :deux choses peuvent être corrélées – parce qu'elles se produisent fréquemment ensemble – mais cela ne signifie pas que l'une cause l'autre.

"Si un algorithme décide quand accorder un prêt à quelqu'un, il pourrait apprendre que les personnes qui vivent dans un certain code postal sont moins susceptibles de rembourser leurs prêts. Mais cela peut être une source d'injustice. Ce n'est pas comme si vivre dans un certain code postal vous rendait moins susceptible de rembourser un prêt, " il dit.

"C'est un ensemble de problèmes intéressant et important sur lequel travailler."