Dans un hôpital très fréquenté, une radiologue utilise un système d'intelligence artificielle pour l'aider à diagnostiquer des conditions médicales sur la base des images radiographiques des patients. L'utilisation du système d'IA peut l'aider à établir des diagnostics plus rapides, mais comment sait-elle quand faire confiance aux prédictions de l'IA ?

Elle ne le fait pas. Au lieu de cela, elle peut s'appuyer sur son expertise, un niveau de confiance fourni par le système lui-même ou une explication de la façon dont l'algorithme a fait sa prédiction (ce qui peut sembler convaincant mais toujours faux) pour faire une estimation.

Pour aider les gens à mieux comprendre quand faire confiance à un "coéquipier" d'IA, les chercheurs du MIT ont créé une technique d'intégration qui guide les humains pour développer une compréhension plus précise des situations dans lesquelles une machine fait des prédictions correctes et de celles dans lesquelles elle fait des prédictions incorrectes.

En montrant aux gens comment l'IA complète leurs capacités, la technique de formation pourrait aider les humains à prendre de meilleures décisions ou à tirer des conclusions plus rapidement lorsqu'ils travaillent avec des agents d'IA.

"Nous proposons une phase d'enseignement où nous introduisons progressivement l'humain à ce modèle d'IA afin qu'il puisse, par lui-même, voir ses faiblesses et ses forces", explique Hussein Mozannar, étudiant diplômé du Clinical Machine Learning Group de l'Informatique et de l'Intelligence Artificielle. Laboratoire (CSAIL) et l'Institut d'Ingénierie et des Sciences Médicales. "Nous le faisons en imitant la façon dont l'humain interagira avec l'IA dans la pratique, mais nous intervenons pour leur donner un retour d'information pour les aider à comprendre chaque interaction qu'ils font avec l'IA."

Mozannar a rédigé l'article avec Arvind Satyanarayan, professeur adjoint d'informatique qui dirige le groupe de visualisation au CSAIL ; et l'auteur principal David Sontag, professeur agrégé de génie électrique et d'informatique au MIT et chef du Clinical Machine Learning Group. La recherche sera présentée à l'Association pour l'avancement de l'intelligence artificielle en février.

Modèles mentaux

Ce travail se concentre sur les modèles mentaux que les humains construisent sur les autres. Si le radiologue n'est pas sûr d'un cas, il peut demander à un collègue qui est un expert dans un certain domaine. De par son expérience passée et sa connaissance de ce collègue, elle dispose d'un modèle mental de ses forces et faiblesses qu'elle utilise pour évaluer ses conseils.

Les humains construisent les mêmes types de modèles mentaux lorsqu'ils interagissent avec des agents d'IA, il est donc important que ces modèles soient précis, dit Mozannar. Les sciences cognitives suggèrent que les humains prennent des décisions pour des tâches complexes en se souvenant des interactions et des expériences passées. Ainsi, les chercheurs ont conçu un processus d'intégration qui fournit des exemples représentatifs de l'humain et de l'IA travaillant ensemble, qui servent de points de référence sur lesquels l'humain pourra s'appuyer à l'avenir. Ils ont commencé par créer un algorithme capable d'identifier des exemples qui enseigneront le mieux l'humain sur l'IA.

"Nous apprenons d'abord les préjugés et les forces d'un expert humain, en utilisant des observations de ses décisions passées non guidées par l'IA", explique Mozannar. "Nous combinons nos connaissances sur l'humain avec ce que nous savons sur l'IA pour voir où il sera utile pour l'humain de s'appuyer sur l'IA. Ensuite, nous obtenons des cas où nous savons que l'humain devrait s'appuyer sur l'IA et des cas similaires où le l'humain ne devrait pas compter sur l'IA."

Les chercheurs ont testé leur technique d'intégration sur une tâche de réponse à une question basée sur un passage :l'utilisateur reçoit un passage écrit et une question dont la réponse est contenue dans le passage. L'utilisateur doit alors répondre à la question et peut cliquer sur un bouton pour "laisser l'IA répondre". L'utilisateur ne peut cependant pas voir la réponse de l'IA à l'avance, ce qui l'oblige à s'appuyer sur son modèle mental de l'IA. Le processus d'intégration qu'ils ont développé commence par montrer ces exemples à l'utilisateur, qui essaie de faire une prédiction à l'aide du système d'IA. L'humain peut avoir raison ou tort, et l'IA peut avoir raison ou tort, mais dans les deux cas, après avoir résolu l'exemple, l'utilisateur voit la bonne réponse et une explication de la raison pour laquelle l'IA a choisi sa prédiction. Pour aider l'utilisateur à généraliser à partir de l'exemple, deux exemples contrastés sont montrés qui expliquent pourquoi l'IA a eu raison ou tort.

Par exemple, peut-être que la question de formation demande laquelle des deux plantes est originaire de plusieurs continents, sur la base d'un paragraphe alambiqué d'un manuel de botanique. L'humain peut répondre seul ou laisser le système d'IA répondre. Ensuite, elle voit deux exemples de suivi qui l'aident à mieux comprendre les capacités de l'IA. Peut-être que l'IA a tort sur une question de suivi sur les fruits, mais a raison sur une question sur la géologie. Dans chaque exemple, les mots que le système a utilisés pour faire sa prédiction sont mis en évidence. Voir les mots surlignés aide l'humain à comprendre les limites de l'agent d'IA, explique Mozannar.

Pour aider l'utilisateur à retenir ce qu'il a appris, l'utilisateur écrit ensuite la règle qu'il déduit de cet exemple pédagogique, comme "Cette IA n'est pas bonne pour prédire les fleurs". Elle peut ensuite se référer à ces règles plus tard lorsqu'elle travaille avec l'agent dans la pratique. Ces règles constituent également une formalisation du modèle mental de l'utilisateur de l'IA.

L'impact de l'enseignement

Les chercheurs ont testé cette technique d'enseignement auprès de trois groupes de participants. Un groupe a suivi l'intégralité de la technique d'intégration, un autre groupe n'a pas reçu les exemples de comparaison de suivi et le groupe de référence n'a reçu aucun enseignement mais a pu voir la réponse de l'IA à l'avance.

"Les participants qui ont reçu un enseignement ont fait aussi bien que les participants qui n'ont pas reçu d'enseignement mais qui ont pu voir la réponse de l'IA. Ainsi, la conclusion est qu'ils sont capables de simuler la réponse de l'IA aussi bien que s'ils l'avaient vu. " dit Mozannar.

Les chercheurs ont approfondi les données pour voir les règles écrites par les participants individuels. Ils ont découvert que près de 50 % des personnes formées écrivaient des leçons précises sur les capacités de l'IA. Ceux qui avaient des leçons précises avaient raison sur 63 % des exemples, tandis que ceux qui n'avaient pas de leçons précises avaient raison sur 54 %. Et ceux qui n'ont pas reçu d'enseignement mais qui ont pu voir les réponses de l'IA avaient raison sur 57 % des questions.

"Lorsque l'enseignement est réussi, il a un impact significatif. C'est ce qu'il faut retenir ici. Lorsque nous sommes capables d'enseigner efficacement aux participants, ils sont capables de faire mieux que si vous leur donniez réellement la réponse", dit-il.

Mais les résultats montrent également qu'il y a encore un écart. Seulement 50 % de ceux qui ont été formés ont construit des modèles mentaux précis de l'IA, et même ceux qui l'ont fait n'avaient raison que 63 % du temps. Même s'ils ont appris des leçons précises, ils n'ont pas toujours suivi leurs propres règles, dit Mozannar.

C'est une question qui laisse les chercheurs se gratter la tête - même si les gens savent que l'IA devrait avoir raison, pourquoi n'écoutent-ils pas leur propre modèle mental ? Ils veulent explorer cette question à l'avenir et affiner le processus d'intégration pour réduire le temps que cela prend. Ils sont également intéressés par la réalisation d'études d'utilisateurs avec des modèles d'IA plus complexes, en particulier dans les établissements de soins de santé.