Lorsqu'il s'agit de jeux comme les échecs ou le go, les programmes d'intelligence artificielle (IA) ont largement dépassé les meilleurs joueurs du monde. Ces IA "surhumaines" sont des concurrents inégalés, mais peut-être plus difficile que de rivaliser avec les humains, c'est de collaborer avec eux. La même technologie peut-elle s'entendre avec les gens ?

Dans une nouvelle étude, les chercheurs du MIT Lincoln Laboratory ont cherché à savoir dans quelle mesure les humains pouvaient jouer au jeu de cartes coopératif Hanabi avec un modèle d'IA avancé formé pour exceller à jouer avec des coéquipiers qu'il n'avait jamais rencontrés auparavant. Dans des expériences en simple aveugle, les participants ont joué deux séries du jeu :l'une avec l'agent IA comme coéquipier, et l'autre avec un agent basé sur des règles, un bot programmé manuellement pour jouer d'une manière prédéfinie.

Les résultats ont surpris les chercheurs. Non seulement les scores n'étaient pas meilleurs avec le coéquipier IA qu'avec l'agent basé sur des règles, mais les humains détestaient systématiquement jouer avec leur coéquipier IA. Ils l'ont trouvé imprévisible, peu fiable et indigne de confiance, et se sont sentis négativement même lorsque l'équipe a bien marqué. Un article détaillant cette étude a été accepté à la Conférence 2021 sur les systèmes de traitement de l'information neuronale (NeurIPS).

"Cela met vraiment en évidence la distinction nuancée entre la création d'une IA qui fonctionne objectivement bien et la création d'une IA qui est subjectivement fiable ou préférée", déclare Ross Allen, co-auteur de l'article et chercheur au sein du groupe de technologie de l'intelligence artificielle. "Il peut sembler que ces choses sont si proches qu'il n'y a pas vraiment de lumière du jour entre elles, mais cette étude a montré qu'il s'agit en fait de deux problèmes distincts. Nous devons travailler à les démêler."

Les humains qui détestent leurs coéquipiers IA pourraient être une source de préoccupation pour les chercheurs qui conçoivent cette technologie pour travailler un jour avec des humains sur de vrais défis, comme se défendre contre des missiles ou effectuer une chirurgie complexe. Cette dynamique, appelée intelligence d'équipe, est une nouvelle frontière dans la recherche sur l'IA, et elle utilise un type particulier d'IA appelé apprentissage par renforcement.

Une IA d'apprentissage par renforcement n'est pas informée des actions à entreprendre, mais découvre à la place quelles actions rapportent la "récompense" la plus numérique en essayant encore et encore des scénarios. C'est cette technologie qui a produit les joueurs d'échecs et de Go surhumains. Contrairement aux algorithmes basés sur des règles, ces IA ne sont pas programmées pour suivre des instructions "si/alors", car les résultats possibles des tâches humaines auxquelles elles sont censées s'attaquer, comme conduire une voiture, sont beaucoup trop nombreux pour être codés.

"L'apprentissage par renforcement est un moyen beaucoup plus général de développer l'IA. Si vous pouvez l'entraîner à apprendre à jouer aux échecs, cet agent n'ira pas nécessairement conduire une voiture. Mais vous pouvez utiliser les mêmes algorithmes pour l'entraîner. un agent différent pour conduire une voiture, avec les bonnes données », explique Allen. "Le ciel est la limite de ce qu'il pourrait, en théorie, faire."

Mauvaises allusions, mauvais jeux

Aujourd'hui, les chercheurs utilisent Hanabi pour tester les performances des modèles d'apprentissage par renforcement développés pour la collaboration, de la même manière que les échecs ont servi de référence pour tester l'IA compétitive pendant des décennies.

Le jeu de Hanabi s'apparente à une forme multijoueur de Solitaire. Les joueurs travaillent ensemble pour empiler les cartes de la même couleur dans l'ordre. Cependant, les joueurs ne peuvent pas voir leurs propres cartes, seulement les cartes que leurs coéquipiers détiennent. Chaque joueur est strictement limité dans ce qu'il peut communiquer à ses coéquipiers pour les amener à choisir la meilleure carte de leur propre main à empiler ensuite.

Les chercheurs du Lincoln Laboratory n'ont développé ni l'IA ni les agents basés sur des règles utilisés dans cette expérience. Les deux agents représentent les meilleurs dans leurs domaines pour les performances de Hanabi. En fait, lorsque le modèle IA était auparavant associé à un coéquipier IA avec lequel il n'avait jamais joué auparavant, l'équipe a obtenu le score le plus élevé jamais enregistré pour le jeu Hanabi entre deux agents IA inconnus.

"C'était un résultat important", dit Allen. "Nous avons pensé que si ces IA qui ne se sont jamais rencontrées auparavant pouvaient se réunir et jouer vraiment bien, alors nous devrions pouvoir amener des humains qui savent aussi très bien jouer avec l'IA, et ils s'en sortiront également très bien. C'est pourquoi nous pensions que l'équipe d'IA jouerait objectivement mieux, et aussi pourquoi nous pensions que les humains la préféreraient, car généralement nous aimerons quelque chose de mieux si nous faisons bien."

Aucune de ces attentes ne s'est réalisée. Objectivement, il n'y avait pas de différence statistique dans les scores entre l'IA et l'agent basé sur des règles. Subjectivement, les 29 participants ont signalé dans les sondages une nette préférence pour le coéquipier basé sur des règles. Les participants n'étaient pas informés avec quel agent ils jouaient pour quels jeux.

"Un participant a déclaré qu'il était tellement stressé par le mauvais jeu de l'agent d'IA qu'il avait en fait mal à la tête", explique Jaime Pena, chercheur au sein du groupe AI Technology and Systems et auteur de l'article. "Un autre a dit qu'ils pensaient que l'agent basé sur des règles était stupide mais réalisable, alors que l'agent de l'IA a montré qu'il comprenait les règles, mais que ses mouvements n'étaient pas cohérents avec ce à quoi ressemble une équipe. Pour eux, cela leur donnait de mauvais indices, faire de mauvais jeux."

Créativité inhumaine

Cette perception de l'IA faisant des "mauvais jeux" est liée à des comportements surprenants que les chercheurs ont observés précédemment dans des travaux d'apprentissage par renforcement. Par exemple, en 2016, lorsque AlphaGo de DeepMind a battu pour la première fois l'un des meilleurs joueurs de Go au monde, l'un des mouvements les plus appréciés d'AlphaGo était le mouvement 37 dans le jeu 2, un mouvement si inhabituel que les commentateurs humains pensaient que c'était une erreur. Une analyse ultérieure a révélé que le mouvement était en fait extrêmement bien calculé et a été décrit comme "génial".

De tels mouvements peuvent être loués lorsqu'un adversaire IA les exécute, mais ils sont moins susceptibles d'être célébrés en équipe. Les chercheurs du Lincoln Laboratory ont découvert que des mouvements étranges ou apparemment illogiques étaient les pires contrevenants à briser la confiance des humains dans leur coéquipier IA dans ces équipes étroitement couplées. De tels mouvements ont non seulement diminué la perception des joueurs sur la façon dont eux et leur coéquipier IA ont travaillé ensemble, mais aussi à quel point ils voulaient travailler avec l'IA, en particulier lorsque tout gain potentiel n'était pas immédiatement évident.

"Il y avait beaucoup de commentaires sur l'abandon, des commentaires comme "Je déteste travailler avec cette chose"", ajoute Hosea Siu, également auteur de l'article et chercheur au sein du Control and Autonomous Systems Engineering Group.

Les participants qui se sont classés comme experts en Hanabi, ce que la majorité des joueurs de cette étude ont fait, ont plus souvent abandonné le joueur IA. Siu trouve cela préoccupant pour les développeurs d'IA, car les principaux utilisateurs de cette technologie seront probablement des experts du domaine.

"Disons que vous formez un assistant de guidage IA super intelligent pour un scénario de défense antimissile. Vous ne le confiez pas à un stagiaire, vous le confiez à vos experts sur vos navires qui le font depuis 25 ans. . Donc, s'il y a un fort parti pris des experts contre cela dans les scénarios de jeu, cela va probablement apparaître dans les opérations du monde réel », ajoute-t-il.

Humains spongieux

Les chercheurs notent que l'IA utilisée dans cette étude n'a pas été développée pour la préférence humaine. Mais cela fait partie du problème - peu le sont. Comme la plupart des modèles d'IA collaborative, ce modèle a été conçu pour obtenir un score aussi élevé que possible, et son succès a été évalué par ses performances objectives.

Si les chercheurs ne se concentrent pas sur la question de la préférence humaine subjective, "alors nous ne créerons pas d'IA que les humains veulent réellement utiliser", dit Allen. "Il est plus facile de travailler sur une IA qui améliore un nombre très propre. Il est beaucoup plus difficile de travailler sur une IA qui fonctionne dans ce monde de préférences humaines."

Résoudre ce problème plus difficile est l'objectif du projet MeRLin (Mission-Ready Reinforcement Learning), dans le cadre duquel cette expérience a été financée au Lincoln Laboratory's Technology Office, en collaboration avec l'US Air Force Artificial Intelligence Accelerator et le MIT Department of Electrical Engineering and Computer La science. Le projet étudie ce qui a empêché la technologie d'intelligence artificielle collaborative de sauter hors de l'espace de jeu et dans une réalité plus désordonnée.

Les chercheurs pensent que la capacité de l'IA à expliquer ses actions engendrera la confiance. Ce sera l'objectif de leur travail pour l'année prochaine.

"You can imagine we rerun the experiment, but after the fact—and this is much easier said than done—the human could ask, 'Why did you do that move, I didn't understand it?' If the AI could provide some insight into what they thought was going to happen based on their actions, then our hypothesis is that humans would say, 'Oh, weird way of thinking about it, but I get it now,' and they'd trust it. Our results would totally change, even though we didn't change the underlying decision-making of the AI," Allen says.

Like a huddle after a game, this kind of exchange is often what helps humans build camaraderie and cooperation as a team.

"Maybe it's also a staffing bias. Most AI teams don't have people who want to work on these squishy humans and their soft problems," Siu adds, laughing. "It's people who want to do math and optimization. And that's the basis, but that's not enough."

Mastering a game such as Hanabi between AI and humans could open up a universe of possibilities for teaming intelligence in the future. But until researchers can close the gap between how well an AI performs and how much a human likes it, the technology may well remain at machine versus human.