Le Saint Graal de l'intelligence artificielle est une machine qui comprend vraiment le langage humain et interprète le sens du complexe, passages nuancés. Quand l'ordinateur Watson d'IBM a battu le célèbre "Jeopardy!" champion Ken Jennings en 2011, il semblait que ce jalon avait été atteint. Cependant, Quiconque a essayé d'avoir une conversation avec l'assistant virtuel Siri sait que les ordinateurs ont un long chemin à parcourir pour vraiment comprendre le langage humain. Pour mieux comprendre la langue, les systèmes informatiques doivent s'entraîner à l'aide de questions qui les interpellent et reflètent toute la complexité du langage humain.

Des chercheurs de l'Université du Maryland ont découvert comment créer de telles questions de manière fiable grâce à une collaboration homme-machine, développer un ensemble de données de plus de 1, 200 questions qui, bien qu'il soit facile pour les gens de répondre, souche les meilleurs systèmes de réponse informatique aujourd'hui. Le système qui apprendra à maîtriser ces questions aura une meilleure compréhension du langage que tout autre système existant actuellement. Le travail est décrit dans un article publié dans le numéro 2019 de la revue Transactions de l'Association for Computational Linguistics .

"La plupart des systèmes informatiques de questions-réponses n'expliquent pas pourquoi ils répondent comme ils le font, mais notre travail nous aide à voir ce que les ordinateurs comprennent réellement, " a déclaré Jordan Boyd-Graber, professeur agrégé d'informatique à l'UMD et auteur principal de l'article. "En outre, nous avons produit un ensemble de données à tester sur des ordinateurs qui révélera si un système de langage informatique lit et effectue réellement les mêmes types de traitement que les humains sont capables de faire. »

La plupart des travaux actuels visant à améliorer les programmes de questions-réponses utilisent soit des auteurs humains, soit des ordinateurs pour générer des questions. Le défi inhérent à ces approches est que lorsque les humains écrivent des questions, ils ne savent pas quels éléments spécifiques de leur question sont déroutants pour l'ordinateur. Lorsque les ordinateurs écrivent les questions, soit ils écrivent des formules, remplir les questions vides ou faire des erreurs, générant parfois des bêtises.

Pour développer leur nouvelle approche des humains et des ordinateurs travaillant ensemble pour générer des questions, Boyd-Graber et son équipe ont créé une interface informatique qui révèle ce qu'un ordinateur « pense » lorsqu'un écrivain humain tape une question. L'auteur peut alors éditer sa question pour exploiter les faiblesses de l'ordinateur.

Dans la nouvelle interface, un auteur humain tape une question tandis que les suppositions de l'ordinateur apparaissent dans l'ordre classé à l'écran, et les mots qui ont conduit l'ordinateur à faire ses suppositions sont mis en évidence.

Par exemple, si l'auteur écrit "Quel compositeur Variations sur un thème de Haydn a été inspiré par Karl Ferdinand Pohl ?" et le système répond correctement "Johannes Brahms, " l'interface met en évidence les mots " Ferdinand Pohl " pour montrer que cette phrase l'a conduit à la réponse. En utilisant cette information, l'auteur peut modifier la question pour la rendre plus difficile pour l'ordinateur sans altérer le sens de la question. Dans cet exemple, l'auteur a remplacé le nom de l'homme qui a inspiré Brahms, "Karl Ferdinand Pohl, " avec une description de son travail, « l'archiviste du Musikverein de Vienne, " et l'ordinateur n'a pas pu répondre correctement. Cependant, les joueurs experts du jeu de quiz humain pouvaient toujours facilement répondre correctement à la question éditée.

En travaillant ensemble, les humains et les ordinateurs développés de manière fiable 1, 213 questions déroutantes sur ordinateur que les chercheurs ont testées lors d'une compétition opposant des joueurs humains expérimentés, des équipes de jeux-questionnaires de lycée à "Jeopardy!" champions—contre les ordinateurs. Même l'équipe humaine la plus faible a vaincu le système informatique le plus puissant.

« Pendant trois ou quatre ans, les gens savent que les systèmes informatiques de questions-réponses sont très fragiles et peuvent être trompés très facilement, " dit Shi Feng, un étudiant diplômé en informatique de l'UMD et co-auteur de l'article. "Mais c'est le premier article dont nous ayons connaissance qui utilise réellement une machine pour aider les humains à briser le modèle lui-même."

Les chercheurs disent que ces questions serviront non seulement de nouvel ensemble de données pour les informaticiens afin de mieux comprendre où le traitement du langage naturel échoue, mais aussi comme ensemble de données d'entraînement pour développer des algorithmes d'apprentissage automatique améliorés. Les questions ont révélé six phénomènes linguistiques différents qui perturbent systématiquement les ordinateurs.

Ces six phénomènes se répartissent en deux catégories. Dans la première catégorie se trouvent les phénomènes linguistiques :la paraphrase (comme dire « sauter d'un précipice » au lieu de « sauter d'une falaise »), langage distrayant ou contextes inattendus (comme une référence à une personnalité politique apparaissant dans un indice sur quelque chose sans rapport avec la politique). La deuxième catégorie comprend les capacités de raisonnement :indices qui nécessitent logique et calcul, triangulation mentale des éléments d'une question, ou mettre en place plusieurs étapes pour former une conclusion.

"Les humains sont capables de généraliser davantage et de voir des connexions plus profondes, " a déclaré Boyd-Graber. " Ils n'ont pas la mémoire illimitée des ordinateurs, mais ils ont toujours l'avantage de pouvoir voir la forêt pour les arbres. Le catalogage des problèmes rencontrés par les ordinateurs nous aide à comprendre les problèmes que nous devons résoudre, afin que nous puissions réellement faire en sorte que les ordinateurs commencent à voir la forêt à travers les arbres et répondent aux questions comme le font les humains. »

Il y a un long chemin à parcourir avant que cela n'arrive, ajoute Boyd-Graber, qui a également des postes à pourvoir à l'Institut d'études informatiques avancées de l'Université du Maryland (UMIACS) ainsi qu'au College of Information Studies and Language Science Center de l'UMD. Mais ce travail fournit un nouvel outil passionnant pour aider les informaticiens à atteindre cet objectif.

« Cet article présente un programme de recherche pour les prochaines années afin que nous puissions réellement amener les ordinateurs à bien répondre aux questions, " il a dit.