Les agents de preuve citent des phrases du passage pour convaincre un modèle de juge question-réponse d'une réponse. Crédit :Perez et al.
Identifier la bonne réponse à une question implique souvent de rassembler de grandes quantités d'informations et de comprendre des idées complexes. Dans une étude récente, une équipe de chercheurs de l'Université de New York (NYU) et de Facebook AI Research (FAIR) a étudié la possibilité de découvrir automatiquement les propriétés sous-jacentes de problèmes tels que la réponse aux questions en examinant comment les modèles d'apprentissage automatique apprennent à résoudre des tâches connexes.
Dans leur papier, prépublié sur arXiv et présenté à l'EMNLP 2019, ils ont introduit une approche pour recueillir les preuves à l'appui les plus solides pour une réponse donnée à une question. Ils ont spécifiquement appliqué cette méthode aux tâches qui impliquent des réponses à des questions basées sur des passages (QA), ce qui implique d'analyser de grandes quantités de texte pour identifier la meilleure réponse à une question donnée.
"Quand on pose une question, nous sommes souvent intéressés non seulement par la réponse, mais aussi pourquoi cette réponse est correcte - quelles preuves étayent cette réponse, " Ethan Pérez, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Malheureusement, trouver des preuves peut prendre du temps si cela nécessite la lecture de nombreux articles, Documents de recherche, etc. Notre objectif était de tirer parti de l'apprentissage automatique pour trouver des preuves automatiquement."
D'abord, Perez et ses collègues ont formé un modèle d'apprentissage automatique d'assurance qualité conçu pour répondre aux questions des utilisateurs sur une grande base de données de texte qui comprenait des articles de presse, biographie, livres et autres contenus en ligne. Ensuite, ils ont utilisé des « agents de preuve » pour identifier des phrases qui « convaincraient » le modèle d'apprentissage automatique de répondre à une requête particulière avec une réponse spécifique, essentiellement rassembler des preuves pour la réponse.
Crédit :Perez et al.
"Notre système peut trouver des preuves pour n'importe quelle réponse, pas seulement la réponse que le modèle de questions-réponses pense être correcte, comme les travaux antérieurs se sont concentrés sur, " dit Perez. " Ainsi, notre approche peut tirer parti d'un modèle de questions-réponses pour trouver des preuves utiles, même si le modèle Q&A prédit la mauvaise réponse ou s'il n'y a pas de bonne réponse claire."
Dans leurs tests, Perez et ses collègues ont observé que les modèles d'apprentissage automatique sélectionnent généralement des preuves à partir de passages de texte qui se généralisent bien pour convaincre d'autres modèles et même des personnes. En d'autres termes, leurs résultats suggèrent que les modèles portent des jugements basés sur des preuves similaires à celles généralement considérées par les humains, et dans une certaine mesure, il est même possible de sonder la façon dont les gens pensent en influençant la façon dont les modèles considèrent les preuves.
Les chercheurs ont également découvert que des modèles d'assurance qualité plus précis ont tendance à trouver de meilleures preuves à l'appui, du moins selon un groupe de participants humains qu'ils ont interrogés. Les performances et les capacités des modèles d'apprentissage automatique pourraient donc être fortement associées à leur efficacité à recueillir des preuves pour étayer leurs prédictions.
Exemple de preuves sélectionnées par les agents. Crédit :Perez et al.
Crédit :Perez et al.
Exemple de preuves sélectionnées par les agents. Crédit :Perez et al.
Les agents de preuve citent des phrases du passage pour convaincre un modèle de juge question-réponse d'une réponse. Crédit :Perez et al.
« D'un point de vue pratique, trouver des preuves est utile, " a déclaré Perez. "Les gens peuvent répondre à des questions sur de longs articles simplement en lisant les preuves de notre système pour chaque réponse possible. Par conséquent, en général, en trouvant des preuves automatiquement, un système comme le nôtre peut potentiellement aider les gens à développer des opinions éclairées plus rapidement."
Perez et ses collègues ont découvert que leur approche de la collecte de preuves améliorait considérablement la réponse aux questions, permettre aux humains de répondre correctement aux questions sur la base d'environ 20 % d'un passage de texte, qui a été sélectionné par un agent d'apprentissage automatique. En outre, leur approche a permis aux modèles d'assurance qualité d'identifier plus efficacement les réponses aux requêtes, généraliser mieux aux passages plus longs et aux questions plus difficiles.
À l'avenir, l'approche conçue par cette équipe de chercheurs et les observations qu'ils ont recueillies pourraient éclairer le développement d'outils d'apprentissage automatique d'AQ plus efficaces et plus fiables. Plus récemment, Perez a également écrit un article de blog sur Medium qui explique plus en détail les idées présentées dans le document.
« Trouver des preuves est un premier pas vers des modèles qui débattent, " a déclaré Perez. " Par rapport à la recherche de preuves, le débat est un moyen encore plus expressif de soutenir une position. Débattre nécessite non seulement de citer des preuves externes, mais également de construire vos propres arguments, en générant un nouveau texte. Je suis intéressé par les modèles d'entraînement pour générer de nouveaux arguments, tout en s'assurant que le texte généré est vrai et factuellement correct."
© 2019 Réseau Science X
