Êtes-vous plus intelligent qu'un modèle d'apprentissage automatique ? Découvrons-le. Choisissez la réponse qui contredit la prémisse suivante :

Bob a une sœur nommée Sarah.

• A) Bob a une sœur.
• B) Bob ne possède pas de voiture.
• C) Bob n'a pas de sœur.

Si vous choisissez C, toutes nos félicitations!

Des exemples comme celui-ci peuvent sembler simples, mais ils semblent être un bon indicateur de la compréhension du langage par une machine. Le test s'appelle Natural Language Inference et est souvent utilisé pour évaluer la capacité d'un modèle à comprendre une relation entre deux textes. Les relations possibles sont l'implication (comme dans l'exemple A), neutre (B), et contradiction (C).

Des ensembles de données avec des centaines de milliers de ces questions, généré par l'homme, ont conduit à une explosion de nouvelles architectures de réseaux de neurones pour résoudre l'inférence du langage naturel. Au cours des années, ces réseaux de neurones sont devenus de mieux en mieux. Les modèles de pointe d'aujourd'hui obtiennent généralement l'équivalent d'un B+ sur ces tests. Les humains obtiennent généralement un A ou un A-.

Mais les chercheurs ont récemment découvert que les modèles d'apprentissage automatique fonctionnent encore remarquablement bien lorsqu'ils ne reçoivent que la réponse, aussi appelé l'hypothèse, sans la prémisse d'origine. Par exemple, un modèle donné seulement "Bob n'a pas de soeur" devinera qu'il s'agit d'une hypothèse contradictoire, même si on ne lui donne pas la prémisse "Bob a une sœur nommée Sarah."

Comme il s'avère, ces ensembles de données sont truffés de biais humains. Lorsqu'on lui a demandé de trouver des phrases contradictoires, les humains utilisent souvent des négations, comme "ne pas faire" ou "personne". Cependant, s'appuyer sur ces indices pourrait également conduire les modèles d'apprentissage automatique à étiqueter à tort « Bob ne possède pas de voiture » ​​une contradiction.

"Ces modèles n'apprennent pas à comprendre la relation entre les textes, ils apprennent à saisir les particularités humaines, " a déclaré Yonatan Belinkov, premier auteur de l'article et boursier postdoctoral en informatique à la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS).

Pour lutter contre cela, Belinkov et ses collègues ont développé une nouvelle méthode pour créer des modèles d'apprentissage automatique qui réduit la dépendance du modèle à ces biais.

L'équipe présente ses recherches à la 57e réunion annuelle de l'Association for Computational Linguistics (ACL) à Florence, Italie du 28 juillet au 2 août.

Il est courant de modéliser le test d'inférence de langage naturel typique comme un flux unique - la prémisse et l'hypothèse sont à la fois traitées ensemble et transmises à un classificateur qui prédit la contradiction, neutre ou d'implication.

L'équipe a ajouté un deuxième flux au modèle, celui-ci avec seulement l'hypothèse. Le modèle apprend à effectuer l'inférence du langage naturel avec les deux flux simultanément, mais si ça marche bien du côté des hypothèses, c'est pénalisé. Cette approche encourage le modèle à se concentrer davantage sur le côté des prémisses et à s'abstenir d'apprendre les biais qui ont conduit à une performance réussie uniquement par hypothèse.

"Notre espoir est qu'avec cette méthode, le modèle ne se concentre pas uniquement sur des mots biaisés, comme "non" ou "ne fait pas, " mais plutôt il a appris quelque chose de plus profond, " a déclaré Stuart Shieber, James O. Welch, Jr. et Virginia B. Welch Professeur d'informatique à SEAS et co-auteur de l'article.

Ces préjugés, cependant, peuvent également être des indices contextuels importants pour résoudre le problème, il est donc essentiel de ne pas trop les dévaloriser.

"Il y a une mince ligne entre le biais et l'utilité, " dit Gabriel Grand, CS'18, qui a travaillé sur le projet dans le cadre de sa thèse de premier cycle. "Atteindre des performances de pointe signifie oublier beaucoup d'hypothèses, mais pas toutes."

(thèse de Grand, « Learning Interpretable and Bias-Free Models for Visual Question Answering » a reçu le prix Thomas Temple Hoopes 2018-2019 pour des travaux universitaires ou des recherches exceptionnels.)

En supprimant nombre de ces hypothèses, Sans surprise, le modèle à deux flux a fait un peu moins bien sur les données sur lesquelles il a été formé que le modèle qui n'a pas été pénalisé pour s'être appuyé sur des biais. Cependant, lorsqu'il a été testé sur de nouveaux ensembles de données, avec des biais différents, le modèle s'est nettement amélioré.

« Même si le modèle a fait quelques points de pourcentage de moins sur son propre ensemble de données, il a appris à ne pas se fier autant aux préjugés. Donc, cette méthode produit un modèle plus performant et plus robuste, " a déclaré Shieber.

Cette méthode peut s'appliquer à une gamme de tâches d'intelligence artificielle qui nécessitent l'identification de relations plus profondes, telles que la réponse visuelle à des questions, compréhension écrite, et d'autres tâches en langage naturel, tout en évitant les biais superficiels.