Les langues humaines sont notoirement complexes, et les linguistes ont longtemps pensé qu'il serait impossible d'enseigner à une machine comment analyser les sons de la parole et les structures des mots comme le font les chercheurs humains.

Mais des chercheurs du MIT, de l'Université Cornell et de l'Université McGill ont fait un pas dans cette direction. Ils ont fait la démonstration d'un système d'intelligence artificielle capable d'apprendre par lui-même les règles et les modèles des langues humaines.

Lorsqu'on lui donne des mots et des exemples de la façon dont ces mots changent pour exprimer différentes fonctions grammaticales (comme le temps, la casse ou le genre) dans une langue, ce modèle d'apprentissage automatique propose des règles qui expliquent pourquoi les formes de ces mots changent. Par exemple, il pourrait apprendre que la lettre "a" doit être ajoutée à la fin d'un mot pour rendre la forme masculine féminine en serbo-croate.

Ce modèle peut également apprendre automatiquement des modèles linguistiques de niveau supérieur qui peuvent s'appliquer à de nombreuses langues, ce qui lui permet d'obtenir de meilleurs résultats.

Les chercheurs ont formé et testé le modèle à l'aide de problèmes tirés de manuels de linguistique qui présentaient 58 langues différentes. Chaque problème comportait un ensemble de mots et les changements de forme de mots correspondants. Le modèle a pu proposer un ensemble de règles correct pour décrire ces changements de forme de mot pour 60 % des problèmes.

Ce système pourrait être utilisé pour étudier les hypothèses linguistiques et étudier les similitudes subtiles dans la façon dont diverses langues transforment les mots. Il est particulièrement unique parce que le système découvre des modèles qui peuvent être facilement compris par les humains, et il acquiert ces modèles à partir de petites quantités de données, telles que quelques dizaines de mots. Et au lieu d'utiliser un ensemble de données massif pour une seule tâche, le système utilise de nombreux petits ensembles de données, ce qui est plus proche de la façon dont les scientifiques proposent des hypothèses :ils examinent plusieurs ensembles de données connexes et proposent des modèles pour expliquer les phénomènes dans ces ensembles de données.

"L'une des motivations de ce travail était notre désir d'étudier des systèmes qui apprennent des modèles d'ensembles de données représentés d'une manière compréhensible pour les humains. Au lieu d'apprendre des poids, le modèle peut-il apprendre des expressions ou des règles ? Et nous voulions voir si nous pourrait construire ce système afin qu'il apprenne sur toute une batterie d'ensembles de données interdépendants, pour que le système en apprenne un peu sur la façon de mieux modéliser chacun », explique Kevin Ellis, professeur adjoint d'informatique à l'Université Cornell et auteur principal de le papier.

Rejoindre Ellis sur le papier sont les membres du corps professoral du MIT Adam Albright, professeur de linguistique; Armando Solar-Lezama, professeur et directeur associé du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) ; et Joshua B. Tenenbaum, professeur de développement de carrière Paul E. Newton en sciences cognitives et informatique au Département des sciences du cerveau et cognitives et membre du CSAIL ; ainsi que l'auteur principal Timothy J. O'Donnell, professeur adjoint au Département de linguistique de l'Université McGill et titulaire de la chaire Canada CIFAR en IA à l'Institut d'intelligence artificielle Mila—Québec.

La recherche est publiée aujourd'hui dans Nature Communications .

Regarder la langue

Dans leur quête pour développer un système d'IA capable d'apprendre automatiquement un modèle à partir de plusieurs ensembles de données connexes, les chercheurs ont choisi d'explorer l'interaction de la phonologie (l'étude des modèles sonores) et de la morphologie (l'étude de la structure des mots).

Les données des manuels de linguistique offraient un banc d'essai idéal car de nombreuses langues partagent des caractéristiques de base et les problèmes des manuels présentent des phénomènes linguistiques spécifiques. Les problèmes des manuels peuvent également être résolus par les étudiants de niveau collégial de manière assez simple, mais ces étudiants ont généralement des connaissances préalables sur la phonologie acquises lors des leçons précédentes qu'ils utilisent pour raisonner sur de nouveaux problèmes.

Ellis, qui a obtenu son doctorat. au MIT et a été conseillé conjointement par Tenenbaum et Solar-Lezama, a d'abord appris la morphologie et la phonologie dans une classe du MIT co-enseignée par O'Donnell, qui était postdoc à l'époque, et Albright.

"Les linguistes ont pensé que pour vraiment comprendre les règles d'un langage humain, pour comprendre ce qui fait fonctionner le système, il faut être humain. Nous voulions voir si nous pouvions imiter les types de connaissances et de raisonnement qui les humains (linguistes) apportent à la tâche », déclare Albright.

Pour construire un modèle capable d'apprendre un ensemble de règles d'assemblage de mots, appelé grammaire, les chercheurs ont utilisé une technique d'apprentissage automatique connue sous le nom d'apprentissage par programme bayésien. Avec cette technique, le modèle résout un problème en écrivant un programme informatique.

Dans ce cas, le programme est la grammaire que le modèle pense être l'explication la plus probable des mots et des significations dans un problème de linguistique. Ils ont construit le modèle à l'aide de Sketch, un synthétiseur de programme populaire qui a été développé au MIT par Solar-Lezama.

Mais Sketch peut prendre beaucoup de temps pour raisonner sur le programme le plus probable. Pour contourner ce problème, les chercheurs ont fait travailler le modèle une pièce à la fois, en écrivant un petit programme pour expliquer certaines données, puis en écrivant un programme plus vaste qui modifie ce petit programme pour couvrir plus de données, et ainsi de suite.

Ils ont également conçu le modèle pour qu'il apprenne à quoi ressemblent généralement les « bons » programmes. Par exemple, il pourrait apprendre quelques règles générales sur des problèmes russes simples qu'il appliquerait à un problème plus complexe en polonais parce que les langues sont similaires. Cela permet au modèle de résoudre plus facilement le problème polonais.

Résoudre les problèmes liés aux manuels

Lorsqu'ils ont testé le modèle à l'aide de 70 problèmes de manuels, il a été en mesure de trouver une grammaire qui correspondait à l'ensemble des mots du problème dans 60 % des cas, et correspondait correctement à la plupart des changements de forme de mot dans 79 % des problèmes.

Les chercheurs ont également essayé de préprogrammer le modèle avec certaines connaissances qu'il "aurait dû" acquérir s'il suivait un cours de linguistique, et ont montré qu'il pouvait mieux résoudre tous les problèmes.

"L'un des défis de ce travail consistait à déterminer si ce que faisait le modèle était raisonnable. Il ne s'agit pas d'une situation dans laquelle un seul chiffre est la bonne réponse. Il existe une gamme de solutions possibles que vous pourriez accepter comme correctes, près de la droite, etc. », déclare Albright.

Le modèle proposait souvent des solutions inattendues. Dans un cas, il a découvert la réponse attendue à un problème de langue polonaise, mais aussi une autre réponse correcte qui exploitait une erreur dans le manuel. Cela montre que le modèle pourrait "déboguer" les analyses linguistiques, dit Ellis.

Les chercheurs ont également mené des tests qui ont montré que le modèle était capable d'apprendre des modèles généraux de règles phonologiques pouvant être appliquées à tous les problèmes.

"L'une des choses les plus surprenantes est que nous pouvions apprendre à travers les langues, mais cela ne semblait pas faire une énorme différence", déclare Ellis. "Cela suggère deux choses. Peut-être que nous avons besoin de meilleures méthodes pour apprendre à travers les problèmes. Et peut-être que si nous ne pouvons pas trouver ces méthodes, ce travail peut nous aider à sonder différentes idées que nous avons sur les connaissances à partager à travers les problèmes."

À l'avenir, les chercheurs veulent utiliser leur modèle pour trouver des solutions inattendues à des problèmes dans d'autres domaines. Ils pourraient également appliquer la technique à davantage de situations où des connaissances de niveau supérieur peuvent être appliquées à des ensembles de données interdépendants. Par exemple, ils pourraient peut-être développer un système pour déduire des équations différentielles à partir d'ensembles de données sur le mouvement de différents objets, dit Ellis.

"Ce travail montre que nous avons des méthodes qui peuvent, dans une certaine mesure, apprendre des biais inductifs. Mais je ne pense pas que nous ayons tout à fait compris, même pour ces problèmes de manuels, le biais inductif qui permet à un linguiste d'accepter les grammaires plausibles. et rejetez les ridicules », ajoute-t-il.

"Ce travail ouvre de nombreuses voies passionnantes pour de futures recherches. Je suis particulièrement intrigué par la possibilité que l'approche explorée par Ellis et ses collègues (Bayesian Program Learning, BPL) puisse parler de la façon dont les nourrissons acquièrent le langage", déclare T. Florian Jaeger, un professeur de sciences cérébrales et cognitives et d'informatique à l'Université de Rochester, qui n'était pas l'un des auteurs de cet article.

"Des travaux futurs pourraient demander, par exemple, sous quels biais d'induction supplémentaires (hypothèses sur la grammaire universelle) l'approche BPL peut réussir à atteindre un comportement d'apprentissage de type humain sur le type de données que les nourrissons observent lors de l'acquisition du langage. Je pense qu'il serait fascinant de voir si des biais inductifs encore plus abstraits que ceux envisagés par Ellis et son équipe, tels que des biais provenant des limites du traitement humain de l'information (par exemple, des contraintes de mémoire sur la longueur de la dépendance ou des limites de capacité dans la quantité d'informations pouvant être traitées par temps ) - serait suffisant pour induire certains des modèles observés dans les langues humaines." + Explorer plus loin

Le modèle d'apprentissage automatique peut identifier l'action dans un clip vidéo et l'étiqueter, sans l'aide d'humains