Des chercheurs de l'Université Carnegie Mellon ont développé un modèle informatique capable de traduire directement le texte décrivant les mouvements physiques en de simples animations générées par ordinateur, un premier pas vers la génération de films directement à partir de scripts.

Les scientifiques ont fait d'énormes progrès pour amener les ordinateurs à comprendre le langage naturel, ainsi que dans la génération d'une série de poses physiques pour créer des animations réalistes. Ces capacités pourraient aussi bien exister dans des mondes séparés, cependant, parce que le lien entre le langage naturel et les poses physiques a été manquant.

Louis-Philippe Morency, professeur associé au Language Technologies Institute (LTI), et Chaitanya Ahuja, un doctorat LTI étudiant, travaillent à rassembler ces mondes en utilisant une architecture neuronale qu'ils appellent Joint Language-to-Pose, ou JL2P. Le modèle JL2P permet d'encastrer conjointement des phrases et des mouvements physiques, afin qu'il puisse apprendre comment le langage est lié à l'action, gestes et mouvements.

"Je pense que nous sommes à un stade précoce de cette recherche, mais à partir d'un modelage, intelligence artificielle et perspective théorique, c'est un moment très excitant, " dit Morency. " Tout de suite, nous parlons d'animer des personnages virtuels. Finalement, ce lien entre langage et gestes pourrait s'appliquer aux robots; nous pourrions peut-être simplement dire à un robot assistant personnel ce que nous voulons qu'il fasse.

"Nous pourrions aussi éventuellement aller dans l'autre sens - en utilisant ce lien entre le langage et l'animation pour qu'un ordinateur puisse décrire ce qui se passe dans une vidéo, " il ajouta.