• Home
  • Chimie
  • Astronomie
  • Énergie
  • La nature
  • Biologie
  • Physique
  • Électronique
  • Une technique d'apprentissage en profondeur pour générer une synchronisation labiale en temps réel pour une animation 2D en direct

    Synchronisation labiale en temps réel. Notre approche d'apprentissage en profondeur utilise un LSTM pour convertir l'audio en streaming en direct en visèmes discrets pour les personnages 2D. Crédit :Aneja &Li.

    L'animation 2D en direct est une forme de communication assez nouvelle et puissante qui permet aux artistes humains de contrôler les personnages de dessins animés en temps réel tout en interagissant et en improvisant avec d'autres acteurs ou membres d'un public. Des exemples récents incluent Stephen Colbert interviewant des invités de dessins animés sur Le spectacle tardif , Homer répondant en direct aux questions téléphoniques des téléspectateurs pendant un segment de Les Simpsons , Archer s'adressant à un public en direct au ComicCon, et les stars de Disney Star contre les forces du mal et Mon petit Poney organiser des sessions de chat en direct avec les fans via YouTube ou Facebook Live.

    La production d'animations 2D en direct réalistes et efficaces nécessite l'utilisation de systèmes interactifs capables de transformer automatiquement les performances humaines en animations en temps réel. Un aspect clé de ces systèmes est d'obtenir une bonne synchronisation labiale, ce qui signifie essentiellement que la bouche des personnages animés bouge de manière appropriée lorsqu'ils parlent, imitant les mouvements observés dans la bouche des interprètes.

    Une bonne synchronisation labiale peut rendre l'animation 2D en direct plus convaincante et puissante, permettant aux personnages animés d'incarner la performance de manière plus réaliste. Inversement, une mauvaise synchronisation labiale brise généralement l'illusion des personnages en tant que participants en direct dans une performance ou un dialogue.

    Dans un article récemment prépublié sur arXiv, deux chercheurs d'Adobe Research et de l'Université de Washington ont présenté un système interactif basé sur l'apprentissage en profondeur qui génère automatiquement une synchronisation labiale en direct pour les personnages animés en 2D superposés. Le système qu'ils ont développé utilise un modèle de mémoire à long court terme (LSTM), une architecture de réseau de neurones récurrents (RNN) souvent appliquée à des tâches impliquant la classification ou le traitement de données, ainsi que faire des prédictions.

    « La parole étant la composante dominante de presque toutes les animations en direct, nous pensons que le problème le plus critique à résoudre dans ce domaine est la synchronisation labiale en direct, qui implique de transformer le discours d'un acteur en mouvements de bouche correspondants (c'est-à-dire, séquence de visème) dans le personnage animé. Dans ce travail, nous nous concentrons sur la création d'une synchronisation labiale de haute qualité pour l'animation 2D en direct, " Wilmot Li et Deepali Aneja, les deux chercheurs qui ont mené la recherche, a dit TechXplore par e-mail.

    Li est un scientifique principal chez Adobe Research avec un doctorat. en informatique qui a mené des recherches approfondies sur des sujets à l'intersection de l'infographie et de l'interaction homme-machine. Aneja, d'autre part, termine actuellement un doctorat. en informatique à l'Université de Washington, où elle fait partie du Graphics and Imaging Lab.

    © Science https://fr.scienceaq.com