Les informaticiens se concentrent sur l'ajout de fonctionnalités améliorées pour rendre la « réalité » dans les environnements de réalité virtuelle (VR) hautement crédible. Un aspect clé de la réalité virtuelle est de permettre des interactions sociales à distance et la possibilité de la rendre plus immersive que tout autre média de télécommunication antérieur. Des chercheurs de Facebook Reality Labs (FRL) ont développé un système révolutionnaire appelé Codec Avatars qui donne aux utilisateurs de réalité virtuelle la possibilité d'interagir avec les autres tout en se représentant avec des avatars réalistes animés avec précision en temps réel. Les chercheurs visent à construire l'avenir de la connexion au sein de la réalité virtuelle, et éventuellement, réalité augmentée en offrant l'expérience la plus socialement engagée possible pour les utilisateurs dans le monde de la réalité virtuelle.

À ce jour, des avatars hautement photoréalistes rendus en temps réel ont été réalisés et fréquemment utilisés dans l'animation par ordinateur, où les acteurs sont équipés de capteurs placés de manière optimale pour capturer par ordinateur les détails géométriques de leurs visages et expressions faciales. Cette technologie de capteur, cependant, n'est pas compatible avec les conceptions ou plates-formes de casques VR existantes, et les casques VR typiques obstruent différentes parties du visage, de sorte que la technologie de capture faciale complète est difficile. Par conséquent, ces systèmes sont plus adaptés aux performances unidirectionnelles plutôt qu'aux interactions bidirectionnelles où deux personnes ou plus portent toutes des casques VR.

"Notre travail démontre qu'il est possible d'animer avec précision des avatars photoréalistes à partir de caméras étroitement montées sur un casque VR, " dit l'auteur principal Shih-En Wei, chercheur à Facebook. Wei et ses collaborateurs ont configuré un casque avec un minimum de capteurs pour la capture faciale, et leur système permet un bidirectionnel, interaction sociale authentique en VR.

Wei et ses collègues de Facebook présenteront leur système d'animation faciale en temps réel VR au SIGGRAPH 2019, tenue du 28 juillet au 1er août à Los Angeles. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Dans ce travail, les chercheurs présentent un système qui peut animer les têtes d'avatar avec une ressemblance personnelle très détaillée en suivant avec précision les expressions faciales en temps réel des utilisateurs à l'aide d'un ensemble minimum de caméras montées sur casque (HMC). Ils s'attaquent à deux défis clés :les vues difficiles de la caméra sur la console HMC et les grandes différences d'apparence entre les images capturées à partir des caméras du casque et les rendus de l'avatar réaliste de la personne.

L'équipe a développé un prototype de casque "d'entraînement", qui a non seulement des caméras sur le casque de suivi régulier pour une animation en temps réel, mais est en outre équipé de caméras à des positions plus adaptées pour un suivi du visage idéal. Les chercheurs présentent une technique d'intelligence artificielle basée sur les réseaux d'adversaires génératifs (GAN) qui effectue une traduction cohérente du style d'image multi-vues pour convertir automatiquement les images infrarouges HMC en images qui ressemblent à un avatar rendu mais avec la même expression faciale de la personne.

"En comparant ces images converties à l'aide de chaque pixel, pas seulement des traits du visage clairsemés, et des rendus de l'avatar en 3D, " note Wei, "nous pouvons précisément mapper entre les images du casque de suivi et l'état de l'avatar 3D grâce à un rendu différentiable. Une fois le mappage établi, nous entraînons un réseau de neurones pour prédire les paramètres du visage à partir d'un ensemble minimal d'images de caméra en temps réel."

Ils ont démontré une variété d'exemples dans ce travail, et ont pu montrer que leur méthode peut trouver des mappages de haute qualité même pour les expressions faciales subtiles sur la partie supérieure du visage - une zone très difficile à capturer - où l'angle de la caméra du casque est de travers et trop proche du sujet. Les chercheurs montrent également une capture faciale extrêmement détaillée, y compris des différences subtiles dans les langues, les dents, et les yeux, où l'avatar n'a pas de géométrie détaillée.

En plus d'animer les avatars en VR, l'équipe FRL construit également des systèmes qui permettront peut-être un jour aux gens de créer rapidement et facilement leurs avatars à partir de quelques images ou vidéos. Alors que les avatars de codecs d'aujourd'hui sont créés automatiquement, le processus nécessite un grand système de caméras et de microphones pour capturer l'individu. FRL vise également à créer et à animer des corps entiers pour exprimer des signaux sociaux plus complets. Bien que cette technologie soit à des années d'atteindre les casques grand public, le groupe de recherche travaille déjà sur des solutions possibles pour protéger les données des avatars et garantir que les avatars ne sont accessibles que par les personnes qu'ils représentent.