Même les photographes et vidéastes novices qui comptent sur leurs appareils portables pour prendre des photos ou réaliser des vidéos considèrent souvent l'éclairage de leur sujet. L'éclairage est essentiel dans la réalisation de films, jeu, et les environnements de réalité virtuelle/augmentée et peuvent faire ou défaire la qualité d'une scène et des acteurs et interprètes qui la composent. Reproduire l'éclairage réaliste des personnages est resté un défi difficile en infographie et en vision par ordinateur.

Si des progrès significatifs ont été réalisés sur les systèmes de captage volumétrique, en se concentrant sur la reconstruction géométrique 3D avec des textures haute résolution, telles que des méthodes pour obtenir des formes et des textures réalistes du visage humain, beaucoup moins de travail a été fait pour récupérer les propriétés photométriques nécessaires pour rallumer les caractères. Les résultats de tels systèmes manquent de détails fins et l'ombrage du sujet est précuit dans la texture.

Les informaticiens de Google révolutionnent ce domaine de la technologie de capture volumétrique avec un roman, système complet capable, pour la première fois, pour capturer la réflectance corporelle complète des performances humaines en 3D, et les fondre de manière transparente dans le monde réel via AR ou dans des scènes numériques dans des films, Jeux, et plus. Google présentera son nouveau système, appelé Les Relightables, chez ACM SIGGRAPH Asie, tenue du 17 au 20 novembre à Brisbane, Australie. SIGGRAPH Asie, maintenant dans sa 12e année, attire les personnes techniques et créatives les plus respectées du monde entier en infographie, animation, interactivité, jeu, et les technologies émergentes.

Il y a eu des avancées majeures dans ce domaine de travail que l'industrie appelle les systèmes de capture 3D. Grâce à ces systèmes sophistiqués, les téléspectateurs ont pu voir des personnages numériques prendre vie sur grand écran, par exemple, dans des superproductions telles que Avatar et la série Avengers et bien plus encore.

En effet, la technologie de capture volumétrique a atteint un haut niveau de qualité, mais beaucoup de ces reconstitutions manquent encore de vrai photoréalisme. En particulier, malgré ces systèmes utilisant des configurations de studio haut de gamme avec des écrans verts, ils ont toujours du mal à capturer les détails à haute fréquence des humains et ils ne récupèrent qu'une condition d'éclairage fixe. Cela rend ces systèmes de capture volumétriques inadaptés au rendu photoréaliste d'acteurs ou d'interprètes dans des scènes arbitraires sous différentes conditions d'éclairage.

Le système Relightables de Google permet de personnaliser l'éclairage des personnages en temps réel ou de les rallumer dans une scène ou un environnement donné.

Ils le démontrent sur des sujets qui sont enregistrés à l'intérieur d'une sphère géodésique personnalisée équipée de 331 lumières LED de couleur personnalisée (également appelée système de capture Light Stage), une gamme de caméras haute résolution, et un ensemble de capteurs de profondeur personnalisés à haute résolution. Le système Relightables capture environ 65 Go par seconde de données brutes provenant de près de 100 caméras et son cadre de calcul permet de traiter efficacement les données à cette échelle.

Leur système capture les informations de réflectance sur une personne - la façon dont l'éclairage interagit avec la peau est un facteur majeur dans l'apparence réaliste des personnes numériques. Les tentatives précédentes utilisaient soit un éclairage plat, soit des caractères générés par ordinateur requis. Non seulement ils sont capables de capturer des informations de réflectance sur une personne, mais ils sont capables d'enregistrer pendant que la personne se déplace librement dans le volume. Par conséquent, ils sont capables de rallumer leur animation dans des environnements arbitraires.

Historiquement, les caméras enregistrent les personnes à partir d'un seul point de vue et d'une seule condition d'éclairage. Ce nouveau système, notent les chercheurs, permet aux utilisateurs d'enregistrer quelqu'un puis de le visualiser de n'importe quel point de vue et condition d'éclairage, supprimant le besoin d'un écran vert pour créer des effets spéciaux et permettant des conditions d'éclairage plus flexibles.

Les interactions de l'espace, léger, et l'ombre entre un artiste et son environnement jouent un rôle essentiel dans la création d'un sentiment de présence. Au-delà du simple « couper-coller » d'une capture vidéo 3D, le système donne la possibilité d'enregistrer quelqu'un, puis de le placer de manière transparente dans de nouveaux environnements, que ce soit dans son propre espace pour des expériences en réalité augmentée, ou dans le monde d'une réalité virtuelle, film, ou expérience de jeu.

Chez SIGGRAPH Asie, L'équipe Relightables présentera les composants de leur système, de la capture au traitement en passant par l'affichage, avec des démos vidéo de chaque étape. Ils expliqueront aux participants les tenants et aboutissants de la construction de The Relightables, décrivant les principaux défis qu'ils ont relevés dans le travail et présentant des applications et des rendus intéressants.