Capturer et reproduire réaliste, objets du monde réel pour n'importe quel environnement virtuel est complexe et prend du temps. Imaginez utiliser un appareil photo conventionnel avec un flash intégré, à partir de n'importe quel appareil mobile ou appareil photo numérique standard, pour simplifier cette tâche. Une équipe mondiale d'informaticiens a développé une nouvelle méthode qui reproduit des objets physiques pour l'espace de réalité virtuelle et augmentée en utilisant simplement un appareil photo point-and-shoot avec un flash, sans avoir besoin de plus, et souvent cher, matériel de support.

"Pour reproduire fidèlement un objet du monde réel dans l'environnement VR/AR, nous devons reproduire la géométrie 3D et l'apparence de l'objet, " dit Min H. Kim, professeur agrégé d'informatique au KAIST en Corée du Sud et auteur principal de la recherche. "Traditionnellement, cela a été soit fait manuellement par des artistes 3D, qui est une tâche à forte intensité de main-d'œuvre, ou en faisant appel à des spécialistes, matériel coûteux. Notre méthode est simple, moins cher et efficace, et reproduit des objets 3D réalistes en prenant simplement des photos à partir d'un seul appareil photo avec un flash intégré."

Kim et ses collaborateurs, Diego Gutiérrez, professeur d'informatique à l'Université de Saragosse en Espagne, et KAIST Ph.D. les étudiants Giljoo Nam et Joo Ho Lee, présentera ce nouveau travail au SIGGRAPH Asia 2018 à Tokyo du 4 au 7 décembre. La conférence annuelle présente les membres techniques et créatifs les plus respectés dans le domaine de l'infographie et des techniques interactives, et met en valeur la recherche de pointe en science, de l'art, jeux et animations, entre autres secteurs.

Les approches existantes pour l'acquisition d'objets physiques nécessitent des configurations matérielles spécialisées pour réaliser la modélisation de la géométrie et de l'apparence des objets souhaités. Ces configurations peuvent inclure un scanner laser 3D ou plusieurs caméras, ou un dôme lumineux avec plus d'une centaine de sources lumineuses. En revanche, cette nouvelle technique ne nécessite qu'une seule caméra, pour produire des sorties de haute qualité.

"De nombreuses méthodes traditionnelles utilisant une seule caméra ne peuvent capturer que la géométrie 3D des objets, mais pas la réflectance complexe des objets du monde réel, donnée par la SVBRDF, " note Kim. SVBRDF, qui représente des fonctions de distribution de réflectance bidirectionnelle variant dans l'espace, est la clé pour obtenir la forme et l'apparence réelles d'un objet. "L'utilisation uniquement de la géométrie 3D ne peut pas reproduire l'apparence réaliste de l'objet dans l'environnement AR/VR. Notre technique peut capturer une géométrie 3D de haute qualité ainsi que son apparence matérielle afin que les objets puissent être rendus de manière réaliste dans n'importe quel environnement virtuel. environnement."

Le groupe a démontré leur cadre à l'aide d'un appareil photo numérique, le Nikon D7000 et l'appareil photo intégré d'un téléphone mobile Android, dans une série d'exemples dans leur article, "Acquisition SVBRDF pratique d'objets 3D avec photographie au flash non structurée." Le nouvel algorithme, qui ne nécessite aucune géométrie d'entrée de l'objet cible, capturé avec succès la géométrie et l'apparence des objets 3D avec basic, photographie au flash et reproduit des résultats cohérents. Les exemples présentés dans le travail comprenaient divers ensembles d'objets couvrant un large éventail de géométries et de matériaux, y compris le métal, bois, Plastique, céramique, résine et papier, et composé de formes complexes comme une mini-statut finement détaillée de Néfertiti.

Dans les travaux futurs, les chercheurs espèrent simplifier davantage le processus de capture ou étendre la méthode pour inclure une géométrie dynamique ou des scènes plus grandes, par exemple.