Google a dévoilé une nouvelle expérience immersive de réalité virtuelle (VR) basée sur un nouveau système qui capture et restitue de haute qualité, images réalistes du monde réel en utilisant des champs lumineux. Créé par une équipe de chercheurs de premier plan chez Google, Bienvenue à Light Fields est le plongeon du géant de la technologie dans l'arène naissante des expériences VR de champs de lumière, un coin passionnant de la technologie vidéo VR qui gagne du terrain pour sa promesse de fournir des images et des expériences de très haute qualité dans le monde virtuel.

Google a publié Welcome to Light Fields plus tôt cette année en tant qu'application gratuite sur Steam VR pour HTC Vive, Oculus Rift, et les casques de réalité mixte Windows. Les créateurs feront la démonstration de l'expérience VR au SIGGRAPH 2018, dans le Pavillon Immersif, un nouvel espace pour la conférence de cette année. Le Pavillon est exclusivement consacré au virtuel, augmenté, et réalité mixte et contiendra :la Vrcade, un espace pour la VR, AR, et jeux ou expériences MR ; le Théâtre VR, une extravagance de contes qui fait partie du Computer Animation Festival; et le célèbre Village, pour présenter des projets de grande envergure. SIGGRAPHE 2018, du 12 au 16 août à Vancouver, Colombie britannique, est un rassemblement annuel qui présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Les destinations de Welcome to Light Fields incluent la navette spatiale Discovery de la NASA, offrir aux téléspectateurs une vue d'astronaute à l'intérieur du poste de pilotage, qui n'a jamais été ouvert au public; les intérieurs immaculés en teck et en acajou de la Gamble House, un trésor architectural à Pasadena, CALIFORNIE; et la glorieuse église Saint-Étienne de Granada Hills, CALIFORNIE, abrite un magnifique mur de plus de 14, 000 pièces de vitraux scintillants.

"J'aime que les champs de lumière en VR puissent vous téléporter dans des endroits exotiques du monde réel, et vraiment te faire croire que tu es là, " dit Ryan Overbeck, ingénieur logiciel chez Google qui a co-dirigé le projet. "Tome, c'est magique."

Pour donner vie à cette expérience, Overbeck a travaillé avec une équipe qui comprenait Paul Debevec, ingénieur senior chez Google, qui a géré le projet et dirigé la partie hardware avec les ingénieurs Xueming Yu, Jay Busch, et Graham Fyffe. Avec Overbeck, Daniel Erickson et Daniel Evangelakos se sont concentrés sur le côté logiciel. Les chercheurs ont conçu un système complet de capture et de rendu de haute qualité, images fixes de champ lumineux sphérique à partir de séquences capturées dans le monde réel. Ils ont développé deux appareils photo de champ lumineux faciles à utiliser, basé sur la caméra de sport GoPro Hero4action, qui capturent efficacement des milliers d'images à la surface d'une sphère. Ces images ont ensuite été transmises à un pipeline de traitement de champ lumineux basé sur le cloud.

Entre autres, explique Overbeck, "Le pipeline de traitement utilise la vision par ordinateur pour placer les images en 3D et générer des cartes de profondeur, et nous utilisons une version modifiée de notre codec vidéo vp9 [formatage vidéo] pour compresser les données du champ lumineux jusqu'à une taille gérable. note-t-il, l'équipe a utilisé un algorithme de rendu qui mélange les milliers d'images de champ lumineux en temps réel.

L'équipe s'est appuyée sur le vivier d'ingénieurs talentueux de Google en vision par ordinateur, graphique, compression de vidéo, et l'apprentissage automatique pour surmonter les défis uniques posés par la technologie des champs lumineux. Ils ont également collaboré étroitement avec l'équipe WebM (qui fabrique le codec vidéo vp9) pour développer le format de compression de champ lumineux de haute qualité intégré à leur système, et s'est fortement appuyé sur l'expertise de l'équipe Jump VR pour aider à poser les images et générer des cartes de profondeur. (Jump est le système VR professionnel de Google pour réaliser une production vidéo 3-D-360 à grande échelle.)

En effet, avec Welcome to Light Fields, l'équipe Google démontre le potentiel et la promesse de la technologie VR en champ lumineux, mettant en valeur la capacité de la technologie à offrir une expérience véritablement immersive avec un niveau de réalisme inégalé. Bien que la technologie des champs lumineux ait été recherchée et explorée en infographie depuis plus de 30 ans, des systèmes pratiques pour fournir réellement des expériences de champ lumineux de haute qualité n'a pas encore été possible.

Une partie de la motivation de l'équipe derrière la création de cette expérience de champ de lumière VR est de revigorer le champ naissant.

« Welcome to Light Fields prouve qu'il est désormais possible de créer une visionneuse VR de champ lumineux convaincante qui fonctionne sur du matériel grand public, et nous espérons que cette connaissance encouragera d'autres à s'impliquer dans la construction de la technologie et des médias de champ lumineux, " dit Overbeck. " Nous comprenons que pour créer des produits de consommation convaincants basés sur des champs lumineux, nous avons besoin d'un écosystème de champ lumineux florissant. Nous avons besoin de codecs de champ lumineux ouvert, nous avons besoin d'artistes créant de belles images de champ lumineux, et nous avons besoin de personnes utilisant la réalité virtuelle pour interagir avec les champs de lumière."