Malgré des années de battage publicitaire, Les casques de réalité virtuelle n'ont pas encore renversé les écrans de télévision ou d'ordinateur en tant qu'appareils de prédilection pour la visualisation de vidéos. Une raison :la réalité virtuelle peut rendre les utilisateurs malades. Des nausées et une fatigue oculaire peuvent en résulter car la réalité virtuelle crée une illusion de visualisation 3D bien que l'utilisateur regarde en fait un affichage 2D à distance fixe. La solution pour une meilleure visualisation 3D pourrait résider dans une technologie vieille de 60 ans refaite pour le monde numérique :les hologrammes.

Les hologrammes offrent une représentation exceptionnelle du monde 3D qui nous entoure. Plus, Ils sont beaux. (Allez-y, regardez la colombe holographique sur votre carte Visa.) Les hologrammes offrent une perspective changeante en fonction de la position du spectateur, et ils permettent à l'œil d'ajuster la profondeur focale pour se concentrer alternativement sur le premier plan et l'arrière-plan.

Les chercheurs ont longtemps cherché à faire des hologrammes générés par ordinateur, mais le processus a traditionnellement nécessité un superordinateur pour effectuer des simulations physiques, ce qui prend du temps et peut donner des résultats moins que photoréalistes. Maintenant, Les chercheurs du MIT ont développé une nouvelle façon de produire des hologrammes presque instantanément - et la méthode basée sur l'apprentissage en profondeur est si efficace qu'elle peut fonctionner sur un ordinateur portable en un clin d'œil, disent les chercheurs.

« Les gens pensaient auparavant qu'avec le matériel existant de qualité grand public, il était impossible de faire des calculs holographiques 3D en temps réel, " dit Liang Shi, l'auteur principal de l'étude et un doctorat. étudiant au Département de génie électrique et informatique (EECS) du MIT. "On dit souvent que les écrans holographiques disponibles dans le commerce seront là dans 10 ans, pourtant, cette déclaration existe depuis des décennies. »

Shi croit en la nouvelle approche, que l'équipe appelle "l'holographie tensorielle, " mettra enfin cet objectif insaisissable de 10 ans à portée de main. L'avancée pourrait alimenter un débordement de l'holographie dans des domaines comme la réalité virtuelle et l'impression 3D.

Shi a travaillé sur l'étude, Publié dans La nature , avec son conseiller et co-auteur Wojciech Matusik. Les autres co-auteurs incluent Beichen Li d'EECS et le Laboratoire d'informatique et d'intelligence artificielle du MIT, ainsi que les anciens chercheurs du MIT Changil Kim (maintenant à Facebook) et Petr Kellnhofer (maintenant à l'Université de Stanford).

La quête d'une meilleure 3D

Une photographie typique basée sur un objectif code la luminosité de chaque onde lumineuse - une photo peut reproduire fidèlement les couleurs d'une scène, mais cela donne finalement une image plate.

En revanche, un hologramme code à la fois la luminosité et la phase de chaque onde lumineuse. Cette combinaison offre une représentation plus fidèle de la parallaxe et de la profondeur d'une scène. Donc, tandis qu'une photographie des "Nénuphars" de Monet peut mettre en valeur la palette de couleurs des peintures, un hologramme peut donner vie à l'œuvre, rendre la texture 3D unique de chaque coup de pinceau. Mais malgré leur réalisme, les hologrammes sont un défi à faire et à partager.

Développé pour la première fois au milieu des années 1900, les premiers hologrammes ont été enregistrés optiquement. Cela nécessitait de diviser un faisceau laser, avec la moitié du faisceau utilisé pour éclairer le sujet et l'autre moitié servant de référence pour la phase des ondes lumineuses. Cette référence génère le sens unique de la profondeur d'un hologramme. Les images résultantes étaient statiques, ils ne pouvaient donc pas capturer le mouvement. Et ils n'étaient que sur papier, les rendant difficiles à reproduire et à partager.

L'holographie générée par ordinateur contourne ces défis en simulant la configuration optique. Mais le processus peut être une corvée de calcul. "Parce que chaque point de la scène a une profondeur différente, vous ne pouvez pas appliquer les mêmes opérations pour tous, " dit Shi. " Cela augmente considérablement la complexité. " Diriger un superordinateur en cluster pour exécuter ces simulations basées sur la physique peut prendre quelques secondes ou minutes pour une seule image holographique. De plus, les algorithmes existants ne modélisent pas l'occlusion avec une précision photoréaliste. L'équipe de Shi a donc adopté une approche différente :laisser l'ordinateur s'enseigner la physique à lui-même.

Ils ont utilisé l'apprentissage en profondeur pour accélérer l'holographie générée par ordinateur, permettant la génération d'hologrammes en temps réel. L'équipe a conçu un réseau de neurones convolutifs, une technique de traitement qui utilise une chaîne de tenseurs pouvant être entraînés pour imiter approximativement la façon dont les humains traitent les informations visuelles. La formation d'un réseau de neurones nécessite généralement une grande ensemble de données de haute qualité, qui n'existait pas auparavant pour les hologrammes 3D.

L'équipe a construit une base de données personnalisée de 4, 000 paires d'images de synthèse. Chaque paire correspondait à une image, y compris des informations sur la couleur et la profondeur de chaque pixel, avec son hologramme correspondant. Pour créer les hologrammes dans la nouvelle base de données, les chercheurs ont utilisé des scènes aux formes et couleurs complexes et variables, avec la profondeur des pixels répartis uniformément de l'arrière-plan au premier plan, et avec un nouvel ensemble de calculs basés sur la physique pour gérer l'occlusion. Cette approche a abouti à des données d'entraînement photoréalistes. Prochain, l'algorithme s'est mis au travail.

En apprenant de chaque paire d'images, le réseau de tenseurs a peaufiné les paramètres de ses propres calculs, améliorant successivement sa capacité à créer des hologrammes. Le réseau entièrement optimisé opérait des ordres de grandeur plus rapidement que les calculs basés sur la physique. Cette efficacité a surpris l'équipe elle-même.

"Nous sommes étonnés de ses performances, " dit Matusik. En quelques millisecondes, L'holographie de tenseur peut créer des hologrammes à partir d'images avec des informations de profondeur, qui sont fournies par des images générées par ordinateur typiques et peuvent être calculées à partir d'une configuration multicaméra ou d'un capteur LiDAR (les deux sont standard sur certains nouveaux smartphones). Cette avancée ouvre la voie à l'holographie 3D en temps réel. Quoi de plus, le réseau tenseur compact nécessite moins de 1 Mo de mémoire. "C'est négligeable, compte tenu des dizaines et des centaines de gigaoctets disponibles sur le dernier téléphone portable, " il dit.

"Un bond considérable"

L'holographie 3D en temps réel améliorerait un grand nombre de systèmes, de la VR à l'impression 3D. L'équipe affirme que le nouveau système pourrait aider à immerger les téléspectateurs VR dans des paysages plus réalistes, tout en éliminant la fatigue oculaire et les autres effets secondaires de l'utilisation à long terme de la réalité virtuelle. La technologie pourrait être facilement déployée sur des écrans qui modulent la phase des ondes lumineuses. Actuellement, les écrans grand public les plus abordables modulent uniquement la luminosité, bien que le coût des écrans à modulation de phase chuterait s'ils étaient largement adoptés.

L'holographie tridimensionnelle pourrait également booster le développement de l'impression 3D volumétrique, disent les chercheurs. Cette technologie pourrait s'avérer plus rapide et plus précise que l'impression 3D traditionnelle couche par couche, puisque l'impression 3D volumétrique permet la projection simultanée de l'ensemble du motif 3D. D'autres applications incluent la microscopie, visualisation des données médicales, et la conception de surfaces aux propriétés optiques uniques.

"C'est un saut considérable qui pourrait changer complètement l'attitude des gens envers l'holographie, " dit Matusik. "Nous avons l'impression que les réseaux de neurones sont nés pour cette tâche."