Une équipe de recherche dirigée par des scientifiques de l'Université Carnegie Mellon a démontré des techniques d'utilisation de la lumière diffusée pour voir dans les coins, leur permettant de reconstituer des images en détail. Sur la gauche se trouve une image reconstruite d'un quartier américain qui a été numérisé à l'aide de méthodes sans visibilité directe, par rapport au quart de droite qui a été scanné en utilisant les méthodes standard. Crédit :Université Carnegie Mellon
Les chercheurs en vision par ordinateur ont démontré qu'ils peuvent utiliser des sources lumineuses et des capteurs spéciaux pour voir dans les coins ou à travers des filtres vaporeux, leur permettant de reconstituer les formes d'objets invisibles.
Les chercheurs de l'Université Carnegie Mellon, l'Université de Toronto et l'University College London ont déclaré que cette technique leur permet de reconstruire des images dans les moindres détails, y compris le relief du profil de George Washington sur un quartier américain.
Ioannis Gkioulekas, professeur assistant au Robotics Institute de Carnegie Mellon, a déclaré que c'était la première fois que les chercheurs étaient capables de calculer des formes à l'échelle millimétrique et micrométrique d'objets courbes, fournissant un nouveau composant important à une plus grande suite de techniques d'imagerie sans visibilité directe (NLOS) actuellement développées par des chercheurs en vision par ordinateur.
"C'est excitant de voir la qualité des reconstructions d'objets cachés se rapprocher des scans que nous avons l'habitude de voir pour les objets qui sont dans la ligne de mire, " dit Srinivasa Narasimhan, professeur à l'Institut de robotique. "Jusqu'à présent, nous ne pouvons atteindre ce niveau de détail que pour des zones relativement petites, mais cette capacité viendra compléter d'autres techniques NLOS."
Ce travail a été soutenu par le programme REVEAL de la Defense Advanced Research Project Agency, qui développe des capacités NLOS. La recherche sera présentée aujourd'hui à la conférence 2019 sur la vision par ordinateur et la reconnaissance de formes (CVPR2019) à Long Beach, Californie, où il a reçu le prix du meilleur article.
"Cet article fait des progrès significatifs dans la reconstruction sans visibilité directe - en substance, la capacité de voir dans les coins, ", dit la citation du prix. "C'est à la fois un beau document théoriquement et une source d'inspiration. Il continue de repousser les limites de ce qui est possible en vision par ordinateur."
La plupart de ce que les gens voient (et ce que les caméras détectent) provient de la lumière qui se réfléchit sur un objet et rebondit directement sur l'œil ou l'objectif. Mais la lumière se reflète également sur les objets dans d'autres directions, rebondir sur les murs et les objets. Une faible partie de cette lumière diffusée pourrait finalement atteindre l'œil ou le cristallin, mais est emporté par plus direct, sources lumineuses puissantes. Les techniques NLOS tentent d'extraire des informations de la lumière diffusée, naturelle ou non, et de produire des images de scènes, objets ou parties d'objets non visibles par ailleurs.
Une équipe de recherche dirigée par des scientifiques de l'Université Carnegie Mellon a démontré une technique permettant d'utiliser la lumière diffusée pour détecter la forme d'objets non visibles dans la ligne de mire. Voici deux objets communs tels qu'ils apparaissent dans des conditions standard, ainsi que des images reconstruites de ces objets. Crédit :Université Carnegie Mellon
"D'autres chercheurs NLOS ont déjà démontré des systèmes d'imagerie NLOS capables de comprendre des scènes de la taille d'une pièce, ou même extraire des informations en utilisant uniquement la lumière naturelle, ", a déclaré Gkioulekas. "Nous faisons quelque chose de complémentaire à ces approches, permettant aux systèmes NLOS de capturer des détails fins sur une petite zone."
Dans ce cas, les chercheurs ont utilisé un laser ultrarapide pour faire rebondir la lumière sur un mur afin d'éclairer un objet caché. En sachant quand le laser a tiré des impulsions de lumière, les chercheurs ont pu calculer le temps que la lumière a pris pour se refléter sur l'objet, rebondir sur le mur lors de son voyage de retour et atteindre un capteur.
"Cette technique de temps de vol est similaire à celle des lidars souvent utilisés par les voitures autonomes pour construire une carte 3D de l'environnement de la voiture, " dit Shumian Xin, un doctorat étudiant en robotique.
Les tentatives précédentes d'utiliser ces calculs de temps de vol pour reconstruire une image de l'objet ont dépendu de la luminosité des réflexions sur celui-ci. Mais dans cette étude, Gkioulekas a déclaré que les chercheurs ont développé une nouvelle méthode basée uniquement sur la géométrie de l'objet, ce qui leur a permis de créer un algorithme pour mesurer sa courbure.
Les chercheurs ont utilisé un système d'imagerie qui est en fait un lidar capable de détecter des particules de lumière uniques pour tester la technique sur des objets tels qu'une cruche en plastique, un bol en verre, un bol en plastique et un roulement à billes. Ils ont également combiné cette technique avec une méthode d'imagerie appelée tomographie par cohérence optique pour reconstruire les images des quartiers américains.
En plus de voir dans les coins, la technique s'est avérée efficace pour voir à travers des filtres diffusants, comme du papier épais.
La technique n'a jusqu'à présent été démontrée qu'à de courtes distances, un mètre au plus. Mais les chercheurs pensent que leur technique, basé sur des mesures géométriques d'objets, peut être combiné avec d'autres, approches complémentaires pour améliorer l'imagerie NLOS. Il peut également être utilisé dans d'autres applications, comme l'imagerie sismique et l'imagerie acoustique et ultrasonore.
En plus de Narasimhan, Gkioulekas et Xin, l'équipe de recherche comprenait Aswin Sankaranarayanan, professeur adjoint au Département de génie électrique et informatique de la CMU; Sotiris Nousias, un doctorant en physique médicale et bio-ingénierie à l'University College London; et Kiriakos N. Kutulakos, professeur d'informatique à l'Université de Toronto.
