David Lindell, un étudiant diplômé en génie électrique à l'Université de Stanford, a enfilé un survêtement haute visibilité et s'est mis au travail, élongation, faire les cent pas et sauter à travers une pièce vide. Grâce à une caméra dirigée loin de Lindell - vers ce qui semblait être un mur blanc - ses collègues pouvaient observer chacun de ses mouvements.

C'est parce que, caché à l'œil nu, il était scanné par un laser à haute puissance et les seules particules de lumière qu'il réfléchissait sur les murs autour de lui ont été capturées et reconstruites par les capteurs avancés et l'algorithme de traitement de la caméra.

"Les gens parlent de construire une caméra qui peut voir aussi bien que les humains pour des applications telles que les voitures autonomes et les robots, mais nous voulons construire des systèmes qui vont bien au-delà, " a déclaré Gordon Wetzstein, professeur adjoint de génie électrique à Stanford. "Nous voulons voir les choses en 3D, dans les coins et au-delà du spectre de la lumière visible."

Le système de caméra testé par Lindell, que les chercheurs présentent à la conférence SIGGRAPH 2019 le 1er août s'appuie sur les précédentes caméras au coin de la rue que cette équipe a développées. Il est capable de capter plus de lumière à partir d'une plus grande variété de surfaces, voir plus loin et plus loin et est assez rapide pour surveiller les mouvements hors de vue, comme la gymnastique suédoise de Lindell, pour la première fois. Un jour, les chercheurs espèrent que les systèmes de vision surhumaine pourraient aider les voitures et les robots autonomes à fonctionner de manière encore plus sûre qu'ils ne le feraient avec la direction humaine.

Praticité et sismologie

Garder leur système pratique est une priorité élevée pour ces chercheurs. Le matériel qu'ils ont choisi, les vitesses de numérisation et de traitement des images, et le style d'imagerie sont déjà courants dans les systèmes de vision de voiture autonome. Les systèmes précédents pour visualiser des scènes en dehors de la ligne de mire d'une caméra reposaient sur des objets qui réfléchissaient la lumière uniformément ou fortement. Mais les objets du monde réel, y compris les voitures brillantes, ne font pas partie de ces catégories, ce système peut donc gérer la lumière rebondissant sur une gamme de surfaces, y compris les boules disco, des livres et des statues aux textures complexes.

Au centre de leur progression se trouvait un laser 10, 000 fois plus puissant que ce qu'ils utilisaient il y a un an. Le laser balaye un mur en face de la scène d'intérêt et cette lumière rebondit sur le mur, frappe les objets de la scène, rebondit sur le mur et sur les capteurs de la caméra. Au moment où la lumière laser atteint la caméra, il ne reste que des taches, mais le capteur capte tout le monde, l'envoyer à un algorithme très efficace, également développé par cette équipe, qui démêle ces échos de lumière pour déchiffrer le tableau caché.

"Quand vous regardez le laser le scanner, tu ne vois rien, " décrit Lindell. "Avec ce matériel, nous pouvons essentiellement ralentir le temps et révéler ces pistes de lumière. Cela ressemble presque à de la magie."

Le système peut numériser à quatre images par seconde. Il peut reconstituer une scène à des vitesses de 60 images par seconde sur un ordinateur avec une unité de traitement graphique, qui améliore les capacités de traitement graphique.

Pour faire avancer leur algorithme, l'équipe s'est tournée vers d'autres domaines pour trouver l'inspiration. Les chercheurs ont été particulièrement attirés par les systèmes d'imagerie sismique - qui font rebondir les ondes sonores sur les couches souterraines de la Terre pour savoir ce qui se trouve sous la surface - et ont reconfiguré leur algorithme pour interpréter de la même manière la lumière rebondissante comme des ondes émanant des objets cachés. Le résultat a été la même utilisation de la mémoire à haute vitesse et faible avec des améliorations de leurs capacités à voir de grandes scènes contenant divers matériaux.

« De nombreuses idées sont utilisées dans d'autres espaces – la sismologie, l'imagerie avec des satellites, radar à synthèse d'ouverture - qui s'appliquent à la recherche dans les coins, " a déclaré Matthew O'Toole, professeur adjoint à l'Université Carnegie Mellon qui était auparavant boursier postdoctoral dans le laboratoire de Wetzstein. "Nous essayons de prendre un peu de ces champs et nous espérons pouvoir leur redonner quelque chose à un moment donné."

Pas humbles

Être capable de voir le mouvement en temps réel à partir d'une lumière autrement invisible rebondir dans un coin a été un moment passionnant pour cette équipe, mais un système pratique pour les voitures ou les robots autonomes nécessitera d'autres améliorations.

"Ce sont des étapes très humbles. Le mouvement semble toujours en basse résolution et ce n'est pas super rapide, mais par rapport à l'état de l'art de l'année dernière, c'est une amélioration significative, " a déclaré Wetzstein. " Nous avons été époustouflés la première fois que nous avons vu ces résultats parce que nous avons capturé des données que personne n'avait vues auparavant. "

L'équipe espère passer au test de son système sur des voitures de recherche autonomes, en cherchant d'autres applications possibles, comme l'imagerie médicale qui peut voir à travers les tissus. Entre autres améliorations de la vitesse et de la résolution, ils travailleront également à rendre leur système encore plus polyvalent pour répondre aux conditions visuelles difficiles rencontrées par les conducteurs, comme le brouillard, pluie, tempêtes de sable et neige.