Ensuite, Wang et ses collaborateurs ont examiné de plus près les données des caméras stéréo. A leur grande surprise, ils ont constaté que leurs informations étaient presque aussi précises que LiDAR. L'écart de précision est apparu, ils ont trouvé, lors de l'analyse des données des caméras stéréo.

Pour la plupart des voitures autonomes, les données capturées par les caméras ou les capteurs sont analysées à l'aide de réseaux de neurones convolutifs – une sorte d'apprentissage automatique qui identifie les images en appliquant des filtres qui reconnaissent les modèles qui leur sont associés. Ces réseaux de neurones convolutifs se sont avérés très efficaces pour identifier des objets dans des photographies en couleur standard, mais ils peuvent déformer les informations 3D si elles sont représentées de face. Ainsi, lorsque Wang et ses collègues ont fait passer la représentation d'une perspective frontale à un nuage de points observé depuis une vue à vol d'oiseau, la précision a plus que triplé.

« Quand vous avez des images de caméra, c'est tellement, donc, si tentant de regarder la vue frontale, parce que c'est ce que la caméra voit, " a dit Weinberger. " Mais là est aussi le problème, parce que si vous voyez des objets de face, la façon dont ils sont traités les déforme en fait, et vous brouillez les objets dans l'arrière-plan et déformez leurs formes."

Finalement, Weinberger a dit, les caméras stéréo pourraient potentiellement être utilisées comme principal moyen d'identifier des objets dans des voitures moins chères, ou comme méthode de secours dans les voitures haut de gamme également équipées de LiDAR.

« L'industrie de la voiture autonome a été réticente à s'éloigner du LiDAR, même avec les coûts élevés, compte tenu de son excellente précision de portée - ce qui est essentiel pour la sécurité autour de la voiture, " a déclaré Mark Campbell, le professeur John A. Mellowes '60 et S.C. Thomas Sze directeur de la Sibley School of Mechanical and Aerospace Engineering et co-auteur de l'article. « L'amélioration spectaculaire de la détection et de la précision de la portée, avec la représentation à vol d'oiseau des données de la caméra, a le potentiel de révolutionner l'industrie."

Les résultats ont des implications au-delà des voitures autonomes, a déclaré le co-auteur Bharath Hariharan, professeur assistant en informatique.

"Il y a une tendance dans la pratique actuelle à alimenter les données telles quelles à des algorithmes complexes d'apprentissage automatique en partant du principe que ces algorithmes peuvent toujours extraire les informations pertinentes, " a déclaré Hariharan. "Nos résultats suggèrent que ce n'est pas nécessairement vrai, et que nous devrions réfléchir à la façon dont les données sont représentées."

Le chercheur postdoctoral de Cornell Wei-Lun Chao et Divyansh Garg '20 ont également contribué.