Bien que cela puisse prendre des décennies à accomplir sur la route, des évaluations préliminaires pourraient être menées rapidement, de manière plus efficace et plus sûre grâce à des simulations informatiques qui représentent avec précision le monde réel et modélisent le comportement des objets environnants. Les systèmes de simulation de pointe actuels décrits dans la littérature scientifique ne parviennent pas à décrire des environnements photoréalistes et à présenter des modèles de circulation ou des comportements de conducteur réels.

AADS est un système basé sur les données qui représente plus précisément les intrants qu'une voiture autonome recevrait sur la route. Les voitures autonomes s'appuient sur un module de perception, qui reçoit et interprète des informations sur le monde réel, et un module de navigation qui prend des décisions, comme par exemple où diriger ou s'il faut freiner ou accélérer, basé sur le module de perception.

Dans le monde réel, le module de perception d'une voiture autonome reçoit généralement des entrées de caméras et de capteurs lidar, qui utilisent des impulsions lumineuses pour mesurer les distances environnantes. Dans la technologie actuelle des simulateurs, le module de perception reçoit une entrée provenant d'images générées par ordinateur et de modèles de mouvement modélisés mathématiquement pour les piétons, Vélos, et autres voitures. C'est une représentation relativement grossière du monde réel. Il est également coûteux et long à créer car les modèles d'imagerie générés par ordinateur doivent être générés à la main.

Le système AADS combine des photos, vidéos, et les nuages ​​de points lidar, qui ressemblent à des rendus de formes en 3D, avec des données de trajectoire réelles pour les piétons, Vélos, et autres voitures. Ces trajectoires peuvent être utilisées pour prédire le comportement de conduite et les positions futures d'autres véhicules ou piétons sur la route pour une navigation plus sûre.

« Nous rendons et simulons visuellement le monde réel, en utilisant des vidéos et des photos, " dit Manocha, « mais nous capturons également un comportement réel et des modèles de mouvement. La façon dont les humains conduisent n'est pas facile à capturer par les modèles mathématiques et les lois de la physique. Alors, nous avons extrait des données sur les trajectoires réelles de toutes les vidéos dont nous disposions, et nous avons modélisé les comportements de conduite à l'aide de méthodologies de sciences sociales. Cette approche basée sur les données nous a donné un simulateur de trafic beaucoup plus réaliste et avantageux. »

Les scientifiques avaient un défi de longue date à relever en utilisant de l'imagerie vidéo réelle et des données lidar pour leur simulation :chaque scène doit répondre aux mouvements d'une voiture autonome, même si ces mouvements n'ont peut-être pas été capturés par la caméra ou le capteur lidar d'origine. Quel que soit l'angle ou le point de vue qui n'est pas capturé par une photo ou une vidéo, il doit être rendu ou simulé à l'aide de méthodes de prédiction. C'est pourquoi la technologie de simulation s'est toujours autant appuyée sur des graphiques générés par ordinateur et des techniques de prédiction basées sur la physique.

Pour surmonter ce défi, les chercheurs ont développé une technologie qui isole les divers composants d'une scène de rue du monde réel et les rend sous forme d'éléments individuels pouvant être re-synthétisés pour créer une multitude de scénarios de conduite photo-réalistes.

Avec AADS, les véhicules et les piétons peuvent être soulevés d'un environnement et placés dans un autre avec les modèles d'éclairage et de mouvement appropriés. Les routes peuvent être recréées avec différents niveaux de trafic. Les angles de vision multiples de chaque scène offrent des perspectives plus réalistes lors des changements de voie et des virages. En outre, la technologie de traitement d'image avancée permet des transitions en douceur et réduit la distorsion par rapport à d'autres techniques de simulation vidéo. Les techniques de traitement d'images sont également utilisées pour extraire des trajectoires, et ainsi modéliser les comportements des conducteurs.