En se concentrant sur la démarche des humains, symétrie du corps et placement du pied, Des chercheurs de l'Université du Michigan enseignent aux voitures autonomes à reconnaître et à prédire les mouvements des piétons avec une plus grande précision que les technologies actuelles.

Données collectées par les véhicules grâce à des caméras, LiDAR et GPS permettent aux chercheurs de capturer des extraits vidéo d'humains en mouvement, puis de les recréer dans une simulation informatique en 3D. Avec ça, ils ont créé un "réseau neuronal récurrent inspiré de la biomécanique" qui répertorie les mouvements humains.

Avec ça, ils peuvent prédire les poses et les emplacements futurs d'un ou plusieurs piétons jusqu'à environ 50 mètres du véhicule. C'est à peu près à l'échelle d'une intersection de la ville.

« Les travaux antérieurs dans ce domaine n'ont généralement porté que sur des images fixes. " dit Ram Vasudevan, U-M professeur adjoint de génie mécanique. "Mais si ces véhicules doivent fonctionner et interagir dans le monde réel, nous devons nous assurer que nos prédictions sur l'endroit où va un piéton ne coïncident pas avec l'endroit où le véhicule va ensuite."

Doter les véhicules de la puissance prédictive nécessaire oblige le réseau à plonger dans les moindres détails du mouvement humain :le rythme de la démarche humaine (périodicité), la symétrie miroir des membres, et la manière dont le placement du pied affecte la stabilité pendant la marche.

Une grande partie de l'apprentissage automatique utilisé pour amener la technologie autonome à son niveau actuel a porté sur des images en deux dimensions, des photos fixes. Un ordinateur montrant plusieurs millions de photos d'un panneau d'arrêt finira par reconnaître les panneaux d'arrêt dans le monde réel et en temps réel.

Mais en utilisant des clips vidéo qui durent plusieurs secondes, le système U-M peut étudier la première moitié du snippet pour faire ses prédictions, puis vérifier l'exactitude avec la seconde moitié.

"Maintenant, nous entraînons le système à reconnaître le mouvement et à faire des prédictions non pas sur une seule chose, qu'il s'agisse d'un panneau d'arrêt ou non, mais sur l'endroit où le corps de ce piéton sera à l'étape suivante et la suivante et la suivante, " a déclaré Matthew Johnson-Roberson, professeur agrégé au département d'architecture navale et de génie maritime de l'U-M.

Pour expliquer le type d'extrapolations que le réseau de neurones peut faire, Vasudevan décrit un spectacle commun.

"Si un piéton joue avec son téléphone, tu sais qu'ils sont distraits, " a déclaré Vasudevan. " Leur pose et l'endroit où ils regardent vous en disent long sur leur niveau d'attention. Cela vous en dit aussi beaucoup sur ce qu'ils sont capables de faire ensuite."

Les résultats ont montré que ce nouveau système améliore la capacité d'un véhicule sans conducteur à reconnaître ce qui est le plus susceptible de se produire ensuite.

"L'erreur de traduction médiane de notre prédiction était d'environ 10 cm après une seconde et de moins de 80 cm après six secondes. Toutes les autres méthodes de comparaison étaient jusqu'à 7 mètres de distance, " Johnson-Roberson a déclaré. "Nous sommes meilleurs pour déterminer où une personne va être."

Pour limiter le nombre d'options pour prédire le prochain mouvement, les chercheurs ont appliqué les contraintes physiques du corps humain - notre incapacité à voler ou notre vitesse la plus rapide possible à pied.

Pour créer l'ensemble de données utilisé pour former le réseau de neurones d'U-M, les chercheurs ont garé un véhicule doté de fonctionnalités autonomes de niveau 4 à plusieurs intersections d'Ann Arbor. Avec les caméras de la voiture et le LiDAR face à l'intersection, le véhicule pourrait enregistrer plusieurs jours de données à la fois.

Les chercheurs ont renforcé ce monde réel, des données "à l'état sauvage" issues d'ensembles de données de pose traditionnels capturés en laboratoire. Le résultat est un système qui élèvera la barre des capacités des véhicules sans conducteur.

« Nous sommes ouverts à diverses applications et à des opportunités de collaboration interdisciplinaire passionnantes, et nous espérons créer et contribuer à un environnement plus sûr, plus sain, et un cadre de vie plus efficace, ", a déclaré l'ingénieur de recherche U-M Xiaoxiao Du.