Pour améliorer la sécurité des systèmes autonomes, Les ingénieurs du MIT ont mis au point un système capable de détecter de minuscules changements dans les ombres au sol pour déterminer s'il y a un objet en mouvement dans le coin.

Les voitures autonomes pourraient un jour utiliser le système pour éviter rapidement une collision potentielle avec une autre voiture ou un piéton émergeant du coin d'un bâtiment ou entre des voitures garées. À l'avenir, des robots qui peuvent naviguer dans les couloirs de l'hôpital pour effectuer des livraisons de médicaments ou de fournitures pourraient utiliser le système pour éviter de frapper les gens.

Dans un article présenté à la conférence internationale de la semaine prochaine sur les robots et systèmes intelligents (IROS), les chercheurs décrivent des expériences réussies avec une voiture autonome circulant dans un parking et un fauteuil roulant autonome naviguant dans les couloirs. Lors de la détection et de l'arrêt d'un véhicule en approche, le système basé sur la voiture bat le LiDAR traditionnel - qui ne peut détecter que des objets visibles - de plus d'une demi-seconde.

Cela peut sembler peu, mais des fractions de seconde comptent lorsqu'il s'agit de véhicules autonomes rapides, disent les chercheurs.

"Pour les applications où les robots se déplacent dans des environnements avec d'autres objets ou personnes en mouvement, notre méthode peut donner au robot un avertissement précoce que quelqu'un arrive au coin de la rue, pour que le véhicule puisse ralentir, adapter son parcours, et se préparer à l'avance pour éviter une collision, " ajoute la co-auteur Daniela Rus, directeur du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) et professeur Andrew et Erna Viterbi de génie électrique et d'informatique. "Le grand rêve est de fournir une sorte de "vision à rayons X" aux véhicules se déplaçant rapidement dans les rues. "

Actuellement, le système n'a été testé qu'en intérieur. Les vitesses robotiques sont beaucoup plus faibles à l'intérieur, et les conditions d'éclairage sont plus cohérentes, ce qui permet au système de détecter et d'analyser plus facilement les ombres.

Rejoindre Rus sur le papier sont :le premier auteur Felix Naser SM '19, un ancien chercheur du CSAIL; Alexandre Amini, un étudiant diplômé du CSAIL; Igor Gilitschenski, un post-doctorant CSAIL; récente diplômée Christina Liao '19; Guy Rosman de l'Institut de recherche Toyota; et Sertac Karaman, professeur agrégé d'aéronautique et d'astronautique au MIT.

Extension de ShadowCam

Pour leur travail, les chercheurs ont construit sur leur système, appelé "ShadowCam, " qui utilise des techniques de vision par ordinateur pour détecter et classer les modifications des ombres au sol. Les professeurs du MIT William Freeman et Antonio Torralba, qui ne sont pas co-auteurs de l'article IROS, collaboré sur les versions antérieures du système, qui ont été présentés lors de conférences en 2017 et 2018.

Pour la saisie, ShadowCam utilise des séquences d'images vidéo d'une caméra ciblant une zone spécifique, comme le sol devant un coin. Il détecte les changements d'intensité lumineuse dans le temps, d'image en image, cela peut indiquer que quelque chose s'éloigne ou se rapproche. Certains de ces changements peuvent être difficiles à détecter ou invisibles à l'œil nu, et peut être déterminé par diverses propriétés de l'objet et de l'environnement. ShadowCam calcule cette information et classe chaque image comme contenant un objet stationnaire ou dynamique, en mouvement un. S'il s'agit d'une image dynamique, il réagit en conséquence.

L'adaptation de ShadowCam aux véhicules autonomes a nécessité quelques avancées. La première version, par exemple, s'est appuyé sur le revêtement d'une zone avec des étiquettes de réalité augmentée appelées "AprilTags, " qui ressemblent à des codes QR simplifiés. Les robots scannent les AprilTags pour détecter et calculer leur position et leur orientation 3D précises par rapport à la balise. ShadowCam a utilisé les balises comme caractéristiques de l'environnement pour se concentrer sur des zones spécifiques de pixels pouvant contenir des ombres. Mais modifier les environnements du monde réel avec AprilTags n'est pas pratique.

Les chercheurs ont développé un nouveau processus qui combine l'enregistrement d'images et une nouvelle technique d'odométrie visuelle. Souvent utilisé en vision par ordinateur, L'enregistrement d'image recouvre essentiellement plusieurs images pour révéler des variations dans les images. Enregistrement d'images médicales, par exemple, chevauche les scans médicaux pour comparer et analyser les différences anatomiques.

Odométrie visuelle, utilisé pour Mars Rovers, estime le mouvement d'une caméra en temps réel en analysant la pose et la géométrie dans des séquences d'images. Les chercheurs emploient spécifiquement « Direct Sparse Odométrie » (DSO), qui peut calculer des points caractéristiques dans des environnements similaires à ceux capturés par AprilTags. Essentiellement, DSO trace les caractéristiques d'un environnement sur un nuage de points 3D, puis un pipeline de vision par ordinateur sélectionne uniquement les caractéristiques situées dans une région d'intérêt, comme le sol près d'un coin. (Les régions d'intérêt ont été annotées manuellement au préalable.)

Comme ShadowCam prend des séquences d'images d'entrée d'une région d'intérêt, il utilise la méthode DSO-image-registration pour superposer toutes les images du même point de vue du robot. Même lorsqu'un robot se déplace, il est capable de se concentrer exactement sur la même zone de pixels où se trouve une ombre pour l'aider à détecter toute déviation subtile entre les images.

Vient ensuite l'amplification du signal, une technique introduite dans le premier article. Les pixels qui peuvent contenir des ombres obtiennent une augmentation de la couleur qui réduit le rapport signal/bruit. Cela rend les signaux extrêmement faibles des changements d'ombre beaucoup plus détectables. Si le signal amplifié atteint un certain seuil, basé en partie sur son écart par rapport aux autres ombres proches, ShadowCam classe l'image comme "dynamique". Selon la force de ce signal, le système peut demander au robot de ralentir ou de s'arrêter.

"En détectant ce signal, vous pouvez alors être prudent. Il peut s'agir de l'ombre d'une personne qui court derrière le coin ou d'une voiture garée, pour que la voiture autonome puisse ralentir ou s'arrêter complètement, " dit Naser.

Test sans balise

Dans un essai, les chercheurs ont évalué les performances du système dans la classification des objets mobiles ou stationnaires à l'aide d'AprilTags et de la nouvelle méthode basée sur le DSO. Un fauteuil roulant autonome se dirigeait vers divers coins de couloir tandis que les humains tournaient le coin dans le chemin du fauteuil roulant. Les deux méthodes ont atteint la même précision de classification de 70 %, indiquant que les AprilTags ne sont plus nécessaires.

Dans un test séparé, les chercheurs ont implémenté ShadowCam dans une voiture autonome dans un parking, où les phares étaient éteints, imitant les conditions de conduite de nuit. Ils ont comparé les temps de détection des voitures par rapport au LiDAR. Dans un exemple de scénario, ShadowCam a détecté la voiture tournant autour des piliers environ 0,72 seconde plus vite que LiDAR. De plus, parce que les chercheurs avaient adapté ShadowCam spécifiquement aux conditions d'éclairage du garage, le système a atteint une précision de classification d'environ 86 pour cent.

Prochain, les chercheurs développent davantage le système pour qu'il fonctionne dans différentes conditions d'éclairage intérieur et extérieur. À l'avenir, il pourrait également y avoir des moyens d'accélérer la détection des ombres du système et d'automatiser le processus d'annotation des zones ciblées pour la détection des ombres.

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.