Entraîner les drones à voler vite, autour des obstacles les plus simples, est un exercice sujet aux accidents qui peut demander aux ingénieurs de réparer ou de remplacer des véhicules avec une régularité frustrante.

Aujourd'hui, les ingénieurs du MIT ont développé un nouveau système de formation en réalité virtuelle pour les drones qui permet à un véhicule de « voir » un riche, environnement virtuel en volant dans un espace physique vide.

Le système, que l'équipe a surnommé "Flight Goggles, " pourrait réduire considérablement le nombre d'accidents subis par les drones lors de sessions d'entraînement réelles. Il peut également servir de banc d'essai virtuel pour un certain nombre d'environnements et de conditions dans lesquels les chercheurs pourraient vouloir entraîner des drones à vol rapide.

"Nous pensons que cela change la donne dans le développement de la technologie des drones, pour les drones qui vont vite, " dit Sertac Karaman, professeur agrégé d'aéronautique et d'astronautique au MIT. " Si quoi que ce soit, le système peut rendre les véhicules autonomes plus réactifs, plus rapide, et plus efficace."

Karaman et ses collègues présenteront les détails de leur système de formation virtuelle lors de la conférence internationale IEEE sur la robotique et l'automatisation la semaine prochaine. Les co-auteurs incluent Thomas Sayre-McCord, Guerra d'hiver, Amado Antonini, Jasper Arneberg, Austin Brown, Guilherme Cavalheiro, Dave McCoy, Sébastien Quilter, Fabien Riether, Esdras Tal, Yunus Terzioglu, et Luca Carlone du Laboratoire des systèmes d'information et de décision du MIT, avec Yajun Fang du Laboratoire d'informatique et d'intelligence artificielle du MIT, et Alex Gorodetsky des Laboratoires nationaux Sandia.

Repousser les limites

Karaman était initialement motivé par un nouveau, robo-sport extrême :course de drones de compétition, dans lequel des drones télécommandés, animés par des acteurs humains, tenter de se dépasser à travers un labyrinthe complexe de fenêtres, des portes, et d'autres obstacles. Karaman s'est demandé :un drone autonome pourrait-il être entraîné à voler aussi vite, sinon plus vite, que ces véhicules contrôlés par l'homme, avec encore plus de précision et de contrôle ?

« Dans les deux ou trois prochaines années, nous voulons participer à une compétition de course de drones avec un drone autonome, et battre le meilleur joueur humain, " dit Karaman. Pour ce faire, l'équipe devrait développer un programme d'entraînement entièrement nouveau.

Actuellement, la formation de drones autonomes est une tâche physique :les chercheurs pilotent des drones en grand, terrains d'essais clos, dans lesquels ils suspendent souvent de grands filets pour attraper les éventuels véhicules de carénage. Ils ont également mis en place des accessoires, comme les fenêtres et les portes, grâce auquel un drone peut apprendre à voler. Lorsque des véhicules s'écrasent, ils doivent être réparés ou remplacés, ce qui retarde le développement et augmente le coût d'un projet.

Karaman dit que tester des drones de cette manière peut fonctionner pour des véhicules qui ne sont pas destinés à voler vite, tels que les drones qui sont programmés pour cartographier lentement leur environnement. Mais pour les véhicules rapides qui doivent traiter les informations visuelles rapidement lorsqu'ils survolent un environnement, un nouveau système de formation est nécessaire.

"Au moment où vous voulez faire du calcul à haut débit et aller vite, même les moindres changements que vous apportez à son environnement provoqueront le crash du drone, " Karaman dit. " Vous ne pouvez pas apprendre dans cet environnement. Si vous voulez repousser les limites de la vitesse à laquelle vous pouvez aller et calculer, vous avez besoin d'une sorte d'environnement de réalité virtuelle."

Lunettes de vol

Le nouveau système d'entraînement virtuel de l'équipe comprend un système de capture de mouvement, un programme de rendu d'image, et l'électronique qui permet à l'équipe de traiter rapidement les images et de les transmettre au drone.

L'espace de test réel – un gymnase semblable à un hangar dans la nouvelle installation de test de drones du MIT dans le bâtiment 31 – est bordé de caméras de capture de mouvement qui suivent l'orientation du drone pendant qu'il vole.

Avec le système de rendu d'image, Karaman et ses collègues peuvent dessiner des scènes photoréalistes, comme un loft ou un salon, et transmettez ces images virtuelles au drone alors qu'il survole l'installation vide.

"Le drone volera dans une pièce vide, mais "hallucinera" un environnement complètement différent, et apprendra dans cet environnement, ", explique Karaman.

Les images virtuelles peuvent être traitées par le drone à une cadence d'environ 90 images par seconde, soit environ trois fois plus vite que l'œil humain peut voir et traiter les images. Pour activer cela, l'équipe des circuits imprimés sur mesure qui intègrent un puissant supercalculateur embarqué, ainsi qu'une centrale inertielle et une caméra. Ils s'adaptent à tout ce matériel dans un petit, Cadre de drone en nylon imprimé en 3D et renforcé de fibres de carbone.

Un cours accéléré

Les chercheurs ont réalisé une série d'expériences, dont un dans lequel le drone a appris à voler à travers une fenêtre virtuelle d'environ deux fois sa taille. La fenêtre a été placée dans un salon virtuel. Alors que le drone volait dans le réel, installation d'essai vide, les chercheurs ont diffusé des images de la scène du salon, du point de vue du drone, retour au véhicule. Alors que le drone survolait cette pièce virtuelle, les chercheurs ont mis au point un algorithme de navigation, permettant au drone d'apprendre à la volée.

Plus de 10 vols, le drone, volant à environ 2,3 mètres par seconde (5 miles par heure), a survolé avec succès la fenêtre virtuelle 361 fois, seulement "s'écraser" dans la fenêtre trois fois, selon les informations de positionnement fournies par les caméras de capture de mouvement de l'installation. Karaman fait remarquer que, même si le drone s'écrasait des milliers de fois, cela n'aurait pas beaucoup d'impact sur le coût ou le temps de développement, car il se bloque dans un environnement virtuel et n'établit aucun contact physique avec le monde réel.

Dans un dernier test, l'équipe a mis en place une véritable fenêtre dans le banc d'essai, et allumé la caméra embarquée du drone pour lui permettre de voir et de traiter son environnement réel. En utilisant l'algorithme de navigation que les chercheurs ont réglé dans le système virtuel, le drone, plus de huit vols, a pu voler à travers la vraie fenêtre 119 fois, ne s'écraser ou nécessitant une intervention humaine que six fois.

"Cela fait la même chose en réalité, " Dit Karaman. " C'est quelque chose que nous avons programmé pour qu'il fasse dans l'environnement virtuel, en faisant des erreurs, s'effondrer, et l'apprentissage. Mais nous n'avons cassé aucune fenêtre réelle dans ce processus."

Il dit que le système de formation virtuelle est très malléable. Par exemple, les chercheurs peuvent créer leurs propres scènes ou mises en page pour entraîner des drones, y compris détaillé, des répliques cartographiées par drone de bâtiments réels, ce que l'équipe envisage de faire avec le Stata Center du MIT. Le système de formation peut également être utilisé pour tester de nouveaux capteurs, ou spécifications de capteurs existants, pour voir comment ils pourraient gérer un drone volant rapidement.

« Nous pourrions essayer différentes spécifications dans cet environnement virtuel et dire :« Si vous construisez un capteur avec ces spécifications, en quoi cela aiderait-il un drone dans cet environnement?'', dit Karaman.

Le système peut également être utilisé pour entraîner des drones à voler en toute sécurité autour des humains. Par exemple, Karaman envisage de diviser l'installation d'essai réelle en deux, avec un drone volant dans une moitié, alors qu'un humain, porter une combinaison de capture de mouvement, marche dans l'autre moitié. Le drone « verrait » l'humain en réalité virtuelle alors qu'il vole dans son propre espace. S'il s'écrase sur la personne, le résultat est virtuel, et inoffensif.

"Un jour, quand tu es vraiment confiant, vous pouvez le faire en réalité, et faire voler un drone autour d'une personne pendant qu'elle court, en toute sécurité, " Dit Karaman. " Il y a beaucoup d'expériences hallucinantes que vous pouvez faire dans toute cette histoire de réalité virtuelle. Heures supplémentaires, nous allons présenter tout ce que vous pouvez faire.

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.