Aperçu du système de ROBOTURK. ROBOTURK permet un apprentissage rapide des compétences guidé par imitation. Ce système comprend les grandes étapes suivantes :1) spécifier une tâche, 2) collecter un grand nombre de démonstrations de tâches à l'aide de ROBOTURK, 3) utiliser l'apprentissage par renforcement renforcé par la démonstration pour apprendre une politique, et 4) déployer les compétences acquises dans le domaine d'intérêt. Crédit :Mandlekar et al.
L'apprentissage par imitation est une branche de l'apprentissage automatique qui entraîne les machines à imiter le comportement humain tout en effectuant des tâches particulières. Ces techniques sont très prometteuses dans le domaine de la robotique, alors qu'ils s'attaquent à certaines des lacunes de l'apprentissage par renforcement, telles que l'exploration et la spécification des récompenses.
Malgré des résultats encourageants, Les études sur l'apprentissage par imitation se sont jusqu'à présent limitées à des ensembles de données de taille modeste en raison des difficultés à collecter de grandes quantités de démonstrations de tâches à l'aide des méthodes existantes. Pour pallier ces limitations, une équipe de chercheurs supervisée par le Dr Silvio Savarese et le Dr Fei-Fei Li de l'Université de Stanford ont développé RoboTurk, une plate-forme de crowdsourcing pour une téléopération basée sur une trajectoire 6-DoF de haute qualité à l'aide de smartphones largement disponibles.
"Nous voulions créer quelque chose comme ImageNet pour la robotique, " Ajay Mandlekar, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Nous pensons que les données sont une limitation clé dans le domaine de l'apprentissage des robots. Bien qu'il existe de nombreuses méthodes qui apprennent à partir des données, tels que le contrôle basé sur les données et l'apprentissage par renforcement, la plupart des méthodes collectent leurs propres données. Par conséquent, les données sont souvent de mauvaise qualité, par exemple, le robot bouge son bras de manière aléatoire. Ce type d'exploration peut être difficile et dangereux, mais nous pensons que les humains peuvent aider."
ImageNet est une base de données d'images renommée créée par le Dr Li, couramment utilisé dans la recherche en vision par ordinateur et en reconnaissance d'objets. La plate-forme de crowdsourcing développée par Stanford Vision and Learning Lab a été conçue pour servir de ressource similaire pour les études de robotique et d'apprentissage par imitation.
"Contrairement à ImageNet, un tel système de collecte de données devait être dynamique, nous permettant de collecter des données à plusieurs reprises, souvent à la demande, et peut-être même en utilisant l'apprentissage collaboratif, " Yuke Zhu, qui a également participé au développement de Roboturk, a déclaré TechXplore. "C'est parce que les données collectées dépendent des types d'actions que le robot entreprend dans l'environnement."
Schéma du système de ROBOTURK. Un nouvel utilisateur se connecte à un site Web pour rejoindre le système, et un serveur de coordination lance un serveur de téléopération dédié à l'utilisateur, comme indiqué en (a). Le serveur de coordination établit ensuite des canaux de communication directs entre le navigateur Web de l'utilisateur et l'iPhone et le serveur de téléopération pour démarrer la session de téléopération. L'utilisateur contrôle le robot simulé en déplaçant son téléphone, et reçoit un flux vidéo en retour dans son navigateur Web, comme indiqué en (b). Après chaque démonstration réussie, le serveur de téléopération pousse les données collectées vers un système de stockage en nuage. Crédit :Mandlekar et al.
L'objectif ultime des chercheurs est de former des robots à des techniques de manipulation avancées, leur permettant d'accomplir des tâches dans des environnements industriels tels que l'emballage ou l'assemblage. Ils ont découvert que si l'apprentissage par imitation montrait un grand potentiel dans ce contexte, les ensembles de données existants étaient très limités en raison des difficultés à collecter de grandes quantités de démonstrations de tâches.
"Dans d'autres domaines tels que la vision par ordinateur et le traitement du langage naturel, la supervision à grande échelle des jeux de données est souvent collectée avec l'aide du crowdsourcing, " a déclaré Mandlekar. " Cela permet un mécanisme évolutif pour une supervision humaine diversifiée sur un ensemble étendu d'instances de problèmes. Cependant, la collecte de grandes quantités de données a été un défi pour les tâches de robotique, car ils exigent une interaction et des commentaires en temps réel de la part des annotateurs, imposant des contraintes difficiles sur les plateformes de téléopération à distance."
Le groupe de Stanford Vision and Learning Lab a donc développé RoboTurk, une plateforme de crowdsourcing qui permet aux chercheurs de développer les compétences et les tâches que les robots peuvent effectuer de manière autonome, grâce à l'utilisation d'une supervision humaine évolutive. Via RoboTurk, les télétravailleurs peuvent se connecter à un site Web et collecter des démonstrations de tâches, en utilisant leur smartphone comme contrôleur de mouvement.
"RoboTurk est pris en charge par un backend de simulation basé sur le cloud qui diffuse la vidéo vers le navigateur Web d'un client à l'aide de protocoles de communication à faible latence, " a expliqué Mandlekar. " Cela garantit une qualité de service homogène quelles que soient les ressources informatiques d'un client, résultant en une plate-forme qui est intuitive à utiliser et a une faible barrière à l'entrée, qui sont les exigences fondamentales d'une tâche de crowdsourcing. RoboTurk prend en charge plusieurs robots, Tâches, et simulateurs, et peut facilement être étendu pour soutenir les autres."
Les chercheurs ont évalué leur plateforme sur trois tâches de manipulation de durées variables, allant de 15 à 120 secondes. Ils ont découvert que RoboTurk partageait des similitudes statistiques avec du matériel spécialisé, tels que les contrôleurs de réalité virtuelle. Ils ont également observé que les mauvaises conditions du réseau n'affectaient pas considérablement la capacité des utilisateurs à effectuer des tâches avec succès sur la plate-forme. En utilisant RoboTurk, ils ont collecté 137,5 heures de données de manipulation auprès de travailleurs à distance, avec plus de 2200 démonstrations de tâches réussies en 22 heures d'utilisation totale du système.
Crédit :Mandlekar et al.
"Je pense que la partie la plus significative de la plate-forme est de savoir comment elle permettra aux humains et aux robots d'interagir, " Animesh Garg, étudiant postdoctoral porteur du projet, a déclaré TechXplore. "Les robots sont les outils intelligents du futur. Nous ne devons pas les considérer comme un remplacement des humains, mais plutôt comme un moyen d'étendre nos capacités. Cela permet aux humains d'être plus productifs et de se concentrer sur des problèmes d'intelligence de plus haut niveau, de la même manière que l'avènement des ordinateurs a permis aux gens d'utiliser plus facilement les mathématiques comme un outil pour résoudre des problèmes d'intérêt."
RoboTurk permet efficacement l'apprentissage des politiques sur des tâches de manipulation en plusieurs étapes avec des récompenses éparses. En outre, Mandlekar et ses collègues ont découvert que l'utilisation de plus grandes quantités de démonstrations pendant l'apprentissage des politiques avait des avantages notables, conduisant à de meilleures performances et une plus grande cohérence d'apprentissage.
À l'avenir, RoboTurk pourrait devenir une ressource clé dans le domaine de la robotique, aider au développement de robots plus avancés et plus performants. Les chercheurs appliquent maintenant RoboTurk à de vrais robots, tout en développant des algorithmes qui peuvent utiliser les données qu'ils ont collectées pour enseigner aux robots des compétences de bas niveau.
"Les robots sont une technologie très excitante qui permettra aux gens d'être plus productifs et indépendants dans toutes les sphères de l'activité humaine, par exemple donner un coup de main en cuisine, gardiens pour la population âgée, et une meilleure prise en charge des patients, " a déclaré Garg. " L'une des choses qui nous passionne est la démocratisation de la fabrication. Cette technologie pourrait permettre aux gens de fabriquer et de vendre des produits personnalisés sans avoir besoin d'équipements spéciaux, tout comme YouTube a démocratisé la création et la distribution de contenu, permettant à quiconque de créer et de partager des vidéos."
© 2018 Réseau Science X
