Les humains sont depuis longtemps des maîtres de la dextérité, une compétence qui peut être largement créditée à l'aide de nos yeux. Robots, pendant ce temps, se rattrapent encore. Certes, il y a eu des progrès :pendant des décennies, les robots dans des environnements contrôlés comme les chaînes de montage ont pu ramasser le même objet encore et encore.

Plus récemment, les percées dans la vision par ordinateur ont permis aux robots de faire des distinctions fondamentales entre les objets, mais même alors, ils ne comprennent pas vraiment les formes des objets, ils ne peuvent donc pas faire grand-chose après une prise en charge rapide.

Dans un nouveau journal, des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT, dire qu'ils ont fait un développement clé dans ce domaine de travail :un système qui permet aux robots d'inspecter des objets aléatoires, et les comprendre visuellement suffisamment pour accomplir des tâches spécifiques sans jamais les avoir vues auparavant.

Le système, surnommés "Dense Object Nets" (DON), considère les objets comme des ensembles de points qui servent en quelque sorte de « feuilles de route visuelles ». Cette approche permet aux robots de mieux comprendre et manipuler les objets, et, le plus important, leur permet même de ramasser un objet spécifique parmi un fouillis d'objets similaires, une compétence précieuse pour les types de machines que des entreprises comme Amazon et Walmart utilisent dans leurs entrepôts.

Par exemple, quelqu'un peut utiliser DON pour qu'un robot s'accroche à un endroit spécifique d'un objet, par exemple, la languette d'une chaussure. À partir de ce, il peut regarder une chaussure qu'il n'a jamais vue auparavant, et réussissez à saisir sa langue.

"De nombreuses approches de la manipulation ne peuvent pas identifier des parties spécifiques d'un objet à travers les nombreuses orientations que l'objet peut rencontrer, " déclare Lucas Manuelli, doctorant, qui a écrit un nouvel article sur le système avec l'auteur principal et doctorant. étudiant Pete Florence, aux côtés du professeur du MIT Russ Tedrake. "Par exemple, les algorithmes existants seraient incapables de saisir une tasse par sa poignée, surtout si la tasse peut être dans plusieurs orientations, comme debout, ou de son côté."

L'équipe examine les applications potentielles non seulement dans les paramètres de fabrication, mais aussi dans les maisons. Imaginez donner au système une image d'une maison bien rangée, et le laisser nettoyer pendant que vous êtes au travail, ou utiliser une image de vaisselle pour que le système range vos assiettes pendant que vous êtes en vacances.

Ce qui est également remarquable, c'est qu'aucune des données n'a été réellement étiquetée par des humains; plutôt, le système est "auto-supervisé, " donc il ne nécessite aucune annotation humaine.

Le rendre facile à saisir

Deux approches courantes de la préhension du robot impliquent soit un apprentissage spécifique à une tâche, ou créer un algorithme de saisie général. Ces techniques présentent toutes deux des obstacles :les méthodes spécifiques à une tâche sont difficiles à généraliser à d'autres tâches, et la compréhension générale ne devient pas assez spécifique pour traiter les nuances de tâches particulières, comme mettre des objets à des endroits précis.

Le système DON, cependant, crée essentiellement une série de coordonnées sur un objet donné, qui servent en quelque sorte de "feuille de route visuelle" des objets, pour donner au robot une meilleure compréhension de ce qu'il doit saisir, et où.

L'équipe a entraîné le système à regarder les objets comme une série de points qui constituent un système de coordonnées plus large. Il peut ensuite cartographier différents points ensemble pour visualiser la forme 3D d'un objet, similaire à la façon dont les photos panoramiques sont assemblées à partir de plusieurs photos. Après l'entrainement, si une personne spécifie un point sur un objet, le robot peut prendre une photo de cet objet, et identifier et faire correspondre les points pour pouvoir ensuite ramasser l'objet à ce point spécifié.

Ceci est différent des systèmes comme DexNet d'UC-Berkeley, qui peut saisir de nombreux objets différents, mais ne peut pas satisfaire une demande spécifique. Imaginez un bébé à 18 mois, qui ne comprend pas avec quel jouet vous voulez qu'il joue mais qui peut quand même attraper beaucoup d'objets, contre un enfant de quatre ans qui peut répondre « va attraper ton camion par le bout rouge de celui-ci ».

Dans une série de tests effectués sur une chenille souple, un bras robotique Kuka alimenté par DON pourrait saisir l'oreille droite du jouet à partir d'une gamme de configurations différentes. Cela a montré que, entre autres, le système a la capacité de distinguer la gauche de la droite sur des objets symétriques.

Lors d'un test sur un bac de différentes casquettes de baseball, DON a pu choisir un chapeau cible spécifique bien que tous les chapeaux aient des conceptions très similaires et n'ayant jamais vu de photos des chapeaux dans les données d'entraînement auparavant.

« Dans les usines, les robots ont souvent besoin de chargeurs de pièces complexes pour fonctionner de manière fiable, " dit Manuelli. " Mais un système comme celui-ci qui peut comprendre les orientations des objets pourrait simplement prendre une photo et être capable de saisir et d'ajuster l'objet en conséquence. "

À l'avenir, l'équipe espère améliorer le système à un endroit où il peut effectuer des tâches spécifiques avec une compréhension plus approfondie des objets correspondants, comme apprendre à saisir un objet et à le déplacer dans le but ultime de dire, nettoyer un bureau.

L'équipe présentera son article sur le système le mois prochain lors de la conférence sur l'apprentissage robotique à Zürich, La Suisse.