Un nouveau système d'apprentissage développé par des chercheurs du MIT améliore les capacités des robots à mouler des matériaux dans des formes cibles et à faire des prédictions sur l'interaction avec des objets solides et des liquides. Le système, connu comme un simulateur de particules basé sur l'apprentissage, pourrait donner aux robots industriels une touche plus raffinée et pourrait avoir des applications amusantes en robotique personnelle, comme des formes en pâte à modeler ou du riz gluant à rouler pour les sushis.

En planification robotique, les simulateurs physiques sont des modèles qui capturent la façon dont différents matériaux réagissent à la force. Les robots sont « entraînés » à l'aide des modèles, pour prédire les résultats de leurs interactions avec les objets, comme pousser une boîte solide ou piquer de l'argile déformable. Mais les simulateurs traditionnels basés sur l'apprentissage se concentrent principalement sur des objets rigides et sont incapables de gérer des fluides ou des objets plus mous. Certains simulateurs plus précis basés sur la physique peuvent gérer divers matériaux, mais s'appuient fortement sur des techniques d'approximation qui introduisent des erreurs lorsque les robots interagissent avec des objets dans le monde réel.

Dans un article présenté à la Conférence internationale sur les représentations de l'apprentissage en mai, les chercheurs décrivent un nouveau modèle qui apprend à capturer comment de petites portions de différents matériaux, les "particules", interagissent lorsqu'elles sont poussées et poussées. Le modèle apprend directement des données dans les cas où la physique sous-jacente des mouvements est incertaine ou inconnue. Les robots peuvent ensuite utiliser le modèle comme guide pour prédire comment les liquides, ainsi que des matériaux rigides et déformables, réagira à la force de son toucher. Pendant que le robot manipule les objets, le modèle permet également d'affiner davantage le contrôle du robot.

Dans les expériences, une main robotique avec deux doigts, appelé "RiceGrip, " a façonné avec précision une mousse déformable à la configuration souhaitée, telle qu'une forme en "T", qui sert de substitut au riz à sushi. En bref, le modèle des chercheurs sert de type de cerveau « physique intuitif » que les robots peuvent exploiter pour reconstruire des objets tridimensionnels un peu de la même manière que les humains le font.

"Les humains ont un modèle physique intuitif dans la tête, où nous pouvons imaginer comment un objet se comportera si nous le poussons ou le pressons. Sur la base de ce modèle intuitif, les humains peuvent accomplir des tâches de manipulation incroyables qui sont bien au-delà de la portée des robots actuels, " dit le premier auteur Yunzhu Li, un étudiant diplômé du Laboratoire d'Informatique et d'Intelligence Artificielle (CSAIL). "Nous voulons construire ce type de modèle intuitif pour les robots afin de leur permettre de faire ce que les humains peuvent faire."

"Quand les enfants ont 5 mois, ils ont déjà des attentes différentes pour les solides et les liquides, " ajoute le co-auteur Jiajun Wu, un étudiant diplômé du CSAIL. "C'est quelque chose que nous savons à un âge précoce, alors peut-être que c'est quelque chose que nous devrions essayer de modéliser pour les robots."

Rejoindre Li et Wu sur le papier sont :Russ Tedrake, chercheur au CSAIL et professeur au Département de génie électrique et informatique (EECS); Josué Tenenbaum, professeur au Département des sciences du cerveau et des sciences cognitives; et Antonio Torralba, professeur à EECS et directeur du MIT-IBM Watson AI Lab.

Graphiques dynamiques

Une innovation clé derrière le modèle, appelé "réseau d'interaction de particules" (DPI-Nets), créait des graphiques d'interaction dynamiques, qui se composent de milliers de nœuds et d'arêtes qui peuvent capturer des comportements complexes de ce qu'on appelle des particules. Dans les graphiques, chaque nœud représente une particule. Les nœuds voisins sont connectés les uns aux autres à l'aide d'arêtes dirigées, qui représentent l'interaction passant d'une particule à l'autre. Dans le simulateur, les particules sont des centaines de petites sphères combinées pour former un liquide ou un objet déformable.

Les graphes sont construits comme la base d'un système d'apprentissage automatique appelé réseau de neurones de graphes. Dans la formation, le modèle apprend au fil du temps comment les particules de différents matériaux réagissent et se remodèlent. Pour ce faire, il calcule implicitement diverses propriétés pour chaque particule, telles que sa masse et son élasticité, afin de prédire si et où la particule se déplacera dans le graphique lorsqu'elle sera perturbée.

Le modèle s'appuie alors sur une technique de "propagation", qui diffuse instantanément un signal dans tout le graphe. Les chercheurs ont personnalisé la technique pour chaque type de matériau :rigide, déformable, et liquide - pour tirer un signal qui prédit la position des particules à certains pas de temps incrémentiels. A chaque étape, il déplace et reconnecte les particules, si besoin.

Par exemple, si une case solide est poussée, les particules perturbées seront déplacées vers l'avant. Parce que toutes les particules à l'intérieur de la boîte sont rigidement reliées les unes aux autres, chaque autre particule de l'objet se déplace de la même distance calculée, rotation, et toute autre dimension. Les connexions de particules restent intactes et la boîte se déplace comme une seule unité. Mais si une zone de mousse déformable est échancrée, l'effet sera différent. Les particules perturbées avancent beaucoup, les particules environnantes n'avancent que légèrement, et les particules plus éloignées ne bougeront pas du tout. Avec des liquides éclaboussés dans une tasse, les particules peuvent sauter complètement d'un bout à l'autre du graphique. Le graphique doit apprendre à prédire où et combien toutes les particules affectées se déplacent, ce qui est complexe en termes de calcul.

Façonner et adapter

Dans leur papier, les chercheurs démontrent le modèle en chargeant le robot RiceGrip à deux doigts de serrer des formes cibles en mousse déformable. Le robot utilise d'abord une caméra de détection de profondeur et des techniques de reconnaissance d'objets pour identifier la mousse. Les chercheurs sélectionnent au hasard des particules à l'intérieur de la forme perçue pour initialiser la position des particules. Puis, le modèle ajoute des bords entre les particules et reconstruit la mousse en un graphique dynamique personnalisé pour les matériaux déformables.

En raison des simulations apprises, le robot a déjà une bonne idée de la façon dont chaque toucher, étant donné une certaine force, affectera chacune des particules du graphique. Lorsque le robot commence à indenter la mousse, il fait correspondre de manière itérative la position réelle des particules à la position ciblée des particules. Chaque fois que les particules ne s'alignent pas, il envoie un signal d'erreur au modèle. Ce signal modifie le modèle pour mieux correspondre à la physique réelle du matériau.

Prochain, les chercheurs visent à améliorer le modèle pour aider les robots à mieux prédire les interactions avec des scénarios partiellement observables, comme savoir comment une pile de boîtes se déplacera lorsqu'elle sera poussée, même si seules les cases en surface sont visibles et que la plupart des autres cases sont masquées.

Les chercheurs explorent également des moyens de combiner le modèle avec un module de perception de bout en bout en opérant directement sur les images. Ce sera un projet commun avec le groupe de Dan Yamins; Yamin a récemment terminé son postdoctorat au MIT et est maintenant professeur assistant à l'Université de Stanford. "Vous traitez tout le temps ces cas où il n'y a que des informations partielles, " dit Wu. "Nous étendons notre modèle pour apprendre la dynamique de toutes les particules, en n'en voyant qu'une petite partie."

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.