Déballer les courses est une tâche simple mais fastidieuse :vous mettez la main dans un sac, chercher un objet, et retirez-le. Un rapide coup d'œil vous dira ce qu'est l'article et où il doit être rangé.

Aujourd'hui, des ingénieurs du MIT et de l'université de Princeton ont mis au point un système robotique qui pourrait un jour prêter main-forte à cette corvée ménagère, ainsi que d'aider à d'autres tâches de cueillette et de tri, de l'organisation des produits dans un entrepôt au nettoyage des débris d'une zone sinistrée.

Le système "Pick-and-place" de l'équipe se compose d'un bras robotique industriel standard que les chercheurs ont équipé d'une pince et d'une ventouse personnalisées. Ils ont développé un algorithme de saisie « agnostique aux objets » qui permet au robot d'évaluer un bac d'objets aléatoires et de déterminer la meilleure façon de saisir ou d'aspirer un objet au milieu du fouillis, sans avoir à connaître quoi que ce soit sur l'objet avant de le ramasser.

Une fois qu'il a réussi à saisir un objet, le robot le retire du bac. Un ensemble de caméras prend alors des images de l'objet sous différents angles, et à l'aide d'un nouvel algorithme de correspondance d'images, le robot peut comparer les images de l'objet sélectionné avec une bibliothèque d'autres images pour trouver la correspondance la plus proche. De cette façon, le robot identifie l'objet, puis le range dans un bac séparé.

En général, le robot suit un workflow « saisir d'abord-puis-reconnaître », ce qui s'avère être une séquence efficace par rapport à d'autres technologies pick-and-place.

"Cela peut s'appliquer au tri en entrepôt, mais peut également être utilisé pour ramasser des objets dans votre armoire de cuisine ou éliminer les débris après un accident. Il existe de nombreuses situations où les technologies de picking pourraient avoir un impact, " dit Alberto Rodriguez, le Walter Henry Gale Career Development Professor en génie mécanique au MIT.

Rodriguez et ses collègues du MIT et de Princeton présenteront un article détaillant leur système à la conférence internationale IEEE sur la robotique et l'automatisation, en mai.

Construire une bibliothèque de réussites et d'échecs

Bien que les technologies pick-and-place puissent avoir de nombreuses utilisations, les systèmes existants sont généralement conçus pour fonctionner uniquement dans des environnements étroitement contrôlés.

Aujourd'hui, la plupart des robots de cueillette industriels sont conçus pour un tâche répétitive, comme saisir une pièce de voiture hors d'une chaîne de montage, toujours dans le même, orientation soigneusement calibrée. Cependant, Rodriguez travaille à concevoir des robots plus flexibles, adaptable, et des cueilleurs intelligents, pour les environnements non structurés tels que les entrepôts de vente au détail, où un préparateur peut constamment rencontrer et devoir trier des centaines, sinon des milliers d'objets inédits chaque jour, souvent au milieu d'un fouillis dense.

La conception de l'équipe s'articule autour de deux opérations générales :la cueillette - action de saisir avec succès un objet, et percevoir - la capacité de reconnaître et de classer un objet, une fois saisi.

Les chercheurs ont entraîné le bras robotique à ramasser de nouveaux objets dans une poubelle encombrée, en utilisant l'un des quatre principaux comportements de préhension :aspirer sur un objet, soit verticalement, ou de côté ; saisir l'objet verticalement comme la griffe dans un jeu d'arcade ; ou, pour les objets qui affleurent contre un mur, préhension verticale, puis à l'aide d'une spatule souple pour glisser entre l'objet et le mur.

Rodriguez et son équipe ont montré au robot des images de poubelles encombrées d'objets, capturé du point de vue du robot. Ils ont ensuite montré au robot quels objets étaient saisissables, avec lequel des quatre principaux comportements de préhension, et qui n'étaient pas, marquant chaque exemple comme un succès ou un échec. Ils l'ont fait pour des centaines d'exemples, et au fil du temps, les chercheurs ont constitué une bibliothèque de réussites et d'échecs de cueillette. Ils ont ensuite incorporé cette bibliothèque dans un « réseau de neurones profonds », une classe d'algorithmes d'apprentissage qui permet au robot de faire correspondre le problème actuel auquel il est confronté avec un résultat positif du passé, sur la base de sa bibliothèque de succès et d'échecs.

"Nous avons développé un système où, juste en regardant un fourre-tout rempli d'objets, le robot savait prédire lesquels étaient saisissables ou aspirables, et quelle configuration de ces comportements de cueillette était susceptible de réussir, " dit Rodriguez. " Une fois qu'il était dans la pince, l'objet était beaucoup plus facile à reconnaître, sans tout le désordre."

Des pixels aux étiquettes

Les chercheurs ont développé un système de perception d'une manière similaire, permettant au robot de reconnaître et de classer un objet une fois qu'il a été saisi avec succès.

Faire cela, ils ont d'abord rassemblé une bibliothèque d'images de produits provenant de sources en ligne telles que les sites Web de détaillants. Ils ont étiqueté chaque image avec l'identification correcte, par exemple, ruban adhésif contre ruban de masquage, puis a développé un autre algorithme d'apprentissage pour relier les pixels d'une image donnée à l'étiquette correcte pour un objet donné.

"Nous comparons des choses qui, pour les humains, peut être très facile à identifier comme le même, mais en réalité, en pixels, ils pourraient sembler très différents, " dit Rodriguez. "Nous veillons à ce que cet algorithme soit correct pour ces exemples de formation. Ensuite, l'espoir est que nous lui avons donné suffisamment d'exemples de formation qui, quand on lui donne un nouvel objet, il prédira également la bonne étiquette."

Juillet dernier, l'équipe a emballé le robot de 2 tonnes et l'a expédié au Japon, où, un mois plus tard, ils l'ont remonté pour participer à l'Amazon Robotics Challenge, un concours annuel parrainé par le grand détaillant en ligne pour encourager les innovations dans la technologie des entrepôts. L'équipe de Rodriguez était l'une des 16 participantes à un concours pour ramasser et ranger des objets dans une poubelle encombrée.

À la fin, le robot de l'équipe avait un taux de réussite de 54 % pour ramasser des objets en utilisant l'aspiration et un taux de réussite de 75 % en utilisant la préhension, et était capable de reconnaître de nouveaux objets avec une précision de 100 pour cent. Le robot a également rangé les 20 objets dans le temps imparti.

Pour son travail, Rodriguez a récemment reçu un Amazon Research Award et travaillera avec l'entreprise pour améliorer encore la technologie pick-and-place, en premier lieu, sa rapidité et sa réactivité.

"La cueillette dans des environnements non structurés n'est pas fiable à moins d'ajouter un certain niveau de réactivité, " dit Rodriguez. " Quand les humains choisissent, nous faisons en quelque sorte de petits ajustements au fur et à mesure que nous choisissons. Déterminer comment effectuer cette sélection plus réactive, Je pense, est l'une des technologies clés qui nous intéresse."

L'équipe a déjà pris des mesures pour atteindre cet objectif en ajoutant des capteurs tactiles à la pince du robot et en faisant suivre au système un nouveau régime d'entraînement.

« Le préhenseur est désormais doté de capteurs tactiles, et nous avons activé un système où le robot passe toute la journée à ramasser des objets d'un endroit à un autre. Il capture des informations sur les réussites et les échecs, et comment il se sent pour ramasser, ou ne parvient pas à ramasser des objets, " dit Rodriguez. " J'espère qu'il utilisera cette information pour commencer à amener cette réactivité à saisir. "