L'agent d'IA mettant la table. Crédit :MIT CSAIL
Pour plusieurs personnes, les tâches ménagères sont redoutées, partie incontournable de la vie que nous remettons souvent à plus tard ou que nous faisons avec peu de soin, mais et si une femme de ménage robot pouvait aider à alléger la charge ?
Récemment, les informaticiens ont travaillé sur des machines à enseigner pour effectuer un plus large éventail de tâches dans la maison. Dans un nouvel article dirigé par le Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT et l'Université de Toronto, les chercheurs démontrent "VirtualHome, " un système qui peut simuler des tâches ménagères détaillées puis les faire exécuter par des "agents" artificiels, ouvrant la possibilité d'apprendre un jour aux robots à effectuer de telles tâches.
L'équipe a formé le système en utilisant près de 3, 000 programmes d'activités diverses, qui sont ensuite décomposés en sous-tâches que l'ordinateur doit comprendre. Une tâche simple comme "faire du café, " par exemple, inclurait également l'étape « saisir une tasse ». Les chercheurs ont fait la démonstration de VirtualHome dans un monde en 3D inspiré du jeu vidéo Les Sims.
L'agent IA de l'équipe peut exécuter 1, 000 de ces interactions dans le monde à la Sims, avec huit scènes différentes dont un salon, cuisine, salle à manger, chambre, et bureau à domicile.
"Décrire les actions comme des programmes informatiques a l'avantage de fournir des descriptions claires et sans ambiguïté de toutes les étapes nécessaires à la réalisation d'une tâche, " déclare Xavier Puig, doctorant, qui était l'auteur principal de l'article. "Ces programmes peuvent instruire un robot ou un personnage virtuel, et peut également être utilisé comme représentation pour des tâches complexes avec des actions plus simples."
Le projet a été co-développé par CSAIL et l'Université de Toronto avec des chercheurs de l'Université McGill et de l'Université de Ljubljana. Il sera présenté à la conférence Computer Vision and Pattern Recognition (CVPR), qui a lieu ce mois-ci à Salt Lake City.
Comment ça fonctionne
Contrairement aux humains, les robots ont besoin d'instructions plus explicites pour accomplir des tâches faciles - ils ne peuvent pas simplement déduire et raisonner facilement.
Par exemple, on pourrait dire à un humain "d'allumer la télévision et de la regarder depuis le canapé". Ici, des actions telles que "prendre la télécommande" et "s'asseoir/s'allonger sur le canapé" ont été omises, car ils font partie de la connaissance de bon sens que les humains ont.
Pour mieux démontrer ce genre de tâches aux robots, les descriptions des actions devaient être beaucoup plus détaillées. Faire cela, l'équipe a d'abord recueilli des descriptions verbales des activités du ménage, puis les a traduits en code simple. Un programme comme celui-ci peut inclure des étapes telles que :marcher jusqu'à la télévision, allumer la télévision, marcher jusqu'au canapé, asseyez-vous sur le canapé, et regarder la télévision.
Auteur principal Xavier Puig Fernandez travaillant sur l'interface Virtual Home. Crédit :Jason Dorfman, MIT CSAIL
Une fois les programmes créés, l'équipe les a transmis au simulateur VirtualHome 3-D pour les transformer en vidéos. Puis, un agent virtuel exécuterait les tâches définies par les programmes, que ce soit en regardant la télévision, placer une casserole sur la cuisinière, ou allumer et éteindre un grille-pain.
Le résultat final n'est pas seulement un système pour former des robots à faire des tâches, mais aussi une grande base de données de tâches ménagères décrites en langage naturel. Des entreprises comme Amazon qui travaillent à développer des systèmes robotiques de type Alexa à la maison pourraient éventuellement utiliser des données comme celle-ci pour entraîner leurs modèles à effectuer des tâches plus complexes.
Le modèle de l'équipe a démontré avec succès que, leurs agents pourraient apprendre à reconstruire un programme, et donc effectuer une tâche, soit une description :"pour le lait dans le verre", ou une démonstration vidéo de l'activité.
"Cette ligne de travail pourrait faciliter de véritables assistants personnels robotiques à l'avenir, " dit Qiao Wang, un assistant de recherche en arts, médias, et ingénierie à l'Arizona State University. « Au lieu de chaque tâche programmée par le constructeur, le robot peut apprendre des tâches simplement en écoutant ou en regardant la personne spécifique qu'il accompagne. Cela permet au robot d'effectuer des tâches de manière personnalisée, ou même un jour invoquer une connexion émotionnelle à la suite de ce processus d'apprentissage personnalisé."
À l'avenir, l'équipe espère former les robots en utilisant des vidéos réelles au lieu de vidéos de simulation de style Sims, qui permettrait à un robot d'apprendre simplement en regardant une vidéo YouTube. L'équipe travaille également à la mise en œuvre d'un système d'apprentissage par récompense dans lequel l'agent reçoit des commentaires positifs lorsqu'il effectue correctement les tâches.
« Vous pouvez imaginer un cadre où les robots aident aux tâches ménagères à la maison et peuvent éventuellement anticiper les désirs et les besoins personnalisés, ou action imminente, " dit Puig. " Cela pourrait être particulièrement utile en tant que technologie d'assistance pour les personnes âgées, ou ceux qui peuvent avoir une mobilité réduite."
