Une équipe de chercheurs de l'Université de Californie à Los Angeles (UCLA), sous la supervision du professeur Song-Chun Zhu, a développé un environnement virtuel 3-D interactif pour la formation et l'évaluation des systèmes d'IA. Leur plateforme, appelé VRKitchen, a été récemment présenté dans un article prépublié sur arXiv.

« Former des robots dans le monde réel coûte cher, lente et difficilement reproductible, " Tianmin Shu, un doctorat étudiant à l'UCLA qui a réalisé l'étude, a déclaré TechXplore. "À cause de ce, dans les années récentes, nous avons été témoins de grands progrès dans la construction de plates-formes virtuelles 3D basées sur la physique (par exemple AI2-THOR, House3D) où les agents d'IA incarnés peuvent se promener et trouver un objet cible."

Malgré leurs nombreux avantages, la plupart des plateformes virtuelles existantes pour la formation des systèmes d'IA ne permettent pas d'interactions complexes avec des objets physiques, qui sont très fréquents dans des situations réelles. En outre, bon nombre de ces plates-formes ne permettent pas aux humains de participer à la formation des agents dans l'environnement virtuel.

"Dans ce travail, nous visons à construire une plate-forme virtuelle hautement interactive et réaliste, permettre aux chercheurs de former et d'évaluer leurs agents d'IA dans un large éventail de tâches du monde réel impliquant des manipulations d'objets complexes (par exemple, cuisiner un repas), ", a déclaré Shu. "Un autre objectif de nos recherches est de créer des interfaces de réalité virtuelle qui permettent aux humains d'enseigner aux agents de l'IA en faisant des démonstrations dans le même environnement."

VRCuisine, l'environnement virtuel créé par Shu et ses collègues, est basé sur Unreal Engine 4, une suite d'outils généralement utilisés par les développeurs de jeux pour concevoir des jeux ou des simulations. Par rapport aux environnements virtuels existants, VRKitchen présente deux avantages clés.

D'abord, dans VRKitchen, un agent d'IA peut effectuer un large éventail de tâches de cuisson avec de riches changements d'état d'objet et des objectifs de composition. Par exemple, si un agent apprend à faire de la pizza, l'environnement virtuel simule les effets visuels du fromage râpé, les tomates étant coupées et les ingrédients étant placés sur la pâte.

« Nous espérions vraiment que la possibilité de simuler ces tâches de cuisson complexes permettrait à VRKitchen de se démarquer des autres plateformes, " Xiaofeng Gao, doctorat étudiant à l'UCLA qui a réalisé l'étude, a déclaré TechXplore.

Un deuxième avantage de VRKitchen est que l'agent incarné naviguant dans l'environnement virtuel peut être contrôlé à la fois par des algorithmes d'IA et des utilisateurs humains. Cela permet aux humains de faire des démonstrations aux agents d'IA, afin que ce dernier puisse acquérir des connaissances sur la manière de réaliser une tâche via l'observation, plutôt que d'avoir à apprendre la tâche de façon autonome.

"Nous avons construit trois modules majeurs dans VRKitchen, " a expliqué Gao. " (1) le moteur physique basé sur UE4 (Unreal Engine 4) et le module de rendu photoréaliste avec plusieurs agents humanoïdes, et un ensemble de scènes de cuisine personnalisables composé de divers meubles, appareils de cuisine, Ingrédients alimentaires, conteneurs, et des outils pour les activités de cuisine; (2) un module d'interface utilisateur qui permet aux utilisateurs ou aux algorithmes d'effectuer des tâches à l'aide d'un appareil de réalité virtuelle ou d'une API Python ; (3) un pont Python-UE4, qui transfère les commandes de haut niveau aux signaux de commande du moteur et les envoie à l'agent."

L'environnement virtuel développé par Shu, Gao et leurs collègues pourraient bientôt être utilisés pour former des agents alimentés par un large éventail de techniques d'apprentissage automatique sur des tâches complexes impliquant une manipulation d'objets à granularité fine. Avec VRKitchen, les chercheurs ont présenté de nouveaux repères d'évaluation standardisés et des outils de collecte de données, qui sont conçus pour faciliter l'utilisation de leur plateforme dans les milieux de la recherche.

"Les approches populaires dans la littérature récente qui fonctionnent bien dans des environnements virtuels plus simples ne parviennent pas à obtenir des performances décentes sur les tâches de cuisson mises en œuvre dans notre plate-forme, imposer un nouveau défi pour la recherche en IA et souligner l'importance de construire des environnements virtuels plus réalistes et complexes, " " dit Shu. « Nous prévoyons maintenant d'ouvrir notre plate-forme et d'héberger des défis standardisés (VR Chef Challenge) pour la communauté de l'IA. Nous travaillons également à la création d'agents d'IA capables d'acquérir efficacement des compétences complexes en explorant eux-mêmes le monde virtuel ainsi qu'en apprenant de l'humain. manifestations."

© 2019 Réseau Science X