L’un des principaux défis réside dans le fait que les robots doivent souvent apprendre à utiliser des outils ayant des orientations et des tailles différentes. De plus, ils doivent comprendre les effets de leurs actions sur les objets manipulés, qui peuvent varier considérablement en fonction de l'outil utilisé.
Pour surmonter ces défis, TL;DR utilise une combinaison d’apprentissage par renforcement profond et de traitement du langage naturel. L'algorithme commence par apprendre une compréhension générale de la façon dont les outils interagissent avec les objets à partir d'un ensemble de démonstrations. Ces connaissances sont ensuite utilisées pour générer des descriptions textuelles des actions requises pour des tâches spécifiques, telles que « enfoncer le clou dans le bois » ou « soulever la tasse avec la fourchette ».
Une fois les instructions textuelles générées, TL;DR utilise un modèle de traitement du langage naturel pour extraire les actions et objets clés. Ces actions sont ensuite représentées au format SMPL, une représentation standard des données de mouvement.
Enfin, l'algorithme utilise l'apprentissage par renforcement profond pour affiner les actions du robot en fonction de ses expériences du monde réel. Cela permet au robot de s’adapter aux variations de l’environnement et d’apprendre à utiliser efficacement les outils.
Lors d'expériences, les chercheurs ont démontré que TL;DR surpasse considérablement les approches existantes en matière d'apprentissage de l'utilisation des outils robotisés, en particulier lorsqu'il s'agit de nouveaux objets et outils. L’algorithme a également pu apprendre à utiliser des outils complexes, comme des pincettes, pour manipuler de petits objets.
Les chercheurs prévoient que TL;DR pourrait avoir des implications importantes pour les applications robotiques dans divers domaines, notamment la fabrication, les soins de santé et l'exploration autonome. En permettant aux robots d'apprendre à utiliser les outils de manière intuitive, TL;DR peut élargir la gamme de tâches que les robots peuvent effectuer et réduire le besoin d'intervention humaine.
L'étude a été co-écrite par Anirudha Parasuraman, Jialin Se et Peter Fazli. La recherche a été soutenue par l'ONR, la NSF, Samsung, le Toyota Research Institute et le MIT-IBM Watson AI Lab.
