Des chercheurs de l'Ecole Centrale de Lyon ont récemment mis au point un nouveau cadre de développement inspiré de la mémoire à long terme et des mécanismes de raisonnement des humains. Ce cadre, décrit dans un article présenté à IEEE ICDL-Epirob à Tokyo et pré-publié sur arXiv, permet aux robots d'optimiser de manière autonome les hyper-paramètres réglés à partir de n'importe quel module d'action et/ou de vision, qui sont traités comme une boîte noire.

Dans les années récentes, les chercheurs ont construit des robots qui peuvent accomplir une variété de tâches. Néanmoins, l'environnement dans lequel ces robots opèrent est souvent quelque peu contraint. C'est parce qu'en robotique, la plupart des algorithmes sont conçus et optimisés manuellement par des experts humains pour anticiper les défis potentiels que le robot pourrait rencontrer dans une situation donnée.

"Toutefois, face aux incertitudes, par exemple, lorsque le robot devra traiter fréquemment de nouveaux objets au cours de sa vie, s'appuyer toujours sur des programmes supplémentaires et l'optimisation des ingénieurs humains n'est pas viable :le robot doit apprendre par lui-même, " Docteur Maxime Petit, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. « Nous voulons doter les robots de mécanismes d'apprentissage afin qu'ils soient autonomes et s'adaptent à diverses situations, même lorsque ceux-ci ne sont pas anticipés."

Développer des robots qui s'adaptent automatiquement à différentes situations pourrait avoir un certain nombre d'applications utiles, par exemple, dans le cadre de la robotique industrielle, où les bras robotiques doivent ramasser des objets inconnus dans des masses homogènes.

« Nous voulions que le robot optimise de manière autonome les paramètres d'un logiciel de préhension par vision (Kamido by Siléane) pour chaque objet en moins de quelques heures, » expliqua Petit. « Pour ce faire, nous avons utilisé un cadre de développement qui vise à reproduire la façon dont les enfants découvrent le monde. En particulier, nous voulons profiter de la similitude entre les objets pour accélérer le processus d'apprentissage en transférant les connaissances d'une tâche à une autre similaire."

Le cadre de développement présenté par Petit et ses collègues vise à permettre l'apprentissage continu et ouvert de nouvelles compétences chez les robots grâce à un processus similaire à celui observé chez les enfants humains. Pour y parvenir, leur cadre comprend une mémoire à long terme dans laquelle les robots stockent leurs expériences, ainsi que des capacités de raisonnement qui leur permettent d'identifier des éléments utiles dans leurs données stockées.

"La méthode d'optimisation bayésienne fonctionne comme une stratégie intelligente" d'essais et d'erreurs " :le robot estime quel ensemble de paramètres il est préférable d'évaluer en fonction des résultats de l'évaluation précédente, " expliqua Petit. " Bref, cette méthode guide efficacement le robot dans l'exploration de paramètres autour de valeurs qui n'ont pas été essayées, mais aussi vers des valeurs à fort potentiel."

Malgré l'efficacité de cette technique, les chercheurs voulaient augmenter la convergence de l'apprentissage du robot pour obtenir une meilleure optimisation. Les méthodes d'optimisation bayésiennes traditionnelles n'étaient donc pas souhaitables, comme avec ceux-ci, l'apprentissage du robot repart de zéro pour chaque nouvel objet qu'il rencontre. Pour remédier à cette limite, les chercheurs ont utilisé une stratégie basée sur la similarité de vision.

"Nous voulions profiter de l'expérience précédente du robot pour des tâches différentes mais similaires, " dit Petit. " Ainsi, face à un nouvel objet, nous forçons le robot à explorer dans un premier temps des solutions optimisées pour des objets similaires. Par exemple, si le robot sait saisir une orange et doit maintenant saisir une pomme, nous forçons le robot à saisir la pomme en utilisant la stratégie « saisir l'orange ». Nous le faisons en demandant au module de similarité visuelle quels objets sont similaires aux nouveaux, et extraire les meilleures solutions pour ces objets similaires de la mémoire à long terme."

Les chercheurs ont évalué leur cadre dans un environnement de simulation. Ils ont trouvé que la stratégie d'apprentissage par transfert basée sur la similitude visuelle était bien plus bénéfique que l'apprentissage amnésique, dans lequel les robots apprennent des stratégies à partir de zéro chaque fois qu'ils effectuent une nouvelle tâche.

Jusque là, les cadres de développement ont été principalement étudiés dans le contexte de la robotique sociale, par exemple, aider à personnaliser l'assistance des robots sociaux aux besoins ou aux préférences de leurs utilisateurs.

"L'utilisation de ce framework dans une configuration de robotique industrielle a conduit à des résultats probants, impliquant que les domaines de la robotique sociale et industrielle ont beaucoup à apprendre les uns des autres, " a déclaré Petit. " Un autre aspect intéressant de notre étude est que le cadre optimise un algorithme " boîte noire ", ce qui signifie que nous ne savons rien de son fonctionnement. Nous lui fournissons des paramètres, et en échange, nous recevons une note pour leur qualité. Cela signifie qu'il pourrait également être appliqué à différentes applications et algorithmes (même en dehors du domaine de la robotique) qui nécessitent un réglage fin fréquent."

Les chercheurs explorent maintenant les moyens par lesquels les robots pourraient transférer les connaissances sur les objets acquises lors des simulations à des tâches réelles impliquant les mêmes objets. Cela améliorerait encore l'efficacité d'un robot, lui permettant d'apprendre de nouvelles choses virtuellement, puis de les appliquer dans la vraie vie.

"L'optimisation des paramètres pour les objets partageant des propriétés physiques pourrait également conduire à l'émergence d'un tel concept pour des robots spécifiques, » ajouta Petit. « Par exemple, un robot pourrait apprendre qu'un "appartement, ' 'lourd, ' 'longue, ' etc. objet doit être saisi avec des valeurs spécifiques pour un sous-ensemble de paramètres. Cela peut être utilisé pour améliorer les interactions homme-robot et l'apprentissage en utilisant le langage naturel, par exemple, avec des ouvriers aidant le robot en fournissant une petite description des nouveaux objets à manipuler."

© 2018 Tech Xplore