Algorithmes d'apprentissage par imitation améliorés utilisant les données du regard humain
Pile d'images d'entrée alimentée aux algorithmes. Crédit :Saran et al.
Des études de psychologie antérieures suggèrent que le regard humain peut coder les intentions des humains lorsqu'ils effectuent des tâches quotidiennes, comme faire un sandwich ou une boisson chaude. De la même manière, il a été découvert que le regard humain améliore les performances des méthodes d'apprentissage par imitation, qui permettent aux robots d'apprendre à accomplir des tâches en imitant des démonstrateurs humains.
Inspiré par ces découvertes précédentes, des chercheurs de l'Université du Texas à Austin et de l'Université Tufts ont récemment mis au point une nouvelle stratégie pour améliorer les algorithmes d'apprentissage par imitation à l'aide de données liées au regard humain. La méthode qu'ils ont développée, décrit dans un article prépublié sur arXiv, utilise le regard d'un démonstrateur humain pour diriger l'attention des algorithmes d'apprentissage par imitation vers des domaines qu'ils jugent importants, sur la base du fait que les utilisateurs humains s'en sont occupés.
"Les algorithmes d'apprentissage en profondeur doivent apprendre à identifier les caractéristiques importantes des scènes visuelles, par exemple, un personnage de jeu vidéo ou un ennemi, tout en apprenant à utiliser ces fonctionnalités pour la prise de décision, " Le professeur Scott Niekum de l'Université du Texas à Austin a déclaré à TechXplore. " Notre approche facilite les choses, en utilisant le regard humain comme un repère qui indique quels éléments visuels de la scène sont les plus importants pour la prise de décision."
L'approche conçue par les chercheurs implique l'utilisation d'informations liées au regard humain comme guide, diriger l'attention d'un modèle d'apprentissage en profondeur sur des caractéristiques particulièrement importantes des données qu'il analyse. Cette orientation liée au regard est codée dans la fonction de perte appliquée aux modèles d'apprentissage en profondeur pendant l'entraînement.
"Des recherches antérieures explorant l'utilisation des données du regard pour améliorer les approches d'apprentissage par imitation ont généralement intégré les données du regard en entraînant des algorithmes avec des paramètres plus faciles à apprendre, rendant l'apprentissage coûteux en calcul et nécessitant des informations de regard à la fois au moment de l'apprentissage et du test, " Akanksha Saran, un doctorat étudiant à l'Université du Texas à Austin qui a participé à l'étude, a déclaré TechXplore. "Nous voulions explorer des voies alternatives pour augmenter facilement les approches d'apprentissage par imitation existantes avec des données de regard humain, sans augmenter les paramètres d'apprentissage."
La stratégie développée par Niekum, Saran et ses collègues peuvent être appliqués à la plupart des architectures existantes basées sur les réseaux de neurones convolutifs (CNN). En utilisant un composant auxiliaire de perte de regard qui guide les architectures vers des politiques plus efficaces, leur approche peut finalement améliorer les performances d'une variété d'algorithmes d'apprentissage en profondeur.
