Une équipe de chercheurs de l'Université de Caroline du Nord à Chapel Hill et de l'Université du Maryland à College Park a récemment développé un nouveau modèle d'apprentissage en profondeur qui peut identifier les émotions des gens en fonction de leurs styles de marche. Leur approche, décrit dans un article prépublié sur arXiv, fonctionne en extrayant la démarche d'un individu à partir d'une vidéo RVB de lui marchant, puis l'analysant et le classant comme l'une des quatre émotions :heureux, triste, en colère ou neutre.

"Les émotions jouent un rôle important dans nos vies, définir nos expériences, et façonner notre façon de voir le monde et d'interagir avec les autres humains, " Tanmay Randhavane, l'un des principaux chercheurs et étudiant diplômé de l'UNC, a déclaré TechXplore. « Percevoir les émotions des autres nous aide à comprendre leur comportement et à décider de nos actions à leur égard. Par exemple, les gens communiquent très différemment avec quelqu'un qu'ils perçoivent comme étant en colère et hostile qu'avec quelqu'un qu'ils perçoivent comme calme et satisfait."

La plupart des outils existants de reconnaissance et d'identification des émotions fonctionnent en analysant les expressions faciales ou les enregistrements vocaux. Cependant, des études antérieures suggèrent que le langage corporel (par exemple, posture, mouvements, etc.) peut aussi en dire long sur ce que ressent une personne. Inspiré par ces observations, les chercheurs ont entrepris de développer un outil capable d'identifier automatiquement l'émotion perçue des individus en fonction de leur style de marche.

"Le principal avantage de notre approche de reconnaissance des émotions perçues est qu'elle combine deux techniques différentes, " a déclaré Randhavane. " En plus d'utiliser l'apprentissage en profondeur, notre approche s'appuie également sur les résultats d'études psychologiques. Une combinaison de ces deux techniques nous donne un avantage sur les autres méthodes."

L'approche extrait d'abord la démarche de marche d'une personne à partir d'une vidéo RVB de la marche, le représenter comme une série de poses 3-D. Ensuite, les chercheurs ont utilisé un réseau de neurones récurrents à mémoire à long court terme (LSTM) et un classificateur de forêt aléatoire (RF) pour analyser ces poses et identifier l'émotion la plus importante ressentie par la personne dans la vidéo, choisir entre le bonheur, tristesse, colère ou neutre.

Le LSTM est initialement formé sur une série de fonctionnalités profondes, mais ceux-ci sont ensuite combinés avec des caractéristiques affectives calculées à partir des démarches en utilisant des indices de posture et de mouvement. Toutes ces caractéristiques sont finalement classées à l'aide du classificateur RF.

Randhavane et ses collègues ont effectué une série de tests préliminaires sur un ensemble de données contenant des vidéos de personnes marchant et ont découvert que leur modèle pouvait identifier les émotions perçues des individus avec une précision de 80 %. En outre, leur approche a conduit à une amélioration d'environ 14% par rapport aux autres méthodes de reconnaissance des émotions perçues qui se concentrent sur le style de marche des personnes.

"Bien que nous ne fassions aucune déclaration sur les émotions réelles qu'une personne éprouve, notre approche peut fournir une estimation de l'émotion perçue de ce style de marche, " Aniket Bera, un enseignant-chercheur au département d'informatique, superviser la recherche, a déclaré TechXplore. « Il existe de nombreuses applications pour cette recherche, allant d'une meilleure perception humaine pour les robots et les véhicules autonomes à une surveillance améliorée à la création d'expériences plus engageantes en réalité augmentée et virtuelle."

Avec Tanmay Randhavane et Aniket Bera, l'équipe de recherche à l'origine de cette étude comprend Dinesh Manocha et Uttaran Bhattacharya de l'Université du Maryland à College Park, ainsi que Kurt Gray et Kyra Kapsaskis du département de psychologie de l'Université de Caroline du Nord à Chapel Hill.

Pour former leur modèle d'apprentissage profond, les chercheurs ont également compilé un nouvel ensemble de données appelé Emotion Walk (EWalk), qui contient des vidéos d'individus marchant dans des environnements intérieurs et extérieurs étiquetés avec des émotions perçues. À l'avenir, cet ensemble de données pourrait être utilisé par d'autres équipes pour développer et former de nouveaux outils de reconnaissance des émotions conçus pour analyser le mouvement, posture, et/ou la démarche.

"Notre recherche est à un stade très primitif, " a déclaré Bera. "Nous voulons explorer différents aspects du langage corporel et examiner plus d'indices tels que les expressions faciales, discours, motifs vocaux, etc., et utiliser une approche multimodale pour combiner tous ces indices avec des allures. Actuellement, nous supposons que le mouvement de marche est naturel et n'implique aucun accessoire (par exemple, valise, téléphones portables, etc.). Dans le cadre de travaux futurs, nous aimerions collecter plus de données et mieux former notre modèle d'apprentissage en profondeur. Nous essaierons également d'étendre notre méthodologie pour considérer plus d'activités telles que la course à pied, faire des gestes, etc."

Selon Bera, les outils de reconnaissance des émotions perçues pourraient bientôt aider à développer des robots avec une navigation plus avancée, Planification, et les compétences d'interaction. En outre, des modèles comme le leur pourraient être utilisés pour détecter des comportements anormaux ou des schémas de marche à partir de vidéos ou de séquences de vidéosurveillance, par exemple, identifier les personnes à risque de suicide et alerter les autorités ou les prestataires de soins de santé. Leur modèle pourrait également être appliqué dans l'industrie des effets visuels et de l'animation, où il pourrait aider les concepteurs et les animateurs à créer des personnages virtuels qui expriment efficacement des émotions particulières.

© 2019 Réseau Science X