Les humains sont capables de « lire » le langage corporel des autres pour trouver des indices sur leur état émotionnel. Par exemple, remarquant qu'un ami est nerveux en tapant du pied, ou qu'un être cher qui se tient debout se sent en confiance. Maintenant, une équipe de chercheurs de Penn State étudie si les ordinateurs peuvent être formés pour faire de même.

L'équipe étudie si les techniques modernes de vision par ordinateur pourraient correspondre à la capacité cognitive des humains à reconnaître les expressions corporelles dans le monde réel, situations sans contraintes. Si c'est le cas, ces capacités pourraient permettre un grand nombre d'applications innovantes dans des domaines tels que la gestion et la récupération d'informations, la sécurité publique, soins aux patients et réseaux sociaux, les chercheurs ont dit.

"Les ordinateurs et les robots à l'avenir interagiront avec plus de personnes, " a déclaré James Wang, professeur au Collège des sciences et technologies de l'information (IST) et membre de l'équipe de recherche. "Les ordinateurs d'aujourd'hui, dans une large mesure, simplement suivre les ordres. À l'avenir, les robots et les ordinateurs agiront davantage comme des partenaires des humains et travailleront ensemble. Et pour ce faire, ils auront besoin de comprendre leurs émotions.

Collège des doctorants de l'IST Yu Luo, travailler avec Wang et d'autres professeurs de l'équipe, traité un grand nombre de clips vidéo et construit un ensemble de données de plus de 13, 000 personnages humains dont près de 10, 000 mouvements du corps. Selon les chercheurs, des études ont montré que le corps humain peut être plus diagnostique que le visage pour reconnaître les émotions humaines.

"Le terme en psychologie s'appelle 'socio-édition, '", a déclaré Luo. "Les gens peuvent l'utiliser pour manipuler l'expression de leur visage, mais il est beaucoup plus difficile de contrôler leur corps. Le langage corporel projette différentes émotions."

Prochain, les chercheurs ont utilisé des méthodes de vision par ordinateur pour localiser et suivre chaque personne à travers différentes images de la scène, marquant finalement chaque individu dans un clip avec un numéro d'identification unique. Finalement, les chercheurs ont utilisé des annotateurs humains participatifs pour examiner les clips vidéo et identifier l'émotion de chaque individu présenté dans l'une des 26 émotions catégorielles, c'est à dire., paix, affection, estime, anticipation, engagement, confiance, joie, plaisir, excitation, surprendre, la sympathie, confusion, coupure, fatigue, embarras, aspiration, désapprobation, aversion, contrariété, colère, sensibilité, tristesse, inquiétude, peur, la douleur et la souffrance, ainsi que dans les trois dimensions de l'émotion, c'est à dire., valence, l'excitation et la domination.

"Nous avons constaté que l'interprétation des émotions basée sur le langage corporel est complexe, " a déclaré Wang. " Il y a beaucoup de subtilités que nous essayons de comprendre. Même pour les humains, il y a beaucoup d'incohérences.

"Les gens ne sont pas d'accord quand il s'agit d'interpréter les émotions, " il a ajouté. " Vous pouvez penser qu'une personne est heureuse, Je peux penser qu'ils sont excités, et peut-être que nous avons tous les deux raison. Il n'y a souvent pas de vérité sur le terrain, ce qui rend la modélisation basée sur les données très difficile."

Une fois que les chercheurs ont construit l'ensemble de données et appliqué les annotations émotionnelles perçues par l'homme pour chaque individu, ils ont utilisé des techniques statistiques de pointe pour valider leurs mécanismes de contrôle de la qualité et analysé en profondeur le niveau de consensus de leurs étiquettes de données vérifiées. Plus loin, ils ont construit des systèmes automatisés de reconnaissance des émotions à partir de squelettes humains et de séquences d'images. Spécifiquement, des techniques d'apprentissage profond et artisanales, Les fonctionnalités basées sur l'analyse des mouvements de Laban ont démontré leur efficacité pour la tâche.

Ils ont découvert que le modèle informatique pouvait identifier l'excitation, ou à quel point l'expérience est énergisée, avec un haut niveau de précision. Cependant, les chercheurs ont également découvert que les humains sont meilleurs que les ordinateurs pour identifier la valence - à quel point l'expérience est négative ou positive.

Les résultats actuels ont été rendus possibles grâce à une subvention de démarrage du College of IST et la recherche en cours est soutenue par une récente récompense du programme Amazon Research Award. L'équipe a également récemment reçu un projet de planification de la National Science Foundation pour créer une communauté afin de développer l'infrastructure de données à utiliser dans cette recherche.

Wang et Luo ont travaillé avec d'autres chercheurs de Penn State sur le projet, dont Jianbo Ye, ancien doctorant et compagnon de laboratoire au Collège de l'IST; Reginald Adams et Michelle Newman, professeurs de psychologie; et Jia Li, professeur de statistiques. Une demande de brevet provisoire a récemment été déposée, et le travail sera publié dans un prochain numéro de la Revue internationale de vision par ordinateur .

« La barrière d'entrée pour cette ligne de recherche est assez élevée, " a déclaré Wang. " Vous devez utiliser les connaissances de la psychologie, vous devez développer et intégrer des méthodes de science des données, et vous devez utiliser la modélisation statistique pour collecter correctement les données affectives. Cela montre que nous sommes à la pointe des sciences et de la technologie dans cet important sous-domaine de l'information."