Le dicton dit qu'une image vaut mille mots. Mais que faire si vous ne pouvez pas dire ce que montre l'image ? Des photos de famille maladroites aux photos de classe, il est parfois difficile de dire ce que pensent les personnes sur les photos.

En utilisant le machine learning et le deep learning avec les réseaux de neurones, une équipe de l'Université du Delaware est en train de le découvrir. Une équipe dirigée par la doctorante Xin (Cindy) Guo a décroché la première place du sous-défi Reconnaissance des émotions au niveau du groupe, l'un des trois sous-défis du 6e défi de reconnaissance des émotions dans la nature (EmotiW 2018). Les gagnants ont été annoncés lors de la conférence internationale ACM sur l'interaction multimodale 2018, qui a eu lieu en octobre 2018.

Les équipes ont reçu un ensemble d'images représentant un groupe de personnes et chargées de développer un algorithme qui pourrait classer les personnes sur les photos comme heureuses, neutre ou négatif. Les équipes ont eu un mois et demi et sept tentatives pour produire l'algorithme le plus précis possible. La solution gagnante de l'équipe UD, intitulé "Reconnaissance des émotions au niveau du groupe à l'aide de modèles hybrides profonds basés sur des visages, Scènes, Squelettes et attentions visuelles, " sera publié par ACM. Le groupe a fusionné huit modèles différents pour développer leur solution gagnante, qui fonctionne sur des photographies à une variété de résolutions, flou à clair.

Le but d'un tel travail ? Pour classer automatiquement les images téléchargées sur des sites Web.

« Quand les gens recherchent, ils verraient les images qu'ils recherchent parce que l'algorithme s'exécuterait et indiquerait si les gens sont heureux ou non, " a déclaré Guo. " Il pourrait être utilisé pour analyser les émotions d'un groupe de personnes photographiées lors d'une manifestation, une fête, un mariage, ou une réunion, par exemple. Cette technologie pourrait également être développée pour déterminer quel type d'événement une image donnée montre."