Des chercheurs de l'Universitat Autònoma de Barcelona (UAB) ont récemment développé un bras robotique de suivi du visage avec détection d'émotions inspiré de la lampe Luxo Jr. de Pixar Animation Studios. Ce robot a été présenté par Vernon Stanley Albayeros Duarte, diplômé en informatique de l'UAB, dans sa thèse de fin d'études.

"L'idée derrière notre robot est en grande partie basée sur le short de lampe Luxo Jr. de Pixar, " Albayeros Duarte a déclaré à TechXplore. " Je voulais construire un robot qui imitait le comportement de la lampe dans le short. Je suis très intéressé par la scène maker et j'imprime en 3D depuis quelques années, J'ai donc entrepris de créer une sorte de « animal de compagnie » pour démontrer des interactions homme-machine intéressantes. C'est de là que vient tout le thème 'suivi de visage/détection d'émotions', car faire sauter la lampe comme celles du short Pixar s'est avéré très difficile à mettre en œuvre, mais a toujours conservé l'impression de « animal de compagnie » du projet. »

Comme cette étude faisait partie du cursus d'Albayeros Duarte, il devait répondre à certaines exigences définies par l'UAB. Par exemple, l'objectif principal de la thèse était que les étudiants découvrent les services cloud de Google et comment ils peuvent être utilisés pour décharger des ressources informatiques dans des projets qui ne sont pas puissants en termes de calcul pour eux.

Raspberry Pi est un ordinateur minuscule et abordable, qui a des limites de calcul importantes. Ces limitations en font le candidat idéal pour explorer l'utilisation de la plate-forme cloud de Google pour des tâches à forte intensité de calcul, comme la détection des émotions.

Albayeros Duarte a donc décidé d'utiliser un Raspberry Pi pour développer un petit robot doté de capacités de détection d'émotions. Le corps principal de son robot est LittleArm 2C, un bras robotisé créé par le fondateur de Slant Concepts, Gabe Bentz.

"J'ai contacté Slant Concepts pour demander l'autorisation de modifier leur bras robotique afin qu'il puisse contenir une caméra à la fin, puis créé le boitier électronique et base moi-même, ", a déclaré Albayeros Duarte.

Le robot conçu par Albayeros Duarte « balaie » une caméra de gauche à droite, capturer une photo et utiliser OpenCV, une bibliothèque de fonctions de programmation souvent utilisée pour les applications de vision par ordinateur, pour détecter un visage dans son cadre. Lorsque le robot atteint l'extrémité de chaque côté, il élève ou abaisse la caméra de quelques degrés et reprend son mouvement de balayage.

"Quand il trouve un visage, le robot arrête le mouvement de balayage et vérifie si le visage reste dans le champ de vision pendant plus d'une poignée d'images, " a expliqué Albayeros Duarte. " Cela garantit qu'il ne 'joue' pas avec des faux positifs dans la détection des visages. Si le robot confirme qu'il a bien trouvé un visage, il passe à la partie « suivi de visage » de l'algorithme, où il essaie de garder le visage centré dans son champ de vision. Pour faire ça, il pivote et s'incline en fonction des mouvements de la personne qu'il observe."

Pendant que le robot suit les mouvements de la personne dans son champ de vision, il prend une photo de leur visage et l'envoie à l'API Cloud Vision de Google. La plate-forme de Google analyse ensuite l'image et détecte l'état émotionnel actuel de la personne qui s'y trouve, le classant comme l'un des 5 états émotionnels :joie, colère, tristesse, surprise ou neutre.

« Quand le robot reçoit les résultats de cette analyse, il imite l'état émotionnel dans lequel se trouve l'utilisateur, " Albayeros Duarte a déclaré. "Pour la joie, il saute un peu, pour la colère il fait un petit hochement de tête en signe de désapprobation, pour le chagrin, il tombe à terre et regarde vers toi, et par surprise il recule. Le robot dispose également d'un anneau LED capable de couvrir toute la gamme de couleurs RVB, qu'il utilise pour compléter ces actions.

Selon l'émotion qu'il détecte, le « comportement de balayage » du robot change. S'il détecte la joie, il balaie un peu plus vite, pour la colère il se déplace le plus vite possible (sans compromettre la qualité de sa détection de visage), pour le chagrin, il balaie dans une position descendante ou « tombante » et pour la surprise, il secoue au hasard tout en balayant. Dans chacun de ces "modes", le robot fait clignoter différentes couleurs sur sa bague LED RVB :jaune et couleurs chaudes pour la joie, rouge vif pour la colère, des couleurs bleues et froides pour le chagrin et un mélange de jaune et de vert pour la surprise.

« Je crois qu'il existe un énorme potentiel inexploité pour les robots « animaux de compagnie », " a déclaré Albayeros Duarte. " En rendant les assistants personnels comme Alexa d'Amazon et Google Assistant plus interactifs et plus naturels, à potentiellement aider les personnes handicapées à devenir plus autonomes grâce à leur aide, avoir un robot qui répond à votre état émotionnel actuel peut avoir un impact énorme sur la perception de ces appareils. Par exemple, un assistant pour personnes âgées capable de reconnaître la détresse émotionnelle pourrait envoyer des alertes précoces en cas de besoin d'assistance sanitaire, tandis qu'un robot utilisé pour aider à développer les habiletés motrices des enfants à mobilité réduite pourrait détecter si l'enfant perd tout intérêt ou s'il s'engage davantage dans une activité et ajuster sa difficulté en conséquence."

En plus d'être un excellent exemple de la façon dont la plate-forme cloud de Google peut être utilisée pour décharger les ressources de calcul, Le projet d'Albayeros Duarte fournit un ensemble de modèles pour l'impression 3D qui pourraient être utilisés pour reproduire son robot ou en créer des adaptations, accompagné de la nomenclature des matériaux nécessaires. À l'heure actuelle, le chercheur collabore également avec Fernando Vilariño, Directeur associé au Computer Vision Center (CVC) et Président du European Network of Living Labs (ENoLL), sur un projet visant à inspirer les jeunes générations à faire carrière dans les STEM, ainsi que sur la construction de la communauté informatique physique à l'UAB, ciblant tous ceux qui souhaitent créer leurs propres projets.

"Nous avons été au Youth Mobile Festival de Barcelone, un Mobile World Congress (MWC) destiné aux jeunes organisé par les mêmes personnes que le MWC, " a déclaré Albayeros Duarte. " Tremper nos orteils dans des robots interactifs comme celui-ci est un bon moyen à la fois de construire quelque chose qui attire instantanément l'attention des groupes scolaires lors de ces événements et nous en apprend plus sur la robotique au niveau du consommateur, par opposition à la robotique de niveau industriel."

© 2019 Réseau Science X