Pour qu'un robot puisse "apprendre" la langue des signes, il est nécessaire de combiner différents domaines de l'ingénierie comme l'intelligence artificielle, réseaux de neurones et vision artificielle, ainsi que des mains robotiques sous-actionnées. "L'une des principales nouveautés de cette recherche est que nous avons réuni deux domaines majeurs de la robotique :les systèmes complexes (comme les mains robotiques) et l'interaction sociale et la communication, " explique Juan Víctores, l'un des chercheurs du laboratoire de robotique du département d'ingénierie des systèmes et d'automatisation de l'UC3M.

La première chose que les scientifiques ont faite dans le cadre de leurs recherches a été d'indiquer, par une simulation, la position spécifique de chaque phalange afin de représenter des signes particuliers de la langue des signes espagnole. Ils ont ensuite tenté de reproduire cette position avec la main robotique, essayant de faire des mouvements similaires à ceux qu'une main humaine pourrait faire. "L'objectif est qu'elles soient similaires et, par dessus tout, Naturel. Différents types de réseaux de neurones ont été testés pour modéliser cette adaptation, et cela nous a permis de choisir celui qui pourrait effectuer les gestes d'une manière compréhensible pour les personnes qui communiquent avec la langue des signes, " expliquent les chercheurs.

Finalement, les scientifiques ont vérifié que le système fonctionnait en interagissant avec des utilisateurs finaux potentiels. "Les personnes sourdes qui ont été en contact avec le robot ont rapporté 80% de satisfaction, donc la réponse a été très positive, " dit un autre des chercheurs du Robotics Lab, Jennifer J. Gago. Les expérimentations ont été réalisées avec TEO (Task Environment Operator), un robot humanoïde à usage domestique développé dans le Robotics Lab de l'UC3M.

À ce jour, TEO maîtrise l'alphabet d'orthographe de la langue des signes, ainsi qu'un vocabulaire très basique lié aux tâches ménagères, explique ce chercheur. L'un des défis auxquels les scientifiques sont aujourd'hui confrontés pour continuer à développer ce système est « le rendu de gestes plus complexes, en utilisant des phrases complètes", dit un autre membre de l'équipe Robotics Lab, Bartek Lukawski. Le robot pourrait alors être utilisé par environ 13, 300 personnes en Espagne qui utilisent la langue des signes pour communiquer.

L'objectif plus large est que les robots de ce type deviennent des aides ménagères capables d'aider au repassage (TEO le fait aussi), plier les vêtements, servir de la nourriture, et interagir avec les utilisateurs dans des environnements domestiques. En outre, "ces mains robotiques pourraient être implémentées dans d'autres humanoïdes et elles pourraient être utilisées dans d'autres environnements et circonstances, " dit Jennifer J. Gago. " La chose vraiment importante est que toutes ces technologies, tous ces développements auxquels nous contribuons, visent à inclure tous les membres de la société. C'est une manière d'envisager la technologie comme une aide à l'inclusion, à la fois des minorités et des majorités, au sein d'une démocratie, " souligne Juan Víctores.