Les yeux écarquillés, robot à voix douce nommé Pepper motors autour du laboratoire de systèmes intelligents du Rensselaer Polytechnic Institute. L'un des chercheurs teste Pepper, faire divers gestes pendant que le robot décrit avec précision ce qu'il fait. Quand il croise les bras, le robot identifie à partir de son langage corporel que quelque chose ne va pas.

"Hey, sois amical avec moi, " dit Pepper.

La capacité de Pepper à capter les signaux non verbaux est le résultat de la « vision » améliorée que les chercheurs du laboratoire développent. En utilisant la technologie avancée de vision par ordinateur et d'intelligence artificielle, l'équipe améliore la capacité de robots comme celui-ci à interagir naturellement avec les humains.

"Ce que nous avons fait jusqu'à présent, c'est d'ajouter des capacités de compréhension visuelle au robot, il peut donc percevoir l'action humaine et peut naturellement interagir avec les humains à travers ces comportements non verbaux, comme les gestes du corps, expressions faciales, et pose du corps, " dit Qiang Ji, professeur d'électricité, ordinateur, et ingénierie des systèmes, et le directeur de l'Intelligent Systems Lab.

Avec le soutien financier du gouvernement au fil des ans, les chercheurs de Rensselaer ont cartographié le visage et le corps humains afin que les ordinateurs, à l'aide de caméras intégrées aux robots et aux technologies d'apprentissage automatique, peut percevoir des indices non verbaux et identifier l'action et l'émotion humaines.

Entre autres, Pepper peut compter combien de personnes sont dans une pièce, scanner une zone pour rechercher une personne en particulier, estimer l'âge d'un individu, reconnaître les expressions faciales, et maintenir un contact visuel pendant une interaction.

Un autre robot, nommé Zénon, ressemble plus à une personne et a des moteurs dans son visage, ce qui le rend capable de refléter étroitement l'expression humaine. L'équipe de recherche a perfectionné la capacité de Zeno à imiter la communication faciale humaine en temps réel jusqu'au mouvement des sourcils – et même du globe oculaire.

Ji considère la vision par ordinateur comme la prochaine étape dans le développement de technologies avec lesquelles les gens interagissent quotidiennement chez eux. Actuellement, les assistants virtuels les plus populaires basés sur l'IA reposent presque entièrement sur les interactions vocales.

"Il n'y a pas de composante de vision. Fondamentalement, c'est un composant audio uniquement, " Ji a dit. " Dans le futur, on pense que ça va être multimodal, avec une interaction à la fois verbale et non verbale avec le robot."

L'équipe travaille sur d'autres développements centrés sur la vision, comme une technologie qui serait capable de suivre le mouvement des yeux. Des outils comme celui-ci pourraient être appliqués aux téléphones intelligents et aux tablettes.

Ji a déclaré que les recherches effectuées dans son laboratoire étaient actuellement soutenues par la National Science Foundation et la Defense Advanced Research Projects Agency. En outre, l'Intelligent Systems Lab a reçu des financements au fil des ans de sources publiques et privées, y compris le département américain de la Défense, le ministère des Transports des États-Unis, et Honda.

Ce que l'équipe de Ji développe pourrait également être utilisé pour rendre les routes plus sûres, il a dit, en installant des systèmes de vision par ordinateur dans les voitures.

« Nous pourrons utiliser cette technologie pour détecter à terme si le conducteur est fatigué, ou le conducteur est distrait, " a-t-il dit. " La recherche que nous menons est une IA plus centrée sur l'humain. Nous voulons développer l'IA, technologie d'apprentissage automatique, pour étendre non seulement les capacités physiques des humains, mais aussi leurs capacités cognitives."

C'est là qu'interviennent Pepper et Zeno. Ji envisage une époque où les robots pourraient tenir compagnie aux humains et améliorer leur vie. Il a dit que c'était le but ultime.

"Ce robot pourrait être un compagnon pour les humains dans le futur, " Ji a dit, pointant vers Pepper. "Il pourrait écouter les humains, comprendre l'émotion humaine, et répondre par des comportements verbaux et non verbaux pour répondre aux besoins des humains. »