Les chercheurs de l'Université Purdue à l'École de génie électrique et informatique développent des logiciels de langage et de vision intégratifs qui peuvent permettre à un robot autonome d'interagir avec des personnes dans différents environnements et d'atteindre des objectifs de navigation.

"L'objectif global du projet est de dire au robot de trouver une personne en particulier, pièce ou bâtiment et faire interagir le robot avec l'ordinaire, des personnes non entraînées à demander en langage naturel des directions vers un lieu particulier, " a déclaré Jeffrey Mark Siskind, un professeur agrégé qui dirige l'équipe de recherche. « Pour accomplir cette tâche, le robot doit fonctionner en toute sécurité en présence de personnes, encouragez-les à fournir des directions et à utiliser leurs informations pour trouver l'objectif.

Les doctorants Thomas Ilyevsky et Jared Johansen travaillent avec Siskind pour développer un robot nommé Hosh qui peut intégrer des données graphiques et linguistiques dans son processus de navigation afin de localiser un lieu ou une personne spécifique. L'équipe développe le robot grâce à une subvention financée par la National Robotics Initiative de la National Science Foundation.

Ce robot pourrait aider les voitures autonomes à communiquer avec les passagers et les piétons ou pourrait effectuer des tâches à petite échelle dans un lieu d'affaires, telles que la livraison du courrier. Le robot contribuerait à la croissance attendue de 14 milliards de dollars de l'industrie de la robotique grand public d'ici 2025, comme prévu par le Boston Consulting Group.

Le robot recevra une tâche pour localiser une pièce spécifique, bâtiment ou un individu dans un endroit connu ou inconnu. Puis, le robot unira un nouveau langage et un traitement visuel afin de naviguer dans l'environnement, demander des directions, demander que les portes soient ouvertes ou les boutons de l'ascenseur enfoncés et atteindre son objectif.

Les chercheurs développent un logiciel de haut niveau pour donner au robot « des connaissances de bon sens, " la capacité de comprendre les objets et les environnements avec une intuition humaine, lui permettant de reconnaître les conventions de navigation. Par exemple, le robot incorporera à la fois des déclarations orales et des gestes physiques dans son processus de navigation.

"Le robot a besoin d'une intuition humaine pour comprendre les conventions de navigation, " a déclaré Ilyevsky. "C'est là qu'intervient le bon sens. Le robot doit savoir que les pièces impaires et paires sont situées l'une en face de l'autre dans un couloir ou que la pièce 317 doit être au troisième étage du bâtiment."

Développer les connaissances de bon sens du robot, les recherches développeront des logiciels intégratifs de traitement du langage naturel et de vision par ordinateur. Typiquement, le traitement du langage naturel permettra au robot de communiquer avec les gens tandis que le logiciel de vision par ordinateur permettra au robot de naviguer dans son environnement. Cependant, les chercheurs font progresser le logiciel pour s'informer mutuellement lorsque le robot se déplace.

"Le robot a besoin de comprendre le langage dans un contexte visuel et la vision dans un contexte linguistique, " dit Siskind. " Par exemple, tout en localisant une personne spécifique, le robot peut recevoir des informations dans un commentaire ou un geste physique et doit comprendre les deux dans le contexte de ses objectifs de navigation."

Par exemple, si la réponse est « Recherchez cette personne dans la pièce 300, " le robot devra traiter la déclaration dans un contexte visuel et identifier dans quelle pièce il se trouve actuellement ainsi que le meilleur itinéraire pour atteindre la pièce 300. Si la réponse est " Cette personne est là-bas " avec un indice physique, le robot devra intégrer le repère visuel avec la signification de la déclaration afin d'identifier la personne A.

"Interagir avec les humains est un problème non résolu en intelligence artificielle, " a déclaré Johansen. " Pour ce projet, nous essayons d'aider le robot à comprendre certaines conventions qu'il pourrait rencontrer ou d'anticiper qu'une douzaine de réponses différentes pourraient toutes avoir le même sens.

"Nous nous attendons à ce que cette technologie soit vraiment importante, parce que l'industrie des robots autonomes et des voitures autonomes devient très importante, " a déclaré Siskind. " La technologie pourrait être adaptée aux voitures autonomes, permettre aux voitures de demander leur chemin ou aux passagers de demander une destination spécifique, tout comme le font les conducteurs humains."

Les chercheurs prévoient d'envoyer le robot dans des missions autonomes d'une complexité croissante à mesure que la technologie progresse. D'abord, le robot apprendra à naviguer à l'intérieur sur un seul étage. Puis, se déplacer vers d'autres étages et bâtiments, il demandera aux gens de faire fonctionner l'ascenseur ou d'ouvrir les portes pour lui. Les chercheurs espèrent passer à des missions en extérieur au printemps.