Imaginez-vous aller dans un supermarché inconnu pour la première fois. Si vous êtes une personne qui peut voir, vous pouvez simplement regarder autour de vous pour vous guider et identifier les objets et les obstacles. Cependant, les aveugles doivent utiliser d'autres sens pour trouver leur chemin à travers un nouvel espace.

Bientôt, les aveugles peuvent avoir une aide à la navigation, grâce aux chercheurs de Caltech qui ont combiné du matériel de réalité augmentée et des algorithmes de vision par ordinateur pour développer un logiciel qui permet aux objets de « parler ». Porté comme un casque portable, la technologie traduit le monde optique en un son en anglais simple. Le dispositif pourrait un jour être mis à disposition dans les banques, épiceries, musées, et autres lieux, pour aider les personnes aveugles à se frayer un chemin à travers des espaces inconnus.

Le travail a été effectué dans le laboratoire de Markus Meister (Ph.D. '87), Anne P. et Benjamin F. Biaggini Professeur de sciences biologiques et cadre dirigeant pour la neurobiologie, et est décrit dans un article paru dans le numéro du 27 novembre de la revue eLife . Meister est membre du corps professoral affilié de l'Institut de neurosciences Tianqiao et Chrissy Chen à Caltech.

"Imaginez que vous êtes dans un monde où tous les objets qui vous entourent ont des voix et peuvent vous parler, " dit Meister. " Partout où vous pointez votre regard, les différents objets sur lesquels vous vous concentrez sont activés et vous disent leurs noms. Pouvez-vous imaginer vous déplacer dans un tel monde, effectuer certaines des nombreuses tâches pour lesquelles nous utilisons normalement notre système visuel ? C'est ce que nous avons fait ici :donner des voix aux objets."

Dirigé par l'étudiant diplômé Yang Liu, l'équipe de scientifiques a développé un système qu'ils appellent CARA, ou l'assistant de réalité augmentée cognitive. CARA a été développé pour un ordinateur portable appelé HoloLens, développé par Microsoft, qui peut analyser l'environnement d'un utilisateur et identifier des objets individuels tels qu'un ordinateur portable ou une table. Avec CARA, chaque objet dans l'environnement reçoit une voix et "dira" son nom sur la commande de l'utilisateur. La technologie utilise un son dit spatialisé, ce qui fait que les objets sonnent différemment selon leur emplacement dans une pièce. Si l'objet est, par exemple, loin à gauche de l'utilisateur, sa voix sonnera comme si elle venait de la gauche. En outre, plus l'objet est proche, plus la hauteur de sa "voix" est élevée.

Pour éviter une cacophonie d'objets parlant à la fois, Liu et son équipe ont programmé CARA avec plusieurs modes différents. En premier, appelé mode projecteur, un objet ne dit son nom que lorsque l'utilisateur lui fait face directement. Lorsque l'utilisateur tourne la tête pour faire face à divers objets, les objets disent chacun leur nom, et la hauteur de la voix de l'objet fournit un indice auditif sur sa distance relative par rapport à l'utilisateur. De cette façon, un utilisateur malvoyant peut « regarder autour » pour explorer son environnement. Dans un deuxième mode, appelé mode de balayage, l'environnement est balayé de gauche à droite avec des objets disant leurs noms en conséquence. Le troisième mode est le mode cible, où l'utilisateur peut sélectionner l'un des objets pour parler exclusivement et l'utiliser comme guide pour naviguer.

Pour tester les applications pratiques de CARA, les chercheurs ont conçu un itinéraire d'essai pour les volontaires aveugles à travers le bâtiment de biologie comportementale Beckman à Caltech. Pour préparer la tâche, les scientifiques ont d'abord développé un itinéraire à travers le bâtiment et l'ont suivi tout en portant le HoloLens, qui a scanné l'environnement et l'a enregistré en mémoire. Puis, les volontaires aveugles ont été invités à parcourir l'itinéraire en utilisant CARA comme guide. Au début de chaque volontaire, une voix, apparemment émanant d'un emplacement en avant sur la route, a crié "Suivez-moi, " tout en informant l'utilisateur des escaliers, mains courantes, virages à prendre, etc. Dirigé par CARA, les sept volontaires ont terminé la tâche avec succès du premier coup.

CARA est encore à ses débuts, mais bénéficiera du développement rapide d'algorithmes pour la vision par ordinateur. Les chercheurs mettent déjà en œuvre de nouveaux schémas d'identification en temps réel des objets et des piétons. Finalement, ils espèrent que des endroits comme les banques, hôtels, et les centres commerciaux offriront des appareils CARA à leurs clients aveugles.

En plus de leur travail avec CARA, l'équipe a également développé un nouveau « test standardisé » pour évaluer les performances de divers dispositifs d'assistance pour les aveugles. La méthode fournit un environnement de réalité virtuelle que les chercheurs du monde entier peuvent utiliser pour comparer leurs appareils, sans avoir à reconstituer de véritables espaces physiques.

L'article s'intitule "La réalité augmentée alimente un assistant cognitif pour les aveugles".