Un nouveau système logiciel développé par des chercheurs de l'Université Brown transforme les téléphones portables en portails de réalité augmentée, permettre aux utilisateurs de placer des blocs de construction virtuels, meubles et autres objets dans des décors du monde réel, et utiliser leurs mains pour manipuler ces objets comme s'ils étaient vraiment là.

Les développeurs espèrent que le nouveau système, appelé Portal-ble, pourrait être un outil pour les artistes, concepteurs, développeurs de jeux et autres pour expérimenter la réalité augmentée (AR). L'équipe présentera les travaux plus tard ce mois-ci lors du Symposium ACM sur les logiciels et technologies d'interface utilisateur (UIST 2019) à la Nouvelle-Orléans. Le code source d'Andriod est disponible gratuitement en téléchargement sur le site des chercheurs, et le code iPhone suivra bientôt.

"La RA va être un nouveau mode d'interaction formidable, " a déclaré Jeff Huang, un professeur assistant d'informatique à Brown qui a développé le système avec ses étudiants. "Nous voulions créer quelque chose qui rende la réalité augmentée portable afin que les gens puissent l'utiliser n'importe où sans casques encombrants. Nous voulions également que les gens puissent interagir avec le monde virtuel de manière naturelle en utilisant leurs mains."

Huang a déclaré que l'idée de l'interaction "pratique" de Portal-ble est née d'une certaine frustration avec les applications AR comme Pokemon GO. Les applications AR utilisent des smartphones pour placer des objets virtuels (comme des personnages Pokémon) dans des scènes du monde réel, mais pour interagir avec ces objets, les utilisateurs doivent balayer l'écran.

"Swiper n'était tout simplement pas une façon satisfaisante d'interagir, " dit Huang. " Dans le monde réel, nous interagissons avec des objets avec nos mains. Nous tournons les poignées de porte, ramasser des choses et jeter des choses. Nous avons donc pensé que manipuler des objets virtuels à la main serait beaucoup plus puissant que de glisser. C'est ce qui est différent avec Portal-ble."

La plate-forme utilise un petit capteur infrarouge monté à l'arrière d'un téléphone. Le capteur suit la position des mains des personnes par rapport aux objets virtuels, permettre aux utilisateurs de ramasser des objets, les tourner, empilez-les ou déposez-les. Il permet également aux gens d'utiliser leurs mains pour pratiquement « peindre » sur des toiles de fond du monde réel. A titre de démonstration, Huang et ses étudiants ont utilisé le système pour peindre un jardin virtuel dans un espace vert sur le campus de Brown's College Hill.

Huang dit que la principale contribution technique du travail a été de développer les bons outils d'adaptation et de retour d'information pour permettre aux gens d'interagir de manière intuitive avec des objets virtuels.

"Il s'avère que ramasser un objet virtuel est vraiment difficile si vous essayez d'appliquer la physique du monde réel, " Huang a dit. " Les gens essaient de saisir au mauvais endroit, ou ils ont mis leurs doigts à travers les objets. Nous avons donc dû observer comment les gens essayaient d'interagir avec ces objets, puis rendre notre système capable de s'adapter à ces tendances."

Pour faire ça, Huang a enrôlé des étudiants dans une classe qu'il enseignait pour trouver des tâches qu'ils pourraient vouloir faire dans le monde de la RA :empiler un ensemble de blocs, par exemple. Les étudiants ont ensuite demandé à d'autres personnes d'essayer d'effectuer ces tâches en utilisant Portal-ble, tout en enregistrant ce que les gens étaient capables de faire et ce qu'ils ne pouvaient pas. Ils pourraient ensuite ajuster la physique du système et l'interface utilisateur pour rendre les interactions plus réussies.

"C'est un peu comme ce qui se passe quand les gens dessinent des lignes dans Photoshop, " dit Huang. " Les lignes que les gens dessinent ne sont jamais parfaites, mais le programme peut les lisser et les rendre parfaitement rectilignes. C'était le genre d'accommodements que nous essayions de faire avec ces objets virtuels."

L'équipe a également ajouté des commentaires sensoriels - des reflets visuels sur les objets et les vibrations du téléphone - pour faciliter les interactions. Huang a déclaré qu'il était quelque peu surpris que les vibrations du téléphone aident les utilisateurs à interagir. Les utilisateurs ressentent les vibrations dans la main qu'ils utilisent pour tenir le téléphone, pas dans la main qui saisit réellement l'objet virtuel. Toujours, Huang a dit, le retour de vibration aidait toujours les utilisateurs à interagir plus efficacement avec les objets.

Dans les études de suivi, les utilisateurs ont signalé que les aménagements et les commentaires utilisés par le système facilitaient considérablement les tâches, moins de temps et plus satisfaisant.

Huang et ses étudiants prévoient de continuer à travailler avec Portal-ble en élargissant sa bibliothèque d'objets, affiner les interactions et développer de nouvelles activités. Ils espèrent également rationaliser le système pour le faire fonctionner entièrement sur un téléphone. Actuellement, le capteur infrarouge nécessite un capteur infrarouge et une clé de calcul externe pour une puissance de traitement supplémentaire.

Huang espère que les gens téléchargeront le code source disponible gratuitement et l'essayeront par eux-mêmes.

"Nous voulons vraiment juste mettre ça là-bas et voir ce que les gens en font, " a-t-il dit. " Le code est sur notre site Web pour que les gens puissent le télécharger, éditer et construire à partir de. Ce sera intéressant de voir ce que les gens en font."