Capturer des poses de mains interactives en temps réel et avec des résultats réalistes est un problème bien étudié en informatique, en particulier l'informatique centrée sur l'humain et la technologie de capture de mouvement. Les mains humaines sont complexes - un système complexe de fléchisseurs, extenseurs, et les capacités sensorielles servant de moyen principal pour manipuler des objets physiques et communiquer les uns avec les autres. La capture précise du mouvement des mains est pertinente et importante pour de nombreuses applications, comme les jeux, domaines de réalité augmentée et virtuelle, robotique, et les industries biomédicales.

Une équipe mondiale d'informaticiens de l'ETH Zurich et de l'Université de New York a fait avancer ce domaine de recherche en développant un outil convivial, gant de données à détection d'étirement pour capturer en temps réel, poses interactives de la main avec beaucoup plus de précision.

L'équipe de recherche, dont Oliver Glauser, Shihao Wu, Otmar Hilliges, et Olga Sorkine-Hornung de l'ETH Zurich et Daniele Panozzo de NYU, démontrera leur gant innovant au SIGGRAPH 2019, tenue du 28 juillet au 1er août à Los Angeles. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Le principal avantage de leurs gants anti-étirement, disent les chercheurs, est qu'ils ne nécessitent pas de configuration basée sur une caméra - ni d'équipement externe supplémentaire - et pourraient commencer à suivre les poses des mains en temps réel avec un étalonnage minimal.

« À notre meilleure connaissance, nos gants sont les premiers gants de données de capture manuelle précis basés uniquement sur des capteurs d'étirement, " dit Glauser, un auteur principal de l'ouvrage et un doctorat. étudiant à l'ETH Zurich. "Les gants sont doux et fins, les rendant très confortables et discrets à porter, même en ayant 44 capteurs intégrés. Ils peuvent être fabriqués à faible coût avec des outils couramment disponibles dans les laboratoires de fabrication."

Glauser et ses collaborateurs ont entrepris de surmonter certains défis persistants dans la réplication de poses précises de la main. Dans ce travail, ils ont surmonté des obstacles tels que la capture des mouvements de la main en temps réel dans une variété d'environnements et de paramètres, ainsi que d'utiliser uniquement des équipements conviviaux et une approche facile à apprendre pour la configuration. Ils démontrent que leurs gants souples à détection d'étirement réussissent à calculer avec précision les poses des mains en temps réel, même lorsque l'utilisateur tient un objet physique, et dans des conditions telles qu'un faible éclairage.

Les chercheurs ont utilisé un composé de silicone en forme de main équipé de 44 capteurs d'étirement et l'ont attaché à un gant en tissu doux, tissu fin. Pour reconstruire la pose de la main à partir des lectures du capteur, les chercheurs utilisent un modèle basé sur les données qui exploite la disposition du capteur lui-même. Le modèle n'est entraîné qu'une seule fois; et de recueillir des données d'entraînement, les chercheurs utilisent un moyen peu coûteux, système de reconstruction de pose de main standard.

Pour l'étude, ils comparent la précision de leurs gants à capteurs à deux produits de gants commerciaux de pointe. Dans toutes les poses sauf une main, le roman des chercheurs, les gants à détection d'étirement ont reçu le retour d'erreur le plus faible pour chaque pose interactive.

Dans les travaux futurs, l'équipe a l'intention d'explorer comment une approche de capteur similaire pourrait être utilisée pour suivre un bras entier afin d'obtenir la position et l'orientation globales du gant, ou peut-être même une combinaison intégrale. Actuellement, les chercheurs ont fabriqué des gants de taille moyenne, et ils aimeraient s'étendre à d'autres tailles et formes.

« C'est un problème déjà bien étudié, mais nous avons trouvé de nouvelles façons de le résoudre en termes de capteurs utilisés dans notre conception et notre modèle basé sur les données, " note Glauser. " Ce qui est également passionnant dans ce travail, c'est la nature multidisciplinaire du travail sur ce problème. Il a nécessité une expertise dans divers domaines, y compris la science des matériaux, fabrication, ingénierie électrique, infographie, et l'apprentissage automatique."