La capture des mouvements de la main et des doigts en quelques millisecondes devient de plus en plus importante pour de nombreuses applications, de la réalité virtuelle à l'interaction homme-machine et à l'industrie 4.0. Jusque là, ses énormes exigences techniques ont des applications possibles limitées. Les informaticiens de l'Institut Max Planck d'informatique ont maintenant développé un système logiciel impliquant l'interaction de divers réseaux de neurones qui ne nécessite que la caméra intégrée d'un ordinateur portable.

Pour la première fois, les chercheurs présenteront le programme au stand G75 dans le hall 27 du salon de l'informatique Cebit, qui aura lieu à Hanovre à partir du 11 juin.

Lorsque l'informaticienne Franziska Müller tient sa main devant la caméra de l'ordinateur portable, la contrepartie virtuelle de la main apparaît à l'écran. Ceci est recouvert par un squelette de main virtuel coloré. Quels que soient les mouvements de la main de Müller devant la webcam, les os colorés du modèle font de même. Müller présente le logiciel qu'elle a développé avec le professeur Christian Theobalt et d'autres chercheurs de l'Institut Max Planck d'informatique de Sarrebruck, l'Université de Stanford et l'Université espagnole King Juan Carlos. Jusque là, aucun autre logiciel ne peut le faire avec un appareil photo aussi bon marché.

Comme cela fonctionne dans presque tous les types de scènes filmées, il peut être utilisé n'importe où, et l'emporte ainsi sur les approches précédentes qui nécessitent une caméra de profondeur ou plusieurs caméras. L'algorithme utilisé par le système transforme les informations bidimensionnelles de l'image vidéo en temps réel dans le modèle de mouvement tridimensionnel des os de la main. Il est basé sur un soi-disant "réseau de neurones convolutifs, " ou CNN en abrégé. Les chercheurs l'ont entraîné à détecter les os de la main. Ils ont généré les données d'entraînement nécessaires avec un autre réseau de neurones. Résultat :le logiciel calcule les poses 3D exactes des os de la main en quelques millisecondes. Même si certains d'entre eux sont occlus, par exemple, par une pomme tenue dans la main de l'utilisateur, le logiciel compense. Cependant, le système a toujours du mal à traiter plusieurs mains travaillant ensemble, et résoudre ce problème est le prochain objectif des chercheurs.