Représentation en bloc de la phase d'entraînement (lignes fixes et pointillées) et de test (lignes pointillées) du système proposé. Crédit :S. Misra &R. H. Laskar.
Chercheurs du NIT Silchar, Inde, ont récemment développé un nouveau système dynamique de reconnaissance de caractères au clavier basé sur les gestes de la main. Ce système de clavier virtuel, Présenté dans un article publié dans Springer's Journal of Ambient Intelligence and Humanized Computing , utilise une approche basée sur l'image pour la reconnaissance des gestes qui est un modèle, vitesse et échelle invariantes dans la nature.
"La reconnaissance gestuelle est un domaine d'étude prometteur en raison de sa vaste gamme d'applications, " Songhita Misra, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Un système de reconnaissance de gestes peut être appliqué dans des systèmes de réalité virtuelle, réalité augmentée, soins de santé, Véhicules, pour aider les patients ayant une déficience visuelle ou motrice, pour les appareils électroménagers, robots, l'exploitation minière et plusieurs autres applications, qui augmentent chaque jour qui passe."
La reconnaissance des gestes pourrait améliorer les interactions homme-machine dans divers domaines. Bien que les outils de reconnaissance gestuelle puissent avoir une vaste gamme d'applications, jusque là, très peu d'organisations et d'institutions ont tenté d'introduire ces systèmes dans la société.
"En faisant l'enquête bibliographique, J'ai observé que la plupart des études existantes se limitent soit à des gestes statiques, soit à des gestes dynamiques de petite durée tels que « déplacer à gauche, ' 'déplacer vers la droite, ' 'Cliquez sur, ' 'arrêter, ' etc., qui peut fondamentalement remplacer au plus les télécommandes traditionnelles de la souris et du téléviseur, " Songhita a déclaré. "Avec l'augmentation de la demande d'applications, la complexité du système du point de vue du concepteur est vouée à augmenter. Par conséquent, une étude et une analyse approfondies dans le domaine des systèmes dynamiques longs sont nécessaires."
Organigramme du modèle de classification hiérarchique proposé. Crédit :S. Misra &R. H. Laskar.
Les claviers traditionnels prennent en charge une large gamme de caractères, y compris les lettres majuscules et minuscules de l'anglais, opérateurs arithmétiques, chiffres arabes, et d'autres caractères ASCII imprimables. Un système de reconnaissance des gestes qui couvre tous ces caractères est très difficile à développer en raison de ses exigences importantes en matière de base de données, ainsi que les complications possibles liées à la détection de la main, suivi, l'extraction de caractéristiques et l'utilisation de classificateurs.
Dans leur étude récente, Songhita et ses collègues ont entrepris de développer un système de clavier virtuel avec environ 95 caractères. Encore, en raison des difficultés liées à cette tâche, leur système prend actuellement en charge 58.
"Notre équipe, qui comprend mon guide Dr. Rabul Hussain Laskar, Dr Joyeeta singha et moi, a réussi à développer un système de 58 caractères de clavier imprimables utilisant à la fois des marqueurs de couleur et la main nue, " a expliqué Songhita. " Nos recherches dans ce domaine ont commencé en 2013 dans notre laboratoire de parole et d'image à NIT Silchar. "
Les chercheurs ont développé une approche hiérarchique de la reconnaissance gestuelle basée sur l'auto-co-articulation, caractéristiques de position et de trajectoire. Les modèles de pointe existants pour la reconnaissance des gestes sont basés sur des caractéristiques de trajectoire temporelle, qui dépendent du chemin séquentiel 2-D par image suivi de gestes particuliers.
Les 58 caractères du clavier classés dans l'étude. Crédit :S. Misra &R. H. Laskar.
En raison de cette dépendance, les caractéristiques analysées par ces approches peuvent être affectées par le bruit de trajectoire ou d'autres variations de motif, vitesse ou échelle. L'approche imaginée par Songhita et ses collègues, d'autre part, utilise des modèles d'images qui ne sont pas obtenus par trame, et ne sont donc pas affectés par le motif, la vitesse, variations d'échelle ou de trajectoire.
Les chercheurs ont fusionné ces caractéristiques basées sur l'image et la trajectoire dans un modèle de classification hiérarchique hybride. Leur modèle a atteint une précision de 3,9 % supérieure à celle d'un modèle de classification de trajectoire non hiérarchique de base, avec des taux d'erreur de classification inférieurs pour les caractères tels que « 0 » et « O » ou « Z » et « 2 ».
"La version étendue de notre travail a été approuvée par IMPRINT-II pour le parrainage sous SERB, Heure d'été, Inde, pour une durée de trois ans, " Songhita a dit. "Notre projet, qui est en collaboration avec IIT Guwahati, figurait parmi les 121 projets sélectionnés parmi plus de 2000 propositions. C'est une grande réussite pour nous, ainsi que pour l'institut. Le nôtre sera certainement l'un des premiers projets en Inde à se concentrer uniquement sur le développement d'un système d'interface de saisie de texte virtuelle."
L'étude récente menée par Songhita et ses collègues s'est concentrée sur le développement d'un modèle de classification hiérarchique qui peut traiter de grandes bases de données sans réduire la précision du système. L'objectif du projet plus large approuvé par IMPRINT-II, cependant, sera de développer un système de reconnaissance gestuelle adapté aux personnes handicapées pour 95 caractères de clavier imprimables utilisant à la fois des marqueurs de couleur et une détection à main nue. Une fois ce système terminé, il sera déployé pour une utilisation par des utilisateurs âgés et malvoyants, ainsi que d'autres personnes qui pourraient en bénéficier.
"Le développement d'un si grand système de vocabulaire sera une tâche difficile, " a dit Songhita. " Jusqu'à maintenant, nous avons développé un système de reconnaissance de 58 caractères en utilisant des techniques basées sur la vision."
© 2019 Réseau Science X
