Les langues des signes ne sont pas faciles à apprendre et sont encore plus difficiles à enseigner. Ils utilisent non seulement des gestes de la main, mais aussi des bouches, expressions faciales et posture du corps pour communiquer le sens. Cette complexité signifie que les programmes d'enseignement professionnel sont encore rares et souvent coûteux. Mais tout cela pourrait bientôt changer, avec un peu d'aide de l'intelligence artificielle (IA).

Mes collègues et moi travaillons sur un logiciel pour apprendre soi-même les langues des signes de manière automatisée, manière intuitive. Actuellement, cet outil peut analyser la façon dont un élève exécute un signe en langue des signes suisse-allemande et fournir des commentaires détaillés sur la façon d'améliorer la forme de la main, mouvement, l'emplacement et le moment. Mais nous espérons pouvoir utiliser l'IA derrière l'outil pour créer un logiciel capable d'enseigner diverses langues des signes du monde entier, et prendre en compte les caractéristiques plus complexes des langues, tels que la grammaire des phrases et les éléments non manuels de la communication.

L'IA a déjà été utilisée pour la reconnaissance, traduction ou interprétation de la langue des signes. Mais nous pensons que nous sommes les premiers à tenter d'évaluer les signes qu'une personne fait. Plus important, nous voulons tirer parti de la technologie de l'IA pour fournir des commentaires à l'utilisateur sur ce qu'il a mal fait.

Pratiquer et évaluer la langue des signes est difficile parce que vous ne pouvez ni la lire ni l'écrire. Au lieu, nous avons créé un jeu informatique. Pour pratiquer un signe, le jeu vous montre une vidéo de ce signe en cours d'exécution, ou vous donne le mot parlé le plus proche qui le décrit (ou les deux). Il enregistre ensuite votre tentative de recréer le signe à l'aide d'une caméra vidéo et vous indique comment vous pouvez faire mieux. Nous avons constaté qu'en faire un jeu encourage les gens à s'affronter pour obtenir le meilleur score et améliorer leur signature en cours de route.

L'intelligence artificielle est utilisée à toutes les étapes de l'évaluation des performances. D'abord, un réseau de neurones convolutifs (CNN) extrait des informations de la vidéo sur la pose du haut de votre corps. Un CNN est un type d'IA vaguement basé sur le traitement effectué par le cortex visuel dans votre cerveau. Vos informations de pose squelettique et la vidéo originale sont ensuite envoyées à l'analyseur de forme de main, où un autre CNN regarde la vidéo et extrait des informations sur la forme de la main à chaque point de la vidéo.

Les informations squelettiques et les formes de la main sont ensuite envoyées à un analyseur de mouvement de la main, qui utilise quelque chose appelé un modèle de Markov caché (HMM). Ce type d'IA nous permet de modéliser les informations sur le squelette et la forme de la main au fil du temps. Il compare ensuite ce qu'il a vu à un modèle de référence qui représente la version parfaite de ce signe, et produit un score de la façon dont il correspond.

Les résultats de l'analyseur de forme de la main et de l'analyseur de mouvement de la main sont ensuite notés et présentés sous forme de commentaires. Ainsi, toute l'IA est cachée derrière une interface simple à utiliser, vous permettant de vous concentrer sur l'apprentissage. Notre espoir est que l'automatique, les commentaires personnels rendront les élèves plus engagés dans le processus d'apprentissage de la signature.

L'IA en classe

Jusque là, le logiciel ne fonctionne que pour la langue des signes suisse-allemande. Mais nos recherches suggèrent que "l'architecture" du système n'aurait pas besoin de changer pour s'adapter à d'autres langages. Il faudrait juste plus d'enregistrements vidéo de chaque langue pour servir de données avec lesquelles l'entraîner.

Un domaine de recherche que nous aimerions explorer est de savoir comment nous pourrions utiliser ce que l'IA sait déjà pour l'aider à apprendre de nouvelles langues. Nous aimerions également voir comment nous pouvons ajouter d'autres aspects de la communication tout en utilisant la langue des signes, comme les expressions faciales.

À l'heure actuelle, le logiciel fonctionne mieux dans un environnement simple comme une salle de classe. Mais si nous pouvons le développer pour tolérer plus de variations dans l'arrière-plan de la séquence vidéo qu'il évalue, il pourrait devenir comme de nombreuses applications populaires qui vous permettent d'apprendre une langue où que vous soyez sans l'aide d'un expert. Avec ce type de technologie en cours de développement, il sera bientôt possible de rendre l'apprentissage des langues des signes aussi accessible à tous que l'apprentissage de l'oral.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l'article original.