Une équipe de chercheurs et d'ingénieurs de Huawei AI a mis au point un moyen unique d'aider les enfants sourds à apprendre à lire la langue des signes, en utilisant l'IA et la réalité augmentée pour interpréter des livres imprimés. Ils ont également trouvé un moyen d'aider les enfants sourds à développer le plaisir de lire.

L'idée de l'application était une réponse à la frustration ressentie par de nombreux parents lorsqu'ils essayaient de lire un livre à leur enfant sourd - dans la plupart de ces situations, un parent entendant essaie d'inclure son enfant sourd dans une activité qui est un rite de passage automatique pour les personnes sans déficience auditive. Pour résoudre ce problème, des chercheurs de Huawei ont eu l'idée d'utiliser l'intelligence artificielle pour aider un enfant à lire un livre. Le système AI/AR est intégré dans une application appelée StorySign qui peut s'exécuter sur un téléphone ou une tablette. Le parent ou l'enfant tient le téléphone au-dessus de la page et un avatar est superposé à côté du texte et interprète les mots via la signature.

Au fur et à mesure que l'histoire avance, l'application met en évidence les mots en cours de signature, aider l'enfant à comprendre que les mots sont liés au signe utilisé pour les représenter. Les chercheurs rapportent qu'ils ont également effectué un travail considérable pour développer un avatar auquel les enfants pourraient s'identifier. Ils ont travaillé avec Aardman Animations pour créer un avatar nommé Star, qui fait plus que simplement afficher des gestes de la main - elle utilise également des expressions corporelles et faciales pour transmettre des émotions, aider l'enfant à mieux comprendre la nature contextuelle du contenu du livre. Une mise en garde est que l'application ne fonctionne qu'avec certains livres pour enfants, tous publiés par Penguin Random House.

L'application a été développée avec le soutien de l'Union européenne des sourds et de la British Deaf Association. Ce est gratuit, et disponible pour les produits Android et Apple en 10 langues dans 10 pays européens. Les développeurs disent que si l'application s'avère populaire, il sera disponible dans plus de régions et dans plus de langues.

© 2018 Réseau Science X