Les opportunités autrefois éloignées de la communauté des malentendants deviendront une réalité avec un traducteur en langue des signes révolutionnaire. Des ingénieurs de la Michigan State University ont développé et breveté une technologie qui, contrairement aux mécanismes de traduction antérieurs, est non invasive et aussi portable qu'un tube de Chapstick.

"Nous apportons une solution omniprésente à la traduction en langue des signes, " dit Mi Zhang, professeur assistant en génie électrique et informatique. "Les personnes malentendantes qui ont besoin de communiquer avec quelqu'un qui ne comprend pas la langue des signes peuvent avoir un interprète virtuel à tout moment, partout."

Des centaines de milliers de personnes malentendantes utilisent la langue des signes américaine, ou ASL, communiquer. Sans interprète présent, ils n'ont pas les mêmes opportunités d'emploi et sont souvent désavantagés dans des situations délicates ou sensibles, dit Zhang.

« Pensez à si vous étiez à l'hôpital et que vous deviez communiquer avec un médecin. Vous devriez attendre l'arrivée du traducteur de l'hôpital - s'il en a un -, se connecter à un service sans frais ou compter sur la présence d'un membre de la famille, " a déclaré Zhang. " Cela compromet votre vie privée et pourrait aggraver une urgence sanitaire. Ceci n'est qu'un exemple démontrant le besoin critique de la technologie de traduction en langue des signes."

Zhang et ses collègues, étudiante au doctorat Biyi Fang et de premier cycle Jillian Co, a vu une opportunité d'aider la population malentendante à franchir la barrière de la communication à la majorité entendante.

La technologie de Zhang, appelé DeepASL, dispose d'un algorithme d'apprentissage en profondeur – ou apprentissage automatique basé sur des données inspirées de la structure et de la fonction du cerveau – qui traduit automatiquement les signes en anglais. La technologie fonctionne grâce à un dispositif sensoriel de trois pouces, développé par Leap Motion, qui est équipé de caméras pour capturer les mouvements des mains et des doigts de manière continue.

"Leap Motion convertit les mouvements de ses mains et de ses doigts en articulations squelettiques. Notre algorithme d'apprentissage en profondeur récupère les données des articulations squelettiques et les associe aux signes de l'ASL, " dit Croc.

Similaire à la configuration de Siri sur un nouvel iPhone, les utilisateurs signent certains mots pour familiariser leurs mains et leurs articulations avec la technologie et les capteurs. Ils peuvent également créer des signes personnalisés pour leurs noms ou des mots non-dictionnaires en les épelant, et avoir plus de facilité et de confort pour communiquer.

"Une caractéristique différenciatrice de DeepASL est qu'il peut traduire des phrases complètes sans que les utilisateurs aient besoin de faire une pause après chaque signe. D'autres traducteurs sont mot à mot, obligeant les utilisateurs à faire une pause entre les signes. Cette limitation ralentit considérablement les conversations en face à face, rendre les conversations difficiles et gênantes, " a déclaré Fang. "Notre technologie est également non intrusive, contrairement à d'autres technologies d'interprétation qui obligent les signataires à porter des gants, en les faisant se sentir marginalisés parce que vous pouvez littéralement voir leur handicap."

Au-delà de sa capacité à aider les malentendants à communiquer avec les autres, DeepASL peut aider ceux qui apprennent virtuellement l'ASL en donnant des commentaires en temps réel sur leur signature. Technologie antérieure, Zhang a expliqué, grâce à des didacticiels vidéo avaient une assistance personnelle limitée.

"Environ 90 pour cent des enfants sourds sont nés de parents entendants. Ces parents apprennent la langue des signes pour communiquer avec leurs enfants mais n'ont généralement pas le temps d'assister à des cours en direct, ", a déclaré Zhang. "Notre technologie peut évaluer leur signature pour les aider à apprendre et à s'améliorer."

Alors que la technologie de Zhang traduit la langue des signes en conversation verbale, il a expliqué qu'existant, les technologies de reconnaissance vocale réussies peuvent aider l'autre côté de la conversation, permettant aux communicateurs verbaux de parler avec les malentendants.

Les chercheurs disent que la prochaine étape de leur technologie est la commercialisation, en le mettant à la disposition des centaines de milliers de personnes qui ont besoin d'un interprète plus accessible. Mouvement de saut, ils ont dit, se vend environ 78 $, ce qui en fait une option abordable. Ils prévoient également de rendre la technologie compatible avec les iPhones, ainsi que de lui enseigner différentes langues des signes.