Abhishek Singh pose une question simple :si la voix est l'avenir de l'informatique, qu'en est-il de ceux qui ne peuvent pas entendre ? Alexa est toute ouïe pour la communauté des sourds grâce à un prototype d'application qui suscitera sans aucun doute de l'intérêt et de l'inspiration.

Après tout, les experts en veille technologique ont déclaré que la technologie vocale figure bien dans notre avenir informatique; comme l'a dit BBC News, "Ces dernières années ont vu une augmentation de la popularité des assistants vocaux gérés par Amazon, Google et Apple."

Merci à Abhishek Singh, Alexa peut répondre à la langue des signes. Vous voulez ajouter des œufs à votre liste de courses ? Besoin de savoir s'il pleut à Manhattan ? Aucun problème, Alexa peut répondre à de telles questions pour ceux qui ne peuvent pas parler ou entendre assez clairement.

Le projet ingénieux de Singh impliquait un système basé sur une caméra. Il avait pensé qu'il faudrait peut-être que les appareils domestiques soient conçus pour les utilisateurs sourds. Par conséquent, il a truqué l'Alexa d'Amazon, dit la BBC, pour répondre par texte à la langue des signes américaine (ASL).

Singh a déclaré aux visiteurs de YouTube dans une vidéo montrant sa langue des signes en action qu'il avait utilisé l'apprentissage en profondeur avec TensorFlow.js pour faire en sorte qu'Amazon Echo réponde à la langue des signes.

Spécifiquement, comme l'a noté la BBC, "Le développeur a formé une IA à l'aide de la plateforme de machine learning Tensorflow, ce qui impliquait de faire des gestes répétés devant une webcam pour enseigner au système les bases de la langue des signes."

Une fois que le système a été en mesure de répondre aux mouvements de sa main, il l'a connecté au logiciel de synthèse vocale de Google pour lire les mots correspondants à haute voix.

Singh a dit qu'au début, "En tant qu'expérience de pensée, J'ai utilisé l'apprentissage en profondeur pour faire en sorte qu'AIexa réponde à la langue des signes."

La caméra interprète les signes de l'utilisateur. Les signes sont convertis en texte et en parole. "Alexa, Bonjour, " sort haut et fort. "Salut, là." "Alexa, quelle est la météo?" "En ce moment à New York, il fait 29 degrés Celsius avec un ciel partiellement ensoleillé. Les prévisions d'aujourd'hui ont beaucoup de nuages..." "Alexa, qu'est-ce que cinq pieds en mètres?" "Cinq pieds font 1,5 mètre." Etc. Et que serait un compte rendu de séance sans une demande de blague :« Alexa, raconte-moi une blague." Je ne la répéterai pas, juste parce que c'est boiteux. Sur cette note (je ne peux pas le blâmer) Abhishek a dit "Alexa, au revoir."

La question est, son prototype pourrait-il avoir une influence sur l'avenir des assistants vocaux ? La BBC a cité Singh disant qu'il n'y avait aucune raison pour qu'Amazon Show "ou l'un des assistants vocaux basés sur la caméra et l'écran ne puisse pas intégrer cette fonctionnalité directement".

Entreprise rapide a cité Singh:"Dans un monde idéal, j'aurais construit cela directement sur le Show, mais les appareils ne sont pas encore piratables, donc n'a pas été en mesure de trouver un moyen de le faire."