IBM Research et Rensselaer Polytechnic Institute (RPI) collaborent sur une nouvelle approche pour aider les étudiants à apprendre le mandarin. La stratégie associe un assistant alimenté par l'IA à un environnement de classe immersif qui n'a pas été utilisé auparavant pour l'enseignement des langues. La salle de classe, appelée Salle Cognitive Immersive (CIR), donne aux étudiants l'impression d'être au restaurant en Chine, un jardin, ou un cours de Tai Chi, où ils peuvent s'entraîner à parler le mandarin avec un agent de chat IA. Le CIR a été développé par le Cognitive and Immersive Systems Lab (CISL), une collaboration de recherche entre IBM Research et RPI.

Lors de l'apprentissage d'une nouvelle langue, surtout un aussi difficile que le mandarin, il est important que les élèves aient de nombreuses occasions de parler et de mettre en pratique leurs compétences en conversation. Acquérir une nouvelle langue naturellement, par immersion culturelle, peut être plus efficace que les pratiques non immersives. Encore, l'apprentissage par l'expérience n'est pas disponible pour la plupart des nouveaux apprenants du mandarin. C'est pourquoi nous avons développé le CIR.

Un environnement de classe de gamification immersif

Le CIR regroupe plusieurs technologies de pointe telles que le speech-to-text, compréhension du langage naturel, et la vision par ordinateur pour permettre l'immersion et le dialogue multimodal naturel. La salle comprend un système d'affichage panoramique à 360 degrés, un système audio, plusieurs caméras, plusieurs appareils Kinect, et plusieurs micros, ainsi que des systèmes informatiques pour prendre en charge les technologies d'IA, certains situés dans la salle et d'autres dans le cloud.

Notre objectif est de combiner le cognitif, des technologies immersives avec des éléments ludiques pour permettre aux étudiants de découvrir un environnement culturel, pratiquer des tâches quotidiennes, et obtenez l'aide d'agents intelligents. Avec le Projet Mandarin, nous utilisons IBM Watson au sein du CIR en tant qu'agent conversationnel pour engager les étudiants pendant qu'ils apprennent la langue. Notre approche fait appel aux technologies de reconnaissance vocale et de compréhension du langage naturel d'IBM Watson pour l'anglais et le chinois.

L'un des plus grands obstacles à l'apprentissage d'une langue étrangère en immersion est la peur des étudiants d'être jugés par des locuteurs natifs. Au CIR, cependant, les étudiants peuvent travailler avec des partenaires de conversation virtuels pour pratiquer le vocabulaire et la prononciation sans les pressions d'un environnement réel.

De nombreux chercheurs en apprentissage des langues travaillent avec la réalité virtuelle ou augmentée, mais nous enquêtons à échelle humaine, immersif, environnements de jeu où les étudiants peuvent se promener physiquement sans avoir à porter d'équipement spécialisé. Cela reflète une tendance plus large dans l'interaction homme-machine, à mesure que notre engagement avec l'information dans notre vie quotidienne devient de plus en plus immersif et que nos interactions avec les machines intelligentes évoluent vers le partenariat.

Notre système a été testé dans une classe de chinois 1 sur le campus de RPI à la fin de l'automne 2017. Cet automne, nous continuerons à utiliser l'IA comme outil d'enseignement en chinois 1, 2 et 3 cours, dans le but d'offrir une nouvelle classe fusionnant le chinois 1-3 à l'été 2019.

La recherche derrière et au-delà de la classe

Dans le cadre du réseau IBM AI Horizons, CISL crée et utilise des technologies telles que des systèmes sensibles au contexte, analyse de contour de tonalité de hauteur, basculer entre le chinois et l'anglais dans une conversation en langage naturel entre les personnes et les agents de l'IA, interaction multimodale multi-utilisateurs, raisonnement et planification dans le processus de prise de décision et narration multimodale avec génération automatique de récit, visualisation et sonification.

Le CIR est l'un des quatre cas d'utilisation de CISL. Le laboratoire travaille également à augmenter l'intelligence de groupe pour la prise de décision critique dans des environnements réels comme les salles de conférence. À l'avenir, ces nouveaux systèmes cognitifs et immersifs pourraient changer fondamentalement la façon dont les gens vivent et travaillent. Les premiers prototypes du CIR ont également fourni des opportunités pour la recherche sur l'interaction avec l'utilisateur, nous permettant de trouver et de relever de nouveaux défis dans l'apprentissage des langues.