Même s'ils ne sont pas nécessaires pour produire les sons spécifiques, des parties du visage des locuteurs du chinois mandarin - leurs sourcils et leurs lèvres - imitent la hauteur montante et descendante qui distingue un mot épelé exactement de la même manière d'un autre.

En d'autres termes, les sourcils des locuteurs suivent les sons de leur gorge.

C'est le constat d'une nouvelle étude co-écrite par Allard Jongman et Joan Sereno, professeurs de linguistique à l'Université du Kansas.

Ils disent que cela implique la nécessité d'étudier si ces mouvements faciaux subtils aident les auditeurs à percevoir ce que les locuteurs essaient de transmettre.

Avec ses collègues universitaires canadiens Saurabh Garg, Ghassan Hamarneh et Yue Wang, Jongman et Sereno ont écrit "L'analyse de la vision par ordinateur révèle que les mouvements du visage effectués pendant la production de tons mandarin s'alignent sur les trajectoires de hauteur" dans l'édition d'octobre du journal Communication vocale .

Ils disent que c'est la première fois que l'association de ces mouvements faciaux avec le ton vocal est identifiée et quantifiée.

Dans une récente interview, Jongman a donné l'exemple du mot chinois qui s'écrirait phonétiquement « ma » en anglais. Comme beaucoup, sinon la plupart, mots mandarins, il peut être prononcé de quatre manières :level, en hausse, plongeant ou tombant. En fonction, dépendemment, alors, à l'intonation, le mot peut signifier "mère, " " le chanvre, " " cheval " ou " gronder ".

"Vous devez bien faire les choses, " dit Jongman. " Sinon, tu appelles ta mère un cheval."

"Il y a beaucoup de langues qui ont ces types de pitch qui sont associés à différents mots, " dit Sereno.

"La majorité des locuteurs dans le monde sont des locuteurs de la langue des tons, " a déclaré Jongman. " Et tout cela vient des variations du taux de vibration des cordes vocales. "

Montrant sa gorge, Jongman a dit, "A haute voix, les cordes vocales ici vibrent à un rythme très rapide. Et quand tu as un ton grave, ils vibrent beaucoup plus lentement. Donc tout vient de l'action ici-bas."

"Techniquement, " dit Sereno, montrant son visage, "il ne devrait y avoir rien ici qui différencie 'ma' avec un ton aigu par rapport à 'ma' avec un ton descendant."

Et encore, leur étude a trouvé, il y a. Les structures faciales des gens imitent les intonations montantes/descendantes qu'ils appliquent à leurs mots.

"Certaines de ces associations entre le mouvement du visage et l'intonation ou la hauteur avaient été provisoirement établies, " a déclaré Jongman. " Nous sommes allés un peu plus loin et avons dit, "D'ACCORD, regardons systématiquement cela.""

Les chercheurs ont enregistré les visages des locuteurs chinois pendant qu'ils parlaient, puis soumis les fichiers à une analyse informatique pour déterminer la relation entre l'intonation et le mouvement du visage. Jongman a déclaré que c'était une grande amélioration par rapport aux méthodes précédentes.

"Autrefois, " il a dit, "les gens ont utilisé ce qu'on appelle l'analyse opto-track. Vous collez quelques capteurs électroluminescents sur le visage, puis vous suivez le mouvement de ces capteurs. Et parfois, vous collez même des trucs sur les lèvres. Alors vous êtes assis là avec ces capteurs, et on vous demande de parler. Je veux dire, à quel point est-ce naturel ? Cela limite ce que les gens feraient dans des circonstances normales. Numéro deux, il faut avoir une idée préconçue de ce que vont être les régions importantes du visage, parce que vous ne pouvez pas lire quoi que ce soit sur lequel vous n'avez pas mis de capteur.

« C'est un gros avantage de notre approche. Nous avons opté pour ces quelques fonctionnalités maintenant. Mais si plus tard un autre groupe trouve que votre lobe d'oreille est vraiment important, nous pouvons revenir à nos enregistrements et analyser cela."

Maintenant qu'ils ont prouvé que les visages des locuteurs de mandarin suivent leur intonation, Jongman et Sereno ont déclaré que la prochaine étape consistera à déterminer dans quelle mesure ces indices visuels aident l'auditeur - leur "signification linguistique".

"Nous allons générer un visage par ordinateur, puis manipuler les caractéristiques que nous venons de trouver et voir si cela fait une différence, " Jongman a déclaré. "Est-ce que les auditeurs y répondent?"

Tout comme les personnes malentendantes peuvent apprendre à lire sur les lèvres, les gens pourraient bénéficier des indices faciaux plus subtils, la nouvelle étude a trouvé.

« Si vous êtes malentendant, et nous pouvons peut-être exagérer un peu certains de ces indices ou apprendre aux gens à les exagérer, ou aussi dans l'apprentissage des langues faire ça, ça peut beaucoup aider, " a déclaré Jongman.

Sereno a dit qu'elle peut imaginer un scénario dans lequel un apprenant d'une langue est aidé en regardant les indices faciaux des locuteurs natifs.

"La manipulation visuelle pourrait aider à identifier cela, " dit-elle. " Puis, quand ils se retrouvent dans une situation naturelle, quand il y a peut-être moins d'exagération de ces indices, ils sont encore capables de les identifier beaucoup mieux. »