"Au cours de la dernière décennie, apprentissage automatique, qui fait partie de l'intelligence artificielle (IA), nous a donné des voitures autonomes, reconnaissance vocale pratique, recherche efficace sur le Web, et une compréhension considérablement améliorée du génome humain." (Lee Bell, Filaire, 2016)

Avec l'apprentissage automatique, on peut aussi désormais apprendre nos gestes à une machine à l'aide du microcapteur et leurs données sont déjà partout. Les mouvements peuvent être reconnus, mémorisé, interprétés et partagés à travers les réseaux. Il existe de nombreuses applications en santé, le sport et surtout l'éducation à l'ère numérique. Un article récent dans Le Monde déclaré:

« Poussé par les avancées de l'intelligence artificielle et du traitement du langage naturel, la voix s'impose peu à peu comme la nouvelle interface pour accéder à l'univers numérique."

Les gestes sont ainsi une autre interface émergente pour accéder à l'univers numérique.

Des milliards de capteurs

Au cours des 10 dernières années, les microcapteurs ont proliféré et envahi nos vies. Ils détectent et mesurent en permanence nos mouvements. Nous savons, mais souvent on ne s'en aperçoit même pas, qu'ils comptent constamment nos pas quotidiens. Jusqu'à 100 mesures par seconde pour chacun de ces milliards de capteurs dans nos vies. Quelle est la signification de toutes ces données ? Quelle est leur présence dans nos vies ? La réponse pourrait être "important, mais pas tant que ça", car le numérique se construit aujourd'hui principalement sur des écrans omniprésents. Ils mettent une telle pression sur notre quotidien qu'ils substituent des images au monde réel, et effectivement arrêter le corps.

Avec les données des microcapteurs de mouvement, traitées par machine learning en temps réel, on essaie de revenir au monde réel :peut-on imaginer un monde numérique sans écrans ni claviers, qui nous conduirait à aimer communiquer par des mouvements et des gestes à l'aide de nos téléphones portables ? Pouvons-nous être tous des danseurs à l'ère numérique ? Cette image étonnante peut-elle se concrétiser par l'alliance de capteurs et de machine learning pour traiter leurs données en temps réel et les mettre entre nos mains ?

Un nouvel outil pour la réhabilitation à domicile

La rééducation a été notre première expérience. Saisir ces questions via cette application était la chose évidente à faire. Comment accompagner au mieux un patient qui rentre chez lui après une arthroplastie du genou ou de la hanche ? A l'aide d'un environnement technologique de plus en plus individualisé, construit en étroite collaboration avec le personnel infirmier. C'est le cœur de la collaboration avec le service de traumatologie de l'hôpital Lariboisière à Paris. L'application qui a été développée est basée sur le lien entre capteurs, le traitement intelligent des données et la conception de l'interface patient. En pratique, une petite plaque électronique sur laquelle sont assemblés les capteurs du smartphone et un wi-fi est cousue dans la chaussette ou le vêtement.

En présence d'un kinésithérapeute, le patient apprend à la machine la limite de ses postures, au-delà duquel un signal d'avertissement est donné. Cela peut ainsi s'exercer dans la vie quotidienne du patient, sous le regard attentif de cette technologie. L'individualisation est un aspect essentiel de ce e-coach. Montre-moi comment tu bouges…

La mesure du mouvement et le traitement des données présentent un double avantage pour le patient. Le contrôle en temps réel du signal augmente sa zone de confiance. Le patient sait également que les données sont transmises et analysées par les soignants si la situation l'exige.

Améliorer nos gestes pour mieux les apprendre ?

La vidéo ci-dessus montre comment il est possible d'associer tout type de signe ou d'information numérique à des gestes et des mouvements. Cet exemple est basé sur les travaux du groupe Frédéric Bevilacqua à l'IRCAM (Institut de Recherche et Coordination Acoustique Musique) à Paris. Il n'est pas surprenant que l'Ircam, financé par le compositeur Pierre Boulez, est un acteur clé de cette recherche. Dans la liste de nos gestes les plus beaux et les plus difficiles à acquérir, celles imposées par les instruments de musique sont parmi celles qui sont au sommet. Peut-on apprendre à faire de la musique en déplaçant un smartphone ?

Ici, vous pouvez essayer le dialogue avec la machine d'apprentissage. Il s'agit de l'application web COMO réalisée par l'Ircam. Apprenez vos propres gestes sur votre smartphone et jouez avec les sons. De l'IRCAM, cette technologie s'est étendue au Centre de Recherche et d'Interdisciplinarité (CRI) de l'Université Paris Descartes, un pôle d'expérimentation et d'innovation pédagogique. Dans un "laboratoire de mouvement", Le CRI Paris aborde « la question du geste comme interface émergente pour accéder à l'univers numérique » du point de vue de l'apprentissage et de l'éducation.

Comment apprend-on aujourd'hui ? En réalité, Comment pouvons-nous apprendre à apprendre alors que le monde change si vite et si profondément ? Comment construire cette société apprenante ? La réponse de François Taddei, directeur du CRI :en travaillant ensemble avec bienveillance et en gardant un sens de l'étonnement face au monde. Utiliser ces technologies pour l'apprentissage tout au long de la vie dans un monde devenu massivement numérique est passionnant mais difficile. En réalité, personne n'est ici un expert, car cette percée technologique nous emmène au-delà des schémas de pensée habituels. Mais il y a une bonne nouvelle :alors que nous bougeons tous, tout le monde est le bienvenu sur le bateau…

Des scientifiques à la danse contemporaine

Il m'a fallu du temps pour comprendre pourquoi des chercheurs et étudiants issus de la danse contemporaine, informatique et bien sûr, robotique, conception, la pédagogie, textile, la physique, mécanique, anthropologie, santé, des sports, musique, le son et bien d'autres se rassemblent autour de l'Ircam, CRI Paris et l'école de design ENSCI Les Ateliers. Dans les ateliers il y a toutes ces personnes dont on explore des scénarios pour utiliser ces outils fascinants mais aussi déroutants. Par exemple, J'ai appris une fois un geste sur mon smartphone, quand j'ai essayé de le reproduire, la machine ne l'a pas reconnu. Un danseur qui était avec nous a pris mon smartphone et a mimé mon geste. Ils ont tous les deux pu rapidement identifier « mon geste ».

Si le geste peut devenir une interface pour accéder à l'univers numérique, alors une nouvelle façon de se déplacer apparaît. Cela nous amène à porter une grande attention aux mouvements que nous faisons tous les jours sans y penser. Dans Le Geste et la Parole (1965), écrit par André Leroi-Gourhan dans un monde alors non numérique :

« Les acrobaties, les exercices d'équilibre, la danse matérialise en grande partie l'effort de soustraction aux chaînes opératoires normales, la recherche d'une création qui rompt le cycle quotidien des positions dans l'espace."

Je n'aurais pas pu dire mieux. Et vraiment, il n'est pas surprenant qu'une collaboration avec la danse contemporaine se soit rapidement imposée dans cette recherche sur le geste et le mouvement issue de la technologie et de la science.

Cet article a été initialement publié sur The Conversation. Lire l'article original.