Emilia Gomez, chercheur au Groupe de Recherche en Technologie Musicale (MTG) du Département des Technologies de l'Information et de la Communication (DTIC) de l'UPF, a tenté de créer de nouvelles approches numériques pour enrichir l'expérience d'un concert de musique classique avant, pendant et après le concert lui-même, afin d'apporter la musique classique à de nouveaux publics d'une manière innovante via la technologie.

« L'une des applications que nous avons étudiées dans le contexte post-concert était un type d'installation dans laquelle l'utilisateur assume le rôle de chef d'orchestre afin que ses mouvements « conduisent » un orchestre virtuel. Ce type d'installation a connu du succès dans des endroits tels que la Maison de la Musique à Vienne, " dit lvaro Sarasua, premier auteur d'une étude publiée le 25 février dans la revue Frontières en humanités numériques , dirigé par Emilia Gómez.

Dans l'interaction homme-machine, les métaphores d'interface fournissent aux utilisateurs un moyen d'interagir avec la machine qui ressemble à une activité connue. Ces métaphores sont largement utilisées dans les instruments de musique numériques. Dans cette étude, les auteurs ont utilisé la métaphore du conducteur. L'intérêt d'utiliser ces métaphores est que l'utilisateur, dans une installation virtuelle dans laquelle contrôler le tempo et la dynamique auxquels un orchestre joue, peuvent appliquer leurs connaissances ou leur intuition préalable sur la façon dont une certaine activité fonctionne dans le monde réel - dans ce cas, diriger un orchestre.

« Du point de vue de la recherche, dans cette étude, nous nous sommes intéressés à déterminer comment les notions intuitives disponibles pour les utilisateurs de ce type d'installation peuvent être explicitement utilisées par le système pour répondre à leurs gestes de direction d'orchestre de manière plus intuitive, et donc, peut fournir une performance plus expressive, " dit Sarasua.

Dans les premières étapes du projet, les chercheurs ont mené des études d'observation dans lesquelles ils ont demandé à des personnes ayant différents degrés de formation musicale d'écouter plusieurs extraits de musique classique, puis, pendant que la musique rejouait, faire des mouvements corporels qu'ils feraient en dirigeant un orchestre pour communiquer divers aspects tels que le tempo et l'intensité. Ils ont enregistré les mouvements des participants à l'aide d'une caméra Kinect, qui a enregistré la position de diverses parties du corps.

Différentes tendances interprétatives observées

L'analyse de ces données a révélé des tendances différentes entre les sujets. D'un côté, communiquer le tempo de la musique, il y avait des gens qui communiquaient constamment le rythme un peu en avance sur le tempo de la musique, tandis que d'autres l'ont fait en totale synchronie ou avec un certain retard. Concernant la dynamique avec laquelle les instruments jouaient, certaines personnes avaient tendance à bouger plus énergiquement pendant les parties forte, tandis que d'autres ont simplement levé les bras davantage.

"Notre hypothèse de départ pour cette étude était qu'un système qui permet de contrôler le tempo et le volume d'un morceau de musique par des mouvements imitant ceux d'un chef d'orchestre peut être plus intuitif s'il peut être adapté à ces tendances personnelles, " explique Sarasua

« Dans l'exemple de notre expérience, il y a un avantage « implicite » en utilisant la métaphore, en disant à l'utilisateur qu'il doit « diriger » l'orchestre, ils savent qu'ils doivent bouger leurs bras et ont une certaine intuition quant à leur capacité à contrôler le tempo et la dynamique. En utilisant le système proposé, cette amélioration est plus explicite dans la mesure où le système observe et analyse ce que l'utilisateur sent qu'il doit faire et s'adapte pour effectuer en fonction de ces intuitions."

Les auteurs appellent cette stratégie cartographie par observation, depuis la cartographie, ou la manière dont les mouvements de l'utilisateur sont liés à la musique résultante, s'adapte spécifiquement à chaque utilisateur en observant ce qu'il fait lorsqu'on lui demande d'effectuer des mouvements imitant un conducteur sans donner d'instructions spécifiques.

Lors de l'évaluation du système, les chercheurs ont observé 24 participants qui ont effectué les premiers avec un système de base qui ne s'est pas adapté à chaque utilisateur, puis un système basé sur la stratégie cartographique, et comparé les résultats. Cette comparaison a été réalisée dans un contexte où les utilisateurs ont appris à « diriger » l'orchestre virtuel par la pratique. Les deux systèmes ont été comparés sur la base de mesures objectives et subjectives sur une série de tâches dans lesquelles les participants devaient faire jouer l'orchestre à des volumes différents et le faire en synchronisation avec le métronome à des tempos différents.

La convivialité du système sur mesure est meilleure

Les résultats de l'expérience ont montré que la convivialité du système sur mesure est meilleure, à la fois en termes de contrôle plus intuitif de la dynamique avec laquelle l'utilisateur dirige l'orchestre, et en termes de contrôle plus précis du tempo. Par ailleurs, les résultats montrent également une forte corrélation entre les mesures qui peuvent être tirées des données utilisées pour faire l'adaptation et l'amélioration introduite par le système, ce qui indique qu'il est possible d'estimer à l'avance dans quelle mesure les mouvements spontanés d'un utilisateur particulier seront réellement utiles pour adapter le système à son style.

Les résultats de cette étude sont particulièrement pertinents dans des contextes où l'interaction est conçue à partir de métaphores d'interface, comme c'est le cas du chef d'orchestre. « Dans l'exemple de notre expérience, il y a un avantage "implicite" à utiliser la métaphore, en ce qu'en disant à l'utilisateur qu'il doit « diriger » l'orchestre, ils savent qu'ils doivent bouger les bras et avoir une certaine intuition pour contrôler le tempo et la dynamique. En utilisant le système proposé, cette amélioration est plus « explicite » dans la mesure où le système observe et analyse ce que l'utilisateur sent qu'il doit faire et s'adapte pour effectuer en fonction de ces intuitions, " concluent les auteurs.