La musique est un élément indispensable du cinéma :elle établit l'atmosphère et l'ambiance, suscite les réactions émotionnelles du spectateur et influence considérablement l'interprétation de l'histoire par le public.

Dans un article récent publié dans PLOS ONE , une équipe de recherche de l'USC Viterbi School of Engineering, dirigée par le professeur Shrikanth Narayanan, a cherché à examiner objectivement l'effet de la musique sur les genres cinématographiques. Leur étude visait à déterminer si la technologie basée sur l'IA pouvait prédire le genre d'un film en se basant uniquement sur la bande originale.

« En comprenant mieux comment la musique affecte la perception qu'a le spectateur d'un film, nous comprenons comment les créateurs de films peuvent atteindre leur public de manière plus convaincante », a déclaré Narayanan, professeur d'université et titulaire de la chaire d'ingénierie Niki et Max Nikias, professeur d'électricité et génie informatique et informatique et directeur du laboratoire d'analyse et d'interprétation des signaux de l'USC Viterbi (SAIL).

L'idée que différents genres de films sont plus susceptibles d'utiliser certains éléments musicaux dans leur bande sonore est plutôt intuitive :une romance légère peut inclure de riches passages de cordes et des mélodies luxuriantes et lyriques, tandis qu'un film d'horreur peut plutôt présenter des fréquences troublantes et perçantes et des notes étrangement discordantes. .

Mais alors que les travaux antérieurs indiquent qualitativement que différents genres de films ont leurs propres ensembles de conventions musicales - des conventions qui font que ce film d'amour sonne différemment de ce film d'horreur - Narayanan et son équipe ont entrepris de trouver des preuves quantitatives que des éléments de la bande originale d'un film pourraient être utilisés pour caractériser le genre du film.

L'étude de Narayanan et de son équipe a été la première à appliquer des modèles d'apprentissage en profondeur à la musique utilisée dans un film pour voir si un ordinateur pouvait prédire le genre d'un film en se basant uniquement sur la bande originale. Ils ont constaté que ces modèles étaient capables de classer avec précision le genre d'un film à l'aide de l'apprentissage automatique, soutenant l'idée que les caractéristiques musicales peuvent être de puissants indicateurs de la façon dont nous percevons différents films.

Selon Timothy Greer, Ph.D. étudiant à l'USC Viterbi dans le département d'informatique qui a travaillé avec Narayanan sur l'étude, leur travail pourrait avoir des applications précieuses pour les entreprises de médias et les créateurs pour comprendre comment la musique peut améliorer d'autres formes de médias. Cela pourrait permettre aux sociétés de production et aux superviseurs musicaux de mieux comprendre comment créer et placer de la musique à la télévision, dans des films, des publicités et des documentaires afin de susciter certaines émotions chez les téléspectateurs.

En plus de Narayanan et Greer, l'équipe de recherche pour l'étude comprenait Dillon Knox, un Ph.D. étudiant au département de génie électrique et informatique, et Benjamin Ma, diplômé de l'USC en 2021 avec un B.S. en informatique, une maîtrise en informatique et une mineure en production musicale. (Ma a également été nommé l'un des deux boursiers USC Schwarzman 2021.) L'équipe a travaillé au sein du Center for Computational Media Intelligence, un groupe de recherche de SAIL.

Prédire le genre à partir de la bande-son

Dans leur étude, le groupe a examiné un ensemble de données de 110 films populaires sortis entre 2014 et 2019. Ils ont utilisé la classification des genres répertoriée sur Internet Movie Database (IMDb) pour étiqueter chaque film comme action, comédie, drame, horreur, romance ou science. -fiction, avec de nombreux films couvrant plus d'un de ces genres.

Ensuite, ils ont appliqué un réseau d'apprentissage en profondeur qui a extrait les informations auditives, comme le timbre, l'harmonie, la mélodie, le rythme et le ton de la musique et de la partition de chaque film. Ce réseau a utilisé l'apprentissage automatique pour analyser ces caractéristiques musicales et s'est avéré capable de classer avec précision le genre de chaque film en se basant uniquement sur ces caractéristiques.

Le groupe a également interprété ces modèles pour déterminer quelles caractéristiques musicales étaient les plus révélatrices des différences entre les genres. Les modèles n'ont pas donné de détails sur les types de notes ou d'instruments associés à chaque genre, mais ils ont pu établir que les caractéristiques tonales et timbrales étaient les plus importantes pour prédire le genre du film.

« Jeter ces bases est vraiment excitant parce que nous pouvons maintenant être plus précis dans les types de questions que nous voulons poser sur la façon dont la musique est utilisée dans les films », a déclaré Knox. "L'expérience cinématographique globale est très compliquée et être capable d'analyser informatiquement son impact ainsi que les choix et les tendances qui entrent dans sa construction est très excitant."

Orientations futures

Narayanan et son équipe ont examiné les informations auditives de chaque film à l'aide d'une technologie connue sous le nom d'empreintes digitales audio, la même technologie qui permet à des services comme Shazam d'identifier des chansons à partir d'une base de données en écoutant des enregistrements, même en présence d'effets sonores ou d'autres bruits de fond présents. Cette technologie leur a permis de voir où les repères musicaux se produisent dans un film et pendant combien de temps.

"L'utilisation de l'empreinte audio pour écouter tout l'audio du film nous a permis de surmonter une limitation des études précédentes sur la musique de film, qui se contentaient généralement de regarder l'intégralité de l'album de la bande originale du film sans savoir si ou quand les chansons de l'album apparaissent dans le film, " dit Ma. À l'avenir, le groupe souhaite tirer parti de cette capacité pour étudier comment la musique est utilisée à des moments spécifiques d'un film et comment les signaux musicaux dictent l'évolution du récit du film au cours de son déroulement.

"Avec l'accès sans cesse croissant au cinéma et à la musique, il n'a jamais été aussi crucial d'étudier quantitativement comment ce média nous affecte", a déclaré Greer. "Comprendre comment la musique fonctionne en conjonction avec d'autres formes de médias peut nous aider à concevoir de meilleures expériences de visionnage et à créer un art émouvant et percutant."