Le compositeur allemand Ludwig von Beethoven dirige un quatuor à cordes, vers 1810. Dessiné par l'artiste Borckmann. Rischgitz/Getty Images À la mort de Ludwig von Beethoven en 1827, il a été éloigné de trois ans de l'achèvement de sa Neuvième Symphonie, une œuvre saluée par beaucoup comme son opus magnum. Il avait commencé à travailler sur sa 10e Symphonie mais, en raison de la détérioration de la santé, n'a pas pu faire beaucoup de progrès :il n'a laissé que quelques sketches musicaux.
Depuis, Les fans de Beethoven et les musicologues ont été perplexes et se sont plaints de ce qui aurait pu être. Ses notes se moquaient d'une magnifique récompense, même si celui-ci semblait à jamais hors de portée.
Maintenant, grâce au travail d'une équipe d'historiens de la musique, musicologues, compositeurs et informaticiens, La vision de Beethoven prendra vie.
J'ai présidé la partie intelligence artificielle du projet, à la tête d'un groupe de scientifiques de la startup d'IA créative Playform AI qui a enseigné à une machine à la fois l'ensemble du travail de Beethoven et son processus créatif.
Un enregistrement complet de la 10e symphonie de Beethoven devrait sortir le 9 octobre. 2021, le même jour que la première mondiale prévue à Bonn, Allemagne - l'aboutissement d'un effort de plus de deux ans.
Vers 1817, la Royal Philharmonic Society de Londres a chargé Beethoven d'écrire ses neuvième et dixième symphonies. Ecrit pour un orchestre, les symphonies contiennent souvent quatre mouvements :le premier est exécuté à un tempo rapide, le second à un rythme plus lent, la troisième à un tempo moyen ou rapide, et le dernier à un tempo rapide.
Beethoven acheva sa Neuvième Symphonie en 1824, qui se termine par l'intemporelle "Ode à la joie".
Mais en ce qui concerne la 10e Symphonie, Beethoven n'a pas laissé grand-chose derrière lui, à part quelques notes de musique et une poignée d'idées qu'il avait notées.
Il y a eu quelques tentatives passées pour reconstruire des parties de la 10e symphonie de Beethoven. Le plus célèbre, en 1988, Le musicologue Barry Cooper s'est aventuré à compléter les premier et deuxième mouvements. Il a tissé ensemble 250 mesures de musique à partir des croquis pour créer ce qui était, à ses yeux, une production du premier mouvement fidèle à la vision de Beethoven.
Pourtant, la rareté des esquisses de Beethoven empêchait les experts symphoniques d'aller au-delà de ce premier mouvement.
Début 2019, Dr Matthias Röder, le directeur de l'Institut Karajan, une organisation à Salzbourg, L'Autriche, qui promeut la technologie musicale, m'a contacté. Il a expliqué qu'il formait une équipe pour terminer la 10e symphonie de Beethoven à l'occasion du 250e anniversaire du compositeur. Conscient de mon travail sur l'art généré par l'IA, il voulait savoir si l'IA serait en mesure d'aider à combler les blancs laissés par Beethoven.
Le défi semblait de taille. Pour le retirer, L'IA devrait faire quelque chose qu'elle n'avait jamais fait auparavant. Mais j'ai dit que j'allais tenter le coup.
Röder a ensuite constitué une équipe qui comprenait le compositeur autrichien Walter Werzowa. Célèbre pour avoir écrit le jingle de bong signature d'Intel, Werzowa a été chargé de mettre en place un nouveau type de composition qui intégrerait ce que Beethoven a laissé derrière lui avec ce que l'IA générerait. Mark Gotham, un expert en musique informatique, a dirigé l'effort de transcrire les croquis de Beethoven et de traiter l'ensemble de son travail afin que l'IA puisse être correctement formée.
L'équipe comprenait également Robert Levin, un musicologue à l'Université Harvard qui se trouve être aussi un pianiste incroyable. Levin avait déjà terminé un certain nombre d'œuvres incomplètes du XVIIIe siècle de Mozart et Johann Sebastian Bach.
En juin 2019, le groupe s'est réuni pour un atelier de deux jours à la bibliothèque musicale de Harvard. Dans une grande salle avec un piano, un tableau noir et une pile de carnets de croquis de Beethoven couvrant la plupart de ses œuvres connues, nous avons parlé de la façon dont des fragments pourraient être transformés en un morceau de musique complet et de la façon dont l'IA pourrait aider à résoudre ce casse-tête, tout en restant fidèle au processus et à la vision de Beethoven.
Les experts en musique présents dans la salle étaient impatients d'en savoir plus sur le type de musique que l'IA avait créée dans le passé. Je leur ai expliqué comment l'IA avait réussi à générer de la musique dans le style de Bach. Cependant, ce n'était qu'une harmonisation d'une mélodie entrée qui sonnait comme Bach. Cela ne s'est pas approché de ce que nous devions faire :construire une symphonie entière à partir d'une poignée de phrases.
Un pianiste et un quatuor à cordes interprètent une partie de la 10e symphonie de Beethoven réalisée grâce à l'intelligence artificielle au siège de Telekom à Bonn, Allemagne, le 13 décembre, 2019. INA FASSBENDER/AFP via Getty Images Pendant ce temps, les scientifiques dans la salle - moi y compris - voulaient savoir quel type de matériel était disponible, et comment les experts envisageaient de les utiliser pour compléter la symphonie.
La tâche à accomplir s'est finalement cristallisée. Nous aurions besoin d'utiliser des notes et des compositions complètes de l'ensemble de l'œuvre de Beethoven - ainsi que les croquis disponibles de la 10e Symphonie - pour créer quelque chose que Beethoven lui-même aurait pu écrire.
C'était un énorme défi. Nous n'avions pas de machine à laquelle nous pouvions envoyer des croquis, appuyez sur un bouton et faites-lui cracher une symphonie. La plupart des IA disponibles à l'époque ne pouvaient pas continuer un morceau de musique inachevé au-delà de quelques secondes supplémentaires.
Nous aurions besoin de repousser les limites de ce que l'IA créative pourrait faire en enseignant à la machine le processus créatif de Beethoven - comment il prendrait quelques mesures de musique et les développerait minutieusement en symphonies émouvantes, quatuors et sonates.
Au fur et à mesure de l'avancement du projet, le côté humain et le côté machine de la collaboration ont évolué. Werzowa, Gotham, Lévine, et Röder a déchiffré et transcrit les esquisses de la 10e Symphonie, essayer de comprendre les intentions de Beethoven. En utilisant ses symphonies achevées comme modèle, ils ont tenté de reconstituer le puzzle de l'endroit où les fragments de croquis devraient aller - quel mouvement, quelle partie du mouvement.
Ils ont dû prendre des décisions, comme déterminer si un croquis indiquait le point de départ d'un scherzo, qui est une partie très vivante de la symphonie, généralement dans le troisième mouvement. Ou ils pourraient déterminer qu'une ligne de musique était probablement la base d'une fugue, qui est une mélodie créée en entrelaçant des parties qui font toutes écho à un thème central.
Le côté IA du projet - mon côté - s'est retrouvé aux prises avec une série de tâches difficiles.
D'abord, et plus fondamentalement, nous devions comprendre comment prendre une courte phrase, ou même juste un motif, et l'utiliser pour développer un plus long, structure musicale plus compliquée, tout comme Beethoven l'aurait fait. Par exemple, la machine devait apprendre comment Beethoven construisait la Cinquième Symphonie à partir d'un motif de base à quatre notes.
Prochain, parce que la suite d'une phrase doit aussi suivre une certaine forme musicale, que ce soit un scherzo, trio ou fugue, l'IA avait besoin d'apprendre le processus de Beethoven pour développer ces formes.
La liste des choses à faire s'est allongée :nous avons dû apprendre à l'IA à prendre une ligne mélodique et à l'harmoniser. L'IA devait apprendre à relier deux sections de la musique. Et nous avons réalisé que l'IA devait être capable de composer une coda, qui est un segment qui termine une partie d'un morceau de musique.
Finalement, une fois que nous avons eu une composition complète, l'IA allait devoir trouver comment l'orchestrer, ce qui implique d'affecter différents instruments pour différentes parties.
Et il devait accomplir ces tâches de la manière dont Beethoven pourrait le faire.
En novembre 2019, l'équipe s'est à nouveau rencontrée en personne - cette fois, à Bonn, au Musée de la Maison Beethoven, où le compositeur est né et a grandi.
Cette réunion a été le test décisif pour déterminer si l'IA pouvait mener à bien ce projet. Nous avons imprimé des partitions musicales qui avaient été développées par AI et construites à partir des croquis du 10e de Beethoven. Un pianiste s'est produit dans une petite salle de concert du musée devant un groupe de journalistes, musicologues et experts de Beethoven.
Nous avons mis le public au défi de déterminer où se terminaient les phrases de Beethoven et où commençait l'extrapolation de l'IA. Ils ne pouvaient pas.
Quelques jours plus tard, l'une de ces partitions générées par l'IA a été jouée par un quatuor à cordes lors d'une conférence de presse. Seuls ceux qui connaissaient intimement les esquisses de Beethoven pour la 10e Symphonie pouvaient déterminer quand les parties générées par l'IA sont arrivées.
Le succès de ces tests nous a dit que nous étions sur la bonne voie. Mais ce n'étaient que quelques minutes de musique. Il y avait encore beaucoup de travail à faire.
A chaque point, Le génie de Beethoven se profile, nous défie de faire mieux. Au fur et à mesure de l'évolution du projet, l'IA l'a fait aussi. Au cours des 18 mois qui ont suivi, nous avons construit et orchestré deux mouvements entiers de plus de 20 minutes chacun.
Nous anticipons un certain recul de ce travail - ceux qui diront que les arts devraient être interdits à l'IA, et que l'IA n'a pas à essayer de reproduire le processus créatif humain. Pourtant, quand il s'agit d'art, Je ne vois pas l'IA comme un remplacement, mais comme un outil - un outil qui ouvre des portes aux artistes pour s'exprimer de nouvelles manières.
Ce projet n'aurait pas été possible sans l'expertise d'historiens humains et de musiciens. Cela a demandé une énorme quantité de travail - et, Oui, pensée créative — pour atteindre cet objectif.
À un moment donné, l'un des experts en musique de l'équipe a déclaré que l'IA lui rappelait un étudiant en musique passionné qui pratique tous les jours, apprend, et devient de mieux en mieux.
Maintenant cet étudiant, ayant pris le relais de Beethoven, est prêt à présenter la 10e Symphonie au monde.
Ahmed Elgammal est professeur au Département d'informatique de l'Université Rutgers et directeur du Art &AI Lab à Rutgers.
Cet article est republié de La conversation sous licence Creative Commons. Vous pouvez trouver le article original ici.
