• Home
  • Chimie
  • Astronomie
  • Énergie
  • La nature
  • Biologie
  • Physique
  • Électronique
  • Un système pour générer de nouvelles paroles de chansons qui correspondent au style d'artistes spécifiques

    Un aperçu de l'approche de Vechtomova et al. D'abord, un CNN est mis en place pour classer les artistes sur la base d'images spectrogrammes, apprenant ainsi les inclusions d'artistes. Puis, un VAE est formé à reconstruire des répliques à partir de paroles de chansons, conditionné sur les encastrements d'artistes pré-formés. Au moment de l'inférence, afin de générer des paroles dans le style d'un artiste souhaité, les chercheurs échantillonnent z de l'espace latent et le décodent en fonction de l'intégration de cet artiste. Crédit :Vechtomova et al.

    Des chercheurs de l'Université de Waterloo, Canada, ont récemment développé un système pour générer des paroles de chansons qui correspondent au style d'artistes musicaux particuliers. Leur approche, décrit dans un article prépublié sur arXiv, utilise un auto-encodeur variationnel (VAE) avec des intégrations d'artistes et un classificateur CNN formé pour prédire les artistes à partir des spectrogrammes MEL de leurs clips de chansons.

    "La motivation de ce projet est venue de mon intérêt personnel, " Olga Vechtomova, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "La musique est une de mes passions, et j'étais curieux de savoir si une machine peut générer des lignes qui ressemblent aux paroles de mes artistes musicaux préférés. Tout en travaillant sur des modèles de génération de texte, mon groupe de recherche a découvert que les réseaux de neurones peuvent générer des lignes de texte impressionnantes. La prochaine étape naturelle pour nous était d'explorer si une machine pouvait apprendre « l'essence » du style lyrique d'un artiste musical spécifique, y compris le choix des mots, thèmes et structure des phrases, pour générer de nouvelles lignes de paroles qui ressemblent à l'artiste en question."

    Le système développé par Vechtomova et ses collègues est basé sur un modèle de réseau de neurones appelé autoencodeur variationnel (VAE), qui peut apprendre en reconstruisant des lignes de texte originales. Dans leur étude, les chercheurs ont entraîné leur modèle pour générer un certain nombre de nouvelles, lignes lyriques diverses et cohérentes.

    "Pour générer des lignes dans le style d'un artiste donné, nous avons conditionné la génération sur un plongement d'artiste (i.e. un vecteur multidimensionnel de nombres réels), appris par un réseau de neurones distinct, qui est formé pour classer les spectrogrammes de clips audio musicaux par artistes, ", a déclaré Vechtomova. "Nous utilisons ensuite les intégrations d'artistes pour conditionner la génération de lignes de paroles dans le style de chaque artiste. La motivation derrière cela est que nous voulons que les différences entre les intégrations d'artistes reflètent les différences dans leurs styles lyriques et musicaux."

    Dans une série d'évaluations préliminaires, le système développé par Vechtomova et ses collègues fonctionnait remarquablement bien. Leurs résultats suggèrent que les intégrations d'artistes sont utiles pour générer des paroles qui correspondent au style d'un artiste. De nombreuses lignes générées par le modèle étaient incontestablement alignées avec l'artiste sur lequel il était conditionné, reflétant les thèmes généralement abordés dans sa musique.

    Deux poèmes générés par le système et inclus dans la collection soumise au NeurIPS 2018 Workshop on ML for Creativity and Design. Vechtomova a créé chaque poème en sélectionnant des lignes générées par le VAE et en les organisant de manière artistiquement significative. Aucune modification n'a été apportée aux lignes individuelles, sauf pour l'ajout de majuscules et de signes de ponctuation. Crédit :Vechtomova.

    "Alors que les lignes générées contiennent souvent les mots d'un artiste, ceux-ci sont utilisés d'une nouvelle manière intéressante, exprimer de nouvelles pensées qui ne se trouvent pas dans les paroles originales, " Vechtomova a expliqué. "Certaines des lignes générées véhiculent une imagerie poétique nouvelle et puissante, exprimé à l'aide de dispositifs stylistiques tels que des métaphores et des oxymores, tout en restant fidèle au style de l'artiste."

    À l'avenir, le système créé par Vechtomova et ses collègues pourrait être utilisé pour inspirer les artistes qui composent les paroles de nouvelles chansons. Plutôt que de remplacer les compositeurs de paroles, les chercheurs espèrent qu'il apportera de nouvelles idées, que les artistes peuvent ensuite modeler, construire et développer de manière indépendante.

    "Le système n'est pas destiné à remplacer un artiste musical, mais pour être utilisé comme source d'inspiration pendant le processus d'écriture de chansons, " dit Vechtomova. " Dans le monde de la musique, cela pourrait être analogue à un synthétiseur qui peut générer un nombre infini de sons, à partir de laquelle un artiste crée ensuite une chanson. De la même manière, cet outil peut générer un nombre infini de nouvelles lignes que les artistes peuvent utiliser comme bon leur semble pour composer leurs propres paroles."

    Dans le cadre d'un autre projet, Vechtomova a utilisé le même système pour générer une poésie intrigante dans le style de différents artistes musicaux. Le recueil de poèmes qui en a résulté a été accepté comme œuvre d'art lors de l'atelier NeurIPS 2018 sur le ML pour la créativité et le design.

    "À l'avenir, nous prévoyons de travailler sur des modèles qui peuvent apprendre de nouveaux thèmes et vocabulaire à partir de sources supplémentaires, et les utiliser pour générer des paroles dans le style d'un artiste donné, ", a déclaré Vechtomova. "Je voudrais également explorer comment un tel système pourrait potentiellement être utilisé par les artistes musicaux comme source d'inspiration."

    © 2019 Réseau Science X




    © Science https://fr.scienceaq.com