Des experts de l'Institute of Cyber Intelligence Systems de l'Université nationale de recherche nucléaire MEPhI (Russie) développent actuellement un assistant de compositeur virtuel qui sera capable d'analyser l'état émotionnel des compositeurs de musique et de suivre leur logique. Malgré le haut niveau de développement de la théorie musicale, le processus de création musicale est encore difficile à algorithmiser formellement, car elle est indissociable des expériences émotionnelles du compositeur. Cet aspect du processus créatif intéresse particulièrement les experts en intelligence artificielle.
Les scientifiques peuvent déjà créer une synergie entre les humains et les logiciels d'une manière qui permet à l'ordinateur exécutant le logiciel de recueillir des données sur l'état émotionnel et les intentions du créateur, et devenir ainsi une continuation de l'esprit humain. L'assistant de compositeur virtuel est un logiciel qui peut créer à lui seul de la musique de niveau humain de haute qualité esthétique. C'est un assistant intelligent créatif qui peut ajouter ses propres notes, accords et combinaisons sur une mélodie écrite par le compositeur.
Afin d'atteindre cet objectif, les chercheurs devaient identifier des sons musicaux, accords et leurs combinaisons, créer des cartes sémantiques basées sur cette analyse, et les connecter à des modèles de perception émotionnelle de la musique par les humains. Le nouveau logiciel est fondamentalement différent des autres approches, puisque l'assistant virtuel peut maintenir un contact émotionnel avec le compositeur, a déclaré le professeur Alexei Samsonovich du MEPhI Institute of Cyber Intelligence Systems.
"La plupart de ces programmes représentent des réseaux de neurones appris à écrire de la musique ou à faire de l'art, " dit-il. " Mais notre idée était d'identifier l'état émotionnel du compositeur et de suivre sa logique. "
Cette méthode est basée sur l'utilisation de cartes sémantiques au lieu de réseaux de neurones, a dit Samsonovitch. Dans les cartes sémantiques, l'état émotionnel de l'esprit est représenté par un point dans l'espace affectif. Dans cet espace, chaque action possible a ses propres coordonnées, et il existe une certaine règle qui permet aux chercheurs de relier diverses coordonnées les unes aux autres en suivant la logique de la perception émotionnelle. Les lois de l'harmonie musicale et du rythme imposent certaines limites à ce processus.
« Ces limites, cependant, ne peut pas tout définir; ils laissent une certaine liberté à la créativité, " a expliqué Samsonovich. " C'est la liberté que notre logiciel utilise, en se laissant guider par la carte sémantique et les règles de choix des coordonnées sur celle-ci, et en tenant compte de l'évolution de l'état émotionnel. Je tiens à préciser que nous ne parlons pas de machine learning, car le modèle est basé sur les principes de la psychologie (aspects psychologiques fondamentaux du comportement). Dans ce sens, contrairement aux réseaux de neurones, des modèles comme celui-ci peuvent expliquer l'essence du phénomène de la créativité."
La compréhension mutuelle entre le compositeur et l'assistant virtuel peut être obtenue en organisant et en stockant divers types de réactions émotionnelles aux éléments musicaux - accords, leur séquence et leurs intervalles—dans l'environnement logiciel.
Afin d'assurer le stockage et l'utilisation des informations sur les combinaisons de sons les plus réussies et les plus appropriées, l'assistant virtuel utilise une carte sémantique, qui permet au compositeur virtuel non seulement de s'appuyer sur une mélodie réglée par l'utilisateur selon son goût, mais aussi surveiller son humeur, suggérer différentes versions et créer l'accompagnement approprié.
Au cours du développement de la méthode, les chercheurs ont utilisé une application distincte afin de tester comment les participants évaluent diverses combinaisons d'accords selon trois mesures, chacun jugé sur une échelle de 1 à 10 :agréable-désagréable, gai-triste et excitant-ennuyeux. Ce système d'évaluation a permis aux chercheurs de créer des cartes sémantiques tridimensionnelles.
"Nous avons supposé que le choix d'un comportement basé sur les émotions sociales, les sentiments et les relations peuvent être décrits par des équations dynamiques relativement simples, " Samsonovich a déclaré. "Le modèle de comportement simple basé sur la carte sémantique et deux équations est indiscernable du comportement humain dans le plus simple des paradigmes d'interaction sociale dans un environnement virtuel. "
Samsonovich a également ajouté que l'approche la plus prometteuse dans ce domaine de recherche est basée sur des architectures cognitives créées à l'aide de données de psychologie et de neurosciences, appelées architectures cognitives d'inspiration biologique (BICA).
Les chercheurs pensent que le nouveau développement peut être étendu et utilisé non seulement dans la musique, mais aussi dans de nombreux autres domaines de la créativité numérique, ainsi que dans les systèmes homme-machine. Créer et mettre en œuvre de telles innovations est une étape importante dans l'étude de l'aspect socio-émotionnel de l'intelligence, qui est responsable de la reconnaissance et de l'expression des émotions, intentions, motivations et désirs. Les principaux résultats de cette recherche ont été publiés dans le Informatique Procedia journal.
