Les progrès de l'imagerie générée par ordinateur ont apporté des images vives, animations réalistes à la vie, mais les sons associés à ce que l'on voit simulés à l'écran, comme la collision de deux objets, sont souvent des enregistrements. Aujourd'hui, des chercheurs de l'Université de Stanford ont développé un système qui restitue automatiquement des sons précis pour une grande variété de phénomènes animés.

"Il y a eu un Saint Graal dans l'informatique de pouvoir simuler la réalité pour les humains. Nous pouvons animer des scènes et les rendre visuellement avec la physique et l'infographie, mais, quant aux sons, ils sont généralement constitués, " dit Doug James, professeur d'informatique à l'université de Stanford. "Actuellement, il n'existe aucun moyen de générer des sons synchronisés réalistes pour un contenu animé complexe, comme les éclaboussures d'eau ou la collision d'objets, automatiquement. Cela comble ce vide."

Les chercheurs présenteront leurs travaux sur ce système de synthèse sonore dans le cadre de l'ACM SIGGRAPH 2018, la conférence leader sur l'infographie et les techniques interactives. En plus d'animer les films et les mondes de réalité virtuelle, ce système pourrait également aider les sociétés d'ingénierie à prototyper le son des produits avant d'être physiquement produits, et, espérons-le, encourager les conceptions plus silencieuses et moins irritantes, les chercheurs ont dit.

"J'ai passé des années à essayer de résoudre des équations aux dérivées partielles - qui régissent la propagation du son - à la main, " a déclaré Jui-Hsien Wang, un étudiant diplômé au laboratoire de James et à l'Institute for Computational and Mathematical Engineering (ICME), et auteur principal de l'article. "C'est en fait un endroit où vous ne résolvez pas seulement l'équation, mais vous pouvez l'entendre une fois que vous l'avez fait. C'est vraiment excitant pour moi et c'est amusant."

Prédire le son

Informé par la géométrie et le mouvement physique, le système détermine les vibrations de chaque objet et comment, comme un haut-parleur, ces vibrations excitent les ondes sonores. Il calcule les ondes de pression rejetées par les surfaces en mouvement et en vibration rapides, mais ne reproduit pas l'acoustique de la pièce. Donc, bien qu'il ne recrée pas les échos d'une grande cathédrale, il peut résoudre des sons détaillés à partir de scénarios comme une cymbale qui s'écrase, un bol à l'envers qui tourne jusqu'à l'arrêt, un verre rempli d'eau ou un personnage virtuel parlant dans un mégaphone.

La plupart des sons associés aux animations reposent sur des clips préenregistrés, qui nécessitent un effort manuel considérable pour se synchroniser avec l'action à l'écran. Ces clips sont également limités aux bruits existants – ils ne peuvent rien prédire de nouveau. D'autres systèmes qui produisent et prédisent des sons aussi précis que ceux de James et de son équipe ne fonctionnent que dans des cas particuliers, ou supposez que la géométrie ne se déforme pas beaucoup. Ils nécessitent également une longue phase de pré-calcul pour chaque objet séparé.

"Le nôtre n'est essentiellement qu'un bouton de rendu avec un pré-traitement minimal qui traite tous les objets ensemble dans une simulation d'onde acoustique, " dit Ante Qu, un étudiant diplômé du laboratoire de James et co-auteur de l'article.

Le son simulé qui résulte de cette méthode est très détaillé. Il prend en compte les ondes sonores produites par chaque objet dans une animation mais prédit également comment ces ondes se plient, rebondir ou amortir en fonction de leurs interactions avec d'autres objets et ondes sonores de la scène.

Défis à venir

Dans sa forme actuelle, le processus du groupe prend un certain temps pour créer le produit fini. Mais, maintenant qu'ils ont prouvé le potentiel de cette technique, ils peuvent se concentrer sur des optimisations de performances, comme la mise en œuvre de leur méthode sur du matériel GPU parallèle, cela devrait le rendre considérablement plus rapide.

Et, même dans son état actuel, les résultats valent la peine d'attendre.

"Les premiers sons d'eau que nous avons générés avec le système étaient parmi les meilleurs que nous ayons simulés - et l'eau est un énorme défi dans le son généré par ordinateur, " a déclaré James. " Nous avons pensé que nous pourrions obtenir une petite amélioration, mais c'est nettement mieux que les approches précédentes, même dès la sortie de la boîte. C'était vraiment frappant."

Bien que le travail du groupe ait fidèlement rendu les sons de divers objets en rotation, tomber et se cogner l'un dans l'autre, des objets et des interactions plus complexes – comme les sons réverbérants d'un violon Stradivarius – restent difficiles à modéliser de manière réaliste. Cette, le groupe a dit, devra attendre une solution future.