Lorsque nous regardons des films ou jouons à des jeux vidéo, les bons effets sonores peuvent aider à rendre les scènes plus réalistes :lorsqu'un joueur grisonnant fait rouler un dollar en argent sur une table à cartes dans un salon à grand écran, le son semble voyager d'une oreille à l'autre, une astuce que les cinéastes peuvent accomplir en ajoutant un son préenregistré qui passe d'un haut-parleur à l'autre.

Mais créer de telles sensations en réalité virtuelle a été jusqu'à présent pratiquement impossible car la réalité virtuelle n'est pas scénarisée. Il est difficile de prédire quels bruits un objet pourrait faire, ou où ils pourraient être entendus. Pour rendre le son VR réaliste, les ingénieurs devraient créer un grand nombre de « modèles sonores », les équivalents informatisés des pré-enregistrements. Chaque modèle sonore permettrait au système VR de synthétiser un son particulier au moment précis où il était nécessaire. Jusqu'à présent, il aurait fallu plusieurs heures à un groupe d'ordinateurs pour créer ne serait-ce qu'un seul modèle sonore, et puisque de nombreux modèles différents seraient nécessaires pour synthétiser de nombreux sons potentiels différents, créer un son réaliste dans des environnements interactifs a été un objectif insaisissable.

Maintenant, les informaticiens de Stanford ont inventé un algorithme qui peut créer des modèles sonores en quelques secondes, ce qui rend rentable la simulation de sons pour de nombreux objets différents dans un environnement virtuel. Lorsqu'une action se produit qui demande un son, ce nouveau modèle peut synthétiser un son tout aussi réaliste que les sons générés par les algorithmes beaucoup plus lents et encore expérimentaux du passé. "Le fait de faciliter la création de modèles rend pratique la création d'environnements interactifs avec des effets sonores réalistes, " dit Doug James, un professeur d'informatique avec un rendez-vous de courtoisie en musique.

Les algorithmes antérieurs pour créer des modèles sonores étaient basés sur les travaux du scientifique du XIXe siècle Hermann von Helmholtz, qui a donné son nom à une équation qui décrit comment les sons se propagent. Sur la base de ce fondement théorique, les scientifiques ont conçu des algorithmes pour créer des modèles sonores en 3D :des routines logicielles capables de synthétiser un son qui semble réaliste car le volume et la direction du son changent en fonction de l'endroit où l'action se produit par rapport à l'auditeur. Jusqu'à présent, les meilleurs algorithmes pour créer des modèles sonores 3D reposaient sur la méthode des éléments limites (BEM), un processus lent qui était tout simplement trop coûteux pour un usage commercial.

James et son collaborateur étudiant diplômé, Jui-Hsien Wang, a développé un algorithme qui calcule des modèles sonores des centaines à des milliers de fois plus rapidement en évitant l'équation de Helmholtz et le BEM. Leur approche s'inspire du compositeur autrichien du XXe siècle Fritz Heinrich Klein, qui a trouvé un moyen de mélanger un grand nombre de sons et de notes de piano en un seul, son agréable connu sous le nom d'accord mère. Les scientifiques - qui ont nommé leur algorithme KleinPAT en clin d'œil à son inspiration - expliquent comment leur approche crée des modèles sonores dans un article scientifique qu'ils présentent à la conférence ACM SIGGRAPH 2019 sur l'infographie et les techniques interactives. "Nous pensons que cela change la donne pour les environnements interactifs, " dit James.