Les méthodes de calcul de Monte Carlo sont à l'origine de nombreuses images réalistes dans les jeux et les films. Ils automatisent les complexités de la simulation de la physique des lumières et des caméras pour générer des rendus de haute qualité à partir d'échantillons de diverses caractéristiques et scènes d'images. Mais le processus de rendu Monte Carlo est lent et peut prendre des heures, voire des jours, pour produire une seule image, et souvent les résultats sont encore pixelisés, ou "bruyant".

Une équipe mondiale d'informaticiens du MIT, Adobe, et l'Université Aalto a développé une méthode innovante pour produire des images et des conceptions de scènes de meilleure qualité en beaucoup moins de temps en utilisant une approche basée sur l'apprentissage en profondeur qui réduit considérablement le bruit dans les images. Leur méthode permet d'obtenir des images plus nettes qui capturent efficacement les détails complexes des exemples de caractéristiques, y compris les composants d'éclairage complexes comme l'ombrage, éclairage indirect, flou de mouvement, et la profondeur de champ.

Les chercheurs présenteront leurs travaux au SIGGRAPH 2019, tenue du 28 juillet au 1er août à Los Angeles. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

"Notre algorithme peut produire des images propres à partir d'images d'entrée bruitées avec très peu d'échantillons, et pourrait être utile pour produire des aperçus rendus rapides tout en itérant sur la conception de la scène, " déclare l'auteur principal de l'étude Michaël Gharbi, chercheur chez Adobe. Gharbi a commencé la recherche en tant que doctorat. étudiant au MIT dans le labo de Frédo Durand, qui est également co-auteur.

Les travaux de l'équipe portent sur ce qu'on appelle le « débruitage, " une technique de post-traitement pour réduire le bruit de l'image dans le rendu Monte Carlo. Il conserve essentiellement les détails d'une image et supprime tout ce qui nuit à sa netteté. Dans des travaux antérieurs, les informaticiens ont développé des méthodes qui lissent le bruit en prenant la moyenne des pixels d'une image échantillon et des pixels voisins.

"Cela fonctionne assez bien, et plusieurs films l'ont effectivement utilisé dans la production, " note le co-auteur Tzu-Mao Li, un doctorat récent. diplômé du MIT qui a également étudié sous Durand. "Toutefois, si les images sont trop bruitées, souvent, les méthodes de post-traitement ne sont pas en mesure de récupérer des images nettes et nettes. Habituellement, les utilisateurs ont encore besoin de centaines d'échantillons par pixel en moyenne pour une image d'une qualité raisonnable - une tâche fastidieuse, processus chronophage."

Le processus d'édition d'une photo dans un logiciel graphique est quelque peu comparable. Si un utilisateur ne travaille pas à partir de l'original, fichier brut, les versions modifiées de la photo ne donneront probablement pas une image claire, tranchant, image finale haute résolution. Un problème similaire mais plus complexe est le débruitage d'image.

À cette fin, la nouvelle méthode de calcul des chercheurs consiste à travailler directement avec les échantillons de Monte Carlo, au lieu de la moyenne, images bruitées où la plupart des informations ont déjà été perdues. Contrairement aux méthodes typiques d'apprentissage en profondeur qui traitent des images ou des vidéos, les chercheurs démontrent un nouveau type de réseau convolutif qui peut apprendre à débruiter les rendus directement à partir de l'ensemble brut d'échantillons de Monte Carlo plutôt qu'à partir des échantillons réduits, représentations basées sur les pixels.

Un élément clé de leur travail est un nouveau cadre de calcul de prédiction du noyau qui « éclabousse » des échantillons individuels (couleurs et textures) sur les pixels voisins pour affiner la composition globale de l'image. En traitement d'image traditionnel, un noyau est utilisé pour le flou ou la netteté. L'éclaboussure est une technique qui résout les problèmes de flou de mouvement ou de profondeur de champ et facilite l'égalisation d'une zone pixélisée d'un échantillon.

Dans ce travail, l'algorithme de splatting de l'équipe génère un noyau 2D pour chaque échantillon, et "éclabousse" l'échantillon sur l'image. "Nous soutenons que c'est une façon plus naturelle de faire le post-traitement, " dit Li. L'équipe a formé son réseau à l'aide d'un générateur de scènes aléatoires et a largement testé sa méthode sur une variété de scènes réalistes, y compris divers scénarios d'éclairage tels que l'éclairage indirect et direct.

"Notre méthode donne des résultats plus propres à des nombres d'échantillons très faibles, où les méthodes précédentes luttent généralement, " ajoute Gharbi.

Dans les travaux futurs, les chercheurs ont l'intention d'aborder l'évolutivité avec leur méthode pour étendre à davantage de caractéristiques d'échantillon et explorer des techniques pour renforcer la fluidité d'une image à l'autre des images débruitées.

Le papier, "Débruitage Monte Carlo basé sur des échantillons à l'aide d'un réseau à noyaux, " est également co-écrit par Miika Aittala au MIT et Jaakko Lehtinen à l'Université Aalto et Nvidia. Pour plus de détails et une vidéo, visitez la page du projet de l'équipe.