De nombreux concepteurs du monde virtuel trouvent difficile de concevoir des textures ou des motifs complexes et crédibles à grande échelle. En effet, dite "synthèse de texture, " la conception de textures précises telles que des ondulations d'eau dans une rivière, murs en béton, ou des motifs de feuilles, reste une tâche difficile pour les artistes. Une pléthore de textures non stationnaires dans le "monde réel" pourrait être recréée dans les jeux ou les mondes virtuels, mais les techniques existantes sont fastidieuses et chronophages.

Pour relever ce défi, une équipe mondiale d'informaticiens a développé une technique unique basée sur l'intelligence artificielle qui entraîne un réseau à apprendre à étendre de petites textures en de plus grandes. La méthode basée sur les données des chercheurs s'appuie sur une technique d'IA appelée réseaux antagonistes génératifs (GAN) pour entraîner les ordinateurs à étendre les textures d'un échantillon à des instances plus grandes qui ressemblent le mieux à l'échantillon d'origine.

"Notre approche traite avec succès des textures non stationnaires sans aucune description de haut niveau ou sémantique de la structure à grande échelle, " dit Yang Zhou, auteur principal de l'ouvrage et professeur adjoint à l'Université de Shenzhen et à l'Université des sciences et technologies de Huazhong. "Il peut faire face à des textures très difficiles, lequel, A notre connaissance, aucune autre méthode existante ne peut gérer. Les résultats sont des conceptions réalistes produites en haute résolution, efficacement, et à une échelle beaucoup plus grande."

L'objectif de base de la synthèse de texture basée sur des exemples est de générer une texture, généralement plus grande que l'entrée, qui capture de près les caractéristiques visuelles de l'échantillon d'entrée, mais pas tout à fait identique à celui-ci, et conserve une apparence réaliste. Des exemples de textures non stationnaires incluent des textures avec des structures irrégulières à grande échelle, ou ceux qui présentent une variance spatiale dans certains attributs tels que la couleur, orientation locale, et à l'échelle locale. Dans le journal, les chercheurs ont testé leur méthode sur des exemples aussi complexes que des plumes de paon et des ondulations de tronc d'arbre, qui sont apparemment sans fin dans leurs motifs répétitifs.

Zhou et ses collaborateurs, dont Zhen Zhu et Xiang Bai (Université de Huazhong), Dani Lischinski (Université hébraïque de Jérusalem), Daniel Cohen-Or (Université de Shenzhen et Université de Tel Aviv), et Hui Huang (Université de Shenzhen), présenteront leur travail au SIGGRAPH 2018, du 12 au 16 août à Vancouver, Colombie britannique. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Leur méthode consiste à former un réseau génératif, appelé générateur, apprendre à se développer (c'est-à-dire doubler l'étendue spatiale d') un bloc de texture arbitraire rogné à partir d'un exemplaire, de sorte que le résultat agrandi soit visuellement similaire à un bloc exemplaire contenant de la taille appropriée (deux fois plus grand). La similitude visuelle entre le bloc automatiquement étendu et le bloc conteneur réel est évaluée à l'aide d'un réseau discriminant (discriminateur). Comme typique des GAN, le discriminateur est entraîné en parallèle au générateur pour faire la distinction entre les gros blocs réels de l'exemplaire et ceux produits par le générateur.

Dit Zhou, "Étonnamment, nous avons constaté qu'en utilisant un tel concept simple, stratégie de formation contradictoire auto-supervisée, le réseau formé fonctionne presque parfaitement sur une large gamme de textures, y compris les textures stationnaires et hautement non stationnaires."

L'outil est destiné à aider les artistes de texture dans la conception de jeux vidéo, réalité virtuelle, et animations. Une fois que l'entraînement contradictoire auto-supervisé a eu lieu pour chaque échantillon de texture donné, le framework peut être utilisé pour générer automatiquement des textures étendues, jusqu'au double de la taille de l'échantillon d'origine. En bas de la route, les chercheurs espèrent que leur système sera en mesure d'extraire des informations de haut niveau sur les textures de manière non supervisée.

En outre, dans les travaux futurs, l'équipe a l'intention de former un modèle "universel" sur un jeu de données de texture à grande échelle, ainsi que d'augmenter le contrôle de l'utilisateur. Pour les artistes de texture, la synthèse contrôlée avec l'interaction de l'utilisateur sera probablement encore plus utile car les artistes ont tendance à manipuler les textures pour leur propre conception.

Pour l'article complet et la vidéo, visitez la page du projet de l'équipe.