Une nouvelle approche informatique, construit sur des techniques basées sur les données, permet de transformer une simple esquisse 2D en une forme 3D réaliste, avec peu ou pas d'entrée de l'utilisateur nécessaire.

Une équipe mondiale d'informaticiens de l'Université de Hong Kong, Microsoft et l'Université de la Colombie-Britannique, ont développé un nouveau cadre, combiner les CNN, ou des techniques de réseaux de neurones convolutifs, avec des méthodes d'inférence géométrique pour calculer des croquis et leurs formes 3D correspondantes, plus rapide et plus intuitive que les méthodes existantes.

"Notre outil peut être utilisé par les artistes pour dessiner rapidement et facilement des formes libres qui peuvent servir de formes de base et être encore affinées avec un logiciel de modélisation avancé, " dit Hao Pan, chercheur à Microsoft Research Asia qui a dirigé les travaux. "Les utilisateurs novices peuvent également l'utiliser comme un outil accessible pour créer des contenus élégants pour leurs créations en 3D et leurs mondes virtuels."

La nouvelle méthode s'appuie sur les précédents travaux de modélisation 3D basés sur des esquisses de l'équipe, BendSketch :modélisation de surfaces de forme libre via des esquisses 2D, une méthode purement géométrique qui nécessite des entrées d'esquisse annotées. Ajoute Pan, « Nous voulons développer une méthode à la fois intelligente, dans le sens où elle nécessite le moins de saisies utilisateur possible et effectue automatiquement toutes les inférences nécessaires, et générique, afin que nous n'ayons pas à former un nouveau modèle d'apprentissage automatique pour chaque catégorie d'objets spécifique."

les collaborateurs de Pan Changjian Li et Wenping Wang à l'Université de Hong Kong; Yang Liu et Xin Tong chez Microsoft Research Asia; et Alla Sheffer de l'Université de la Colombie-Britannique, présentera au SIGGRAPH Asia 2018 à Tokyo du 4 au 7 décembre. La conférence annuelle présente les membres techniques et créatifs les plus respectés dans le domaine de l'infographie et des techniques interactives, et met en valeur la recherche de pointe en science, de l'art, jeux et animations, entre autres secteurs.

C'est un défi de facilement, transformer automatiquement un clairsemé, esquisse 2D imparfaite à une forme 3D robuste. Le principal défi auquel les chercheurs se sont penchés dans ce travail est l'importante disparité d'informations présentée entre les étapes du modèle « esquisse » et « 3-D ». C'est là que l'artiste remplissait des caractéristiques telles que des bosses, virages, les plis, vallées, arêtes sur les dessins de surface pour créer une conception en 3D. Pour chaque croquis, démontré dans leur article, la méthode utilise un CNN pour prédire le patch de surface 3-D.

Le CNN des chercheurs est formé sur un grand ensemble de données généré par le rendu d'esquisses de diverses formes 3D à l'aide d'un rendu de ligne non photoréaliste, ou NPR, méthode qui imite automatiquement l'esquisse humaine de formes libres - formes, dont celui d'un ours en peluche, un oiseau ou un poisson, par exemple. Les chercheurs ont validé leur nouvelle approche, l'ont comparé aux méthodes existantes et évalué ses performances. Les résultats ont démontré que leur méthode offre une nouvelle façon de produire une modélisation 3D à partir d'esquisses 2D d'une manière conviviale et plus robuste.

Un exemple, inclus dans leur article, impliquaient des utilisateurs novices qui ont été testés sur la nouvelle méthode. Les utilisateurs ont peu de connaissances ou de formation sur l'esquisse ou la modélisation 3D. Ils ont bénéficié d'une démonstration de formation de 20 minutes sur la nouvelle méthode. On leur a ensuite demandé de créer trois formes cibles :oiseau, ours en peluche et dauphin—de complexité variable. Les utilisateurs ont réussi à terminer les tâches, allant de 5 minutes à 20 minutes au total. Comme indiqué dans le document, les participants novices ont trouvé les croquis faciles à réaliser avec l'outil des chercheurs, et certains voulaient aussi explorer davantage avec lui.

Dans les travaux futurs, les chercheurs ont l'intention d'explorer plusieurs possibilités et extensions de leur algorithme. Par exemple, actuellement leur méthode modélise un patch de surface à chaque fois en esquissant en vue, mais il serait avantageux de pouvoir modéliser une forme complète en esquissant les patchs avant et arrière dans une seule vue. Ils espèrent également améliorer l'outil afin qu'il puisse gérer la modélisation à plusieurs échelles, afin que les formes à grande échelle et les détails de niveau fin puissent être esquissés facilement.