Le dessin de portrait de caricature est une forme d'art distincte où les artistes dessinent le visage d'une personne de manière exagérée, la plupart du temps pour susciter l'humour. L'automatisation de cette technique pose des défis en raison de la quantité de détails et de formes complexes impliqués et du niveau de compétences professionnelles nécessaires pour transformer artistiquement une personne de sa vie réelle en une personne exagérée de manière créative.

Une équipe d'informaticiens de la City University of Hong Kong et de Microsoft, ont développé une approche innovante basée sur le deep learning pour générer automatiquement la caricature d'un portrait donné, et pour permettre aux utilisateurs de le faire de manière efficace et réaliste.

"Par rapport aux méthodes graphiques traditionnelles qui définissent des règles artisanales, notre nouvelle approche s'appuie sur le big data et l'apprentissage automatique pour synthétiser des caricatures à partir de milliers d'exemples dessinés par des artistes professionnels, " dit Kaidi Cao, auteur principal, qui est actuellement étudiant diplômé en informatique à l'Université de Stanford mais a mené les travaux pendant son stage chez Microsoft. « Alors que les méthodes de transfert de style existantes se sont principalement concentrées sur le style d'apparence, notre technique atteint à la fois l'exagération géométrique et la stylisation de l'apparence impliquée dans le dessin de la caricature." La méthode permet aux utilisateurs d'automatiser les caricatures de portraits, et peut être appliqué à des tâches telles que la création d'avatars caricaturaux pour les médias sociaux, et la conception de personnages de dessins animés. La technique a également des applications potentielles en marketing, publicité et journalisme.

Cao a collaboré à la recherche avec Jing Liao de la City University de Hong Kong et Lu Yuan de Microsoft, et les trois prévoient de présenter leur travail au SIGGRAPH Asia 2018 à Tokyo du 4 au 7 décembre. La conférence annuelle présente les membres techniques et créatifs les plus respectés dans le domaine de l'infographie et des techniques interactives, et met en valeur la recherche de pointe en science, de l'art, jeux et animations, entre autres secteurs.

Dans ce travail, les chercheurs se sont tournés vers une technique bien connue en apprentissage automatique, Réseau Adversarial Génératif (GAN), pour une traduction photo-caricature non appariée afin de générer des caricatures qui préservent l'identité du portrait. Appelés "CariGANs", le cadre de calcul modélise précisément l'exagération géométrique des photos (formes des visages, angles spécifiques) et la stylisation de l'apparence (look, ressentir, coups de crayon, shadowing) via deux algorithmes que les chercheurs ont étiquetés, CariGeoGAN et CariStyGAN.

CariGeoGAN ne modélise que le mappage géométrie à géométrie des photos de visage aux caricatures et CariStyGAN transfère l'apparence du style des caricatures aux photos de visage sans aucune déformation de la géométrie de l'image originale. Les deux réseaux sont entraînés séparément pour chaque tâche afin que la procédure d'apprentissage soit plus robuste, note les chercheurs. Le cadre CariGANs permet aux utilisateurs de contrôler le degré d'exagération dans le style géométrique et d'apparence en faisant glisser des diapositives ou en donnant un exemple de caricature.

Cao et ses collaborateurs ont mené des études perceptives pour évaluer la capacité de leur cadre à générer des caricatures de portraits facilement reconnaissables et pas trop déformés dans la forme et le style d'apparence. Par exemple, une étude a évalué dans quelle mesure l'identité d'une image est préservée à l'aide de la méthode CariGANs par rapport aux méthodes existantes de traduction de l'art caricatural. Ils ont démontré, à travers plusieurs exemples, que les méthodes existantes aboutissaient à une traduction caricaturale méconnaissable. Les participants à l'étude ont trouvé qu'il était trop difficile de faire correspondre les caricatures résultantes avec les sujets originaux parce que les résultats finaux étaient beaucoup trop exagérés ou peu clairs. La méthode des chercheurs a réussi à générer plus de clarté, des représentations caricaturales plus précises de photos de portraits, comme s'ils étaient dessinés à la main par un artiste professionnel.

Actuellement, l'accent de ce travail s'est concentré sur les caricatures de personnes, principalement des portraits ou des portraits. Dans les travaux futurs, les chercheurs ont l'intention d'explorer au-delà de la génération de caricatures faciales dans des scènes de corps entier ou plus complexes. Ils sont également intéressés par la conception de systèmes améliorés d'interaction homme-machine (IHM) qui donneraient aux utilisateurs plus de liberté et de contrôle sur les résultats générés par l'apprentissage automatique.