Une équipe d'informaticiens du Centre interdisciplinaire d'Israël a développé une méthode innovante pour analyser automatiquement le portrait artistique, capturer un haut niveau de détail et de précision des portraits ainsi que le style individuel des artistes. Axé sur la conception d'une méthode informatique pour détecter les traits du visage dans les œuvres d'art, ou des repères faciaux tels que les coins des yeux ou les coins de la bouche, les chercheurs ont étendu avec succès les travaux réalisés sur les photographies d'images de visages naturels au domaine du portrait artistique.

"Parce qu'il n'y a pas de données d'apprentissage des peintures de portraits qui contiennent des repères faciaux, notre idée clé était de créer de telles données en utilisant ce que nous appelons « l'augmentation artistique, '", déclare le professeur Ariel Shamir, auteur principal de l'étude et doyen de l'École d'informatique Efi Arazi du Centre interdisciplinaire Herzliya. « Nous transformons les données de visage photographiques pour qu'elles ressemblent davantage aux portraits artistiques et les utilisons pour former de nouveaux modèles de réseaux de neurones qui fonctionnent mieux pour les entrées artistiques. En utilisant nos modèles, nous avons non seulement gagné en précision sur les portraits, mais nous n'avons pas non plus perdu beaucoup de précision sur les visages naturels."

Shamir, avec ses élèves Jordan Yaniv et Yael Newman, sont sur le point de présenter leur travail au SIGGRAPH 2019, tenue du 28 juillet au 1er août à Los Angeles. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Les points de repère guident le style

Les principales différences entre les portraits artistiques et les images faciales naturelles sont doubles :les différences d'apparence de texture et les différences géométriques. Les travaux antérieurs dans ce domaine de recherche se sont principalement concentrés sur la capture du style d'apparence de l'art, et non le style géométrique. Avec des portraits artistiques, le style géométrique est impératif, noter les auteurs de l'étude, mais difficile à capturer car chaque artiste a sa propre création, style distinct.

"Par exemple, le peintre italien Clemente Modigliani est connu pour peindre des visages allongés, et la peintre américaine Margaret Keane est connue pour peindre des visages avec de très grands, yeux exagérés, ", explique Shamir. "Notre travail permet aux ordinateurs et aux algorithmes de révéler ces informations et de reconnaître cet aspect du style géométrique dans les portraits."

Pour capturer des styles géométriques dans les portraits, il est nécessaire de reconnaître les traits du visage et la structure du visage dans la peinture. À cette fin, la méthode des chercheurs se concentre sur la détection des traits du visage dans l'œuvre d'art, en utilisant des points de repère sur le visage. Selon le style de l'artiste, ces caractéristiques peuvent être de formes diverses et exagérées, ne ressemblant pas à de vrais visages humains. Pour surmonter ce défi, ils appliquent une méthode connue dite « d'augmentation » des images naturelles du visage, transformer les photographies d'images faciales naturelles pour qu'elles ressemblent davantage à des portraits « artistiques », et entraîner les réseaux de neurones pour détecter les points de repère.

Les chercheurs ont évalué leur méthode de détection de points de repère en créant un ensemble de données de visages artistiques contenant 160 portraits artistiques de 16 artistes différents de genres et de styles variés, avec de grandes variations à la fois dans la géométrie et la texture. Dans le document décrivant leur travail, ils présentent également plusieurs applications pour la détection artistique des traits du visage et l'analyse de style géométrique. Il s'agit notamment de comprendre le style d'artistes spécifiques, comparer les styles de différents artistes, et en suivant les tendances possibles des styles artistiques. Une autre application populaire est le transfert de style :où l'on peut transformer une image d'entrée donnée d'un visage en une peinture dans le style d'un artiste donné à la fois en texture et en géométrie.

Dans les travaux futurs, l'équipe espère utiliser la signature du style géométrique pour créer des classificateurs capables de reconnaître un artiste spécifique et d'étendre la définition du style géométrique au-delà des visages, un défi actuel en infographie et en art.