Sur les plateformes de médias sociaux populaires, les utilisateurs publient d'innombrables images chaque jour. Sur Instagram seul, il y a plus de 40 milliards de photos téléchargées, un chiffre qui monte en flèche de 95 millions par jour. Cela présente un besoin évident d'outils de retouche photo intuitifs mais robustes qui permettent à l'utilisateur moyen d'exécuter des fonctions d'édition avancées.

Et bien qu'il existe un besoin certain d'édition d'images interactives en ce qui concerne les médias sociaux, des outils et systèmes d'édition améliorés restent également un aspect important de l'infographie et de la vision par ordinateur. Cependant, il y a un manque d'outils proposant des fonctions d'édition plus complexes pour les utilisateurs inexpérimentés, comme changer l'expression du visage sur une photo.

Une équipe de recherche, dirigé par des informaticiens de l'Université de Berne-Suisse et de l'Université du Maryland-College Park, ont conçu un cadre d'édition basé sur des croquis qui permet à un utilisateur d'éditer ses photos en "esquissant" quelques traits par-dessus. Leur système, appelé FaceShop, offre également une fonction copier-coller, qui permet aux utilisateurs de modifier n'importe quelle partie d'une photo en copiant-collant la partie à modifier à partir d'une autre (meilleure) photo, éliminant le besoin de dessiner à la main ou d'esquisser quoi que ce soit.

L'approche de l'équipe s'appuie sur des techniques d'apprentissage automatique, lequel, à la fin, donnez aux utilisateurs plus de contrôle sur les modifications souhaitées en temps réel et produisez des résultats plus réalistes.

« La plupart des autres approches reposent sur des approches plus traditionnelles, techniques artisanales, qui imposent certaines limites. Par exemple, ces systèmes sont soit [de par leur conception] limités à des ensembles limités d'opérations d'édition prédéfinies, ou ils sont très flexibles mais difficiles à utiliser et nécessitent des utilisateurs expérimentés de passer un temps considérable pour effectuer des éditions plutôt basiques, " dit Tiziano Protenier, auteur principal de l'ouvrage et Ph.D. candidat à l'Université de Berne. "En revanche, notre système est très flexible et permet aux utilisateurs non formés d'effectuer des modifications complexes en quelques minutes à l'aide d'une interface intuitive."

Protenier a développé le nouveau système avec les collaborateurs Qiyang Hu, Attila Szabo, Siavash Arjomand Bigdeli et Paolo Favaro de l'Université de Berne, et Matthias Zwicker de l'Université du Maryland. L'équipe présentera son travail au SIGGRAPH 2018, du 12 au 16 août à Vancouver, Colombie britannique. Ce rendez-vous annuel présente les plus grands professionnels du monde, universitaires, et des esprits créatifs à la pointe de l'infographie et des techniques interactives.

Dans leur papier, "FaceShop :Édition d'images de visage basée sur des croquis approfondis, " les chercheurs démontrent leur nouveau système à travers plusieurs exemples. Dans l'un, le nez d'une femme est légèrement manipulé, et une mèche de cheveux est éditée pour qu'elle soit écartée de son visage, en supprimant une ombre sombre qui était apparue sur un seul côté de son visage sur la photo originale. Une autre photo montre comment une utilisatrice est capable d'améliorer le maquillage des yeux d'une femme et de faire ressortir la couleur de ses yeux. Les exemples mis en évidence dans le document montrent comment le nouveau système fonctionne, intuitivement, et produit de haute qualité, résultats réalistes.

La méthode de l'équipe est basée sur des réseaux de neurones antagonistes génératifs (GAN), une forme d'intelligence artificielle (IA) qui, dans les années récentes, a suscité beaucoup d'intérêt dans la recherche pour sa capacité à générer des images réalistes. Ces GAN sont constitués de deux IA qui se battent l'une contre l'autre. Le premier composant essaie de distinguer les images générées des images authentiques, tandis que le deuxième composant essaie de produire des images qui trompent l'autre IA. Pendant la formation, les deux composants apprennent l'un de l'autre, aboutissant finalement à un système qui a appris de manière autonome à produire des images réalistes, sans aucun jugement humain dans la boucle.

Contrairement aux autres méthodes d'édition d'images basées sur l'IA, une fois le système formé, les utilisateurs contrôlent davantage les modifications apportées à leurs photos. "Notre système offre un degré de contrôle optimal, ce qui le rend très intéressant d'un point de vue applicatif, " note Portenier. " D'autres techniques qui tentent d'incorporer le contrôle de l'utilisateur sont soit limitées dans la portée des modifications possibles, soit ont montré qu'elles fonctionnaient bien sur les données qui ont été utilisées pour former les systèmes, mais ne parviennent pas à produire des résultats convaincants avec une réelle contribution de l'utilisateur. Nous présentons une technique qui atténue ce problème, résultant en un système qui fonctionne étonnamment bien dans la pratique."

Dans les travaux futurs, les chercheurs ont l'intention d'explorer des outils d'interaction utilisateur supplémentaires à ajouter à leur cadre, et réfléchissez à la manière d'exploiter l'IA pour le montage de vidéos basé sur des croquis.