Exemple d'image de visage réel à partir d'un ensemble de données fourni par l'article « Progressive Growing of GANs for Improved Quality, Stabilité, et variantes ». Crédit :Karras et al.
Des chercheurs de l'Université de Shenzhen ont récemment mis au point une méthode pour détecter les images générées par les réseaux de neurones profonds. Leur étude, prépublié sur arXiv, a identifié un ensemble de fonctionnalités pour capturer des statistiques d'images en couleur qui peuvent détecter des images générées à l'aide des outils d'intelligence artificielle actuels.
"Nos recherches ont été inspirées par le développement rapide de modèles générateurs d'images et la propagation de fausses images générées, " Bin Li, l'un des chercheurs qui a mené l'étude, Raconté Tech Xplore . "Avec la montée en puissance des modèles avancés de génération d'images, tels que les réseaux contradictoires génératifs (GAN) et les autoencodeurs variationnels, les images générées par les réseaux profonds deviennent de plus en plus photoréalistes, et il n'est plus facile de les identifier avec des yeux humains, ce qui entraîne de graves risques pour la sécurité."
Récemment, plusieurs chercheurs et plateformes médiatiques mondiales ont exprimé leur inquiétude face aux risques posés par les réseaux de neurones artificiels formés pour générer des images. Par exemple, des algorithmes d'apprentissage en profondeur tels que les réseaux contradictoires génératifs (GAN) et les autoencodeurs variationnels pourraient être utilisés pour générer des images et des vidéos réalistes pour les fausses nouvelles ou pourraient faciliter les fraudes en ligne et la contrefaçon d'informations personnelles sur les réseaux sociaux.
Les algorithmes GAN sont entraînés pour générer des images de plus en plus réalistes grâce à un processus d'essais et d'erreurs dans lequel un algorithme génère des images et un autre, le discriminateur, donne des commentaires pour rendre ces images plus réalistes. Hypothétiquement, ce discriminateur pourrait également être entraîné à détecter les fausses images des vraies. Cependant, ces algorithmes utilisent principalement des images RVB en entrée et ne prennent pas en compte les disparités dans les composantes de couleur, par conséquent, leur performance serait très probablement insatisfaisante.
Exemple d'image de visage générée à partir de l'ensemble de données fourni par l'article « Progressive Growing of GANs for Improved Quality, Stabilité, et variantes ». Crédit :Karras et al.
Dans leur étude, Li et ses collègues ont analysé les différences entre les images générées par le GAN et les images réelles, proposer un ensemble de caractéristiques qui pourraient effectivement aider à les classer. La méthode résultante fonctionne en analysant les différences de composants de couleur entre les images réelles et générées.
"Notre idée de base est que les pipelines de génération d'images réelles et d'images générées sont assez différents, les deux classes d'images devraient donc avoir des propriétés différentes, " Haodong Li, a expliqué l'un des chercheurs. "En réalité, ils proviennent de différents pipelines. Par exemple, des images réelles sont générées par des appareils d'imagerie tels que des caméras et des scanners pour capturer une scène réelle, tandis que les images générées sont créées d'une manière totalement différente avec la convolution, lien, et l'activation à partir de réseaux de neurones. Les différences peuvent entraîner des propriétés statistiques différentes. Dans cette étude, nous avons principalement considéré les propriétés statistiques des composants de couleur."
Les chercheurs ont découvert que bien que les images générées et les images réelles se ressemblent dans l'espace colorimétrique RVB, ils ont des propriétés statistiques nettement différentes dans les composants de chrominance de HSV et YCbCr. Ils ont également observé des différences lors de l'assemblage du R, G, et les composants de couleur B ensemble.
L'ensemble de fonctionnalités qu'ils ont proposé, qui consiste en des matrices de co-occurrence extraites des résidus de filtrage passe-haut image de plusieurs composantes de couleur, exploite ces différences, capturer les disparités de couleur entre les images réelles et générées. Cet ensemble de fonctionnalités est de faible dimension et peut fonctionner correctement même lorsqu'il est entraîné sur un petit ensemble de données d'images.
Les histogrammes des statistiques d'image pour les images réelles (bleu) et les images générées par le réseau profond (DNG) (rouge) dans différentes composantes de couleur. Dans la composante R, les deux histogrammes se chevauchent largement. Cependant, dans le composant H ou en assemblant R, G, composants B ensemble, les histogrammes sont plus séparables. Crédit :Li et al.
Li et ses collègues ont testé les performances de leur méthode sur trois ensembles de données d'images :CelebFaces Attributes, CelebA de haute qualité, et Visages étiquetés dans la nature. Leurs découvertes étaient très prometteuses, avec l'ensemble de fonctionnalités performant sur les trois ensembles de données.
"La découverte la plus significative de notre étude est que les images générées par les réseaux profonds peuvent être facilement détectées en extrayant les caractéristiques de certains composants de couleur, bien que les images générées puissent être visuellement indiscernables à l'œil nu, " a déclaré Haodong Li. " Lorsque des échantillons d'images générés ou des modèles génératifs sont disponibles, les fonctionnalités proposées équipées d'un classificateur binaire permettent de différencier efficacement les images générées des images réelles. Lorsque les modèles génératifs sont inconnus, les caractéristiques proposées ainsi qu'un classificateur à une classe peuvent également atteindre des performances satisfaisantes."
L'étude pourrait avoir un certain nombre d'implications pratiques. D'abord, la méthode pourrait aider à identifier de fausses images en ligne.
Le cadre général de la méthode proposée. L'image d'entrée est d'abord décomposée en différentes composantes de couleur, puis le résidu de chaque composante de couleur est calculé. Pour calculer les cooccurrences, le R, G, et les composants B sont assemblés, tandis que le H, S, Cb, et les composants Cr sont traités indépendamment. Finalement, tous les vecteurs de cooccurrence sont concaténés et transmis à un classificateur pour obtenir le résultat de la décision. Crédit :Li et al.
Their findings also imply that several inherent color properties of real images have not yet been effectively replicated by existing generative models. À l'avenir, this knowledge could be used to build new models that generate even more realistic images.
Finalement, their study proves that different generation pipelines used to produce real images and generated images are reflected in the properties of the images produced. Color components comprise merely one of the ways in which these two types of images differ, so further studies could focus on other properties.
"Dans le futur, we plan to improve the image generation performance by applying the findings of this research to image generative models, " Jiwu Huang, one of the researchers said. "Par exemple, including the disparity metrics of color components for real and generated images into the objective function of a GAN model could produce more realistic images. We will also try to leverage other inherent information from the real image generation pipeline, such as sensor pattern noises or properties of color filter array, to develop more effective and robust methods for identifying generated images."
© 2018 Tech Xplore
