Pour ceux qui ne connaissent pas encore les outils de reconstruction de photos, le titre de cet article sur arXiv peut être totalement déroutant :"Image Inpainting for Irregular Holes Using Partial Convolutions." La recherche, bien que, d'une équipe NVIDIA, montre la voie à des améliorations intéressantes en magasin pour ceux qui doivent effectuer des retouches d'images et qui souhaitent de bons résultats.

L'inpainting d'images consiste à combler les trous dans une image. Il peut être utilisé pour supprimer le contenu de l'image qui n'est pas souhaité, tout en remplissant l'espace avec des images plausibles. Revenons au titre de leur article, l'équipe a exploré leur point de vue sur un processus amélioré, qui pourrait être implémenté dans un logiciel de retouche photo.

Sur le NVIDIA Developer News Center, vous trouverez un aperçu de leurs recherches. Ils ont proposé une méthode qui sert à (1) éditer des images ou (2) reconstruire une image corrompue, celui qui a des trous ou des pixels manquants. Et quand ils ont dit "modifier, " qui comprend la suppression du contenu et le remplissage des trous.

La vidéo montre clairement à quel point cela peut devenir intéressant, présenter des séries de photos avant et après le début du processus de merlan. Les scènes pour l'une sont un rocher à l'extérieur et une autre est une bibliothèque à l'intérieur. Encore un autre ensemble montre des visages humains, dont une femme, jeunes hommes et un homme âgé.

En quoi consiste leur travail ?

"Les chercheurs de NVIDIA, dirigé par Guilin Liu, introduit une méthode d'apprentissage en profondeur de pointe qui peut éditer des images ou reconstruire une image corrompue, celui qui a des trous ou des pixels manquants. La méthode peut également être utilisée pour éditer des images en supprimant le contenu et en comblant les trous qui en résultent. » C'est selon les notes vidéo.

En jeu, il y avait deux phases, la phase de formation et la phase de test.

Pour se préparer à entraîner son réseau de neurones, l'équipe a d'abord généré des masques de stries aléatoires et de trous de formes et de tailles arbitraires pour l'entraînement, a déclaré le rapport du centre de nouvelles. Les catégories ont été conçues en fonction des tailles relatives à l'image d'entrée, pour améliorer la précision de la reconstruction. La formation en réseau de neurones a impliqué les masques générés sur les images d'ImageNet, Ensembles de données Places2 et CelebA-HQ.

« Pendant la phase de formation, des trous ou des pièces manquantes sont introduits dans des images d'entraînement complètes à partir des ensembles de données ci-dessus, pour permettre au réseau d'apprendre à reconstruire les pixels manquants. Pendant la phase de test, différents trous ou pièces manquantes, non appliqué pendant la formation, sont introduits dans les images de test du jeu de données, pour effectuer une validation impartiale de la précision de la reconstruction."

Pourquoi leur travail se démarque :« À notre connaissance, nous sommes les premiers à démontrer l'efficacité des modèles d'inpainting d'images d'apprentissage en profondeur sur des trous de forme irrégulière."

Les chercheurs étaient au courant des méthodes existantes de peinture d'images basées sur l'apprentissage en profondeur. Ceux-ci utilisaient "un réseau convolutif standard sur l'image corrompue, en utilisant des réponses de filtre convolutif conditionnées à la fois sur les pixels valides ainsi que sur les valeurs de substitution dans les trous masqués (généralement la valeur moyenne). Le post-traitement est généralement utilisé pour réduire ces artefacts, mais elles sont chères et peuvent échouer."

Ils ont dit qu'ils proposaient des convolutions partielles - par cela "la convolution est masquée et renormalisée pour être conditionnée uniquement sur des pixels valides".

Ils ont montré des comparaisons qualitatives et quantitatives avec d'autres méthodes pour valider leur approche, et ils ont déclaré que leur modèle "surclasse les autres méthodes pour les masques irréguliers".

Les auteurs de l'article sont Guilin Liu, Fitsum Reda, Kevin Shih, Ting Chun Wang, Andrew Tao et Bryan Catanzaro.

© 2018 Tech Xplore