Des chercheurs de la TU Delft aux Pays-Bas ont récemment développé un modèle basé sur un réseau de neurones convolutifs (CNN) pour reconstruire des dessins qui se sont détériorés au fil du temps. Dans leur étude, publié dans Springer's Vision industrielle et applications , ils ont spécifiquement utilisé le modèle pour reconstruire certains des dessins de Vincent Van Gogh qui ont été ruinés au fil des ans en raison de la décoloration et de la décoloration de l'encre.

"Les Pays-Bas ont une réputation internationale en matière d'art, avec des artistes célèbres comme Rembrandt, Mondrian et Van Gogh, " Jan van der Lubbe, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Par conséquent, la recherche en histoire de l'art et la recherche sur la manière de préserver le patrimoine culturel jouent un rôle important aux Pays-Bas."

Dans les années récentes, un nombre croissant de chercheurs ont tenté de développer des techniques d'apprentissage automatique, comme les CNN, pour l'analyse des oeuvres. Jusque là, ces outils ont principalement été utilisés pour identifier l'artiste qui a créé des œuvres d'art spécifiques ou pour déterminer si les peintures sont réelles ou fausses.

Contrairement aux recherches antérieures, van der Lubbe et ses collègues ont entrepris d'étudier l'utilisation de techniques d'apprentissage automatique pour la reconstruction au niveau des pixels de peintures détériorées. En matière de préservation de l'art, la détérioration des peintures et des dessins est un défi majeur, ainsi, des outils capables de reconstituer automatiquement des œuvres d'art incomplètes ou ruinées simplifieraient grandement le travail des historiens de l'art.

L'équipe de chercheurs de la TU Delft a formé son modèle basé sur CNN sur des reproductions de dessins détériorés du peintre post-impressionniste Van Gogh. En réalité, certains des dessins à l'encre de Van Gogh se sont considérablement détériorés au cours du siècle dernier, et les historiens de l'art ont souvent essayé de les reproduire.

Ces dessins ne peuvent actuellement pas être exposés, et dans quelques décennies, ils peuvent se détériorer complètement. Avec ça en tête, Van der Lubbe et ses collègues ont voulu développer un modèle capable de reconstituer automatiquement ces œuvres d'art inestimables afin de les préserver et de les rendre accessibles au public.

"L'un des principaux objectifs de notre recherche était de prédire l'original, les apparitions passées et futures des œuvres d'art sur papier grâce à des méthodes d'apprentissage automatique qui intègrent à la fois les résultats d'études approfondies des couleurs utilisées et de leur décoloration dans le temps, " a déclaré van der Lubbe. " Cela pourrait aider à envisager comment, par exemple, un dessin de Van Gogh a peut-être regardé au moment de sa création."

L'approche conçue par van der Lubbe et ses collègues combine des techniques d'analyse d'images multi-résolutions et des CNN profonds pour prédire les apparences passées des dessins au niveau des pixels. Les CNN sont des algorithmes inspirés des réseaux de neurones biologiques tels que ceux du cerveau humain qui peuvent être entraînés à effectuer des tâches spécifiques en analysant de grandes quantités de données.

« À notre meilleure connaissance, il n'y a pas ou très peu d'études préalables sur l'utilisation de méthodes d'apprentissage automatique pour la reconstruction numérique d'œuvres d'art, " a déclaré van der Lubbe. " C'est l'idée clé qui anime nos recherches et l'utilisation de l'apprentissage automatique pour reconstruire des œuvres d'art. D'après des études antérieures où nous avons considéré différents algorithmes d'apprentissage automatique, Les approches de réseau de neurones convolutifs (CNN) semblaient les plus prometteuses."

Dans leur étude, les chercheurs ont spécifiquement formé un CNN à reconstruire numériquement des dessins de Van Gogh décolorés sur papier. L'algorithme a été entraîné sur un jeu de données contenant des reproductions des dessins originaux de qualité variable, faites à différentes époques au cours du siècle dernier.

"Les exemples que nous avons utilisés dans notre étude sont des reproductions de dessins de Van Gogh dont le contenu et la couleur se sont moins fortement dégradés, ils sont donc plus proches du dessin original réalisé par Van Gogh, " a déclaré van der Lubbe. "Nous avons obtenu les dessins originaux et les reproductions de la collection du musée Van Gogh."

En plus de révéler à quoi ressemblaient les dessins dans le passé, l'approche proposée par van der Lubbe et ses collègues pourrait aider les historiens de l'art à identifier des stratégies appropriées de conservation et de restauration des œuvres d'art, ainsi que des pratiques efficaces pour la préservation et l'exposition des œuvres d'art.

Les chercheurs ont évalué leur modèle dans une série d'expériences et ont constaté qu'il obtenait des résultats remarquables. Leurs résultats mettent en évidence la faisabilité d'utiliser l'apprentissage automatique pour la reconstruction prédictive d'images dégradées, documents et oeuvres d'art. Bien que les chercheurs aient spécifiquement utilisé leur modèle pour reconstituer les dessins de Van Gogh, il pourrait également s'appliquer à d'autres œuvres d'art en détérioration sur papier ou à des manuscrits du XIXe siècle.

"Nous avons obtenu de meilleurs résultats pour la reconstruction numérique des dessins de Van Gogh que ceux obtenus jusqu'à présent avec d'autres méthodes, " a déclaré van der Lubbe. " Bien sûr, Van Gogh n'était qu'un test ou un exemple. Notre technique pourrait également s'étendre au-delà des dessins de Van Gogh aux dessins d'autres artistes, tableaux et documents anciens."

À l'avenir, l'outil développé par van der Lubbe et ses collègues pourrait aider les historiens de l'art à créer des reconstructions réalistes d'œuvres d'art qui pourraient autrement se détériorer complètement. Dans leur étude récente, les chercheurs se sont concentrés sur un dessin à la fois, former leur CNN sur un nombre limité de reproductions. Cependant, le modèle pourrait également être utilisé pour prédire à quoi ressemblait le dessin original sur la base d'un nombre beaucoup plus important de reproductions.

En outre, cette technique fonctionne actuellement en analysant des informations visuelles. Dans leurs prochaines études, les chercheurs aimeraient déterminer si l'analyse des informations visuelles et liées à la chimie (par exemple, la composition de l'encre et son taux de dégradation) peuvent améliorer les performances du modèle.

« Dans la présente étude, nous avions un dessin actuel dégradé, " a déclaré van der Lubbe. " Nous pensons que ce serait aussi un grand défi de reconstituer le dessin original, en particulier dans les cas où l'original n'est pas disponible ou a disparu, nous n'avons donc que des reproductions du passé."

© 2019 Réseau Science X