Des chercheurs de l'UC Berkeley et de l'Ecole des Ponts Paris Tech ont récemment développé une approche d'apprentissage en profondeur pour découvrir des motifs visuels récurrents dans les collections d'art. Leur papier, prépublié sur arXiv, sera présenté au CVPR 2019, un événement de vision par ordinateur de renom en juin.

Bien que chaque œuvre d'art puisse sembler unique, les artistes utilisent souvent des éléments visuels ou des motifs récurrents (par exemple, des anges, Moulins à vent, etc.). Par exemple, les critiques pensent que certaines peintures du peintre flamand Jan Brueghel n'étaient que des imitations ou des adaptations de ses propres œuvres, ainsi que ceux de son père, Pieter Breughel.

Dans leurs recherches, les historiens de l'art essaient souvent de tracer des liens visuels entre différentes œuvres d'art, car cela pourrait faire la lumière sur leur provenance et leur paternité. Cependant, découvrir des motifs visuels similaires dans de grandes collections d'art peut être très difficile pour les humains et les machines.

"Nous avons démarré ce projet suite à une présentation et discussion avec un historien de l'art, Elisabeth Honig, où elle a présenté de telles correspondances et pourquoi elles étaient importantes pour elle dans son étude des œuvres de Brueghel, " Mathieu Aubry, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Notre premier objectif était de rendre le travail des historiens de l'art plus facile et plus évolutif en identifiant automatiquement dans les collections d'images numériques les détails qui ont été directement copiés entre les différentes œuvres, malgré de petites modifications et différences dans le style de la représentation (par exemple, gravure, La peinture, dessin, etc.)."

Dans leur récente étude, Aubry et ses collègues ont proposé une approche qui permet de découvrir automatiquement des motifs visuels récurrents dans les grandes collections d'art. Essentiellement, ils ont formé un modèle d'apprentissage automatique non supervisé pour trouver des correspondances entre des éléments visuels presque en double dans différentes œuvres d'art.

"La principale nouveauté de notre approche est d'apprendre, sans surveillance humaine, un descripteur d'image profond spécifiquement adapté à notre tâche :faire correspondre des copies exactes à travers différents styles de représentation, " expliqua Aubry. " Pour ce faire, nous introduisons une procédure qui valide les correspondances candidates en utilisant la cohérence spatiale entre les correspondances voisines."

Les chercheurs ont utilisé la cohérence spatiale entre les correspondances de caractéristiques voisines comme signal de réglage fin de supervision. Cette fonctionnalité adaptée conduit à une correspondance invariante de style plus précise. Combiné à une approche de découverte standard basée sur la vérification géométrique, la fonctionnalité permet à leur approche d'apprentissage en profondeur d'identifier des modèles en double dans de grands ensembles de données artistiques.

"Notre travail CVPR s'est concentré sur les aspects de vision par ordinateur. Des collaborations avec des historiens de l'art pour appliquer la méthode que nous avons développée pour analyser les collections d'œuvres d'art sont toujours en cours, " A déclaré Aubry. " Nous pensons que cela va vraiment changer à la fois l'échelle et le type d'étude que les historiens de l'art vont effectuer, en leur permettant de rechercher et d'analyser les connexions entre les œuvres à une échelle beaucoup plus grande. En effet, lorsque vous essayez d'annoter des connexions pour quelques détails sur un ensemble de données à moyenne échelle, nous avons vu de nos propres yeux à quel point un tel processus était fastidieux et coûteux à effectuer manuellement."

Aubry et ses collègues ont évalué leur méthode sur plusieurs jeux de données, y compris l'ensemble de données photographiques Oxford5K et un ensemble de données nouvellement annoté d'œuvres d'art attribuées à la famille Brueghel. Dans ces évaluations, leur approche a obtenu des résultats remarquables, surpassant d'autres techniques de pointe pour découvrir des motifs visuels dans les œuvres d'art. En outre, leur approche a atteint des performances de pointe sur le jeu de données Large Time Gap Location, localiser efficacement les photographies d'architecture historiques et modernes.

À l'avenir, l'approche d'apprentissage en profondeur conçue par Aubry et ses collègues pourrait aider les historiens de l'art à découvrir des modèles visuels dans de grandes collections d'art. Selon les chercheurs, leur approche peut aussi être facilement transposée à d'autres problèmes, telles que la géolocalisation et la reconnaissance des filigranes historiques.

« Nous voulons pousser les applications de notre approche en sciences humaines, en travaillant directement avec des historiens de l'art pour adapter notre méthode à leurs besoins spécifiques et les aider à l'utiliser, " A déclaré Aubry. " Nous prévoyons également de travailler sur l'extension de l'idée de tirer parti de la redondance et de la cohérence spatiale dans l'apprentissage en profondeur à différents types d'images et différents types d'applications. "

© 2019 Réseau Science X