Les cadres vides suspendus à l'intérieur du musée Isabella Stewart Gardner rappellent concrètement le plus grand vol d'art non résolu au monde. Bien que nous ne puissions jamais découvrir ces chefs-d'œuvre originaux, une équipe du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT pourrait peut-être vous aider, avec un nouveau système visant à concevoir des reproductions de peintures.

"RePaint" utilise une combinaison d'impression 3D et d'apprentissage en profondeur pour recréer de manière authentique vos peintures préférées, quelles que soient les différentes conditions d'éclairage ou leur emplacement. RePaint pourrait être utilisé pour refaire des œuvres d'art pour votre maison, protéger les originaux de l'usure dans les musées, ou même aider les entreprises à créer des estampes et des cartes postales de pièces historiques.

"Si vous reproduisez simplement la couleur d'un tableau tel qu'il apparaît dans la galerie, cela peut sembler différent dans votre maison, " dit Changil Kim, l'un des auteurs d'un nouvel article sur le système, qui sera présenté à l'ACM SIGGRAPH Asia en décembre. "Notre système fonctionne dans toutes les conditions d'éclairage, qui montre une capacité de reproduction des couleurs bien supérieure à presque tout autre travail précédent."

Pour tester RePaint, l'équipe a reproduit un certain nombre de peintures à l'huile créées par leur artiste collaborateur. L'équipe a découvert que RePaint était plus de quatre fois plus précis que les modèles physiques de pointe pour créer les nuances de couleurs exactes pour différentes œuvres d'art.

A l'heure actuelle, les reproductions ne sont que de la taille d'une carte de visite, en raison de la nature coûteuse en temps de l'impression. À l'avenir, l'équipe s'attend à ce que plus avancé, les imprimantes 3D commerciales pourraient aider à faire de plus grandes peintures plus efficacement.

Comment ça marcheAlors que les imprimantes 2D sont le plus souvent utilisées pour reproduire des peintures, si vous avez un ciel bleu ou une robe violette dans votre œuvre d'art, vous n'avez peut-être pas de chance. C'est parce que les imprimantes 2D ont un jeu fixe de seulement quatre encres (cyan, magenta, jaune, et noir).

Les chercheurs, cependant, trouvé un meilleur moyen de capturer un spectre plus complet de Degas et Dali. Ils ont utilisé une technique spéciale qu'ils ont développée appelée "color-contoning", qui consiste à utiliser une imprimante 3D et 10 encres transparentes différentes empilées en couches très fines, un peu comme les gaufrettes et le chocolat dans une barre Kit-Kat. Ils ont combiné leur méthode avec une technique vieille de plusieurs décennies appelée "demi-teinte", où une image est créée par des tonnes de petits points d'encre, plutôt que des tons continus. En les combinant, l'équipe dit, mieux capturé les nuances des couleurs.

Avec une plus grande gamme de couleurs pour travailler avec, la question de savoir quelles encres utiliser pour quelles peintures restait encore. Au lieu d'utiliser des approches physiques plus laborieuses, l'équipe a formé un modèle d'apprentissage en profondeur pour prédire la pile optimale de différentes encres. Une fois que le système a maîtrisé cela, ils se sont ensuite nourris d'images de peintures, et utilisé le modèle pour déterminer quelles couleurs devraient être utilisées dans quelles zones particulières pour des peintures spécifiques.

Malgré les progrès accomplis jusqu'à présent, l'équipe dit qu'elle a quelques améliorations à apporter avant de pouvoir concocter une dupe éblouissante de "Starry Night". Selon l'ingénieur en mécanique Mike Foshey, ils ne pouvaient pas reproduire complètement certaines couleurs comme le bleu cobalt en raison d'une bibliothèque d'encres limitée.

À l'avenir, ils prévoient d'étendre cette bibliothèque, ainsi que de créer un algorithme spécifique à la peinture pour sélectionner les encres. Ils peuvent également espérer obtenir de meilleurs détails pour tenir compte d'aspects tels que la texture de la surface et la réflexion, afin qu'ils puissent obtenir des effets spécifiques tels que des finitions brillantes et mates.

« La valeur des beaux-arts a rapidement augmenté ces dernières années, il y a donc une tendance accrue à les enfermer dans des entrepôts à l'abri des regards du public, " dit Foshey. " Nous construisons la technologie pour inverser cette tendance, et pour créer des reproductions peu coûteuses et précises qui peuvent être appréciées par tous."

Kim et Foshey ont travaillé sur le système aux côtés de l'auteur principal Liang Shi, professeur au MIT Wojciech Matusik, l'ancien postdoctorant du MIT Vahid Babaei, maintenant chef de groupe au Max Planck Institute of Informatics, Szymon Rusinkiewicz, professeur d'informatique à l'Université de Princeton, et ancien postdoctorant du MIT Pitchaya Sitthi-Amorn, aujourd'hui maître de conférences à l'Université Chulalongkorn de Bangkok, Thaïlande.