Des chercheurs de Google ont récemment développé une nouvelle technique pour synthétiser une image floue, en utilisant une paire d'images non floues capturées successivement. Dans leur papier, prépublié sur arXiv , les chercheurs ont décrit leur approche et l'ont évaluée par rapport à plusieurs méthodes de base.

Le flou de mouvement se produit naturellement lorsque les objets d'une scène ou la caméra elle-même bougent pendant la prise de vue. Il en résulte que le ou les objets en mouvement ou l'image entière apparaissent flous. Dans certains cas, le flou de mouvement peut être utilisé pour indiquer la vitesse d'un sujet photographié ou pour le séparer de l'arrière-plan.

"Le flou de mouvement est un indice précieux dans le contexte de la compréhension de l'image, " Tim Brooks et Jonathan Barron, les chercheurs qui ont mené l'étude, écrit dans leur journal. "Sur une seule image contenant un flou de mouvement, on peut estimer la direction relative et l'amplitude du mouvement de la scène qui a entraîné le flou observé. Cette estimation de mouvement peut être sémantiquement significative, ou peut être utilisé par un algorithme de suppression du flou pour synthétiser une image nette."

Des recherches récentes ont étudié l'utilisation d'algorithmes d'apprentissage en profondeur pour supprimer le flou de mouvement indésirable des images ou pour déduire la dynamique de mouvement d'une scène donnée. Pour entraîner ces algorithmes, cependant, les chercheurs ont besoin d'une quantité importante de données, qui est généralement généré par le flou synthétique d'images nettes. Finalement, la mesure dans laquelle un algorithme d'apprentissage en profondeur peut supprimer efficacement le flou de mouvement dans les images réelles dépend grandement du réalisme des données synthétiques utilisées pour l'entraîner.

"Dans ce document, nous traitons l'inverse de cette tâche d'estimation/suppression de flou bien étudiée comme un problème de première classe, " Brooks et Barron ont écrit dans leur article. " Nous présentons un moyen rapide et efficace de synthétiser les données d'entraînement nécessaires pour entraîner un algorithme de suppression du flou, et nous démontrons quantitativement que notre technique se généralise de nos données d'entraînement synthétiques à de vraies images floues de mouvement."

L'architecture de réseau de neurones conçue par Brooks et Barron comprend une nouvelle couche de « prédiction de ligne », qui enseigne à un système de régresser des paires d'images d'images prises consécutivement à une image floue en mouvement qui couvre le temps de capture de ces deux images d'entrée. Leur modèle nécessite une grande quantité de données d'entraînement, les chercheurs ont donc conçu et exécuté une stratégie qui utilise des techniques d'interpolation de trames pour générer un grand ensemble de données synthétiques d'images floues de mouvement, avec leurs entrées respectives.

Brooks et Barron ont également capturé un ensemble de tests de haute qualité d'images floues en mouvement réel synthétisées à partir de vidéos au ralenti, puis l'ont utilisé pour évaluer leur modèle par rapport aux techniques de base. Leur modèle a obtenu des résultats très prometteurs, surpassant les approches existantes en termes de précision et de vitesse.

« Notre approche est rapide, précis, et utilise des images facilement disponibles à partir de vidéos ou de « rafales » comme entrée, et fournit ainsi un chemin pour permettre la manipulation du flou de mouvement dans les applications de photographie grand public, et pour synthétiser les données d'apprentissage réalistes requises par des algorithmes de débrouillage ou d'estimation de mouvement, ", ont écrit les chercheurs dans leur article.

Alors que les photographes et cinéastes expérimentés utilisent souvent le flou de mouvement comme effet artistique, produire des photographies efficaces avec flou de mouvement peut être très difficile. Dans la plupart des cas, ces images sont le produit d'un long processus d'essais et d'erreurs, nécessitant des compétences et des équipements avancés.

En raison des difficultés à obtenir des effets de flou de mouvement de qualité, la plupart des appareils photo grand public sont conçus pour prendre des images avec le moins de flou de mouvement possible. Cela signifie que les photographes amateurs ont très peu d'espace pour expérimenter le flou de mouvement dans leurs images.

"En permettant de synthétiser des images floues de mouvement à partir des images non floues conventionnelles capturées par des caméras grand public standard, notre technique permet aux non-experts de créer des images floues de mouvement dans un cadre post-capture, " expliquent les chercheurs dans leur article.

Finalement, l'approche conçue par Brooks et Barron pourrait avoir un certain nombre d'applications intéressantes. Par exemple, il pourrait rendre le flou artistique artistique accessible aux photographes occasionnels, while also generating more realistic motion blurred images to train deep learning algorithms.

© 2018 Réseau Science X