Les scientifiques du laboratoire Skoltech ADASE (Advanced Data Analytics in Science and Engineering) ont trouvé un moyen d'améliorer la résolution de la carte de profondeur, ce qui devrait rendre la réalité virtuelle et l'infographie plus réalistes. Ils ont présenté leurs résultats de recherche lors de la prestigieuse conférence internationale sur la vision par ordinateur 2019 en Corée.

Lorsque vous prenez une photo, nous capturons des informations visuelles sur les objets qui nous entourent, avec les différents pixels de l'image contenant les couleurs des parties respectives de l'objet. Les cartes de profondeur sont des photos qui capturent des informations spatiales et leurs pixels contiennent les distances entre la caméra et les points respectifs dans l'espace. Des applications telles que l'infographie et la réalité augmentée ou virtuelle utilisent des informations spatiales pour reconstruire la forme d'un objet en 3D et, par exemple, l'afficher sur un écran d'ordinateur.

L'un des problèmes des caméras de profondeur est que leur résolution, C'est, la fréquence spatiale des mesures de distance, est insuffisant pour restaurer la forme de haute qualité de l'objet, rendre les reconstructions virtuelles tout sauf irréalistes.

Les chercheurs sont confrontés au défi de trouver un moyen d'obtenir des cartes de profondeur à haute résolution à partir de cartes de profondeur à basse résolution.

Des scientifiques du laboratoire Skoltech ADASE ont proposé d'évaluer la qualité de la reconstruction à l'aide d'une nouvelle méthode étroitement liée à la perception humaine. L'entraînement d'un réseau de neurones artificiels avec cette technique d'évaluation de la qualité produit une méthode de super-résolution de carte de profondeur qui surpasse largement les méthodes existantes en termes de qualité visuelle du résultat.

"Lorsqu'il s'agit de cartes de profondeur super-résolues, il faut évaluer la qualité du résultat pour comparer d'abord les performances des différentes méthodes, et, Deuxièmement, de l'utiliser comme rétroaction pour d'autres améliorations. Le moyen le plus simple est de comparer le résultat à une référence. L'écrasante majorité des travaux sur la super-résolution de la carte de profondeur utilisée à cette fin signifie la différence entre les valeurs de profondeur super-résolues et de référence. Cette méthode ne reflète en aucun cas la qualité visuelle de la reconstruction 3D obtenue à partir de la carte de profondeur super-résolue, " explique le premier auteur de l'étude, Oleg Voynov.

"Nous proposons une toute autre méthode, qui exploite la perception humaine de la différence entre les visualisations des reconstructions 3D obtenues à partir des cartes de profondeur super-résolues et de référence. Les graphiques que vous obtenez avec cette méthode semblent très réalistes. Nous espérons que notre méthode sera largement utilisée, " dit l'un des développeurs, Alexeï Artemov.