De petites imperfections dans un verre à vin ou de minuscules plis dans une lentille de contact peuvent être difficiles à distinguer, même sous un bon éclairage. Dans l'obscurité presque totale, les images de ces caractéristiques ou objets transparents sont presque impossibles à déchiffrer. Mais maintenant, les ingénieurs du MIT ont développé une technique qui permet de révéler ces objets "invisibles", dans le noir.

Dans une étude publiée aujourd'hui dans Lettres d'examen physique , les chercheurs ont reconstruit des objets transparents à partir d'images de ces objets, prises dans des conditions presque noires. Ils l'ont fait en utilisant un "réseau de neurones profonds, " une technique d'apprentissage automatique qui consiste à entraîner un ordinateur à associer certaines entrées à des sorties spécifiques - dans ce cas, foncé, images granuleuses d'objets transparents et des objets eux-mêmes.

L'équipe a entraîné un ordinateur à reconnaître plus de 10, 000 gravures en verre transparent, basé sur des images extrêmement granuleuses de ces motifs. Les images ont été prises dans des conditions d'éclairage très faibles, avec environ un photon par pixel - bien moins de lumière qu'un appareil photo n'enregistrerait dans l'obscurité, chambre scellée. Ils ont ensuite montré à l'ordinateur une nouvelle image granuleuse, non inclus dans les données d'entraînement, et a constaté qu'il a appris à reconstruire l'objet transparent que l'obscurité avait obscurci.

Les résultats démontrent que les réseaux de neurones profonds peuvent être utilisés pour éclairer des caractéristiques transparentes telles que les tissus et les cellules biologiques, dans des images prises avec très peu de lumière.

"Dans le laboratoire, si vous faites exploser des cellules biologiques avec de la lumière, tu les brûles, et il n'y a plus rien à imager, " dit Georges Barbastathis, professeur de génie mécanique au MIT. « En ce qui concerne l'imagerie par rayons X, si vous exposez un patient aux rayons X, vous augmentez le risque qu'ils contractent un cancer. Ce que nous faisons ici, c'est vous pouvez obtenir la même qualité d'image, mais avec une moindre exposition du patient. Et en biologie, vous pouvez réduire les dommages causés aux spécimens biologiques lorsque vous souhaitez les échantillonner."

Les co-auteurs de l'article de Barbastathis sont l'auteur principal Alexandre Goy, Kwabena Arthur, et Shuai Li.

Apprentissage profond et sombre

Les réseaux de neurones sont des schémas de calcul conçus pour imiter vaguement la façon dont les neurones du cerveau travaillent ensemble pour traiter des entrées de données complexes. Un réseau de neurones fonctionne en effectuant des "couches" successives de manipulations mathématiques. Chaque couche de calcul calcule la probabilité pour une sortie donnée, sur la base d'une entrée initiale. Par exemple, donné une image d'un chien, un réseau neuronal peut identifier des caractéristiques rappelant d'abord un animal, puis plus précisément un chien, et ultimement, un beagle. Un réseau de neurones « profond » englobe de nombreux, des couches de calcul beaucoup plus détaillées entre l'entrée et la sortie.

Un chercheur peut « entraîner » un tel réseau à effectuer des calculs plus rapidement et avec plus de précision, en l'alimentant de centaines ou de milliers d'images, pas seulement des chiens, mais d'autres animaux, objets, et les gens, avec l'étiquette correcte pour chaque image. Avec suffisamment de données pour apprendre, le réseau de neurones devrait être capable de classer correctement des images complètement nouvelles.

Les réseaux de neurones profonds ont été largement appliqués dans le domaine de la vision par ordinateur et de la reconnaissance d'images, et récemment, Barbastathis et d'autres ont développé des réseaux de neurones pour reconstruire des objets transparents dans des images prises avec beaucoup de lumière. Aujourd'hui, son équipe est la première à utiliser des réseaux de neurones profonds dans des expériences pour révéler des objets invisibles dans des images prises dans l'obscurité.

"Les objets invisibles peuvent être révélés de différentes manières, mais cela nécessite généralement que vous utilisiez suffisamment de lumière, " Barbastathis dit. " Ce que nous faisons maintenant est de visualiser les objets invisibles, dans le noir. C'est donc comme deux difficultés combinées. Et pourtant, nous pouvons toujours faire la même quantité de révélation. »

La loi de la lumière

L'équipe a consulté une base de données de 10, 000 circuits intégrés (CI), dont chacun est gravé avec un motif complexe différent de barres horizontales et verticales.

"Quand on regarde à l'oeil nu, on ne voit pas grand-chose, ils ressemblent chacun à un morceau de verre transparent, " dit Goy. " Mais il y a en fait des structures très fines et peu profondes qui ont encore un effet sur la lumière. "

Au lieu de graver chacun des 10, 000 motifs sur autant de lames de verre, les chercheurs ont utilisé un "modulateur de lumière spatiale de phase, " un instrument qui affiche le motif sur une seule lame de verre d'une manière qui recrée le même effet optique qu'aurait une lame gravée réelle.

Les chercheurs ont mis en place une expérience dans laquelle ils ont pointé une caméra sur un petit cadre en aluminium contenant le modulateur de lumière. Ils ont ensuite utilisé l'appareil pour reproduire chacun des 10, 000 modèles IC de la base de données. Les chercheurs ont couvert toute l'expérience afin qu'elle soit à l'abri de la lumière, puis utilisé le modulateur de lumière pour faire pivoter rapidement chaque motif, de la même manière qu'un carrousel de diapositives. Ils ont pris des images de chaque motif transparent, dans l'obscurité quasi totale, produisant des images « poivre et sel » qui ressemblaient à un peu plus que des images statiques sur un écran de télévision.

L'équipe a développé un réseau de neurones profonds pour identifier des motifs transparents à partir d'images sombres, puis alimenté le réseau chacun des 10, 000 photographies granuleuses prises par l'appareil photo, avec leurs modèles correspondants, ou ce que les chercheurs ont appelé des « vérités fondamentales ».

"Vous dites à l'ordinateur, 'Si je mets ça dedans, tu sors ça, '" dit Goy. "Tu fais ça 10, 000 fois, et après la formation, vous espérez que si vous lui donnez une nouvelle entrée, il peut vous dire ce qu'il voit."

"C'est un peu pire qu'un bébé, " Barbastathis ironise. " Habituellement, les bébés apprennent un peu plus vite. "

Les chercheurs ont réglé leur appareil photo pour prendre des images légèrement floues. Aussi contre-intuitif que cela puisse paraître, cela fonctionne en fait pour mettre au point un objet transparent. Ou, plus précisément, la défocalisation fournit des preuves, sous forme d'ondulations dans la lumière détectée, qu'un objet transparent peut être présent. De telles ondulations sont un indicateur visuel qu'un réseau de neurones peut détecter comme premier signe qu'un objet se trouve quelque part dans le grain d'une image.

Mais la défocalisation crée aussi du flou, ce qui peut brouiller les calculs d'un réseau de neurones. Pour faire face à cela, les chercheurs ont intégré au réseau de neurones une loi physique qui décrit le comportement de la lumière, et comment il crée un effet de flou lorsqu'un appareil photo est défocalisé.

"Ce que nous connaissons, c'est la loi physique de propagation de la lumière entre l'échantillon et la caméra, " dit Barbastathis. " Il est préférable d'inclure ces connaissances dans le modèle, Ainsi, le réseau de neurones ne perd pas de temps à apprendre quelque chose que nous savons déjà."

Image plus nette

Après avoir entraîné le réseau de neurones sur 10, 000 images de différents modèles IC, l'équipe a créé un tout nouveau modèle, non inclus dans l'ensemble d'entraînement d'origine. Quand ils ont pris une image du motif, à nouveau dans les ténèbres, et introduit cette image dans le réseau de neurones, ils ont comparé les modèles que le réseau de neurones a reconstruit, à la fois avec et sans la loi physique intégrée dans le réseau.

Ils ont constaté que les deux méthodes reconstituaient raisonnablement bien le motif transparent d'origine, mais la « reconstruction fondée sur la physique » a produit une image plus précise. Quoi de plus, ce modèle reconstitué, à partir d'une image prise dans l'obscurité quasi totale, était plus définie qu'une reconstruction basée sur la physique du même modèle, imagé dans une lumière supérieure à 1, 000 fois plus lumineux.

L'équipe a répété ses expériences avec un tout nouvel ensemble de données, composé de plus de 10, 000 images d'objets plus généraux et variés, y compris les gens, des endroits, et animaux. Après l'entrainement, les chercheurs ont nourri le réseau de neurones d'une toute nouvelle image, pris dans le noir, d'une gravure transparente d'une scène avec des gondoles amarrées à une jetée. De nouveau, ils ont découvert que la reconstruction basée sur la physique produisait une image plus précise de l'original, par rapport aux reproductions sans la loi physique incorporée.

"Nous avons montré que le deep learning peut révéler des objets invisibles dans le noir, " dit Goy. " Ce résultat est d'une importance pratique pour l'imagerie médicale afin de réduire l'exposition du patient aux rayonnements nocifs, et pour l'imagerie astronomique."

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.