Patterns orne un modèle statique utilisé pour tester le projecteur à rayures hyperspectrales de l'Université Rice, qui combine imagerie spectroscopique et 3D. Des motifs en noir et blanc de type code-barres sont affichés sur le DMD pour générer les bandes hyperspectrales. Crédit :Kelly Lab/Rice University
Les rayures sont à la mode cette saison dans un laboratoire de l'Université Rice, où les chercheurs les utilisent pour créer des images que les caméras ordinaires ne pourraient jamais capturer.
Leur compact Hyperspectral Stripe Projector (HSP) est une étape vers une nouvelle méthode pour collecter les informations spatiales et spectrales requises pour les voitures autonomes, vision artificielle, suivi des cultures, détection d'usure de surface et de corrosion et autres applications.
« Je peux imaginer cette technologie entre les mains d'un agriculteur, ou sur un drone, regarder un champ et voir non seulement les nutriments et la teneur en eau des plantes, mais aussi, en raison de l'aspect 3D, la hauteur des cultures, " a déclaré Kevin Kelly, professeur agrégé de génie électrique et informatique à la Brown School of Engineering de Rice. "Ou peut-être qu'il peut regarder une peinture et voir les couleurs et la texture de la surface en détail, mais avec le proche infrarouge aussi voir en dessous de la toile."
Le laboratoire de Kelly pourrait permettre la spectroscopie 3D à la volée avec un système qui combine le HSP, un réseau de capteurs monochromes et une programmation sophistiquée pour donner aux utilisateurs une image plus complète de la forme et de la composition d'un objet.
"Nous obtenons des informations en quatre dimensions à partir d'une image, trois spatiales et une spectrale, en temps réel, " a déclaré Kelly. " D'autres personnes utilisent plusieurs modulateurs et ont donc besoin de sources lumineuses vives pour accomplir cela, mais nous avons découvert que nous pouvions le faire avec une source lumineuse de luminosité normale et des optiques intelligentes."
Un nuage de points 3D d'objets reconstruit par le système d'imagerie basé sur le projecteur à rayures hyperspectrales de l'Université Rice. La caméra monochrome capture également des données spectrales pour chaque point afin de fournir non seulement la forme de la cible mais également sa composition matérielle. Crédit :Kelly Lab/Rice University
L'oeuvre de Kelly, l'auteur principal et ancien élève de Rice Yibo Xu et l'étudiant diplômé Anthony Giljum sont détaillés dans un article en libre accès dans Optique Express .
HSP s'inspire des techniques d'imagerie 3D portables qui sont déjà entre les mains des consommateurs (pensez aux systèmes d'identification faciale dans les smartphones et aux trackers corporels dans les systèmes de jeu) et ajoute un moyen d'extraire de larges données spectrales de chaque pixel capturé. Ces données compressées sont reconstruites en une carte 3D avec des informations spectrales qui peuvent incorporer des centaines de couleurs et être utilisées pour révéler non seulement la forme d'un objet mais aussi sa composition matérielle.
« RVB standard (rouge, vert, bleu) les caméras ne vous donnent essentiellement que trois canaux spectraux, " dit Xu. " Mais une caméra hyperspectrale nous donne des spectres dans de nombreux, de nombreux canaux. Nous pouvons capturer le rouge à environ 700 nanomètres et le bleu à environ 400 nanomètres, mais nous pouvons également avoir des bandes passantes à quelques nanomètres ou moins entre les deux. Cela nous donne une résolution spectrale fine et une meilleure compréhension de la scène.
"HSP encode simultanément les mesures de profondeur et hyperspectrales de manière très simple et efficace, permettant l'utilisation d'une caméra monochrome au lieu d'une caméra hyperspectrale coûteuse comme généralement utilisée dans des systèmes similaires, " dit Xu, qui a obtenu son doctorat à Rice en 2019 et est maintenant ingénieur de recherche en apprentissage automatique et en vision par ordinateur chez Samsung Research America Inc. Elle a développé à la fois le matériel et le logiciel de reconstruction dans le cadre de sa thèse dans le laboratoire de Kelly.
HSP utilise un dispositif à micromiroir numérique (DMD) standard pour projeter des rayures à motifs qui ressemblent à des codes-barres colorés sur une surface. L'envoi de la projection de lumière blanche à travers un réseau de diffraction sépare les motifs qui se chevauchent en couleurs.
Une cible et son image de nuage de points montrent une capacité du projecteur à rayures hyperspectrales de l'Université Rice, qui acquiert des données 3D et des données spectrales pour chaque point afin de fournir non seulement la forme de la cible mais également sa composition matérielle. Crédit :Kelly Lab/Rice University
Chaque couleur est réfléchie vers la caméra monochrome, qui attribue un niveau de gris numérique à ce pixel.
Chaque pixel peut avoir plusieurs niveaux, un pour chaque bande de couleur qu'il reflète. Ceux-ci sont recombinés en une valeur spectrale globale pour cette partie de l'objet.
"Nous utilisons un seul DMD et un seul réseau en HSP, " a déclaré Xu. " La nouvelle conception optique consistant à replier le chemin lumineux vers le même réseau de diffraction et la même lentille est ce qui le rend vraiment compact. Le DMD unique nous permet de garder la lumière que nous voulons et de jeter le reste."
Ces spectres finement réglés peuvent aller au-delà de la lumière visible. Ce qu'ils renvoient au capteur sous forme de spectres multiplexés à bande fine peut être utilisé pour identifier la composition chimique du matériau.
À la fois, les distorsions du motif sont reconstruites en nuages de points 3D, essentiellement une image de la cible, mais avec beaucoup plus de données qu'un simple instantané ne pourrait en fournir.
Kelly envisage le HSP intégré aux phares de voiture qui peut voir la différence entre un objet et une personne. "On ne pourrait jamais confondre une robe verte et une plante verte, parce que tout a sa propre signature spectrale, " il a dit.
Kelly pense que le laboratoire intégrera éventuellement les idées de la caméra à pixel unique révolutionnaire de Rice pour réduire davantage la taille de l'appareil et l'adapter également à la capture vidéo compressive.
