Un réseau de photodétecteurs transparents à base de graphène (agissant comme deux couches de capteurs dans une caméra) mesure les images de la pile focale d'un objet ponctuel simulé en focalisant un faisceau laser vert sur un petit point devant l'objectif à l'intérieur du laboratoire de Ted Norris sur North Campus à Ann Arbor, MI le 27 janvier 2021. Norris et son équipe ont fabriqué un prototype de réseaux de photodétecteurs transparents avec du graphène sur verre et ont utilisé deux morceaux des réseaux de détecteurs légèrement séparés et derrière une lentille d'imagerie pour démontrer ses applications potentielles dans les tâches de suivi d'objets 3D. Avec l'application de ce prototype, cela aidera à la conduite autonome et à la robotique, répondre à des objets en mouvement qui nécessitent que leurs unités de perception obtiennent non seulement ce qu'ils sont, mais aussi où et à quelle distance ils se trouvent en temps réel. Crédit :Robert Coelius/Michigan Engineering, Communication et marketing
Un nouveau temps réel, Le système de suivi de mouvement 3D développé à l'Université du Michigan combine des détecteurs de lumière transparents avec des méthodes avancées de réseau neuronal pour créer un système qui pourrait un jour remplacer le LiDAR et les caméras dans les technologies autonomes.
Alors que la technologie en est encore à ses balbutiements, les applications futures incluent la fabrication automatisée, imagerie biomédicale et conduite autonome. Un article sur le système est publié dans Communications naturelles.
Le système d'imagerie exploite les avantages de la transparence, à l'échelle nanométrique, photodétecteurs au graphène hautement sensibles développés par Zhaohui Zhong, U-M professeur agrégé de génie électrique et informatique, et son groupe. On pense qu'ils sont les premiers de leur espèce.
« La combinaison approfondie de nanodispositifs de graphène et d'algorithmes d'apprentissage automatique peut ouvrir des opportunités fascinantes à la fois en science et en technologie, " a déclaré Dehui Zhang, un doctorant en génie électrique et informatique. "Notre système combine l'efficacité de la puissance de calcul, vitesse de suivi rapide, un matériel compact et un coût inférieur par rapport à plusieurs autres solutions."
Les photodétecteurs au graphène de ce travail ont été modifiés pour n'absorber qu'environ 10 % de la lumière à laquelle ils sont exposés, les rendant presque transparents. Parce que le graphène est si sensible à la lumière, cela est suffisant pour générer des images qui peuvent être reconstruites par imagerie informatique. Les photodétecteurs sont empilés les uns derrière les autres, résultant en un système compact, et chaque couche se concentre sur un plan focal différent, qui permet l'imagerie 3D.
Mais l'imagerie 3D n'est qu'un début. L'équipe s'est également attaquée au suivi de mouvement en temps réel, ce qui est essentiel pour un large éventail d'applications robotiques autonomes. Pour faire ça, ils avaient besoin d'un moyen de déterminer la position et l'orientation d'un objet suivi. Les approches typiques impliquent des systèmes LiDAR et des caméras à champ lumineux, qui souffrent tous deux de limitations importantes, disent les chercheurs. D'autres utilisent des métamatériaux ou plusieurs caméras. Le matériel à lui seul n'était pas suffisant pour produire les résultats souhaités.
Ils avaient également besoin d'algorithmes d'apprentissage en profondeur. Zhen Xu a aidé à faire le pont entre ces deux mondes, un doctorant en génie électrique et informatique. Il a construit la configuration optique et a travaillé avec l'équipe pour permettre à un réseau de neurones de déchiffrer les informations de position.
Un réseau de photodétecteurs transparents à base de graphène (agissant comme deux couches de capteurs dans une caméra) mesure les images de la pile focale d'un objet ponctuel simulé en focalisant un faisceau laser vert sur un petit point devant l'objectif à l'intérieur du laboratoire de Ted Norris sur North Campus à Ann Arbor, MI le 27 janvier 2021. Norris et son équipe ont fabriqué un prototype de réseaux de photodétecteurs transparents avec du graphène sur verre et ont utilisé deux morceaux des réseaux de détecteurs légèrement séparés et derrière une lentille d'imagerie pour démontrer ses applications potentielles dans les tâches de suivi d'objets 3D. Avec l'application de ce prototype, cela aidera à la conduite autonome et à la robotique, répondre à des objets en mouvement qui nécessitent que leurs unités de perception obtiennent non seulement ce qu'ils sont, mais aussi où et à quelle distance ils se trouvent en temps réel. Crédit :Robert Coelius/Michigan Engineering, Communication et marketing
Le réseau de neurones est entraîné à rechercher des objets spécifiques dans l'ensemble de la scène, puis se concentrer uniquement sur l'objet d'intérêt, par exemple, un piéton dans la circulation, ou un objet entrant dans votre voie sur une autoroute. La technologie fonctionne particulièrement bien pour les systèmes stables, comme la fabrication automatisée, ou projeter des structures du corps humain en 3D pour la communauté médicale.
« Il faut du temps pour entraîner votre réseau de neurones, " a déclaré le chef de projet Ted Norris, professeur de génie électrique et informatique. "Mais une fois que c'est fait, c'est fait. Ainsi, lorsqu'une caméra voit une certaine scène, il peut donner une réponse en millisecondes."
Le doctorant Zhengyu Huang a dirigé la conception de l'algorithme pour le réseau de neurones. Le type d'algorithmes développés par l'équipe est différent des algorithmes de traitement du signal traditionnels utilisés pour les technologies d'imagerie de longue date telles que les rayons X et l'IRM. Et c'est excitant pour le co-leader de l'équipe Jeffrey Fessler, professeur de génie électrique et informatique, spécialisé en imagerie médicale.
"Au cours de mes 30 années au Michigan, c'est le premier projet auquel j'ai participé où la technologie en est à ses balbutiements, " Fessler a déclaré. "Nous sommes loin de quelque chose que vous allez acheter chez Best Buy, mais ça va. C'est en partie ce qui rend cela excitant."
L'équipe a réussi à suivre un faisceau de lumière, ainsi qu'une véritable coccinelle avec une pile de deux matrices de photodétecteurs au graphène 4x4 (16 pixels). Ils ont également prouvé que leur technique est évolutive. Ils pensent qu'il en faudrait aussi peu que 4, 000 pixels pour quelques applications pratiques, et des matrices de 400x600 pixels pour bien d'autres.
Bien que la technologie puisse être utilisée avec d'autres matériaux, Les avantages supplémentaires du graphène sont qu'il ne nécessite pas d'éclairage artificiel et qu'il est respectueux de l'environnement. Ce sera un défi de construire l'infrastructure de fabrication nécessaire à la production de masse, mais ça peut valoir le coup, disent les chercheurs.
"Le graphène est maintenant ce qu'était le silicium en 1960, " Norris a déclaré. " Alors que nous continuons à développer cette technologie, cela pourrait motiver le type d'investissement qui serait nécessaire pour la commercialisation. »
L'article s'intitule "Suivi 3D basé sur un réseau de neurones avec un système d'imagerie à pile focale transparent au graphène".
