Comme tout conducteur le sait, les accidents peuvent survenir en un clin d'œil. Ainsi, lorsqu'il s'agit du système de caméra dans les véhicules autonomes, le temps de traitement est critique. Le temps nécessaire au système pour prendre une image et transmettre les données au microprocesseur pour le traitement de l'image peut faire la différence entre éviter un obstacle ou se retrouver dans un accident majeur.

Le traitement d'image intégré au capteur, dans lequel des caractéristiques importantes sont extraites des données brutes par le capteur d'image lui-même au lieu du microprocesseur séparé, peut accélérer le traitement visuel. À ce jour, les démonstrations de traitement dans le capteur se sont limitées à des matériaux de recherche émergents qui sont, du moins pour l'instant, difficiles à intégrer dans des systèmes commerciaux.

Aujourd'hui, des chercheurs de la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) ont développé le premier processeur intégré au capteur qui pourrait être intégré dans des puces de capteur d'imagerie au silicium commerciales - connu sous le nom de métal-oxyde-semi-conducteur complémentaire (CMOS) capteurs d'image––qui sont utilisés dans presque tous les appareils commerciaux qui ont besoin de capturer des informations visuelles, y compris les smartphones.

La recherche est publiée dans Nature Electronics .

"Notre travail peut exploiter l'industrie électronique des semi-conducteurs grand public pour apporter rapidement l'informatique dans les capteurs à une grande variété d'applications du monde réel", a déclaré Donhee Ham, professeur Gordon McKay de génie électrique et de physique appliquée à SEAS et auteur principal de l'article. .

Ham et son équipe ont développé un réseau de photodiodes au silicium. Les puces de détection d'image disponibles dans le commerce ont également un réseau de photodiodes en silicium pour capturer des images, mais les photodiodes de l'équipe sont dopées électrostatiquement, ce qui signifie que la sensibilité des photodiodes individuelles, ou pixels, à la lumière entrante peut être réglée par des tensions. Un réseau qui connecte plusieurs photodiodes accordables en tension peut effectuer une version analogique des opérations de multiplication et d'addition au cœur de nombreux pipelines de traitement d'image, en extrayant les informations visuelles pertinentes dès que l'image est capturée.

« Ces photodiodes dynamiques peuvent simultanément filtrer les images au fur et à mesure qu'elles sont capturées, ce qui permet de déplacer la première étape du traitement de la vision du microprocesseur au capteur lui-même », a déclaré Houk Jang, stagiaire postdoctoral à SEAS et premier auteur de l'article.

Le réseau de photodiodes au silicium peut être programmé dans différents filtres d'image pour supprimer les détails inutiles ou le bruit pour diverses applications. Un système d'imagerie dans un véhicule autonome, par exemple, peut nécessiter un filtre passe-haut pour suivre les marquages ​​au sol, tandis que d'autres applications peuvent nécessiter un filtre qui estompe pour réduire le bruit.

"Pour l'avenir, nous prévoyons l'utilisation de ce processeur intégré au capteur à base de silicium non seulement dans les applications de vision artificielle, mais également dans les applications bio-inspirées, dans lesquelles le traitement précoce de l'information permet la colocalisation des unités de capteur et de calcul, comme dans le cerveau », a déclaré Henry Hinton, étudiant diplômé de SEAS et co-premier auteur de l'article.

Ensuite, l'équipe vise à augmenter la densité des photodiodes et à les intégrer à des circuits intégrés en silicium.

"En remplaçant les pixels non programmables standard des capteurs d'image en silicium commerciaux par ceux programmables développés ici, les dispositifs d'imagerie peuvent éliminer intelligemment les données inutiles, et pourraient ainsi être rendus plus efficaces en énergie et en bande passante pour répondre aux exigences de la prochaine génération de applications sensorielles », a déclaré Jang. + Explorer plus loin

Des chercheurs conçoivent des photodétecteurs organiques hautement sensibles et pouvant être produits en masse