Imaginez un piéton collé à l'écran d'un téléphone portable alors qu'il traverse la rue et ne fait pas très attention au feu rouge. Une voiture s'approche, son conducteur se sent peut-être un peu somnolent à cause du manque de sommeil et n'est pas en mesure de s'arrêter immédiatement. Comment éviter un accident dans une telle scène ? Des systèmes avancés d'aide à la conduite (ADAS) aidant les conducteurs à naviguer dans un véhicule, pour rechercher et sauver des drones, à l'imagerie médicale aux rayons X, les technologies de vision embarquée sont de plus en plus utilisées dans un large éventail d'applications. Celles-ci impliquent l'intégration de la vision par ordinateur dans des machines qui utilisent des algorithmes pour décoder le sens de l'observation des motifs de pixels dans les images ou la vidéo.

Être capable d'interpréter correctement son environnement à l'aide d'entrées visuelles complexes, les systèmes de vision embarqués nécessitent beaucoup de puissance de traitement. En plus de la consommation électrique, les concepteurs de tels systèmes embarqués doivent surmonter d'autres contraintes techniques telles que le coût, Taille, poids et bruit acoustique. Le projet TULIPP financé par l'UE a relevé ces défis et développé une plate-forme de référence pour les concepteurs de systèmes basés sur la vision. La solution TULIPP aidera « les concepteurs de produits de vision par ordinateur à relever facilement les défis combinés de la faible consommation, faible latence, des contraintes de conception de hautes performances et de traitement d'images en temps réel, " comme indiqué dans un communiqué de presse.

Cas du monde réel

La plateforme de référence TULIPP se compose d'un kit de développement complet et de cas d'utilisation réels. Le kit comprend "un FPGA intégré, carte informatique multicœur, système d'exploitation en temps réel parallèle et chaîne d'outils de développement avec des directives, " selon le même communiqué de presse. Field programmable gate array (FPGA) fait référence à un circuit intégré qui peut être programmé ou reprogrammé pour la fonctionnalité ou l'application requise après fabrication. Les cas d'utilisation couvrent "l'imagerie médicale par rayons X, les systèmes avancés d'aide à la conduite (ADAS) et les véhicules aériens sans pilote (UAV)."

L'application d'imagerie médicale aux rayons X vise à améliorer l'efficacité chirurgicale avec le cas d'utilisation de l'arceau mobile. Cet appareil affiche une vue interne du corps d'un patient en temps réel au cours d'une opération chirurgicale, permettant au médecin de faire des incisions minimales avec plus de précision. Cela conduit à des temps de récupération plus rapides et « abaisse les risques de maladies nosocomiales et réduit de 75 % les doses de rayonnement auxquelles les patients et le personnel sont exposés, " ajoute le communiqué. A travers son application de détection de piétons, le cas d'utilisation ADAS « atteint un temps de traitement par trame de 66 ms, ce qui signifie que l'algorithme atteint l'objectif de s'exécuter sur une image sur deux lorsque la caméra fonctionne à 30 Hz."

Dans le cas d'utilisation d'UAV, TULIPP estime les images de profondeur à partir d'une configuration de caméra stéréo orientée dans la direction du vol. « Même si on parle de drones autonomes, la plupart des systèmes actuels sont encore pilotés à distance par des humains. Le cas d'utilisation utilise des cartes de disparité, qui sont calculés à partir des images de la caméra, pour localiser les obstacles sur la trajectoire de vol et pour diriger automatiquement le drone autour d'eux. C'est la clé nécessaire vers des drones totalement autonomes."

Le projet TULIPP (Towards Ubiquitous Low-power Image Processing Platforms) d'une durée de 3 ans s'est achevé en janvier 2019. Il s'est concentré sur le développement de hautes performances, des systèmes embarqués écoénergétiques pour la variété croissante d'applications de traitement d'images de plus en plus complexes émergeant dans un large éventail de secteurs industriels.