L'Université de Twente développe actuellement une technologie de smartphone basée sur l'utilisation de la localisation et de la cartographie simultanées (SLAM) et de la réalité augmentée (AR). Cette technologie permet au personnel médical de reconstruire rapidement des coupes corporelles en 3D, uniquement en tenant le smartphone autour de la zone d'intérêt. Ce smartphone affichera les couches augmentées de la surface de la peau en 3D afin de visualiser des informations invisibles pour le personnel médical.

"Nous aimerions superposer les informations de l'IRM et d'autres scans veineux (à partir de dispositifs de détection utilisant le speckle laser) et les rendre visibles avec la réalité augmentée", dit le Dr Eng. Beril Sirmacek (Informatique). Cela permet aux médecins de voir les segments internes du corps, tumeurs, veines et le statut des ulcères diabétiques avec l'utilisation de la réalité augmentée. Ce support visuel permet aux médecins de mieux surveiller la situation et de prendre de meilleures décisions. Dans une situation de biopsie, ce support visuel peut aider à guider les bras du robot pour atteindre la tumeur pour la biopsie à la première tentative, au lieu de prendre le risque et d'atteindre le bon emplacement en travaillant avec un patient pendant une journée entière et en faisant des trous de biopsie infructueux sur le corps du patient.

La visualisation augmentée du big data et le guidage avec l'application smartphone s'appuient fortement sur la technologie de Localisation et Cartographie Simultanées (SLAM). "Même si je n'avais pas de formation médicale, notre concentration commune sur le SLAM et la RA fournit une excellente plate-forme."

Boîte SLAM

"Quand nous avons commencé ce projet, notre objectif était de développer une boîte SLAM au sein du groupe de recherche UT RAM (Robotique et Mécatronique). Nous pouvons utiliser notre logiciel de localisation et de reconstruction 3D sur différents capteurs et pas seulement avec l'utilisation de smartphones. Notre vision mènera à de nombreuses applications en santé, et d'autres applications robotiques deviendront plus intelligentes. Avec cette technologie, les algorithmes comprennent rapidement les modèles 3D des objets environnants, quels que soient les capteurs d'imagerie utilisés."

Prof. Dr Ir. Stefano Stramigioli (Président du Groupe, Robotique et Mécatronique) :« Le SLAM est une technologie de base en robotique, mais son utilisation universelle ne sera possible que si nous avons des méthodes pour interfacer facilement de nombreux capteurs dans un système robotique. Un tram, nous avons l'intention de créer un boîtier SLAM modulaire qui se reconfigurera automatiquement si des capteurs supplémentaires sont connectés de manière Plug&Play. Il serait alors possible de connecter cette "SLAM Box" à un système robotique complet, lui donnant de puissantes capacités de perception."