Entretien avec le professeur Kyu-Jin Cho

Q :Comment fonctionne ce système ?

R :Cette technologie vise à prédire les intentions des utilisateurs, saisir et libérer spécifiquement l'intention vers un objet cible, en utilisant une caméra à la première personne montée sur des lunettes. VIDEONet, un algorithme basé sur le deep learning, est conçu pour prédire les intentions de l'utilisateur à partir de la caméra en fonction des comportements du bras de l'utilisateur et des interactions main-objet. Au lieu d'utiliser des bio-signaux, qui est souvent utilisé pour la détection d'intention des personnes handicapées, nous utilisons une simple caméra pour savoir si la personne essaie de saisir ou non. Cela fonctionne parce que les utilisateurs cibles peuvent bouger leur bras, mais pas leurs mains. On peut prédire l'intention de préhension de l'utilisateur en observant le mouvement du bras et la distance de l'objet et de la main, et interpréter l'observation en utilisant l'apprentissage automatique.

Q :A qui profite cette technologie ?

R : Comme mentionné précédemment, cette technologie détecte les intentions de l'utilisateur à partir des comportements des bras humains et des interactions main-objet. Cette technologie peut être utilisée par toute personne ayant perdu la mobilité de la main en raison d'une lésion de la moelle épinière, accident vasculaire cérébral, infirmité motrice cérébrale ou toute autre affection, tant qu'ils peuvent bouger leur bras volontairement.

Q :Quelles sont les limitations et les travaux futurs ?

R :La plupart des limitations proviennent des inconvénients liés à l'utilisation d'une caméra monoculaire. Par exemple, si un objet cible est occlus par un autre objet, les performances de cette technologie diminuent. Aussi, si le geste de la main de l'utilisateur n'est pas visible dans la scène de la caméra, la technologie n'est pas utilisable. Afin de pallier le manque de généralité dû à ces problèmes, l'algorithme doit être amélioré en incorporant d'autres informations de capteur ou d'autres méthodes de détection d'intention existantes, comme l'utilisation d'un capteur d'électromyographie ou le suivi du regard.

Q :Pour utiliser cette technologie dans la vie quotidienne, de quoi avez-vous besoin?

R :Pour que cette technologie soit utilisée dans la vie quotidienne, un utilisateur a besoin d'un robot portatif avec un module d'actionnement, un appareil informatique, et des lunettes avec une caméra montée. Nous visons à réduire la taille et le poids de l'appareil informatique afin que le robot puisse être portable pour être utilisé dans la vie quotidienne. Nous avons utilisé un appareil informatique compact qui répond à nos exigences, mais nous nous attendons à ce que des puces neuromorphiques capables d'effectuer des calculs d'apprentissage en profondeur soient disponibles dans le commerce.