Figure 1. Chaque paire présente une image d'une vidéo regardée par un sujet de test et l'image correspondante générée par le réseau neuronal en fonction de l'activité cérébrale. Crédit :Grigory Rashkov/Neurobotics
Des chercheurs de la société russe Neurobotics et de l'Institut de physique et de technologie de Moscou ont trouvé un moyen de visualiser l'activité cérébrale d'une personne sous forme d'images réelles imitant ce qu'elle observe en temps réel. Cela permettra de mettre en place de nouveaux dispositifs de rééducation post-AVC contrôlés par des signaux cérébraux. L'équipe a publié ses recherches sous forme de prépublication sur bioRxiv et a mis en ligne une vidéo montrant leur système de « lecture mentale » au travail.
Développer des dispositifs contrôlés par le cerveau et des méthodes de traitement des troubles cognitifs et de rééducation post-AVC, les neurobiologistes doivent comprendre comment le cerveau encode l'information. Un aspect clé de ceci est l'étude de l'activité cérébrale des personnes percevant des informations visuelles, par exemple, en regardant une vidéo.
Les solutions existantes pour extraire les images observées des signaux cérébraux utilisent soit l'IRM fonctionnelle, soit l'analyse des signaux captés via des implants directement à partir des neurones. Les deux méthodes ont des applications assez limitées dans la pratique clinique et la vie quotidienne.
L'interface cerveau-ordinateur développée par MIPT et Neurobotics s'appuie sur des réseaux de neurones artificiels et l'électroencéphalographie, ou EEG, une technique d'enregistrement des ondes cérébrales via des électrodes placées de manière non invasive sur le cuir chevelu. En analysant l'activité cérébrale, le système reconstitue les images vues par une personne subissant un EEG en temps réel.
"Nous travaillons sur le projet Assistive Technologies de Neuronet de la National Technology Initiative, qui se concentre sur l'interface cerveau-ordinateur qui permet aux patients post-AVC de contrôler un bras exosquelette à des fins de neuroréhabilitation, ou des patients paralysés à conduire un fauteuil roulant électrique, par exemple. L'objectif ultime est d'augmenter la précision du contrôle neuronal pour les individus en bonne santé, trop, " a déclaré Vladimir Konychev, qui dirige le laboratoire de neurorobotique du MIPT.
Figure 2. Algorithme de fonctionnement du système d'interface cerveau-ordinateur (BCI). Crédit :Anatoly Bobe/Neurobotics, et @tsarcyanide/MIPT
Dans la première partie de l'expérience, les neurobiologistes ont demandé à des sujets sains de regarder 20 minutes de fragments vidéo YouTube de 10 secondes. L'équipe a sélectionné cinq catégories de vidéos arbitraires :formes abstraites, cascades, visages humains, mécanismes de mouvement et sports motorisés. Cette dernière catégorie comprenait des enregistrements à la première personne de motoneige, scooter des mers, courses de motos et de voitures.
En analysant les données EEG, les chercheurs ont montré que les modèles d'ondes cérébrales sont distincts pour chaque catégorie de vidéos. Cela a permis à l'équipe d'analyser la réponse du cerveau aux vidéos en temps réel.
Dans la deuxième phase de l'expérimentation, trois catégories aléatoires ont été sélectionnées parmi les cinq originales. Les chercheurs ont développé deux réseaux de neurones :un pour générer des images aléatoires spécifiques à une catégorie à partir de « bruit, " et un autre pour générer un "bruit" similaire à partir de l'EEG. L'équipe a ensuite entraîné les réseaux à fonctionner ensemble de manière à transformer le signal EEG en images réelles similaires à celles que les sujets de test observaient (fig. 2).
Illustration. Interface cerveau-ordinateur. Crédit :@tsarcyanide/MIPT
Pour tester la capacité du système à visualiser l'activité cérébrale, les sujets ont vu des vidéos inédites des mêmes catégories. Pendant qu'ils regardaient, Les EEG ont été enregistrés et transmis aux réseaux de neurones. Le système a réussi le test, générer des images convaincantes qui pourraient être facilement catégorisées dans 90 % des cas (fig. 1).
"L'électroencéphalogramme est une collection de signaux cérébraux enregistrés à partir du cuir chevelu. Les chercheurs pensaient qu'étudier les processus cérébraux via l'EEG, c'était comme déterminer la structure interne d'une machine à vapeur en analysant la fumée laissée par un train à vapeur, " a expliqué le co-auteur de l'article Grigory Rashkov, chercheur junior au MIPT et programmeur à Neurobotics. "Nous ne nous attendions pas à ce qu'il contienne suffisamment d'informations pour reconstruire, même partiellement, une image observée par une personne. Pourtant, cela s'est avéré tout à fait possible."
"Quoi de plus, nous pouvons l'utiliser comme base pour une interface cerveau-ordinateur fonctionnant en temps réel. C'est assez rassurant. Avec la technologie actuelle, les interfaces neuronales invasives envisagées par Elon Musk sont confrontées aux défis d'une chirurgie complexe et d'une détérioration rapide due aux processus naturels - elles s'oxydent et échouent en quelques mois. Nous espérons pouvoir éventuellement concevoir des interfaces neuronales plus abordables qui ne nécessitent pas d'implantation, ", a ajouté le chercheur.
