Le cerveau et toutes ses capacités magnifiques sont alimentés par moins de 20 watts. Arrêtez d'y penser une seconde. Au moment où j'écris ce blog, mon ordinateur portable utilise environ 80 watts, pourtant à seulement un quart de la puissance, notre cerveau surpasse les superordinateurs de pointe de plusieurs ordres de grandeur en matière d'efficacité énergétique et de volume. La nature est vraiment remarquable.

Pour cette raison, il n'est pas surprenant que les scientifiques du monde entier s'inspirent du cerveau humain comme voie prometteuse vers le développement de systèmes informatiques d'IA de prochaine génération et alors que l'industrie informatique a fait des progrès significatifs au cours des dernières années, en particulier dans l'utilisation de l'apprentissage automatique pour la vision par ordinateur et la reconnaissance vocale, la technologie actuelle se heurte à un mur lorsqu'il s'agit de réseaux de neurones profonds correspondant à l'efficacité énergétique de leur homologue biologique, mais cela pourrait être sur le point de changer.

Comme indiqué la semaine dernière dans Communication Nature , mes collègues et moi-même d'IBM Research et des collaborateurs de l'EPFL et du New Jersey Institute of Technology avons développé et testé expérimentalement une architecture de synapse artificielle utilisant 1 million d'appareils, une étape importante vers la réalisation d'une technologie de calcul neuromorphique à grande échelle et économe en énergie.

Lorsque le brillant scientifique John von Neumann a construit l'architecture informatique d'aujourd'hui, qui alimente près de 100 % des ordinateurs dans le monde, il a gardé la mémoire et le traitement séparément. Cela signifie que les données doivent constamment faire des allers-retours, produisant de la chaleur et nécessitant beaucoup d'énergie – c'est un goulot d'étranglement de l'efficacité. Le cerveau n'a bien sûr pas de compartiments différents, c'est pourquoi il est si efficace. Mais cela n'a pas empêché les équipes de s'en tenir à la conception de von Neumann pour construire un réseau de neurones et bien qu'elles aient un certain succès, l'efficacité de ces systèmes reste faible – vous ne pouvez tout simplement pas battre la nature.

Plus récemment, scientifiques, y compris ceux d'IBM, ont adopté une approche différente basée sur une nouvelle classe de dispositifs nanométriques appelés dispositifs memristifs, qui se sont montrés très prometteurs pour remédier à ce goulot d'étranglement. La conception de notre appareil est basée sur ce qu'on appelle la mémoire à changement de phase (PCM), sans doute la technologie émergente de mémoire non volatile la plus avancée. Une impulsion électrique est appliquée au matériau, qui modifie la conductance de l'appareil à travers ses propriétés physiques.

Comme expliqué dans notre article :« Les dispositifs memristifs tels que les dispositifs PCM stockent des informations dans leurs états de résistance/conductance et présentent une modulation de la conductivité basée sur l'historique de la programmation. L'idée centrale dans la construction de matériel cognitif basé sur des dispositifs memristifs est de stocker les poids synaptiques comme leur états de conductance et d'effectuer les tâches de calcul associées en place. modulation précise de la conductance de l'appareil sur une large plage dynamique, nécessaire pour maintenir une haute précision du réseau, s'avère être un défi."

Notre percée réside dans notre conception, que nous appelons une architecture synaptique multi-memristive. Cette architecture nous permet d'augmenter la précision synaptique sans augmenter la densité de puissance même si nous utilisons plusieurs dispositifs memristifs pour représenter une synapse. L'astuce est que nous avons un bon mécanisme de sélection, basé sur un compteur global, qui indique à l'appareil qu'il doit changer et quand. La seule pénalité ou coût est l'exigence de plus d'espace pour les périphériques PCM supplémentaires.

Pour tester notre architecture, nous avons entraîné à la fois des réseaux de neurones à pointes et non à pointes. Nos données sélectionnées sont populaires - l'ensemble de données MNIST de chiffres manuscrits et notre tâche est la reconnaissance de chiffres manuscrits - essentiellement, notre réseau doit reconnaître quel nombre apparaît à partir des images manuscrites. Dans les deux cas, nous voyons que la synapse multi-memristive surpasse de manière significative les architectures différentielles classiques à deux appareils, illustrant clairement l'efficacité de l'architecture proposée. Un point culminant du travail est une démonstration expérimentale de l'architecture synaptique multi-memristive dans un réseau de neurones à pics utilisant plus d'un million de dispositifs de mémoire à changement de phase.

L'architecture est applicable à un large éventail de réseaux de neurones et de technologies memristives et est compatible crossbar. L'architecture proposée et sa démonstration expérimentale sont une étape importante vers la réalisation de systèmes hautement efficaces, réseaux de neurones à grande échelle basés sur des dispositifs memristifs avec des caractéristiques non idéales observées expérimentalement. Ayant dit cela, nous nous concentrons également sur l'amélioration du dispositif memristif lui-même, c'est la précision et la plage dynamique, puis nous pensons que nous pouvons viser le Saint Graal – la performance en virgule flottante.