(Phys.org) - Tout en étudiant l'efficacité avec laquelle le cerveau peut apprendre de nouvelles informations, les physiciens ont découvert que, au niveau neuronal, l'efficacité de l'apprentissage est finalement limitée par les lois de la thermodynamique, les mêmes principes qui limitent l'efficacité de nombreux autres processus familiers.

"La plus grande importance de notre travail est que nous apportons la deuxième loi de la thermodynamique à l'analyse des réseaux de neurones, " Sebastian Goldt à l'Université de Stuttgart, Allemagne, Raconté Phys.org . "La deuxième loi est une déclaration très puissante sur les transformations possibles - et l'apprentissage n'est qu'une transformation d'un réseau de neurones au détriment de l'énergie. Cela rend nos résultats assez généraux et nous fait faire un pas vers la compréhension des limites ultimes de l'efficacité. des réseaux de neurones."

Goldt et son coauteur Udo Seifert ont publié un article sur leur travail dans un récent numéro de Lettres d'examen physique .

Puisque toute activité cérébrale est liée au déclenchement de milliards de neurones, au niveau neuronal, la question « avec quelle efficacité pouvons-nous apprendre ? » devient la question de « dans quelle mesure un neurone peut-il ajuster efficacement son signal de sortie en réponse aux modèles de signaux d'entrée qu'il reçoit des autres neurones ? » Au fur et à mesure que les neurones se déclenchent en réponse à certains schémas, les pensées correspondantes sont renforcées dans notre cerveau, comme l'implique l'adage "feu ensemble, fil ensemble."

Dans la nouvelle étude, les scientifiques ont montré que l'efficacité de l'apprentissage est limitée par la production totale d'entropie d'un réseau de neurones. Ils ont démontré que, plus un neurone apprend lentement, moins il produit de chaleur et d'entropie, augmentant son efficacité. A la lumière de ce constat, les scientifiques ont introduit une nouvelle mesure de l'efficacité de l'apprentissage basée sur les besoins énergétiques et la thermodynamique.

Comme les résultats sont très généraux, ils peuvent être appliqués à tout algorithme d'apprentissage qui n'utilise pas de rétroaction, tels que ceux utilisés dans les réseaux de neurones artificiels.

"Avoir une perspective thermodynamique sur les réseaux de neurones nous donne un nouvel outil pour réfléchir à leur efficacité et nous donne une nouvelle façon d'évaluer leurs performances, " a déclaré Goldt. "Trouver le réseau de neurones artificiels optimal par rapport à cette évaluation est une possibilité passionnante, et aussi tout un défi."

À l'avenir, les chercheurs prévoient d'analyser l'efficacité des algorithmes d'apprentissage qui utilisent la rétroaction, ainsi que d'étudier la possibilité de tester expérimentalement le nouveau modèle.

"D'un côté, nous recherchons actuellement ce que la thermodynamique peut nous apprendre sur d'autres problèmes d'apprentissage, " dit Goldt. " En même temps, nous cherchons des moyens de rendre nos modèles et donc nos résultats plus généraux. C'est une période passionnante pour travailler sur les réseaux de neurones !"

© 2017 Phys.org