Les axones des neurones présynaptiques (entrée X) se connectent aux branches des dendrites (rectangles horizontaux) par des couches synaptiques; la couche membranaire (rectangles verticaux) somme les activations dendritiques, et transfère la somme au corps soma (sphère noire). Les couches synaptiques ont quatre cas de connexion différents, à savoir, la connexion directe, la connexion inverse, la connexion constante 0 et la connexion constante 1. Crédit :Université de Kanazawa
Les réseaux de neurones artificiels sont des systèmes d'apprentissage automatique composés d'un grand nombre de nœuds connectés appelés neurones artificiels. Semblable aux neurones dans un cerveau biologique, ces neurones artificiels sont les principales unités de base utilisées pour effectuer des calculs neuronaux et résoudre des problèmes. Les progrès de la neurobiologie ont illustré le rôle important joué par les structures cellulaires dendritiques dans le calcul neuronal, et cela a conduit au développement de modèles de neurones artificiels basés sur ces structures.
Le modèle de neurone logique approximatif récemment développé (ALNM) est un modèle neuronal unique qui a une structure dendritique dynamique. L'ALNM peut utiliser une fonction d'élagage neuronal pour éliminer les branches de dendrite et les synapses inutiles pendant l'entraînement afin de résoudre un problème spécifique. Le modèle simplifié résultant peut alors être implémenté sous la forme d'un circuit logique matériel.
Cependant, l'algorithme de rétropropagation (BP) bien connu qui a été utilisé pour entraîner l'ALMN a en fait restreint la capacité de calcul du modèle neuronal. "L'algorithme BP était sensible aux valeurs initiales et pouvait facilement être piégé dans les minima locaux, ", explique l'auteur correspondant Yuki Todo de la Faculté de génie électrique et informatique de l'Université de Kanazawa. "Nous avons donc évalué les capacités de plusieurs méthodes d'optimisation heuristique pour la formation de l'ALMN."
Après une série d'expériences, l'algorithme de recherche d'états de la matière (SMS) a été sélectionné comme la méthode d'entraînement la plus appropriée pour l'ALMN. Six problèmes de classification de référence ont ensuite été utilisés pour évaluer les performances d'optimisation de l'ALNM lorsqu'il a été formé en utilisant le SMS comme algorithme d'apprentissage, et les résultats ont montré que le SMS offrait des performances d'entraînement supérieures par rapport à BP et aux autres algorithmes heuristiques en termes de précision et de vitesse de convergence.
Les processus d'évolution de la recherche d'états de la matière (SMS) sont basés sur le principe physique du rapport énergie thermique-mouvement. L'ensemble du processus d'optimisation est divisé en trois phases :l'état du gaz (50 %), l'état liquide (40 %) et l'état solide (10 %). Chaque état a ses propres opérations avec des ratios exploration-exploitation différents. L'état gazeux est une exploration pure au début du processus d'optimisation. L'état liquide possède simultanément la recherche d'exploration et d'exploitation, et l'état solide se concentre sur l'exploitation simplement à la dernière partie du processus d'optimisation. L'algorithme ainsi optimisé permet d'atteindre un juste équilibre entre exploration et exploitation. Crédit :Université de Kanazawa
"Un classificateur basé sur l'ALNM et le SMS a également été comparé à plusieurs autres méthodes de classification populaires, " déclare le professeur agrégé Todo, "et les résultats statistiques ont vérifié la supériorité de ce classificateur sur ces problèmes de référence."
Au cours du processus de formation, l'ALNM a simplifié les modèles neuronaux grâce à des procédures d'élagage synaptique et d'élagage dendritique, et les structures simplifiées ont ensuite été substituées à l'aide de circuits logiques. Ces circuits ont également fourni une précision de classification satisfaisante pour chacun des problèmes de référence. La facilité de mise en œuvre matérielle de ces circuits logiques suggère que les recherches futures verront l'ALNM et le SMS utilisés pour résoudre des problèmes du monde réel de plus en plus complexes et de grande dimension.
ALNM est capable de simplifier les modèles neuronaux par élagage synaptique et élagage dendritique pendant le processus d'entraînement. Puis, les structures simplifiées d'ALNM peuvent être substituées par des circuits logiques, qui se compose simplement des « comparateurs » et de la logique NON, Portes ET et OU. Parmi eux, le « comparateur » fonctionne comme un convertisseur analogique-numérique qui compare l'entrée avec le seuil θ. Si l'entrée X dépasse le seuil , le 'comparateur' affichera 1. Sinon, il affichera 0. Lorsqu'il est implémenté sur le matériel, ces circuits logiques peuvent être adoptés comme classificateurs efficaces pour résoudre les six problèmes de référence. Crédit :Université de Kanazawa
