Des chercheurs de l'Institute of Cyber ​​Intelligence Systems de la National Research Nuclear University MEPhI (Russie) ont récemment développé un nouveau modèle d'apprentissage pour la machine de Boltzmann restreinte (un réseau de neurones), qui optimise les processus d'encodage sémantique, visualisation et reconnaissance des données. Les résultats de cette recherche sont publiés dans la revue Mémoire optique et réseaux de neurones .

Aujourd'hui, réseaux de neurones profonds avec différentes architectures, comme convolutif, réseaux récurrents et autoencodeurs, deviennent un domaine de recherche de plus en plus populaire. Un certain nombre d'entreprises de haute technologie, dont Microsoft et Google, utilisent des réseaux de neurones profonds pour concevoir des systèmes intelligents.

Dans les systèmes d'apprentissage profond, les processus de sélection et de configuration des fonctionnalités sont automatisés, ce qui signifie que les réseaux peuvent choisir entre les algorithmes les plus efficaces pour l'extraction de caractéristiques hiérarchiques par eux-mêmes. L'apprentissage profond se caractérise par l'apprentissage à l'aide de grands échantillons à l'aide d'un seul algorithme d'optimisation. Des algorithmes d'optimisation typiques configurent les paramètres de toutes les opérations simultanément, et estimer efficacement l'effet de chaque paramètre de réseau neuronal sur l'erreur à l'aide de la méthode dite de rétropropagation.

"La capacité des réseaux de neurones à apprendre par eux-mêmes est l'une de leurs propriétés les plus intrigantes, " a expliqué Vladimir Golovko, professeur au MEPhI Institute of Cyber ​​Intelligence Systems. "Tout comme les systèmes biologiques, les réseaux de neurones peuvent se modéliser, cherchant à développer le meilleur modèle de comportement possible."

En 2006, le domaine de la formation aux réseaux de neurones a connu une percée lorsque Geoffrey Hinton a publié un article de recherche sur les réseaux de neurones de pré-formation. Il a déclaré que les réseaux de neurones multicouches pouvaient être pré-formés en entraînant une couche à la fois à l'aide de la machine limitée de Boltzmann, puis en les affinant à l'aide de la rétropropagation. Ces réseaux ont été nommés réseaux de croyances profondes, ou DBN.

Golovko a analysé les principaux problèmes et paradigmes de l'apprentissage automatique en profondeur et a suggéré une nouvelle méthode d'apprentissage pour la machine de Boltzmann restreinte. Le chercheur a démontré que la règle classique d'entraînement de ce réseau de neurones est un cas particulier de la méthode qu'il a développée.

"Les scientifiques américains Minsky et Papert ont montré une fois que du point de vue de la classification des motifs, le perceptron monocouche avec la fonction d'activation de seuil forme une surface de séparation linéaire, c'est la raison pour laquelle il ne peut pas résoudre le problème "exclusif ou", " Golovko a noté. "Cela a conduit à des conclusions pessimistes sur le développement ultérieur des réseaux de neurones. Cependant, la dernière affirmation n'est vraie que pour un perceptron monocouche avec un seuil ou une fonction d'activation continue monotone, par exemple, une fonction sigmoïde. Lorsqu'on utilise la fonction d'activation du signal, le perceptron monocouche peut résoudre le problème "exclusif ou", car il peut diviser l'aire des uns et des zéros en classes à l'aide de deux lignes droites."

La recherche a également impliqué une analyse des perspectives d'utilisation des réseaux de neurones profonds pour la compression, visualisation et reconnaissance des données. De plus, Golovko a également suggéré une nouvelle approche pour la mise en œuvre de l'encodage sémantique, ou hachage, qui est basé sur l'utilisation de réseaux de neurones auto-associatifs profonds.

Cette méthode d'apprentissage en profondeur pourrait être très utile pour former les réseaux de neurones des moteurs de recherche, l'auteur déclare, car cela améliorera la vitesse de recherche des images pertinentes.

Ces découvertes ont une grande valeur pratique :elles ont déjà trouvé des applications dans les domaines de la vision par ordinateur, reconnaissance de la parole et bioinformatique.