La plupart des algorithmes d'apprentissage en profondeur fonctionnent bien lorsqu'ils sont entraînés sur de grands ensembles de données étiquetées, mais leurs performances ont tendance à baisser lors du traitement de nouvelles données. Des chercheurs du monde entier ont donc essayé de développer des techniques qui pourraient améliorer la capacité de ces algorithmes à bien se généraliser à la fois sur des données nouvelles et précédemment traitées, permettant ce que l'on appelle l'apprentissage tout au long de la vie.

Des chercheurs de l'Université de Notre Dame et de GlobalFoundries Fab1 ont récemment développé une nouvelle méthode pour faciliter l'apprentissage tout au long de la vie dans les réseaux de neurones artificiels, ce qui implique l'utilisation d'un composant de mémoire adressable par le contenu ternaire ferroélectrique. Leur étude, présenté dans Nature Électronique , visait à reproduire la capacité du cerveau humain à apprendre rapidement à partir de quelques exemples seulement, s'adapter à de nouvelles tâches en fonction des expériences passées.

"Lorsqu'un réseau de neurones profonds entraîné rencontre des classes inédites, il échoue souvent à généraliser à partir de ses connaissances antérieures et doit réapprendre les paramètres du réseau pour extraire les informations pertinentes de la classe donnée, " Kai Ni, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. « Cela nécessite que de grandes quantités de données étiquetées soient mises à disposition pour la formation en réseau. »

Une approche conçue pour améliorer les performances des réseaux de neurones profonds sur des données inédites implique l'intégration d'un composant de mémoire attentionnelle. Cette composante permet aux algorithmes de fonder leurs analyses sur des connaissances préalablement acquises, l'adapter pour s'attaquer à des tâches nouvelles et pourtant quelque peu similaires. Algorithmes avec une composante de mémoire attentionnelle, connus sous le nom de réseaux de neurones à mémoire augmentée (MANN), sont généralement capables d'extraire des caractéristiques des données, les stocker dans leur mémoire attentionnelle et les récupérer lors de l'accomplissement d'une nouvelle tâche.

"Une fonction clé du module de mémoire est l'adressage basé sur le contenu, où la distance entre un vecteur de recherche et tous les vecteurs stockés est calculée pour trouver la correspondance la plus proche. Dans une approche conventionnelle, les vecteurs mémoire stockés (en DRAM) doivent être transférés vers une unité de calcul (CPU ou GPU) pour comparer les distances avec une requête donnée, " Ni dit. " En tant que tel, la dissipation d'énergie et les limitations de latence peuvent représenter des défis importants pour la mise à l'échelle des MANN. Dans ce travail, nous proposons d'appliquer la mémoire adressable à contenu ternaire ferroélectrique (TCAM) comme mémoire attentionnelle du réseau pour surmonter ce goulot d'étranglement. »

En calculant la distance entre un vecteur de requête et chaque entrée de mémoire stockée directement en elle-même, le composant TCAM introduit par Ni et ses collègues évite les transferts de données coûteux. La TCAM repose essentiellement sur le fait que le courant de décharge à travers une ligne de correspondance est proportionnel à la distance de Hamming (HD) entre la requête et l'entrée stockée.

La détection de ce courant de décharge permet aux chercheurs de calculer la HD directement dans le composant mémoire en parallèle. TCAM permet également aux modèles d'apprentissage en profondeur d'effectuer des mises à jour de mémoire basées sur le contenu plutôt que des mises à jour de données aléatoires basées sur des adresses.

"Pour permettre l'interaction efficace entre le réseau de neurones (fonctionnant avec un nombre flottant) et la matrice TCAM (calculant uniquement la distance HD), nous avons appliqué une fonction de hachage sensible à la localité (LSH) pour mapper un vecteur de caractéristiques à valeur réelle extrait du NN à un espace de signature binaire, qui permet une recherche du voisin le plus proche basée sur la distance de Hamming dans le tableau TCAM, " expliqua Ni.

Ni et ses collègues ont évalué leur prototype TCAM ferroélectrique dans une série d'essais où un réseau de neurones profonds a dû apprendre à effectuer de nouvelles tâches sur la base d'un ou plusieurs exemples. Lorsqu'il est implémenté sur un GPU soutenu par une DRAM externe, leur méthode a conduit à des précisions de classification proches de celles obtenues par une méthode plus conventionnelle basée sur le calcul de la distance en cosinus (par exemple, une précision de 99,5% contre une précision de 99,05 pour cent pour un 20 voies, problème d'apprentissage en cinq coups). Remarquablement, le système basé sur TCAM a atteint des précisions similaires à celles de l'approche plus conventionnelle avec une réduction de 60 fois de la consommation d'énergie et 2, Réduction de 700 fois de la latence pour une seule opération de recherche.

« Les apports de cette recherche sont multiples, " dit Ni. " Premièrement, nous avons fait la démonstration de la cellule TCAM la plus compacte à ce jour, qui n'est composé que de deux FeFET, mais fournit la densité de mémoire la plus élevée et probablement globalement les meilleures performances parmi toutes les autres alternatives. Deuxièmement, nous avons démontré la fonctionnalité du calcul de distance HD avec une matrice TCAM. Finalement, nous avons appliqué le noyau TCAM dans le MANN pour un apprentissage unique et fournir une solution système de bout en bout."

À l'avenir, le nouveau composant de mémoire proposé par Ni et ses collègues pourrait aider au développement de modèles basés sur l'apprentissage en profondeur plus efficaces qui fonctionnent bien sur les tâches familières et nouvelles. Les chercheurs prévoient maintenant de développer un prototype plus grand basé sur la TCAM qui pourrait permettre une nouvelle augmentation des performances.

« Le travail existant démontre notre approche à petite échelle en raison de nos limites de configuration de mesure, " Ni a dit. " Nous prévoyons de concevoir un plus grand tableau, ainsi que des circuits périphériques importants, afin que le TCAM puisse être un module autonome. Par ailleurs, l'optimisation au niveau de l'appareil est toujours nécessaire pour améliorer l'endurance du FeFET, variation, et la fiabilité, etc."

© 2019 Réseau Science X