Une méthode du laboratoire national d'Oak Ridge pour améliorer l'efficacité énergétique de l'intelligence artificielle scientifique se révèle très prometteuse dans les efforts visant à analyser les informations à partir de volumes de données sur le cancer.

Les chercheurs réalisent le potentiel de l'apprentissage en profondeur pour faire progresser rapidement la science, mais « entraîner » les réseaux de neurones sous-jacents avec de gros volumes de données pour s'attaquer à la tâche à accomplir peut nécessiter de grandes quantités d'énergie. Ces réseaux nécessitent également une connectivité complexe et d'énormes quantités de stockage, qui réduisent encore davantage leur efficacité énergétique et leur potentiel dans les applications du monde réel.

Pour résoudre ce problème, Mohammed Alawad de l'ORNL, Hong-Jun Yoon, et Georgia Tourassi a développé une nouvelle méthode pour le développement de réseaux de neurones profonds économes en énergie, capables de résoudre des problèmes scientifiques complexes. Ils ont présenté leurs recherches à la conférence IEEE 2017 sur le Big Data à Boston.

Les chercheurs ont démontré qu'en convertissant les réseaux de neurones d'apprentissage en profondeur (DNN) en réseaux de neurones à « points profonds » (DSNN), ils peuvent améliorer l'efficacité énergétique de la conception et de la réalisation du réseau.

Les DSNN imitent les neurones du cerveau humain via des impulsions ou des "pointes" à la place des signaux réels, avec les pointes individuelles indiquant où effectuer les calculs. Ce processus minimise les calculs nécessaires et maximise l'efficacité énergétique du réseau. Cependant, l'efficacité énergétique se fait au détriment de la performance des tâches, et la nouvelle méthode stochastique des auteurs pour la mise en œuvre des DSNN surmonte ce compromis.

Les résultats ont été impressionnants :l'approche de l'équipe a atteint presque la même précision que le DNN d'origine et a mieux fonctionné qu'un réseau de neurones à pointes de pointe. Le DSNN stochastique de l'équipe, qui répartit les pointes uniformément dans le temps, consommait 38 fois moins d'énergie que le DNN d'origine et presque 2 fois moins d'énergie qu'un DSNN conventionnel tout en offrant des performances de tâche nettement meilleures.

Les chercheurs ont formé leur réseau sur des données textuelles cliniques de la surveillance du National Cancer Institute, Épidémiologie, et le programme des résultats finaux (SEER), qui fournit des statistiques sur le cancer telles que l'incidence, prévalence, et la mortalité dans la population associée par âge, sexe, course, année du diagnostic, et les zones géographiques.

L'équipe ORNL a appliqué les réseaux nouvellement formés aux rapports de pathologie clinique, principale source d'information pour le programme national de surveillance du cancer. Ces rapports contiennent de grandes quantités de texte non structuré, dit Yoon, et les chercheurs développent des systèmes intelligents de compréhension du langage pour extraire les concepts cliniques les plus pertinents dans la mer de texte.

Les rapports cliniques représentent un ensemble de données « clairsemé », qui posent généralement des défis uniques aux réseaux de dopage. La plupart des techniques DSNN se sont concentrées sur des tâches de vision par ordinateur telles que l'ensemble de données MNIST, qui se composent d'une série de chiffres manuscrits pour former des réseaux de traitement d'images. Ces ensembles de données sont généralement « denses, " ce qui signifie que toutes les variables de l'ensemble de données sont remplies de valeurs, une caractéristique qui simplifie souvent les analyses.

Les techniques traditionnelles d'amélioration des performances et de l'efficacité énergétique des réseaux à pointes préservent souvent les structures des réseaux de neurones conventionnels, une pratique qui sacrifie la précision et la performance. Ces lacunes ont conduit l'équipe à développer une nouvelle méthodologie, qui repose sur du matériel de circuit simple pour effectuer des calculs complexes.

« Le dopage du réseau réduit la consommation d'énergie car nous ignorons les calculs inutiles et nous ne recherchons que les nœuds pertinents du réseau, " dit Yoon, « et c'est une façon d'améliorer l'efficacité énergétique tout en identifiant les informations cliniques importantes avec une grande précision. »

La technique de l'équipe aidera les chercheurs de l'ORNL dans le projet CANcer Distributed Learning Environment (CANDLE), qui vise à utiliser l'expertise et les installations informatiques de classe mondiale du laboratoire pour analyser des millions de rapports cliniques à la recherche d'informations sur les causes du cancer, meilleurs traitements, et des résultats améliorés. Ils tenteront bientôt de paralléliser l'algorithme pour plus d'efficacité de calcul.

Les réseaux de pointe ont été optimisés sur des unités de traitement graphique (GPU), les processeurs de choix pour les applications d'intelligence artificielle, en particulier ceux qui utilisent l'apprentissage automatique et l'apprentissage en profondeur. Cependant, la méthodologie peut être étendue pour la formation de réseaux de dopage, augmenter encore l'efficacité énergétique de ces nouveaux réseaux tout en accélérant les découvertes scientifiques via l'apprentissage en profondeur.