Cela peut être un choc pour les parents confrontés au chaos quotidien de la vie des tout-petits, mais la complexité du cerveau culmine vers l'âge de trois ans.

Le nombre de connexions entre les neurones explose pratiquement au cours de nos premières années. Après cela, le cerveau commence à élaguer les portions inutilisées de ce vaste réseau électrique, amincissant à environ la moitié du nombre au moment où nous atteignons l'âge adulte. Le surapprovisionnement du cerveau des tout-petits nous permet d'acquérir le langage et de développer la motricité fine. Mais ce que nous n'utilisons pas, nous perdons.

Aujourd'hui, ce flux et reflux de la complexité biologique a inspiré une équipe de chercheurs de Princeton pour créer un nouveau modèle d'intelligence artificielle, créer des programmes qui respectent ou surpassent les normes de l'industrie en matière de précision en utilisant seulement une fraction de l'énergie. Dans une paire d'articles publiés plus tôt cette année, les chercheurs ont montré comment démarrer avec une conception simple pour un réseau d'IA, développer le réseau en ajoutant des neurones artificiels et des connexions, puis taillez les portions inutilisées en laissant un produit final maigre mais très efficace.

« Notre approche est ce que nous appelons un paradigme de croissance et de taille, ", a déclaré le professeur de génie électrique Niraj Jha. "C'est similaire à ce que fait un cerveau de l'enfance à l'enfance." Dans sa troisième année, le cerveau humain commence à couper les connexions entre les cellules du cerveau. Ce processus se poursuit à l'âge adulte, de sorte que le cerveau pleinement développé fonctionne à environ la moitié de son pic synaptique.

"Le cerveau adulte est spécialisé dans la formation que nous lui avons fournie, " a déclaré Jha. " Ce n'est pas aussi bon pour l'apprentissage général qu'un cerveau de tout-petit. "

La croissance et l'élagage donnent des logiciels qui nécessitent une fraction de la puissance de calcul, et consomme donc beaucoup moins d'énergie, faire des prédictions tout aussi bonnes sur le monde. Il est essentiel de limiter la consommation d'énergie pour intégrer ce type d'IA avancée, appelée apprentissage automatique, sur de petits appareils comme les téléphones et les montres.

« Il est très important d'exécuter les modèles d'apprentissage automatique localement, car la transmission [vers le cloud] demande beaucoup d'énergie, " a déclaré Xiaoliang Dai, un ancien étudiant diplômé de Princeton et premier auteur des deux articles. Dai est maintenant chercheur scientifique sur Facebook.

Dans la première étude, les chercheurs ont réexaminé les fondements de l'apprentissage automatique, les structures de code abstraites appelées réseaux de neurones artificiels. S'inspirant du développement de la petite enfance, l'équipe a conçu un outil de synthèse de réseau neuronal (NeST) qui a recréé plusieurs réseaux de neurones de premier plan à partir de zéro, automatiquement, en utilisant des modèles mathématiques sophistiqués développés pour la première fois dans les années 1980.

NeST commence avec seulement un petit nombre de neurones artificiels et de connexions, augmente en complexité en ajoutant plus de neurones et de connexions au réseau, et une fois qu'il atteint un critère de performance donné, commence à se rétrécir avec le temps et l'entraînement. Les chercheurs précédents avaient utilisé des stratégies d'élagage similaires, mais la combinaison cultiver et tailler – passer du « cerveau du bébé » au « cerveau des tout-petits » et s'amincir vers le « cerveau adulte » – a représenté un saut de la vieille théorie à la nouvelle démonstration.

Le deuxième papier, qui comprend des collaborateurs de Facebook et de l'Université de Californie-Berkeley, a introduit un cadre appelé Chameleon qui commence par les résultats souhaités et fonctionne en arrière pour trouver le bon outil pour le travail. Avec des centaines de milliers de variantes disponibles dans les facettes particulières d'un design, les ingénieurs sont confrontés à un paradoxe de choix qui va bien au-delà des capacités humaines. Par exemple :L'architecture pour recommander des films ne ressemble pas à celle qui reconnaît les tumeurs. Le système réglé pour le cancer du poumon semble différent de celui pour le cancer du col de l'utérus. Les assistants en démence peuvent sembler différents pour les femmes et les hommes. Etc, À l'infini.

Jha a décrit Chameleon comme dirigeant les ingénieurs vers un sous-ensemble favorable de conceptions. "Cela me donne un bon quartier, et je peux le faire en quelques minutes CPU, " Jha dit, se référant à une mesure du temps de traitement de calcul. "Je peux donc très rapidement obtenir la meilleure architecture." Plutôt que toute la métropole tentaculaire, il suffit de chercher quelques rues.

Chameleon fonctionne en formant et en échantillonnant un nombre relativement restreint d'architectures représentant une grande variété d'options, prédit ensuite les performances de ces conceptions avec un ensemble donné de conditions. Parce qu'il réduit les coûts initiaux et fonctionne au sein de plates-formes allégées, l'approche hautement adaptative "pourrait élargir l'accès aux réseaux de neurones pour les organismes de recherche qui n'ont pas actuellement les ressources nécessaires pour tirer parti de cette technologie, " selon un article de blog de Facebook.