Attendre, quoi? Créer une IA peut être bien pire pour la planète qu'une voiture ? Pensez empreinte carbone. C'est ce qu'a fait un groupe de l'Université du Massachusetts à Amherst. Ils ont entrepris d'évaluer la consommation d'énergie nécessaire pour entraîner quatre grands réseaux de neurones.

Leur article attire actuellement l'attention des sites de veille technologique. Il s'intitule "Considérations énergétiques et politiques pour l'apprentissage en profondeur en PNL, " par Emma Strubell, Ananya Ganesh et Andrew McCallum.

Cette, dit Karen Hao, journaliste en intelligence artificielle pour Examen de la technologie du MIT , était une évaluation du cycle de vie pour la formation de plusieurs grands modèles d'IA communs.

"Les récents progrès du matériel et de la méthodologie pour la formation des réseaux de neurones ont inauguré une nouvelle génération de grands réseaux formés sur des données abondantes, ", ont déclaré les chercheurs.

Quelle est votre supposition ? Que la formation d'un modèle d'IA entraînerait une empreinte « lourde » ? « Un peu lourd ? » Que diriez-vous de « terrible ? » Ce dernier était le mot choisi par Examen de la technologie du MIT le 6 juillet, Jeudi, rendre compte des conclusions.

Le deep learning implique le traitement de très grandes quantités de données. (L'article examine spécifiquement le processus d'apprentissage du modèle pour le traitement du langage naturel, le sous-domaine de l'IA qui se concentre sur l'apprentissage des machines pour gérer le langage humain, dit Hao.) Donna Lu dans Nouveau scientifique a cité Strubell, qui a dit, "Pour apprendre quelque chose d'aussi complexe que la langue, les modèles doivent être volumineux. » Quels modèles de tarification obtiennent des gains de précision ? entraînant une consommation d'énergie importante.

Hao a fait part de ses découvertes, que « le processus peut émettre plus de 626, 000 livres d'équivalent en dioxyde de carbone, soit près de cinq fois les émissions à vie d'une voiture américaine moyenne (et cela inclut la fabrication de la voiture elle-même)."

Ces modèles sont coûteux à former et à développer, c'est-à-dire sur le plan financier en raison du coût du matériel et de l'électricité ou du temps de calcul dans le cloud, et coûteux au sens environnemental. Le coût environnemental est dû à l'empreinte carbone. L'article cherchait à porter ce problème à l'attention des chercheurs en PNL "en quantifiant les coûts financiers et environnementaux approximatifs de la formation d'une variété de modèles de réseaux neuronaux récemment réussis pour la PNL".

Comment ils ont testé :Pour mesurer l'impact environnemental, ils ont formé quatre IA pendant un jour chacun, et échantillonné la consommation d'énergie tout au long. Ils ont calculé la puissance totale nécessaire pour entraîner chaque IA en multipliant celle-ci par le temps total d'entraînement rapporté par les développeurs de chaque modèle. Une empreinte carbone a été estimée sur la base des émissions moyennes de carbone utilisées dans la production d'électricité aux États-Unis.

Qu'est-ce que les auteurs ont recommandé? Ils sont allés dans le sens de recommandations pour réduire les coûts et « améliorer l'équité » dans la recherche en PNL. Équité? Les auteurs soulèvent la question.

« Les chercheurs universitaires ont besoin d'un accès équitable aux ressources de calcul. Les progrès récents des calculs disponibles ont un prix élevé, inaccessible à tous ceux qui souhaitent y accéder. La plupart des modèles étudiés dans cet article ont été développés en dehors du milieu universitaire ; la précision de l'art est possible grâce à l'accès de l'industrie au calcul à grande échelle."

Les auteurs ont souligné que « limiter ce style de recherche aux laboratoires de l'industrie nuit à la communauté des chercheurs en PNL à bien des égards ». La créativité est étouffée. Les bonnes idées ne suffisent pas si l'équipe de recherche n'a pas accès au calcul à grande échelle.

"Seconde, il interdit certains types de recherche sur la base de l'accès à des ressources financières. Cela favorise encore plus profondément le cycle déjà problématique du financement de la recherche « riches s'enrichissent », où les groupes qui ont déjà du succès et donc bien financés ont tendance à recevoir plus de financement en raison de leurs réalisations existantes. »

Les auteurs ont dit, « Les chercheurs doivent donner la priorité au matériel et aux algorithmes efficaces du point de vue informatique. » Dans cette veine, les auteurs ont recommandé un effort de l'industrie et du milieu universitaire pour promouvoir la recherche d'algorithmes plus efficaces sur le plan informatique, et du matériel nécessitant moins d'énergie.

Et après? La recherche sera présentée à la réunion annuelle de l'Association for Computer Linguistics à Florence, Italie en juillet.

© 2019 Réseau Science X