La Earth System Grid Federation, une initiative multi-agences qui collecte et distribue des données pour les projections de haut niveau du climat de la Terre, prépare une série de mises à niveau qui faciliteront et accéléreront l'utilisation des données tout en améliorant la manière dont les informations sont conservées.

La fédération, dirigée par le laboratoire national d'Oak Ridge du ministère de l'Énergie en collaboration avec les laboratoires nationaux Argonne et Lawrence Livermore, fait partie intégrante de certaines des projections les plus importantes, les plus percutantes et les plus respectées du climat futur de la Terre :celles réalisées par des scientifiques travaillant avec le Projets d'intercomparaison de modèles couplés pour le Programme mondial de recherche sur le climat.

"Les données de l'ESGF concernent l'avenir de la vie sur Terre", a déclaré Hoffman. "En offrant aux scientifiques un accès facile à la collection complète de modèles internationaux, l'ESGF leur permet de deviner au mieux la trajectoire future de notre climat."

L'une des principales missions de l'ESGF est de répondre aux besoins en données des scientifiques qui préparent les évaluations climatiques complètes du Groupe d'experts intergouvernemental sur l'évolution du climat des Nations Unies publiées tous les six à sept ans. Les données de l'ESGF sous-tendent les rapports historiques du GIEC tels que le récent sixième rapport d'évaluation, AR6, et les conclusions de son groupe de travail. Les données informent également les rapports spéciaux du GIEC axés sur les vulnérabilités climatiques, les scénarios d'adaptation et les stratégies d'atténuation.

Un autre aspect important de la mission de l'ESGF est de veiller à ce que la recherche scientifique soit transparente, collaborative et reproductible, compte tenu de son impact direct sur la recherche climatique mondiale et de son utilisation potentielle dans la prise de décision.

"Toutes les données des modèles du système terrestre qui entrent dans les rapports du GIEC et toutes les simulations climatiques les plus importantes du monde entier sont stockées dans l'ESGF et rendues accessibles par les services que nous fournissons", a déclaré Forrest Hoffman, responsable de l'ESGF. et le groupe Computational Earth Sciences à l'ORNL. "La fédération met les données entre les mains des dizaines de milliers de chercheurs qui les analysent et les comparent aux données d'observation pour constamment mettre à jour nos meilleures projections du futur."

Dans une nouvelle itération du projet ESGF, des informaticiens travaillent à améliorer la découverte, l'accès et le stockage des données. Le travail s'appuiera sur les derniers outils logiciels, les ressources de cloud computing, les superordinateurs les plus puissants du monde et le réseau des sciences de l'énergie du DOE, ou ESnet. ESnet permet actuellement des taux de transfert de 100 gigabits par seconde entre les laboratoires nationaux et des connexions aux universités et centres de recherche nationaux et internationaux. Une mise à niveau prévue d'ici la fin de l'année augmentera les taux de transfert ESnet jusqu'à 400 Gbit/s.

"Nous allons développer et déployer un système entièrement nouveau, modernisé et cyber-sécurisé pour la distribution des données de sortie des modèles à la communauté scientifique", a déclaré Hoffman.

La fédération fonctionne comme un réseau de grands nœuds informatiques hébergés aux États-Unis et dans 17 autres pays, fonctionnant en tandem comme une grande archive de données. L'ORNL, l'ANL et le LLNL s'efforcent d'améliorer la fiabilité et l'évolutivité du système, en fournissant un processus de réplication des données fluide qui garantit que la communauté scientifique au sens large a accès aux données de tous les partenaires de l'ESGF. L'ORNL et l'ANL hébergeront également une double sauvegarde des plus de 10 pétaoctets (et plus) de données et de modèles cumulés de l'ESGF, en tirant parti des systèmes informatiques de classe mondiale hébergés dans les laboratoires.

Développer des interfaces utilisateur robustes et des archives sécurisées et fiables

Le projet de mise à niveau pluriannuel a déjà reproduit les données existantes et fournit les services de stockage et de calcul nécessaires pour générer dynamiquement des données pour la communauté des utilisateurs tout en développant de nouvelles infrastructures et de nouveaux services. L'ESGF a créé une feuille de route pour guider son travail de développement.

L'ORNL apporte une expérience considérable des grands centres de données et de la modélisation et de la simulation à grande échelle à son rôle de leader au sein de l'ESGF. Le laboratoire abrite l'Oak Ridge Leadership Computing Facility, une installation utilisateur du DOE Office of Science dont le système informatique exascale Frontier a récemment été classé comme le plus rapide au monde, ainsi que le Climate Change Science Institute, qui rassemble des experts en données, des modélisateurs et des expérimentateurs. pour accélérer la compréhension du changement climatique et de ses impacts.

"ORNL est dans la position unique de connaître les mégadonnées et également de connaître le climat et d'héberger de très grands centres de données et les interfaces qui rendent ces informations facilement accessibles aux scientifiques du monde entier", a déclaré Hoffman.

L'Argonne Leadership Computing Facility prête à la fédération ses capacités uniques, ainsi que le système de gestion des données de recherche Globus, exploité pour la communauté de la recherche par l'Université de Chicago. Les services Globus seront utilisés dans l'ESGF mis à niveau pour l'authentification et pour l'indexation, l'accès et la réplication des données.

"Les téraoctets et pétaoctets générés par les modèles climatiques d'aujourd'hui nécessitent de nouvelles approches de gestion et d'analyse des données", a déclaré Ian Foster, responsable ANL du projet. "Nous allons permettre non seulement un téléchargement plus rapide des sous-ensembles de données, mais également des analyses de données auparavant irréalisables sur les supercalculateurs ANL et ORNL." ALCF est une installation utilisateur du DOE Office of Science.

Lawrence Livermore apporte également à l'ESGF une richesse d'expertise et de capacités en calcul haute performance et en centres de données, des technologies créatives et des solutions logicielles, ainsi que son expérience en tant que responsable initial de l'ESGF.

"Les mises à niveau permettront aux utilisateurs d'accéder plus facilement et plus rapidement aux données qui peuvent nous aider à mieux comprendre à quoi ressemblera le climat à l'avenir", a déclaré Sasha Ames, responsable du LLNL pour la fédération. + Explorer plus loin

Un nouveau rapport cherche à assurer la durabilité de l'hydroélectricité face au changement climatique