Les satellites de pointe des sciences de la Terre lancés dans un avenir proche généreront des quantités sans précédent de données sur les signes vitaux de notre planète. Le cloud computing aidera les chercheurs à tirer le meilleur parti de ces trésors d'informations. Crédit :NASA Earth Observatory
Comme les satellites collectent des quantités de plus en plus importantes de données, ingénieurs et chercheurs mettent en œuvre des solutions pour gérer ces énormes augmentations.
Les satellites de pointe des sciences de la Terre lancés au cours des deux prochaines années offriront des vues plus détaillées de notre planète que jamais auparavant. Nous pourrons suivre les caractéristiques océaniques à petite échelle comme les courants côtiers qui déplacent les nutriments essentiels aux réseaux trophiques marins, surveiller la quantité d'eau douce qui s'écoule dans les lacs et les rivières, et repérer un mouvement à la surface de la Terre de moins d'un demi-pouce (un centimètre). Mais ces satellites produiront également un déluge de données qui a amené des ingénieurs et des scientifiques à mettre en place des systèmes dans le cloud capables de traiter, stockage, et analyser toutes ces informations numériques.
« Il y a environ cinq ou six ans, on s'est rendu compte que les futures missions terrestres allaient générer un énorme volume de données et que les systèmes que nous utilisions deviendraient très rapidement inadéquats, " a déclaré Suresh Vannan, directeur du Centre d'archives actives distribuées d'océanographie physique basé au Jet Propulsion Laboratory de la NASA en Californie du Sud.
Le centre est l'un des nombreux dans le cadre du programme Earth Science Data Systems de la NASA responsable du traitement, archivage, documenter, et la diffusion des données des satellites d'observation de la Terre et des projets sur le terrain de l'agence. Le programme travaille depuis plusieurs années sur une solution au défi du volume d'informations en déplaçant ses données et systèmes de traitement des données des serveurs locaux vers le cloud, des logiciels et des services informatiques qui s'exécutent sur Internet plutôt que localement sur la machine de quelqu'un.
Une partie de la charge utile de l'instrument scientifique du satellite SWOT se trouve dans une salle blanche du Jet Propulsion Laboratory de la NASA pendant l'assemblage. En mesurant la hauteur de l'eau dans l'océan de la planète, des lacs, et rivières, les chercheurs peuvent suivre le volume et l'emplacement de la ressource finie dans le monde. Crédit :NASA/JPL-Caltech
Le satellite Sentinel-6 Michael Freilich, dans le cadre de la mission américano-européenne Sentinel-6/Jason-CS (Continuity of Service), est le premier satellite de la NASA à utiliser ce système cloud, bien que la quantité de données que le vaisseau spatial renvoie ne soit pas aussi importante que les données que de nombreux futurs satellites retourneront.
Deux de ces missions à venir, SWOT et NISAR, produira ensemble environ 100 téraoctets de données par jour. Un téraoctet équivaut à environ 1, 000 gigaoctets—assez de stockage numérique pour environ 250 longs métrages. BOSSER, abréviation de Surface Water and Ocean Topography, produira environ 20 téraoctets de données scientifiques par jour tandis que la mission NISAR (NASA-Indian Space Research Organization Synthetic Aperture Radar) générera environ 80 téraoctets par jour. Les données de SWOT seront archivées avec le Physical Oceanography Distributed Active Archive Center tandis que les données de NISAR seront gérées par le Alaska Satellite Facility Distributed Active Archive Center. Les archives de données actuelles des sciences de la Terre de la NASA sont d'environ 40 pétaoctets (1 pétaoctet vaut 1, 000 téraoctets), mais d'ici 2025, quelques années après le lancement de SWOT et NISAR, l'archive devrait contenir plus de 245 pétaoctets de données.
NISAR et SWOT utiliseront tous deux des instruments radar pour recueillir des informations. Visant un lancement en 2023, NISAR surveillera la surface de la planète, la collecte de données sur les caractéristiques environnementales, y compris les déplacements des terres associés aux tremblements de terre et aux éruptions volcaniques, les changements des calottes glaciaires et des glaciers de la Terre, et les fluctuations des activités agricoles, marécages, et la taille des forêts.
Une partie du satellite NISAR repose dans une chambre à vide thermique au Jet Propulsion Laboratory de la NASA en août 2020. Le satellite Terre suivra les changements subtils de la surface de la planète aussi petits que 0,4 pouce. Crédit :NASA/JPL-Caltech
Prévu pour un lancement en 2022, SWOT surveillera la hauteur des eaux de surface de la planète, à la fois océan et eau douce, et aidera les chercheurs à compiler la première enquête sur l'eau douce et les courants océaniques à petite échelle du monde. SWOT est développé conjointement par la NASA et l'agence spatiale française Centre National d'Etudes Spatiales.
"C'est une nouvelle ère pour les missions d'observation de la Terre, et l'énorme quantité de données qu'ils généreront nécessite une nouvelle ère pour le traitement des données, " a déclaré Kevin Murphy, responsable des données scientifiques pour la Direction des missions scientifiques de la NASA. "La NASA ne travaille pas seulement dans toute l'agence pour faciliter un accès efficace à une infrastructure cloud commune, nous formons également la communauté scientifique à accéder, analyser, et utiliser ces données."
Téléchargements plus rapides
Actuellement, Les satellites des sciences de la Terre renvoient des données aux stations au sol où les ingénieurs transforment les informations brutes des uns et des zéros en mesures que les gens peuvent utiliser et comprendre. Le traitement des données brutes augmente la taille du fichier, mais pour les missions plus anciennes qui renvoient des quantités d'informations relativement plus petites, ce n'est pas un gros problème. Les mesures sont ensuite envoyées à une archive de données qui conserve les informations sur des serveurs. En général, lorsqu'un chercheur souhaite utiliser un ensemble de données, ils se connectent à un site Web, télécharger les données qu'ils veulent, puis travailler avec sur leur machine.
Cependant, avec des missions comme SWOT et NISAR, ce ne sera pas faisable pour la plupart des scientifiques. Si quelqu'un voulait télécharger une journée d'informations de SWOT sur son ordinateur, ils auraient besoin de 20 ordinateurs portables, chacun capable de stocker un téraoctet de données. Si un chercheur voulait télécharger l'équivalent de quatre jours de données de NISAR, il faudrait environ un an pour fonctionner avec une connexion Internet domestique moyenne. Travailler avec des données stockées dans le cloud signifie que les scientifiques n'auront pas à acheter d'énormes disques durs pour télécharger les données ou à attendre des mois alors que de nombreux fichiers volumineux sont téléchargés sur leur système. « Le traitement et le stockage de gros volumes de données dans le cloud permettront un approche efficace de l'étude des problèmes de big data, " a déclaré Lee-Lueng Fu, Scientifique du projet JPL pour SWOT.
Les limitations de l'infrastructure ne seront pas aussi préoccupantes, Soit, puisque les organisations n'auront pas à payer pour stocker des quantités ahurissantes de données ou pour maintenir l'espace physique pour tous ces disques durs. « Nous n'avons tout simplement pas l'espace de serveur physique supplémentaire au JPL avec une capacité et une flexibilité suffisantes pour prendre en charge à la fois NISAR et SWOT, " dit Crochet Hua, un architecte des systèmes de données scientifiques du JPL pour les deux missions.
Les ingénieurs de la NASA ont déjà tiré parti de cet aspect du cloud computing pour un produit de validation de principe utilisant les données de Sentinel-1. Le satellite est une mission de l'ESA (Agence spatiale européenne) qui examine également les changements à la surface de la Terre, bien qu'il utilise un type d'instrument radar différent de ceux que NISAR utilisera. Travailler avec les données Sentinel-1 dans le cloud, les ingénieurs ont produit une carte colorisée montrant le changement de la surface de la Terre des zones plus végétalisées aux déserts. "Il a fallu une semaine de calcul constant dans le cloud, utilisant l'équivalent de milliers de machines, " a déclaré Paul Rosen, Scientifique du projet JPL pour NISAR. "Si vous essayez de le faire en dehors du cloud, vous auriez dû acheter tous ces milliers de machines."
Le cloud computing ne remplacera pas toutes les façons dont les chercheurs travaillent avec des ensembles de données scientifiques, mais au moins pour les sciences de la Terre, il gagne certainement du terrain, dit Alex Gardner, un membre de l'équipe scientifique NISAR au JPL qui étudie les glaciers et l'élévation du niveau de la mer. Il envisage que la plupart de ses analyses se produiront ailleurs dans un proche avenir plutôt que sur son ordinateur portable ou son serveur personnel. "Je m'attends pleinement dans cinq à 10 ans, Je n'aurai pas beaucoup de disque dur sur mon ordinateur et je vais explorer le nouveau firehose de données dans le cloud, " il a dit.
