Il y a une blague du comédien Steven Wright qui dit, « Vous ne pouvez pas tout avoir. Où le mettriez-vous ?

Les utilisateurs d'informatique avancée peuvent probablement s'identifier à cela. La croissance exponentielle des données pose un défi de taille aux efforts pour leur stockage fiable. Depuis plus de 12 ans, le système Ranch du Texas Advanced Computing Center (TACC) a fourni un archivage à long terme des données de recherche allant de l'astrophysique à la science du climat à la physique des particules, et plus. Une nouvelle mise à niveau matérielle et logicielle apporte de bonnes nouvelles à plus de 52, 000 utilisateurs du système de stockage de données de masse à long terme Ranch de TACC.

Les archives sont précieuses pour les scientifiques qui souhaitent utiliser les données pour aider à reproduire les mesures et les résultats de recherches antérieures. La reproductibilité informatique est un élément du concept plus large de reproductibilité scientifique, qui constitue la pierre angulaire de la méthode scientifique.

TACC s'efforce de répondre de manière exhaustive aux besoins en données des scientifiques. Les systèmes de calcul locaux tels que Stampede2 et Lonestar fournissent un espace de travail à grande vitesse dédié au stockage temporaire des données. En haut de l'échelle se trouvent les systèmes de collecte de données frontaux de Stockyard et Corral, qui fournissent un stockage combiné de 50 pétaoctets directement accessible via des connexions Web à haut débit ou la grille de données iRODS. Ranch, d'autre part, permet un archivage à long terme des données pendant des mois voire des années.

Depuis avril 2019, Ranch stocke plus de 70 pétaoctets, ou 70 millions de gigaoctets de données scientifiques. Plus de 52 ans, 000 utilisateurs ont téléchargé près de 1,7 milliard de fichiers informatiques sur l'ancienne bibliothèque de Ranch en cours de mise à niveau. Hypothétiquement, les nouvelles mises à niveau de Ranch pourraient étendre son stockage pour atteindre un exaoctet ahurissant, ou 1, 000 pétaoctets.

"Pour les utilisateurs, plus de données seront plus facilement disponibles, avec 15 fois plus de cache disque que ce que nous avions sur le système Ranch précédent, " a déclaré Tommy Minyard, directeur des systèmes informatiques avancés chez TACC. Nouvelles données générées par les superordinateurs TACC tels que Stampede2, Lonestar, ou Maverick est d'abord mis en scène sur le disque rotatif et les lecteurs flash de Ranch, puis plus tard passé aux bandes.

Ranch a été mis à niveau avec un système de stockage de blocs fourni par DataDirect Networks, le DDN SFA14K DCR, qui fournit 30 pétaoctets de cache disque tournant, contre seulement deux sur le matériel remplacé. « Cela signifie que nous pourrons conserver beaucoup plus de données sur des disques afin qu'elles soient plus rapidement récupérables et que vous n'ayez pas à les rappeler à partir de la bande, " ajouta Minyard.

Un autre changement bienvenu à Ranch vient de la société Quantum, qui a fourni une bibliothèque de bandes Scalar i6000 avec le système de fichiers d'archives Quantum StorNext qui coordonne à la fois le stockage sur disque et sur bande. "Nous avons choisi le système Quantum en raison de sa capacité et de sa flexibilité, " dit Junseong Heo, administrateur et gestionnaire principal des systèmes, Systèmes à grande échelle du groupe Systèmes informatiques avancés de TACC.

"Spécifiquement, Quantum fournit un mécanisme de contrôle des quotas qui permet à TACC de fournir une zone de projet basée sur l'allocation pour les utilisateurs, " a ajouté Heo. Cela signifie que les utilisateurs peuvent avoir un accès beaucoup plus facile aux données et surveiller l'utilisation des ressources. " Le quota basé sur les projets a été en haut de la liste de souhaits des utilisateurs dans le passé, " dit Heo.

"L'accent mis par TACC sur l'innovation constante crée un environnement qui met énormément de pression sur le stockage, et Quantum est depuis longtemps à la pointe de la gestion de solutions répondant à la fiabilité la plus extrême, des exigences d'accessibilité et d'évolutivité massives, " dit " Eric Bassier, Directeur principal du marketing produit, Quantum. « La combinaison de la bande Scalar avec les capacités de gestion des données de StorNext crée une solution HSM (gestion hiérarchique du stockage) capable de fonctionner dans les conditions exigeantes de l'environnement TACC."

« Le nouveau système nous offre des capacités supplémentaires pour pouvoir gérer les données du projet et les niveaux de stockage mieux que l'ancien système, " Minyard a ajouté. C'est particulièrement une bonne nouvelle pour les gros utilisateurs de Ranch, dont l'affectation peut changer fréquemment. Les 100 utilisateurs les plus lourds combinés ont plus de 20 pétaoctets sur le système d'archivage actuel.

L'un des grands changements que les utilisateurs remarqueront est l'adoption de l'environnement Community Enterprise Operating System (CentOS), qui a remplacé l'environnement Solaris précédent. Au fur et à mesure que les utilisateurs naviguent sur CentOS pour migrer leurs fichiers vers les nouvelles bibliothèques Ranch, TACC fournit 12 mois d'accès en lecture seule aux données de l'ancienne bibliothèque jusqu'à la fin du 31 mars. 2020. Les utilisateurs doivent inspecter et migrer les données dans des tailles favorables pour les archives sur bande, de préférence supérieur à 100 gigaoctets en taille de fichier individuel.

"Les données d'archives ne sont pas glamour, mais c'est obligatoire, " a déclaré Minyard. " Je ne sais pas combien de fois nous avons eu quelqu'un de panique à propos de la suppression accidentelle d'un fichier, où TACC a pu leur rappeler le fichier de Ranch. De leur point de vue, Le ranch est une bouée de sauvetage, " dit Minyard.