Les chercheurs de tout le spectre scientifique ont soif de données, car il est essentiel pour comprendre le monde naturel et, par extension, accélérer le progrès scientifique. Dernièrement, cependant, les outils de l'effort scientifique sont devenus si puissants que la quantité de données obtenues à partir d'expériences et d'observations est souvent encombrante.

En d'autres termes, il est possible d'avoir trop d'une bonne chose.

Donner du sens aux ensembles de données de montgolfières d'aujourd'hui est devenu un défi scientifique majeur à part entière, obligeant les chercheurs à s'attaquer non seulement aux problèmes de leur domaine scientifique, mais également au problème de la gestion et du traitement de leurs ensembles de données sans cesse croissants. Il suffit de demander aux chercheurs de BP, qui sont chargés de trouver du gaz naturel et du pétrole dans le sol et de trouver la meilleure façon de les extraire.

"Les nouvelles technologies sur le terrain nous permettent de collecter plus de données que nous n'en avions jamais rêvé, " a déclaré Vladimir Bashkardin, scientifique en informatique de BP HPC, référençant les propriétés des fluides souterrains et des roches obtenues via des réponses énergétiques au sondage de l'entreprise. « Nous devons augmenter notre capacité à accéder à de grands ensembles de données sismiques, qui peut mesurer parfois un demi-pétaoctet."

Pour les aider dans cet effort monumental, Bashkardin et ses collègues se sont tournés vers le laboratoire national d'Oak Ridge du ministère de l'Énergie, la maison à Summit, l'ordinateur le plus puissant et le plus "intelligent" du monde, et une richesse d'expertise sur la façon de gérer et de traiter les ensembles de données scientifiques volumineux et complexes d'aujourd'hui.

Les débuts de Summit ont marqué la troisième fois que le laboratoire a mis en place le supercalculateur le plus rapide du monde. Ces systèmes ont été utilisés pour relever certains des défis scientifiques les plus urgents de notre époque, notamment l'énergie de fusion, l'administration de médicaments, et la conception de nouveaux matériaux, efforts qui ont également fait de l'ORNL un leader mondial dans le domaine de plus en plus important des mégadonnées.

Les chercheurs de BP se sont tournés vers le chef du groupe des données scientifiques de l'ORNL, Scott Klasky, et le chef de l'équipe de gestion des données scientifiques de l'ORNL, Norbert Podhorszki, chercheurs principaux derrière le système d'E/S Adaptable (ADIOS), un middleware d'E/S qui a aidé les chercheurs à réaliser des percées scientifiques en fournissant un manière flexible de décrire les données dans leur code qui peuvent avoir besoin d'être écrites, lire, ou traitées en dehors de la simulation en cours.

BP a invité Klasky et Podhorszki dans ses bureaux de Houston pour donner à l'équipe de calcul haute performance de l'entreprise un didacticiel d'ADIOS et leur montrer comment cela pourrait les aider à accélérer leur science en les aidant à s'attaquer à leurs vastes, ensembles de données sismiques uniques.

"L'atelier était génial, " a déclaré Bosen Du, analyste technologique chez BP HPC. " C'était une excellente introduction à ADIOS, et nous avons certainement vu de nombreuses opportunités possibles de l'appliquer à nos défis spécifiques. Encore mieux, Scott et Norbert ont posé des questions spécifiques pour personnaliser le didacticiel à BP."

Klasky partageait l'enthousiasme de Du. "Ce fut l'un des tutoriels les plus agréables que nous ayons donnés en raison du niveau d'intérêt de tout le monde dans la salle, " il a dit, ajoutant que l'intérêt de BP a conduit à ce qui est probablement le plus long tutoriel que l'équipe ait jamais donné.

Un partenariat naturel

Le voyage de Klasky et Podhorszki était le résultat d'une relation croissante entre l'ORNL et BP.

Directeur HPC de BP, Keith Gray, connaissait déjà l'Oak Ridge Leadership Computing Facility de l'ORNL, le DOE Office of Science User Facility qui abrite Summit, à travers les témoignages positifs de collègues ayant participé à son Programme de Partenariat Industriel ACCEL (Accelerating Competitiveness through Computational ExceLlence.

Gray a même visité ORNL il y a deux ans pour donner une conférence sur la façon dont les besoins du centre de données de BP sont plus petits mais similaires à ceux d'un centre comme l'OLCF et sur l'importance d'un centre de données fiable pour soutenir l'engagement de BP à être à la pointe du calcul intensif. La technologie.

Cette relation, avec les capacités uniques d'ADIOS, fait le choix facile. "Nous avons commencé à faire des recherches et ADIOS était toujours en tête de liste, " dit Gray, ajoutant :« En collaborant, L'expertise de classe mondiale de BP dans l'application du HPC pour résoudre des problèmes scientifiques complexes pourrait aider l'équipe ADIOS à comprendre différents flux de travail tout en nous aidant à gérer nos données. »

La gestion de ces données est essentielle d'un point de vue commercial. Dans un projet récent, l'équipe de BP a été confrontée à un ensemble de données de 500 téraoctets. Et c'est avant le traitement sismique, après quoi l'ensemble de données peut être multiplié par dix.

"Avoir quelque chose qui peut évoluer, faire des E/S massivement parallèles, et le support de la compression serait un avantage majeur pour nous aider à surmonter nos problèmes de données actuels, " dit Bachkardin. MGARD, une technique développée conjointement par l'ORNL et la Brown University utilisée pour la compression avec perte de données scientifiques et qui garantit mathématiquement les bornes d'erreur, semblait particulièrement bien adapté aux problèmes de compression de BP, dit Klasky.

Il a ajouté que les récents changements dans ADIOS, rendu possible par le projet Exascale Computing, ont aidé le code de sismologie SPECFEM3D-Globe utilisé par Jeroen Tromp de Princeton à atteindre une vitesse de plus de 2 téraoctets par seconde tout en écrivant des données dans le système de fichiers parallèle général de Summit. Une telle vitesse pourrait conduire à une collaboration plus poussée avec l'équipe de Tromp, qui utilise ADIOS comme backend d'E/S, et aider à renforcer la capacité de traitement des données pour une grande partie de la communauté sismologique.

Surmonter les problèmes tels que les goulots d'étranglement d'E/S signifie une réduction du temps d'exécution de l'analyse des données, qui permettrait à l'entreprise d'explorer différentes idées, identifier et résoudre les goulots d'étranglement, et mieux comprendre le sous-sol. Pris ensemble, ces capacités peuvent créer d'énormes percées pour le programme de recherche de BP.

Mais une implémentation réussie d'ADIOS dans le code I/O actuel de BP, surnommé le système de dictionnaire de données, serait également bénéfique à court terme. Par exemple, cela donnerait à leur équipe un aperçu précieux pour savoir si elles poursuivent les bonnes technologies et stratégies pour réussir.

« Cela peut nous aider à envisager de créer des systèmes de fichiers supplémentaires pour fournir plus de bande passante que nos clusters actuels, " dit Gray, ajoutant que "vous n'avez pas besoin de nouveaux systèmes de fichiers si vos E/S sont au maximum, et nous n'avons actuellement pas toutes les métriques d'E/S nécessaires. » Les chercheurs de l'équipe ORNL ont accepté de fournir un certain soutien pour aider BP à évaluer sa stratégie de données.

Bashkardin a ajouté :« Nous avons du mal à extraire la bande passante d'E/S de notre système de fichiers Lustre en raison d'un certain nombre de facteurs. Il y a beaucoup à gagner en ces termes. Même doubler les performances avec un seul ensemble de données serait une énorme amélioration. »

En théorie, ADIOS pourrait accélérer certains travaux de quelques jours à quelques heures, modifiant fondamentalement les flux de travail des chercheurs sismiques de BP. Et, selon Qingquing Liao, spécialiste en calcul BP HPC, la capacité de visualisation intégrée du middleware est un excellent outil qui identifie les zones problématiques des codes et des modèles des chercheurs pour les aider à mieux comprendre comment modifier leurs algorithmes. Klasky attribue cette capacité à ses collègues Lipeng Wan et William Godoy, qui permet aux utilisateurs de passer instantanément du couplage de code basé sur des fichiers (par exemple, couplage asynchrone d'un code à la visualisation) au couplage en mémoire sans modifier leur code.

Mais avant qu'ADIOS puisse être implémenté, l'équipe BP devra spécifier les fonctionnalités viables qu'elle souhaite voir sur son backend d'E/S et créer une nouvelle couche API avec un ensemble spécifique d'objectifs API.

« Pouvoir tirer parti de l'ADIOS de l'ORNL et travailler ensemble pour l'améliorer étendra l'expertise de BP dans l'utilisation des mégadonnées pour résoudre des problèmes énergétiques critiques, " dit Gray.