Les scientifiques qui cherchent à réduire la complexité de leurs recherches et à ajouter un nouvel outil informatique à leur ceinture d'outils peuvent explorer le projet Tapis. La plateforme logicielle Tapis vise à aider les chercheurs à exploiter plus facilement de puissants supercalculateurs et à intégrer et gérer des données provenant de sources différentes et distantes.

La National Science Foundation (NSF) a accordé une subvention de 2,9 millions de dollars au Texas Advanced Computing Center (TACC) et à l'Université du Texas à Austin (UT Austin), en plus d'un prix d'un million de dollars à l'Université d'Hawaï (UH). Les prix NSF ont commencé en septembre 2019 et soutiennent le développement continu de Tapis, abréviation de TACC-API et joue du mot tapisserie — tissant ensemble des services et des capacités. Une interface de programmation d'application (API) est une interface vers un système logiciel qui a été construit ou conçu pour un autre programme à utiliser.

"Tapis est une plate-forme informatique de recherche pour la science informatique et la recherche informatique, " a déclaré le chercheur principal (PI) Joe Stubbs, qui gère le Cloud and Interactive Computing Group chez TACC. « Tapis est un système logiciel qui aide les chercheurs à utiliser les superordinateurs et d'autres types de ressources informatiques que nous avons ici au TACC et à d'autres endroits.

« La façon la plus simple de décrire Tapis est qu'il s'agit d'une application Web qui fournit tous les outils dont un scientifique moderne a besoin pour effectuer des travaux intensifs en données, recherche à forte intensité de calcul, " a déclaré la co-PI Gwen A. Jacobs, Directeur de la Cyberinfrastructure, Système de l'Université d'Hawaï. « L'une des particularités de Tapis, c'est qu'il tisse tous les outils importants dont le chercheur a besoin. C'est le vrai pouvoir de Tapis.

Tapis servira un groupe diversifié d'utilisateurs possédant une expertise variée dans l'utilisation d'outils informatiques pour leurs recherches. À une extrémité du spectre se trouveront les « utilisateurs avancés » ayant une vaste expérience des ressources informatiques et de la programmation avancées. Tapis les aidera à automatiser et à rationaliser leurs grands flux de travail ou pipelines d'applications logicielles.

À l'opposé du spectre, les scientifiques commencent tout juste à exploiter les possibilités d'appliquer l'informatique de pointe à leurs recherches. "Ce que nous essayons de faire pour eux avec Tapis, " dit Stubbs, « c'est d'avoir la voie la plus simple pour exécuter des programmes de calcul sur les superordinateurs. »

Et puis il y a le groupe au milieu, généralement de grands projets de développement de logiciels axés sur des domaines de recherche spécifiques, comme l'immunologie, astronomie, ou bioinformatique.

"L'objectif avec Tapis est de permettre aux chercheurs d'accéder à ces ressources de calcul de manière plus conviviale, " a déclaré Stubbs.

Les ressources informatiques financées par la NSF sont largement décrites comme la cyberinfrastructure, l'écosystème en ligne partagé par les chercheurs, soutenu par des ressources de calcul avancées, hébergés dans des centres de données, et soutenu par des experts. « Les équipes de développeurs Web et les autres développeurs de ces projets de cyberinfrastructure peuvent tirer parti de Tapis pour construire plus rapidement leur projet de cyberinfrastructure. »

A ces fins, un exemple est la prise en charge du cadre de l'API TAPIS pour la diffusion en continu des données des capteurs, où dans un flux de travail complexe, un événement, comme une détection sur un réseau de capteurs, peut déclencher un autre événement, etc, ou même plusieurs routines d'analyse.

"L'informatique événementielle, " expliqua Jacobs, "signifie que le flux de travail ne s'exécute pas tout le temps. C'est une fonctionnalité intéressante pour les scientifiques qui doivent acquérir leurs données de manière sporadique, où ils obtiennent des données de sources telles que des capteurs et des téléchargements de données. Cela signifie qu'ils n'ont pas à exécuter tout le code manuellement. Une fois le workflow configuré, il peut s'agir de l'informatique mains libres, dans un sens, analyse mains libres."

Tapis intégrera le projet Cloud-Hosted Real-time Data Services for the Geosciences (CHORDS), fait partie du EarthCube financé par la NSF, pour réaliser l'informatique événementielle.

Les API appliquées à la science permettent à différents systèmes de communiquer entre eux, dans un sens. "L'idée avec Tapis, " dit Stubbs, "est d'avoir une interface lisible par machine et consommable avec les ressources de calcul, comme les supercalculateurs, mais aussi des systèmes de stockage haute performance, comme notre système de stockage Corral, ou notre système de fichiers global, Parc, et d'autres systèmes de fichiers à travers le pays. Nous voulons avoir une interface facilement accessible et manipulable dans d'autres programmes."

Une autre fonctionnalité que Tapis offrira est un nouveau noyau de sécurité, qui agit comme une porte qui contrôle l'accès aux ressources du système. Le noyau de sécurité Tapis sera décentralisé, permettant aux scientifiques de mettre en place plus facilement leurs propres applications et de conserver un contrôle local sur les données confidentielles.

"Le nouveau noyau de sécurité nous permet d'offrir toute la sécurité managée, authentification, et les autorisations qui ont été faites dans le passé, " a déclaré le co-PI Sean Cleveland, chercheur en cyberinfrastructure à l'Université d'Hawaï. « Mais il permettra également aux centres de données et aux institutions de déployer leur propre noyau de sécurité, afin qu'ils puissent utiliser leurs propres identifiants d'utilisateur et gérer leur propre sécurité à leur manière, ainsi que de déployer des composants individuels du cadre dans leur établissement, et être en mesure de tirer parti d'une partie du travail centralisé. C'est un nouveau, système hybride d'utilisation de la science en tant que service, plate-forme en tant que service, mais si vous voulez plus de contrôle et de personnalisation, vous pouvez déployer des pièces plus petites sur site tout en étant en mesure de tirer parti de certaines des plus grandes, composants gérés pour différents besoins."

Tapis donnera aux utilisateurs la possibilité de simplifier le processus de création d'applications, un outil puissant pour les scientifiques. « Si vous pouvez programmer un flux de travail et l'exécuter sur une plate-forme comme Tapis, cela facilite le processus car tous les composants peuvent communiquer plus facilement entre eux, " a déclaré Jacobs. " Cela signifie que l'enquêteur doit construire ce flux de travail une fois. Ensuite, ils enregistrent ce flux de travail en tant qu'application au sein de l'infrastructure Tapis et le réutilisent."

L'enregistrement de tous les paramètres de l'environnement logiciel permettra également aux scientifiques de revenir en arrière et de relancer l'analyse des données à une date ultérieure, qui favorise la reproductibilité scientifique.

"C'est vraiment une collaboration complète entre TACC et l'Université d'Hawaï, " expliqua Stubbs.

TACC apporte une vaste expertise dans le calcul haute performance et dans la construction de systèmes logiciels distribués. Les composants de Tapis eux-mêmes peuvent fonctionner sur des produits de base, ou des serveurs sur étagère, bien que certains composants de TACC fonctionneront sur le cloud Jetstream financé par la NSF.

Les membres de l'équipe d'UH contribuent au développement, conception, et l'architecture du système Tapis. Quoi de plus, ils donnent accès à une abondance de domaines de recherche importants uniques à Hawaï dans des domaines tels que le climat, océan, récifs coralliens, microbiote humain, et des études de population sur les disparités en matière de santé.

« Avoir le projet Tapis pour nous ici à Hawaï est un énorme élan de sensibilisation pour l'application de la cyberinfrastructure avancée à la science à forte intensité de données, " a déclaré Jacobs. " Sans un projet comme celui-ci, bon nombre de nos enquêteurs ne sont peut-être pas au courant de ces ressources. »

L'un des jalons majeurs sur lesquels travaillent les chercheurs est un atelier de fin d'année pour les premiers utilisateurs à l'été 2020. "L'idée est d'avoir l'atelier où nous invitons les chercheurs à venir, apporter leurs jeux de données, faire des présentations sur leur science et cas d'utilisation, mais aussi pour l'équipe Tapis de présenter les capacités du système d'ici la fin de la première année, " a déclaré Stubbs.

« Nous sommes vraiment ravis de lancer le nouveau projet Tapis financé par la NSF, " a déclaré le co-PI Maytal Dahan, Directeur des interfaces informatiques avancées chez TACC. « Tapis transformera la productivité des scientifiques en facilitant la découverte, l'accès et l'utilisation de puissantes capacités et services de cyberinfrastructure. Nous voulons réduire la complexité pour accomplir la science et améliorer le temps de recherche en offrant une variété de services API sécurisés et robustes qui peuvent prendre en charge nos utilisateurs dans un environnement de qualité de production.

L'équipe TACC travaillera sur divers aspects du projet :développement d'un noyau de sécurité, API et intégration de données en streaming, l'assurance qualité et les tests d'intégration continue, sensibilisation, la formation et le développement de la main-d'œuvre. Je suis vraiment fier de l'équipe, à la fois au TACC et à l'UH, et nous sommes tous enthousiastes à l'idée de travailler avec la communauté scientifique dès le début via notre programme d'adoption précoce pour créer des services qui ont un impact positif sur la communauté scientifique."

Le projet Tapis est financé dans le cadre de la Cyberinfrastructure pour l'innovation durable (CSSI), un programme transversal NSF dirigé par l'Office of Advanced Cyberinfrastructure (OAC). « Le CSSI soutient le développement d'une cyberinfrastructure innovante qui permet aux communautés de chercheurs de poursuivre et d'accélérer les avancées dans tous les domaines de la science fondamentale et de l'ingénierie soutenus par la NSF, " a déclaré le Dr Stefan Robila, le directeur de programme au CAO qui gère le prix. « En s'appuyant sur des travaux antérieurs et en tirant parti des ressources informatiques de leadership existantes telles que celles disponibles au TACC, Tapis contribue au renforcement continu de la cyberinfrastructure nationale, tout en abaissant les barrières pour y accéder."