Un nouveau système de fichiers distribué pour le calcul haute performance disponible aujourd'hui via le site de collaboration logicielle GitHub offre des performances sans précédent pour la création, la mise à jour et la gestion d'un nombre extrême de fichiers.

"Nous avons conçu DeltaFS pour permettre la création de milliers de milliards de fichiers, " a déclaré Brad Settlemyer, un informaticien et chef de projet de Los Alamos. Le Laboratoire national de Los Alamos et l'Université Carnegie Mellon ont développé conjointement DeltaFS. "Un tel outil aide les chercheurs à résoudre les problèmes classiques du calcul haute performance, comme le suivi de trajectoire de particules ou la détection de vortex."

DeltaFS construit un système de fichiers qui apparaît à l'utilisateur comme n'importe quel autre système de fichiers, ne nécessite pas de matériel spécialisé, et est exactement adapté pour aider le scientifique dans de nouvelles découvertes lors de l'utilisation d'une plate-forme de calcul haute performance.

« L'un des principaux défis, et les objectifs principaux de DeltaFS, évoluait sur des milliers de serveurs sans qu'une partie d'entre eux soit dédiée au système de fichiers, " dit Georges Amvrosiadis, professeur adjoint de recherche à l'Université Carnegie Mellon et co-auteur du projet. "Cela libère les administrateurs d'avoir à décider comment allouer les ressources pour le système de fichiers, qui deviendra une nécessité lorsque les machines exascale deviendront une réalité."

Le système de fichiers apporte deux changements importants dans le calcul haute performance. D'abord, DeltaFS permet de nouvelles stratégies pour concevoir les supercalculateurs eux-mêmes, changer radicalement le coût de création et de gestion des fichiers. En outre, DeltaFS améliore radicalement les performances des requêtes très sélectives, réduire considérablement le délai de découverte scientifique.

DeltaFS est un transitoire, service défini par logiciel qui permet d'accéder aux données à partir d'une poignée jusqu'à des centaines de milliers d'ordinateurs en fonction des exigences de performance de l'utilisateur.

"Les techniques de stockage utilisées dans DeltaFS sont applicables dans de nombreux domaines scientifiques, mais nous pensons qu'en réduisant le goulot d'étranglement des métadonnées, nous avons vraiment montré un moyen de concevoir et d'acquérir des systèmes de stockage HPC beaucoup plus efficaces, ", a déclaré Settlemyer.