Grande échelle, calcul avancé haute performance, souvent appelé supercalcul, est essentiel pour résoudre des questions aussi bien complexes que vastes.

Tout, de la réponse à des questions métaphysiques sur les origines de l'univers à la découverte de médicaments anticancéreux en passant par la prise en charge des services de streaming à haut débit, nécessite le traitement d'énormes quantités de données.

Mais les plates-formes de stockage essentielles pour ces systèmes informatiques avancés ont été bloquées dans un cadre rigide qui obligeait les utilisateurs à choisir entre la personnalisation des fonctionnalités ou la haute disponibilité.

Maintenant, Les chercheurs de Virginia Tech ont trouvé un moyen de donner aux systèmes de données de calcul haute performance (HPC) la flexibilité nécessaire pour prospérer avec un cadre unique en son genre appelé BespoKV, peut-être aider à atteindre un jour l'objectif HPC de performer à l'exascale, soit 1 milliard de milliards de calculs par seconde.

Les chercheurs présenteront leurs résultats à l'Association of Computing Machinery/IEEE Supercomputing Conference à Dallas, Texas, le 13 novembre.

Les systèmes à valeur clé (KV) constituent le principal ingrédient du fonctionnement de la nouvelle plate-forme. Les systèmes KV stockent et récupèrent les données importantes à partir d'un stockage en mémoire très rapide au lieu de disques plus lents. Ces systèmes sont de plus en plus utilisés dans les applications hautes performances d'aujourd'hui qui utilisent des systèmes distribués, qui sont constitués de nombreux ordinateurs pour résoudre un problème. Le calcul haute performance repose sur l'apport d'ordinateurs, traiter, et analysez d'énormes quantités de données à des vitesses sans précédent. Actuellement, les meilleurs systèmes fonctionnent à un milliard de calculs par seconde, ou un pétaflop.

La recherche est pertinente pour les industries qui traitent de grandes quantités de données, que ce soit l'accaparement de l'espace, graphismes visuels intenses des sites de streaming de films ; des millions de transactions financières dans les grandes sociétés de cartes de crédit ; ou du contenu généré par les utilisateurs sur les réseaux sociaux. Pensez aux grands sites médiatiques comme Facebook où le contenu est en constante évolution et accessible en permanence. Lorsque les utilisateurs téléchargent du contenu sur leurs pages de profil, ces informations résident sur plusieurs serveurs.

Mais si vous devez continuellement accéder à certains contenus, Les systèmes KV peuvent être beaucoup plus efficaces en tant que support de stockage car le contenu se charge à partir du magasin en mémoire plus rapide à proximité, pas le serveur de stockage éloigné. Cela permet au système de fournir des performances très élevées dans l'exécution des tâches ou des demandes.

« Je me suis intéressé aux systèmes à valeur clé car cette plate-forme de stockage très fondamentale et simple n'a pas été exploitée dans des systèmes de calcul haute performance où elle peut offrir de nombreux avantages, " dit Ali Anwar, premier auteur de l'article présenté et un récent diplômé de Virginia Tech qui est actuellement employé chez IBM Research. « BespoKV est un nouveau framework qui peut permettre aux systèmes HPC de fournir beaucoup de flexibilité et de performances et de ne pas être enchaînés à une conception de stockage rigide. »

La principale innovation de BespoKV est qu'il prend en charge la composition d'une gamme de magasins KV avec des caractéristiques souhaitables. Il fonctionne en prenant un magasin KV à serveur unique appelé datalet et permet des magasins KV distribués immédiats et prêts à l'emploi. Maintenant, au lieu de reconcevoir un système à partir de zéro pour accomplir une tâche spécifique, un développeur peut déposer un datalet dans BespoKV et décharger la « plomberie désordonnée » des systèmes distribués vers le framework. BespoKV découple la conception du magasin KV dans le plan de contrôle pour la gestion distribuée et le plan de données pour le stockage local des données.

Le cadre permet également de nouveaux services HPC pour les charges de travail que les entreprises et les institutions doivent encore anticiper.

L'un des principaux effets limitatifs des magasins KV à la pointe de la technologie actuels est qu'ils sont conçus en tenant compte des services distribués préexistants et sont souvent spécialisés pour un environnement spécifique. Un autre facteur limitant est la conception monolithique inflexible où les fonctionnalités distribuées sont profondément ancrées dans un système avec des magasins de données backend qui font des choses comme gérer l'inventaire, ordres, et l'approvisionnement. La conception rigide de ces magasins KV ne s'adapte pas aux demandes en constante évolution des utilisateurs pour une myriade de backend, topologie, cohérence, et une foule d'autres services.

« Les développeurs de grandes entreprises peuvent vraiment se mettre à croquer dans la conception de systèmes de stockage HPC innovants avec BespoKV, " a déclaré Ali Butt, professeur d'informatique. « Les performances d'accès aux données sont une limitation majeure des systèmes de stockage HPC et utilisent généralement un mélange de solutions pour offrir flexibilité et performances, ce qui est encombrant. Nous avons créé un moyen d'accélérer considérablement le comportement du système pour se conformer aux performances souhaitées, cohérence, et les niveaux de fiabilité."

BespoKV peut être agile car il permet un mappage arbitraire entre les services souhaités et les composants disponibles tout en prenant en charge les services de gestion distribués pour réaliser et activer les magasins KV distribués associés au datalet.

"Maintenant que nous avons prouvé que nous pouvons faire l'action efficace et simple d'utiliser des systèmes KV dans des systèmes HPC puissants, les clients n'auront pas à choisir entre évolutivité et flexibilité, " dit Butt.