De gauche à droite :Arnab K. Paul, deuxième auteur et Ph.D. candidat au Département d'informatique; Ali Butt, professeur d'informatique; et premier auteur Bharti Wadhwa, doctorat candidat au département d'informatique. Crédit :Virginia Tech
L'adage de l'ère moderne « travaillez plus intelligemment, pas plus dur" souligne l'importance de travailler non seulement pour produire, mais aussi en utilisant efficacement les ressources.
Et ce n'est pas quelque chose que les supercalculateurs font actuellement bien tout le temps, surtout lorsqu'il s'agit de gérer d'énormes quantités de données.
Mais une équipe de chercheurs du département d'informatique du Collège d'ingénierie de Virginia Tech aide les superordinateurs à travailler plus efficacement d'une manière inédite, utiliser le machine learning pour bien distribuer, ou équilibre de charge, tâches de traitement de données sur les milliers de serveurs qui composent un superordinateur.
En incorporant l'apprentissage automatique pour prédire non seulement les tâches mais les types de tâches, les chercheurs ont découvert que la charge sur divers serveurs peut être maintenue équilibrée dans l'ensemble du système. L'équipe présentera ses recherches à Rio de Janeiro, Brésil, au 33e Symposium international sur le traitement parallèle et distribué le 22 mai, 2019.
Les systèmes de gestion de données actuels dans le calcul intensif reposent sur des approches qui attribuent des tâches de manière circulaire aux serveurs sans tenir compte du type de tâche ou de la quantité de données qu'il chargera pour le serveur. Lorsque la charge sur les serveurs n'est pas équilibrée, les systèmes s'enlisent par des retardataires, et les performances sont fortement dégradées.
« Les systèmes de calcul intensif sont annonciateurs de la compétitivité américaine dans le calcul haute performance, " a déclaré Ali R. Butt, professeur d'informatique. « Ils sont essentiels non seulement pour réaliser des percées scientifiques, mais aussi pour maintenir l'efficacité des systèmes qui nous permettent de mener les affaires de notre vie quotidienne, de l'utilisation de services de streaming pour regarder des films au traitement des transactions financières en ligne, en passant par les systèmes de prévision météorologique à l'aide de la modélisation météorologique. »
Afin de mettre en œuvre un système pour utiliser l'apprentissage automatique, l'équipe a construit un nouveau plan de contrôle de bout en bout qui combinait les forces centrées sur l'application des approches côté client avec les forces centrées sur le système des approches côté serveur.
"Cette étude a été un pas de géant dans la gestion des systèmes de supercalcul. Ce que nous avons fait a donné un coup de pouce aux performances du supercalcul et a prouvé que ces systèmes peuvent être gérés intelligemment de manière rentable grâce à l'apprentissage automatique, " dit Bharti Wadhwa, premier auteur sur le papier et un doctorat. candidat au département d'informatique. "Nous avons donné aux utilisateurs la possibilité de concevoir des systèmes sans encourir beaucoup de coûts."
La nouvelle technique a donné à l'équipe la possibilité d'avoir des « yeux » pour surveiller le système et a permis au système de stockage de données d'apprendre et de prédire quand des charges plus importantes pourraient descendre ou quand la charge devenait trop importante pour un serveur. Le système a également fourni des informations en temps réel d'une manière indépendante de l'application, créant une vue globale de ce qui se passait dans le système. Auparavant, les serveurs ne pouvaient pas apprendre et les applications logicielles n'étaient pas assez agiles pour être personnalisées sans une refonte majeure.
"L'algorithme a prédit les futures demandes d'applications via un modèle de séries temporelles, " a déclaré Arnab K. Paul, deuxième auteur et Ph.D. candidat également au département d'informatique. "Cette capacité à apprendre des données nous a donné une opportunité unique de voir comment nous pourrions placer de futures demandes de manière équilibrée."
Le système de bout en bout a également permis aux utilisateurs de bénéficier d'une capacité sans précédent de la configuration à charge équilibrée sans modifier le code source. Dans les systèmes de superordinateurs traditionnels actuels, il s'agit d'une procédure coûteuse car elle nécessite la modification de la base du code d'application.
"Ce fut un privilège de contribuer au domaine du calcul intensif avec cette équipe, " a déclaré Sarah Neuwirth, chercheur postdoctoral de l'Institut d'ingénierie informatique de l'Université de Heidelberg. "Pour que le calcul intensif évolue et réponde aux défis d'une société du 21ème siècle, nous devrons diriger des efforts internationaux comme celui-ci. Mon propre travail avec des systèmes de calcul intensif couramment utilisés a grandement bénéficié de ce projet. »
Le plan de contrôle de bout en bout consistait en des serveurs de stockage publiant leurs informations d'utilisation sur le serveur de métadonnées. Un modèle de série chronologique de moyenne mobile intégré autorégressif a été utilisé pour prédire les demandes futures avec une précision d'environ 99 % et a été envoyé au serveur de métadonnées afin de les mapper aux serveurs de stockage à l'aide d'un algorithme de graphique à débit maximal à coût minimum.