Les services logiciels à grande échelle mènent la bataille de l'efficacité sur deux fronts :des logiciels efficaces et flexibles pour s'adapter aux demandes changeantes des consommateurs, et un matériel efficace qui permet à ces services massifs de fonctionner rapidement, même face aux rendements décroissants des processeurs. Ensemble, ces facteurs déterminent à la fois la qualité de l'expérience utilisateur et les performances, Coût, et l'efficacité énergétique des centres de données modernes.

Un changement sur un front nécessite des ajustements sur l'autre, et une nouvelle architecture logicielle de plus en plus populaire a posé un défi aux solutions matérielles actuelles dans la plupart des centres de données. Appelés microservices, cette approche modulaire de la conception de logiciels de grande entreprise a laissé à désirer dans ses interactions avec une autre force montante majeure de l'efficacité des centres de données, accélérateurs matériels.

Pour rapprocher plus efficacement ces deux technologies prometteuses, CSE Ph.D. l'étudiant Akshitha Sriraman, travailler avec des chercheurs de Facebook, a conçu un moyen de mesurer exactement à quel point un accélérateur matériel accélérerait un centre de données. Bien nommé Accéléromètre, le modèle analytique peut être appliqué dès les premières étapes de la conception d'un accélérateur pour prédire son efficacité avant même d'être installé.

Encore une technologie un peu nouvelle dans l'utilisation générale de l'informatique, l'efficacité des accélérateurs matériels n'est pas aussi facile à prévoir que celle des CPU, qui ont des décennies d'expérience derrière eux. Investir dans ce type de matériel personnalisé diversifié présente un risque à grande échelle, car il pourrait ne pas être à la hauteur de ses attentes.

Mais le potentiel d'un grand impact est là. Conçu pour exécuter un type de fonction extrêmement rapidement, les accélérateurs pourraient théoriquement être sollicités pour tous les redondants, tâches répétitives utilisées en commun par des applications plus importantes.

Cela inclut les microservices. Cette approche d'architecture logicielle conçoit une application plus large comme un ensemble de modules, des services spécifiques à des tâches qui peuvent chacun être améliorés de manière isolée. Cela permet d'apporter des modifications à la plus grande application sans avoir besoin d'en changer une énorme, base de code centrale. Il permet également d'ajouter plus de services plus facilement.

Sriraman a démontré qu'à peine 18% des cycles CPU de la plupart des microservices sont consacrés à l'exécution d'instructions qui sont au cœur de leurs fonctionnalités. Les 82 % restants sont consacrés à des opérations communes prêtes à s'accélérer.

« L'accélération de ces frais généraux que nous avons identifiés peut en effet améliorer considérablement l'accélération, " dit Sriraman. Au-delà de la vitesse, cela rendrait toutes les fonctions du centre de données moins chères et plus économes en énergie. "L'accélération nous permettra d'emballer plus de travail pour les mêmes contraintes de puissance et d'améliorer l'utilisation des ressources à grande échelle, les économies d'énergie et de coûts des centres de données s'amélioreront donc considérablement."

Le problème avec les microservices est que leurs conceptions peuvent s'avérer assez différentes, en particulier en ce qui concerne la façon dont ils interagissent avec le matériel. Par exemple, un microservice peut communiquer avec un accélérateur tout en continuant à exécuter d'autres instructions sur un CPU, ou il pourrait arrêter toutes ses fonctions pendant qu'il se décharge sur l'accélérateur. Ces deux cas font face à des "overloads de déchargement" différents (le temps passé à envoyer une tâche d'un processeur à un autre), ce qui devient du temps perdu pour le datacenter s'il n'est pas pris en compte.

"Chacun de ces choix de conception logicielle peut entraîner des frais généraux différents qui affectent l'accélération globale de l'accélération, " dit Sriraman. Ce rétroprojecteur n'a pas été pris en compte dans les travaux antérieurs, elle continue, tout comme l'impact des différentes conceptions de microservices sur les performances.

En outre, les accélérateurs eux-mêmes doivent être utilisés judicieusement pour avoir un effet positif net.

"Lancer un accélérateur à chaque problème est ridicule car cela prend beaucoup de temps, Coût, et d'efforts pour construire, test, et déployer chacun, " conclut-elle. " Il y a un réel besoin de comprendre précisément quoi et comment accélérer. "

L'accéléromètre est un modèle analytique qui mesure exactement dans quelle mesure les performances seraient améliorées en installant un processeur donné, le cas échéant, avec toutes ces nuances prises en compte. Cela signifie qu'il mesure l'effet positif de l'accélération ainsi que l'effet négatif du temps passé à mélanger les instructions entre les composants informatiques. Et ses capacités ne se limitent pas aux nouveaux accélérateurs :le modèle peut être appliqué à tout type de matériel, allant d'une simple optimisation CPU à un ASIC distant extrêmement spécialisé.

L'outil a été validé dans l'environnement de production de Facebook à l'aide de trois études de cas rétrospectives, démontrant que ses estimations d'accélération réelles ont moins de 3,7% d'erreur.

Le modèle est suffisamment précis pour être déjà utilisé par Facebook, avec l'intérêt précoce d'autres entreprises.

"Nous avons appris que plusieurs des grands acteurs du cloud ont commencé à utiliser l'accéléromètre pour éliminer rapidement les mauvais choix d'accélérateur et identifier les bons, de réaliser des investissements hardware en connaissance de cause, " dit Sriraman. Facebook utilise le modèle pour explorer de nouveaux accélérateurs, l'incorporer comme première étape pour trier rapidement les bons et les mauvais choix de matériel.

Ce projet, intitulé "Accéléromètre : comprendre les opportunités d'accélération pour les frais généraux du centre de données à l'hyperéchelle, " a été acceptée par la conférence 2020 Architectural Support for Programming Languages ​​and Operating Systems (ASPLOS) et présentée virtuellement.