Les scientifiques ont traité 400 gigaoctets de données par seconde alors qu'ils testaient des pipelines de données pour le télescope Square Kilometer Array (SKA).

Des chercheurs de l'ICRAR à Perth, Le laboratoire national d'Oak Ridge aux États-Unis et l'observatoire astronomique de Shanghai en Chine ont utilisé le superordinateur le plus puissant du monde, le Summit, pour traiter des observations simulées de l'Univers primordial avant la construction du radiotélescope en Australie-Occidentale et en Afrique du Sud.

Le débit de données atteint était l'équivalent de plus de 1600 heures de vidéos YouTube en définition standard chaque seconde.

Professeur Andreas Wicenec, le directeur de Data Intensive Astronomy au Centre international de recherche en radioastronomie (ICRAR), a déclaré que c'était la première fois que des données de radioastronomie étaient traitées à cette échelle.

"Jusqu'à maintenant, nous ne savions pas si nous pouvions prendre un algorithme conçu pour traiter les données provenant des radiotélescopes d'aujourd'hui et l'appliquer à quelque chose de mille fois plus grand, " il a dit.

« La réussite de ce test nous indique que nous serons en mesure de faire face au déluge de données du SKA lorsqu'il sera en ligne au cours de la prochaine décennie.

"Mais, le fait que nous ayons besoin du plus gros supercalculateur au monde pour exécuter ce test avec succès montre que les besoins du SKA existent à la limite de ce que les supercalculateurs d'aujourd'hui sont capables de fournir. »

Le SKA d'un milliard de dollars est l'un des plus grands projets scientifiques au monde, avec la partie basse fréquence du télescope réglé à plus de 130, 000 antennes dans la phase initiale du projet, générant environ 550 gigaoctets de données par seconde.

Summit est situé dans le laboratoire national d'Oak Ridge du département américain de l'Énergie, dans le Tennessee.

C'est le supercalculateur scientifique le plus puissant au monde, avec une performance de pointe de 200, 000 billions de calculs par seconde.

Dr Ruonan Wang, ingénieur logiciel et chercheur du Laboratoire national d'Oak Ridge, un ancien Ph.D. de l'ICRAR. étudiant, a déclaré que l'énorme volume de données utilisé pour le test SKA signifiait que les données devaient être générées sur la machine elle-même.

"Nous avons utilisé un simulateur logiciel sophistiqué écrit par des scientifiques de l'Université d'Oxford, et lui a donné un modèle cosmologique et la configuration du réseau du télescope afin qu'il puisse générer des données telles qu'elles viendraient du télescope observant le ciel, " il a dit.

"Habituellement, ce simulateur fonctionne sur un seul ordinateur, ne générant qu'une petite fraction de ce que le SKA produirait.

"Nous avons donc utilisé un autre logiciel écrit par l'ICRAR, appelé Data Activated Flow Graph Engine (DALiuGE), de distribuer un de ces simulateurs à chacun des 27, 648 unités de traitement graphique qui composent Summit.

"Nous avons également utilisé le système Adaptable IO (ADIOS), développé au laboratoire national d'Oak Ridge, pour résoudre un goulot d'étranglement causé par la tentative de traiter autant de données en même temps."

Le test a utilisé une simulation cosmologique de l'univers primitif à une époque connue sous le nom d'époque de la réionisation, lorsque les premières étoiles et galaxies se sont formées et sont devenues visibles.

Le professeur Tao An de l'Observatoire astronomique de Shanghai a déclaré que les données avaient d'abord été ramenées à une taille 36 fois plus petite.

"Les données moyennées ont ensuite été utilisées pour produire un cube d'image d'un type pouvant être analysé par les astronomes, " il a dit.

"Finalement, le cube d'image a été envoyé à Perth, simulant le flux de données complet du télescope aux utilisateurs finaux. »

La construction du SKA devrait commencer en 2021.