Des scientifiques de l'Université de Manchester travaillant sur un projet de télescope révolutionnaire ont exploité la puissance de l'informatique distribuée de la collaboration britannique GridPP pour s'attaquer à l'un des plus grands mystères de l'Univers :la nature de la matière noire et de l'énergie noire.

Des chercheurs de l'Université de Manchester ont utilisé les ressources fournies par GridPP – qui représentent la contribution du Royaume-Uni à la grille de calcul utilisée pour trouver le boson de Higgs au CERN – pour exécuter des algorithmes de traitement d'images et d'apprentissage automatique sur des milliers d'images de galaxies de l'International Dark Energy Enquête.

L'équipe de Manchester fait partie du projet collaboratif de construction du Large Synoptic Survey Telescope (LSST), un nouveau type de télescope actuellement en construction au Chili et conçu pour effectuer une étude de 10 ans de l'Univers dynamique. LSST sera capable de cartographier l'ensemble du ciel visible.

En vue du démarrage du LSST dans sa numérisation révolutionnaire, un projet de recherche pilote a aidé les chercheurs à détecter et à cartographier le cisaillement cosmique observé dans le ciel nocturne, l'un des signes révélateurs de la matière noire et de l'énergie noire qui représentent environ 95 % de ce que nous voyons dans l'Univers. Cela aidera à son tour à préparer l'analyse des 200 pétaoctets de données attendus que le LSST collectera lorsqu'il commencera à fonctionner en 2023.

L'équipe de recherche pilote basée à la Manchester of University était dirigée par le Dr Joe Zuntz, cosmologiste à l'origine à l'observatoire Jodrell Bank de Manchester et maintenant chercheur à l'observatoire royal d'Édimbourg.

"Notre objectif global est de s'attaquer au mystère de l'univers sombre - et ce projet pilote a été extrêmement important. Lorsque le LSST sera pleinement opérationnel, les chercheurs seront confrontés à un déluge de données galactiques - et notre travail nous préparera au défi analytique à venir, " dit Sarah Bridle, Professeur d'Astrophysique.

Dr George Beckett, le chef de projet du LSST-UK Science Centre basé à l'Université d'Édimbourg, a ajouté :« Le pilote a été un grand succès. Après avoir terminé le travail, Joe et ses collègues sont capables d'effectuer des analyses de cisaillement sur de vastes ensembles d'images beaucoup plus rapidement qu'auparavant. Merci aux membres de la communauté GridPP pour leur aide et leur soutien tout au long du processus."

Le LSST produira des images de galaxies dans une grande variété de bandes de fréquences du spectre électromagnétique visible, avec chaque image donnant des informations différentes sur la nature et l'histoire de la galaxie. Autrefois, les mesures nécessaires pour déterminer des propriétés telles que le cisaillement cosmique peuvent avoir été effectuées à la main, ou au moins avec un traitement informatique supervisé par l'homme.

Avec les milliards de galaxies que devrait observer le LSST, de telles approches sont irréalisables. Un logiciel spécialisé de traitement d'images et d'apprentissage automatique (Zuntz 2013) a donc été développé pour être utilisé avec des images de galaxies provenant de télescopes comme le LSST et ses prédécesseurs. Cela peut être utilisé pour produire des cartes de cisaillement cosmique. Le défi devient alors celui de traiter et de gérer les données de centaines de milliers de galaxies et d'extraire les résultats scientifiques requis par les chercheurs du LSST et la communauté astrophysique au sens large.

Comme chaque galaxie est essentiellement indépendante des autres galaxies du catalogue, le workflow de traitement d'image lui-même est hautement parallélisable. Cela en fait un problème idéal à résoudre avec le type de ressources et d'infrastructure de calcul à haut débit (HTP) offerts par GridPP. De plusieurs façons, les données des événements de collision de particules du grand collisionneur de hadrons du CERN ressemblent à celles produites par un appareil photo numérique (en effet, des détecteurs basés sur des pixels sont utilisés à proximité des points d'interaction) – et GridPP traite régulièrement des milliards d'événements de ce type dans le cadre de la grille de calcul mondiale du LHC (WLCG).

Un exercice pilote, dirigé par le Dr Joe Zuntz alors qu'il était à l'Université de Manchester et soutenu par l'un des experts GridPP les plus anciens et les plus expérimentés, Administrateur système principal Alessandra Forti, vu le portage du workflow d'analyse d'images vers l'infrastructure informatique distribuée de GridPP. Les données du Dark Energy Survey (DES) ont été utilisées pour le pilote.

Après avoir transféré ces données des États-Unis vers GridPP Storage Elements, et activer l'organisation virtuelle LSST sur un certain nombre de sites GridPP de niveau 2, le progiciel d'analyse IM3SHAPE (Zuntz, 2013) a été testé sur local, des machines clientes compatibles avec le réseau pour assurer un bon fonctionnement sur le réseau. Les travaux d'analyse ont ensuite été soumis et gérés à l'aide de la suite logicielle Ganga, qui est capable de coordonner les milliers d'analyses individuelles associées à chaque lot de galaxies. Les premières exécutions ont été soumises à l'aide de Ganga aux sites de réseau locaux, mais le pilote a progressé vers la soumission à plusieurs sites via le service GridPP DIRAC (Distributed Infrastructure with Remote Agent Control). La flexibilité de Ganga permet les deux types de soumission, ce qui a grandement facilité la transition du fonctionnement local au fonctionnement distribué.

A la fin du pilote, Le Dr Zuntz a pu exécuter le flux de travail de traitement d'images sur plusieurs sites GridPP, soumettre régulièrement des milliers de travaux d'analyse sur des images DES.