Ces dernières années, de grands modèles de langage (LLM) ont également vu le jour, ajoutant l'interaction humaine et l'écriture à la longue liste d'applications. Cela inclut ChatGPT, un LLM qui a eu un impact profond depuis son introduction il y a moins de deux ans. Cette application a suscité un débat considérable (et une controverse) sur les utilisations et implications potentielles de l'IA.

L’astronomie en a également énormément bénéficié, où l’apprentissage automatique est utilisé pour trier d’énormes volumes de données afin de rechercher des signes de transits planétaires, de corriger les interférences atmosphériques et de trouver des modèles dans le bruit. Selon une équipe internationale d'astrophysiciens, ce n'est peut-être que le début de ce que l'IA pourrait faire pour l'astronomie.

Dans une étude récente, l’équipe a affiné un modèle de transformateur génératif pré-entraîné (GPT) à l’aide d’observations d’objets astronomiques. Ce faisant, ils ont réussi à démontrer que les modèles GPT peuvent contribuer efficacement à la recherche scientifique.

L'étude a été menée par le Réseau du Centre international d'astrophysique relativiste (ICRANet), un consortium international composé de chercheurs du Centre international d'astrophysique relativiste (ICRA), de l'Institut national d'astrophysique (INAF), de l'Université des sciences et technologies de Chine, l'Institut de physique des hautes énergies de l'Académie chinoise des sciences (CAS-IHEP), l'Université de Padoue, l'Université de technologie d'Ispahan et l'Université de Ferrera.

Leur article, "Can AI Understand Our Universe? Test of Fine-Tuning GPT by Astrophysical Data", a récemment été publié sur arXiv. serveur de préimpression.

Comme mentionné, les astronomes s’appuient largement sur des algorithmes d’apprentissage automatique pour trier les volumes de données obtenues par les télescopes et instruments modernes. Cette pratique a débuté il y a une dizaine d’années et s’est depuis développée à pas de géant, au point où l’IA a été intégrée dans l’ensemble du processus de recherche. Comme l'a déclaré Yu Wang, président de l'ICRA et auteur principal de l'étude, à Universe Today par courrier électronique :

"L'astronomie a toujours été motivée par les données et les astronomes sont parmi les premiers scientifiques à adopter et à utiliser l'apprentissage automatique. Aujourd'hui, l'apprentissage automatique a été intégré dans l'ensemble du processus de recherche astronomique, depuis la fabrication et le contrôle des systèmes au sol et spatiaux. télescopes (par exemple, optimiser les performances des systèmes d'optique adaptative, améliorer le déclenchement d'actions spécifiques (déclencheurs) des satellites dans certaines conditions, etc.), à l'analyse des données (par exemple, réduction du bruit, imputation de données, classification, simulation, etc.) , ainsi que l'établissement et la validation de modèles théoriques (par exemple, tester la gravité modifiée, contraindre l'équation d'état des étoiles à neutrons, etc.)."

L’analyse des données reste la plus courante parmi ces applications car c’est le domaine le plus simple dans lequel l’apprentissage automatique peut être intégré. Traditionnellement, des dizaines de chercheurs et des centaines de scientifiques citoyens analysaient les volumes de données produites par une campagne d'observation.

Cependant, cela n’est pas pratique à une époque où les télescopes modernes collectent quotidiennement des téraoctets de données. Cela inclut des relevés du ciel entier comme le Very Large Array Sky Survey (VLASS) et les nombreuses phases menées par le Sloan Digital Sky Survey (SDSS).

À ce jour, les LLM n’ont été appliqués que sporadiquement à la recherche astronomique, étant donné qu’ils constituent une création relativement récente. Mais selon des partisans comme Wang, cela a eu un énorme impact sociétal et a un potentiel inférieur équivalent à une « révolution industrielle ».

Quant à la limite supérieure, Wang prédit qu'elle pourrait varier considérablement et pourrait peut-être aboutir à « l'illumination ou la destruction » de l'humanité. Cependant, contrairement à la révolution industrielle, le rythme du changement et de l'intégration est beaucoup plus rapide pour l'IA, ce qui soulève des questions sur jusqu'où ira son adoption.

Pour déterminer son potentiel dans le domaine de l'astronomie, a déclaré Wang, lui et ses collègues ont adopté un modèle GPT pré-entraîné et l'ont affiné pour identifier les phénomènes astronomiques :

"OpenAI fournit des modèles pré-entraînés, et ce que nous avons fait est un réglage fin, ce qui implique de modifier certains paramètres en fonction du modèle d'origine, lui permettant de reconnaître les données astronomiques et de calculer les résultats à partir de ces données. C'est un peu comme si OpenAI nous fournissait un étudiant de premier cycle, que nous avons ensuite formé pour devenir étudiant diplômé en astronomie.

« Nous avons fourni des données limitées avec une résolution modeste et avons entraîné le GPT moins de fois que les modèles normaux. Néanmoins, les résultats sont impressionnants, atteignant une précision d'environ 90 %. Ce haut niveau de précision est attribuable à la base solide du GPT, qui comprend déjà le traitement des données et possède des capacités d'inférence logique, ainsi que des compétences en communication."

Pour affiner leur modèle, l’équipe a introduit des observations de divers phénomènes astronomiques dérivées de divers catalogues. Cela comprenait 2 000 échantillons de quasars, de galaxies, d'étoiles et de quasars à large raie d'absorption (BAL) du SDSS (500 chacun). Ils ont également intégré des observations de sursauts gamma (GRB) courts et longs, des galaxies, des étoiles et des simulations de trous noirs. Une fois testé, leur modèle a réussi à classer différents phénomènes, à distinguer les types de quasars, à déduire leur distance en fonction du redshift et à mesurer la rotation et l'inclinaison des trous noirs.

"Ce travail démontre au moins que les LLM sont capables de traiter des données astronomiques", a déclaré Wang. "De plus, la capacité d'un modèle à gérer différents types de données astronomiques est une capacité que ne possèdent pas d'autres modèles spécialisés. Nous espérons que les LLM pourront intégrer différents types de données et ensuite identifier des principes sous-jacents communs pour nous aider à comprendre le monde. Bien sûr , il s'agit d'une tâche difficile et que les astronomes ne peuvent pas accomplir seuls."

Bien entendu, l’équipe reconnaît que l’ensemble de données expérimenté était très petit par rapport aux données produites par les observatoires modernes. Cela est particulièrement vrai pour les installations de nouvelle génération comme l'Observatoire Vera C. Rubin, qui a récemment reçu sa caméra LSST, le plus grand appareil photo numérique au monde !

Une fois que Rubin sera opérationnel, il mènera l’enquête Legacy Survey of Space and Time (LSST) sur 10 ans, qui devrait produire 15 téraoctets de données par nuit ! Selon Wang, pour répondre aux exigences des futures campagnes, il faudra des améliorations et une collaboration entre les observatoires et les sociétés professionnelles d'IA.

Néanmoins, il est évident qu'il y aura davantage de candidatures LLM pour l'astronomie dans un avenir proche. Non seulement il s’agit d’une évolution probable, mais elle est également nécessaire compte tenu du grand volume de données que les études astronomiques génèrent aujourd’hui. Et comme ce phénomène est susceptible d'augmenter de façon exponentielle dans un avenir proche, l'IA deviendra probablement indispensable dans le domaine d'études.