Le rôle de l'apprentissage profond en science est à un tournant, avec la météo, climat, et la modélisation des systèmes terrestres émergeant comme un domaine d'application passionnant pour l'apprentissage en profondeur basé sur la physique qui peut identifier plus efficacement les relations non linéaires dans de grands ensembles de données, extraire des motifs, émuler des processus physiques complexes, et construire des modèles prédictifs.

« L'apprentissage en profondeur a connu un succès sans précédent dans certains problèmes très difficiles, mais les scientifiques veulent comprendre exactement comment ces modèles fonctionnent et pourquoi ils font ce qu'ils font, " dit Karthik Kashinath, informaticien et ingénieur du Data &Analytics Services Group (DAS) du National Energy Research Scientific Computing Center (NERSC) qui a été profondément impliqué dans les efforts de recherche et d'éducation du NERSC dans ce domaine. "Un objectif clé de l'apprentissage en profondeur pour la science est de savoir comment concevoir et former un réseau de neurones afin qu'il puisse capturer avec précision la complexité des processus qu'il cherche à modéliser, imiter, ou prévoir, et nous développons des moyens d'infuser la physique et la connaissance du domaine dans ces réseaux de neurones afin qu'ils obéissent aux lois de la nature et que leurs résultats soient explicables, robuste, et digne de confiance."

Nous avons rencontré Kashinath à la suite de l'école d'été sur l'intelligence artificielle pour la science du système terrestre (AI4ESS), un événement virtuel d'une semaine organisé en juin par le National Center for Atmospheric Research (NCAR) et l'University Corporation for Atmospheric Research (UCAR) qui a réuni plus de 2 personnes, 400 chercheurs du monde entier. Kashinath a participé à l'organisation et à la présentation de l'événement, avec David John Gagné et Rich Loft de NCAR. Une grande partie des recherches actuelles de Kashinath se concentre sur l'application de méthodes d'apprentissage en profondeur à la modélisation du climat et des systèmes terrestres.

Comment les méthodologies d'apprentissage en profondeur sont-elles adoptées en météo, climat, et la recherche sur les systèmes terrestres ?

Ces dernières années, nous avons assisté à une augmentation significative de l'utilisation de l'apprentissage en profondeur en science, pas seulement en augmentant, améliorer ou remplacer les méthodes existantes, mais aussi pour découvrir de nouvelles sciences en physique, chimie, la biologie, Médicament, et plus encore – des découvertes presque impossibles avec les méthodes statistiques traditionnelles. Nous commençons maintenant à voir la même chose dans les sciences de la Terre, avec le nombre de publications dans des revues comme Lettres de recherche géophysique et Géosciences de la nature des conférences émergentes et scientifiques présentant désormais des pistes entières impliquant l'apprentissage machine et le deep learning.

Qu'apporte le deep learning ?

Il est extrêmement puissant dans la reconnaissance de formes et la découverte de relations non linéaires très complexes qui existent dans de grands ensembles de données, qui sont tous deux essentiels pour développer des modèles de systèmes de sciences de la Terre. L'objectif principal d'un modélisateur météorologique ou climatique est de comprendre les modes de fonctionnement des processus naturels et de les modéliser de manière efficace afin de pouvoir prédire l'avenir du changement climatique et des événements météorologiques extrêmes. L'apprentissage en profondeur offre de nouvelles méthodes d'utilisation des données existantes pour comprendre comment ces processus fonctionnent et pour développer des modèles pour eux qui sont non seulement précis et efficaces, mais également beaucoup plus rapides que les méthodes traditionnelles. Traditionnellement, les modèles climatiques et météorologiques résolvent de grands systèmes d'équations aux dérivées partielles non linéaires couplées, ce qui est extrêmement gourmand en calcul. L'apprentissage en profondeur commence à augmenter, améliorer, ou même remplacer des parties de ces modèles par des émulateurs de processus physiques très efficaces et rapides. Et c'est un grand pas en avant.

La reconnaissance des formes est un autre domaine où l'apprentissage en profondeur influence la recherche sur les systèmes terrestres. Le groupe DAS du NERSC a fortement insisté sur la reconnaissance des formes pour détecter et suivre les modèles météorologiques et climatiques dans de grands ensembles de données. Le prix Gordon Bell 2018 pour l'analyse climatique exascale utilisant l'apprentissage en profondeur témoigne de nos contributions dans ce domaine. Étant donné que nous avons déjà des pétaoctets de données climatiques et qu'elles augmentent à un rythme fou, il est physiquement impossible de passer au crible et de reconnaître les principales caractéristiques et modèles à l'aide d'approches statistiques traditionnelles. L'apprentissage en profondeur offre des moyens très rapides d'exploiter ces données et d'extraire des informations utiles telles que les conditions météorologiques extrêmes.

Un troisième domaine est la réduction d'échelle ; C'est, étant donné un jeu de données à faible résolution, comment produire des données à très haute résolution qui sont nécessaires pour des choses comme la planification, surtout à l'échelle régionale et locale ? Une partie du grand défi de la science du climat est de savoir comment construire des modèles à très haute résolution qui sont précis et produisent des données avec lesquelles nous pouvons travailler de manière fiable. Une façon d'attaquer le problème est de dire d'accord, nous savons que ces modèles sont extrêmement chers, et dans un avenir prévisible - même avec un getter de calcul plus rapide et meilleur - nous ne serons vraiment pas en mesure de construire des modèles climatiques mondiaux fiables à une résolution spatiale de 1 km ou plus. Donc, si nous pouvons créer un modèle d'apprentissage en profondeur qui prend des données climatiques à faible résolution et produit des données à haute résolution physiquement significatives, fiable, et précis - cela change la donne.

Quel est le grand défi de l'apprentissage en profondeur appliqué à la science du système terrestre ?

Je viens d'une formation en dynamique des fluides, où la modélisation de la turbulence est un grand défi de longue date. Un défi similaire dans les sciences de l'atmosphère est la modélisation des nuages. Tous les modèles climatiques ont des paramétrisations – des composants du modèle climatique qui décrivent comment divers processus physiques se comportent et interagissent les uns avec les autres. Dans l'atmosphère qui comprend la formation des nuages, comment fonctionne le rayonnement, quand et où se produisent les précipitations, etc. La modélisation des nuages ​​est également connue pour être la plus grande source d'incertitude dans les projections des modèles climatiques, et pendant des décennies, l'un des grands défis a été de savoir comment réduire l'incertitude. Les modèles sont devenus beaucoup plus complexes et capturent beaucoup plus de phénomènes physiques, mais ils ont encore de grandes incertitudes dans leurs prédictions. Ainsi, un domaine où l'apprentissage en profondeur pourrait avoir un impact significatif est de nous aider à construire de meilleurs émulateurs de processus atmosphériques comme les nuages, dans le but de réduire les incertitudes dans les prévisions. C'est un objectif scientifique très concret.

Alors que vous regardez devant vous, Qu'est-ce qui vous passionne le plus en termes d'impact de l'apprentissage en profondeur sur la recherche sur le climat et les systèmes terrestres ?

La principale réticence que nous avons eue de la part de la communauté scientifique est que les réseaux de neurones sont des boîtes noires difficiles à comprendre et à interpréter, et les scientifiques aimeraient évidemment comprendre exactement comment ces réseaux de neurones fonctionnent et pourquoi ils font ce qu'ils font. Donc, une chose qui me passionne vraiment est de développer de meilleures façons d'interpréter et de comprendre ces réseaux et d'intégrer les connaissances que nous avons sur la physique du système Terre dans ces modèles afin qu'ils soient plus robustes, fiable, fiable, interprétable, explicable, et transparente. Le but est de se convaincre que ces modèles se comportent de manière respectueuse de la physique de la nature, utilisent efficacement les connaissances du domaine que nous avons, et font des prédictions auxquelles nous pouvons nous fier. J'ai été invité à soumettre un article à Actes de la Société royale sur exactement ce sujet, "Apprentissage approfondi basé sur la physique pour la modélisation du temps et du climat, " qui est actuellement en cours d'examen.

Je suis également enthousiaste à l'idée de prouver, en opération, que ces modèles d'apprentissage en profondeur fournissent l'accélération de calcul que nous prétendons fournir lorsque nous les intégrons dans un grand modèle climatique ou météorologique. Par exemple, le Centre européen de prévision météorologique a commencé à remplacer certaines parties de son modèle de prévision météorologique par des modèles de machine et d'apprentissage en profondeur, et ils commencent déjà à voir des avantages. Aux Etats-Unis., Le NCAR et la National Oceanic and Atmospheric Administration commencent également à remplacer des parties de leurs modèles climatiques et météorologiques par des modèles d'apprentissage automatique et d'apprentissage en profondeur, et un certain nombre de groupes de recherche universitaires et industriels travaillent sur des projets connexes. Chris Bretherton, l'un des meilleurs climatologues au monde, dirige un groupe à l'Université de Washington qui s'efforce de remplacer certains des processus nuageux complexes de ces grands modèles climatiques par des méthodes d'apprentissage en profondeur. J'ai donc hâte de voir leurs résultats dans un an ou deux sur l'accélération et la performance.

Quel était l'objectif de l'événement AI4ESS, et pourquoi était-il si bien fréquenté?

L'école d'été sur l'intelligence artificielle pour la science du système terrestre (AI4ESS) s'est concentrée sur la façon dont les participants peuvent renforcer leurs connaissances en statistiques et en apprentissage automatique, apprendre les fondamentaux du deep learning et des réseaux de neurones, et apprenez à les utiliser pour résoudre des problèmes difficiles dans les sciences du système terrestre. Nous avons eu une réponse écrasante à l'école - c'était censé être un événement en personne à Boulder, Colo., d'une capacité de 80 élèves. Mais une fois qu'il est devenu virtuel, nous en avons eu 2, 400 participants de 40 pays à travers le monde. Il a été diffusé en direct via UCAR et ils ont suivi les connexions quotidiennes.

Il y a eu une belle participation tout au long de la semaine. Nous avions invité des conférenciers chaque jour – trois conférences par jour, donc 15 conférences sur la semaine – avec des experts du machine learning, l'apprentissage en profondeur, et les sciences de la Terre. Chaque jour, il y avait aussi une table ronde de 30 minutes pendant le déjeuner, et pour moi, c'était super excitant parce que tous ces experts discutaient et débattaient des défis et des opportunités de l'utilisation de l'apprentissage automatique et de l'apprentissage en profondeur pour la science du système terrestre. L'école a également organisé un hackathon d'une semaine, où des équipes de six personnes ont chacune choisi un projet parmi six problèmes différents sur lesquels travailler pendant la semaine. Environ 500 personnes ont participé au hackathon, avec beaucoup de collaboration et d'interaction, y compris des canaux Slack individuels pour chacune des équipes de hackathon. Il y avait aussi des chaînes Slack pendant toute la semaine de l'université d'été sur diverses choses :questions-réponses liées aux conférences, problèmes de défi hackathon, trucs et astuces techniques en machine learning et deep learning, etc. Il y avait donc beaucoup d'activités sur Slack, avec des gens qui échangent des idées, partage des résultats, et ainsi de suite.

Pourquoi tout le monde est-il si désireux d'apprendre ce genre de choses?

Je pense que la communauté, en particulier les jeunes scientifiques, voient que l'apprentissage en profondeur peut changer la donne en science et qu'ils ne veulent pas être laissés pour compte. Ils pensent que cela va bientôt devenir grand public et que cela va être essentiel pour faire de la science. C'est la principale motivation. AI4ESS s'est donc concentré sur l'enseignement des principes fondamentaux et sur la préparation des bases pour qu'ils commencent à appliquer avec succès l'apprentissage automatique et l'apprentissage en profondeur à leurs recherches.