Les réseaux de neurones ont donné aux chercheurs un outil puissant pour regarder vers l'avenir et faire des prédictions. Mais un inconvénient est leur besoin insatiable de données et de puissance de calcul ("calcul") pour traiter toutes ces informations. Au MIT, la demande de calcul est estimée à cinq fois supérieure à ce que l'Institut peut offrir. Pour aider à soulager la crise, l'industrie est intervenue. Un superordinateur de 11,6 millions de dollars récemment offert par IBM sera mis en ligne cet automne, et l'année dernière, IBM et Google ont tous deux fourni des crédits cloud au MIT Quest for Intelligence pour une distribution sur le campus. Quatre projets rendus possibles grâce aux dons d'IBM et de Google Cloud sont présentés ci-dessous.

Plus petite, plus rapide, des réseaux de neurones plus intelligents

Pour reconnaître un chat sur une photo, un modèle d'apprentissage en profondeur peut avoir besoin de voir des millions de photos avant que ses neurones artificiels « apprennent » à identifier un chat. Le processus est intensif en calcul et entraîne un coût environnemental élevé, comme l'ont mis en évidence de nouvelles recherches tentant de mesurer l'empreinte carbone de l'intelligence artificielle (IA).

Mais il existe peut-être un moyen plus efficace. De nouvelles recherches du MIT montrent que les modèles ne sont nécessaires qu'à une fraction de la taille. "Quand on forme un gros réseau il y en a un petit qui aurait pu tout faire, " dit Jonathan Frankle, un étudiant diplômé du Département de génie électrique et informatique (EECS) du MIT.

Avec le co-auteur de l'étude et professeur EECS Michael Carbin, Frankle estime qu'un réseau de neurones pourrait se contenter d'un dixième du nombre de connexions si le bon sous-réseau est trouvé dès le départ. Normalement, les réseaux de neurones sont coupés après le processus de formation, avec les connexions non pertinentes supprimées alors. Pourquoi ne pas former le petit modèle pour commencer, Frankle s'est demandé?

Expérimenter un réseau à deux neurones sur son ordinateur portable, Frankle a obtenu des résultats encourageants et est passé à des ensembles de données d'images plus grands comme MNIST et CIFAR-10, emprunter des GPU là où il le pouvait. Finalement, via IBM Cloud, il a obtenu suffisamment de puissance de calcul pour former un vrai modèle ResNet. "Tout ce que j'avais fait auparavant était des expériences de jouets, " dit-il. " J'ai finalement pu exécuter des dizaines de paramètres différents pour m'assurer que je pouvais faire les déclarations dans notre papier. "

Frankle a parlé depuis les bureaux de Facebook, où il a travaillé pendant l'été pour explorer les idées soulevées par son article Lottery Ticket Hypothesis, l'un des deux sélectionnés pour le prix du meilleur article lors de la Conférence internationale sur les représentations de l'apprentissage de cette année. Les applications potentielles du travail vont au-delà de la classification d'images, Frankle dit, et inclure des modèles d'apprentissage par renforcement et de traitement du langage naturel. Déjà, chercheurs de Facebook AI Research, Université de Princeton, et Uber ont publié des études de suivi.

"Ce que j'aime dans les réseaux de neurones, c'est que nous n'avons même pas encore posé les bases, " dit Frankle, qui est récemment passé de l'étude de la cryptographie et de la politique technologique à l'IA. "Nous ne comprenons vraiment pas comment il apprend, où c'est bien et où ça échoue. C'est la physique 1, 000 ans avant Newton."

Distinguer les faits des fausses nouvelles

Les plateformes de réseautage comme Facebook et Twitter ont rendu plus facile que jamais la recherche d'informations de qualité. Mais trop souvent, les vraies nouvelles sont noyées par des informations trompeuses ou carrément fausses publiées en ligne. La confusion au sujet d'une vidéo récente de la présidente de la Chambre des représentants des États-Unis, Nancy Pelosi, falsifiée pour la faire paraître ivre n'est que le dernier exemple de la menace que représentent la désinformation et les fausses nouvelles pour la démocratie.

"Vous pouvez mettre à peu près n'importe quoi sur Internet maintenant, et certains le croiront, " dit Moin Nadeem, un senior et une majeure EECS au MIT.

Si la technologie a contribué à créer le problème, cela peut aussi aider à le réparer. C'est la raison pour laquelle Nadeem a choisi un projet superUROP axé sur la construction d'un système automatisé pour lutter contre les informations fausses et trompeuses. Travaillant dans le laboratoire de James Glass, chercheur au Laboratoire d'informatique et d'intelligence artificielle du MIT, et supervisé par Mitra Mohtarami, Nadeem a aidé à former un modèle de langage pour vérifier les faits en recherchant sur Wikipédia et trois types de sources d'information jugées de haute qualité par les journalistes, de qualité mixte ou de faible qualité.

Pour vérifier une réclamation, le modèle mesure le degré d'accord des sources, avec des scores d'accord plus élevés indiquant que l'affirmation est probablement vraie. Un score de désaccord élevé pour une réclamation comme, "ISIS infiltre les États-Unis, " est un indicateur fort de fake news. Un inconvénient de cette méthode, il dit, est que le modèle n'identifie pas tant la vérité indépendante qu'il décrit ce que la plupart des gens pensent être vrai.

Avec l'aide de Google Cloud Platform, Nadeem a mené des expériences et construit un site Web interactif qui permet aux utilisateurs d'évaluer instantanément l'exactitude d'une affirmation. Lui et ses co-auteurs ont présenté leurs résultats à la conférence de l'Association nord-américaine de linguistique computationnelle (NAACL) en juin et continuent de développer leurs travaux.

"Le dicton disait que voir c'est croire, " dit Nadeem, dans cette vidéo sur son travail. "Mais nous entrons dans un monde où ce n'est pas vrai. Si les gens ne peuvent pas faire confiance à leurs yeux et à leurs oreilles, la question est de savoir à quoi pouvons-nous faire confiance?"

Visualiser un climat qui se réchauffe

De la montée des eaux à l'augmentation des sécheresses, les effets du changement climatique se font déjà sentir. Dans quelques décennies, le monde sera plus chaud, plus sec, et endroit plus imprévisible. Brandon Leshchinskiy, un étudiant diplômé du Département d'aéronautique et d'astronautique du MIT (AeroAstro), expérimente des réseaux accusatoires génératifs, organes, imaginer à quoi ressemblera la Terre alors.

Les GAN produisent des images hyperréalistes en opposant un réseau de neurones à un autre. Le premier réseau apprend la structure sous-jacente d'un ensemble d'images et essaie de les reproduire, tandis que le second décide quelles images semblent invraisemblables et dit au premier réseau d'essayer à nouveau.

Inspiré par les chercheurs qui ont utilisé les GAN pour visualiser les projections d'élévation du niveau de la mer à partir d'images de rue, Leshchinskiy voulait voir si l'imagerie satellitaire pouvait également personnaliser les projections climatiques. Avec son conseiller, Professeur AeroAstro Dava Newman, Leshchinskiy utilise actuellement des crédits IBM Cloud gratuits pour former une paire de GAN sur des images de la côte est des États-Unis avec leurs points d'altitude correspondants. L'objectif est de visualiser comment les projections d'élévation du niveau de la mer pour 2050 redessineront le littoral. Si le projet fonctionne, Leshinskiy espère utiliser d'autres ensembles de données de la NASA pour imaginer l'acidification future des océans et les changements dans l'abondance du phytoplancton.

"Nous avons dépassé le point d'atténuation, ", dit-il. " Visualiser à quoi ressemblera le monde dans trois décennies peut nous aider à nous adapter au changement climatique. "

Identifier les athlètes à partir de quelques gestes

Quelques mouvements sur le terrain ou sur le court suffisent pour qu'un modèle de vision par ordinateur identifie les athlètes individuels. C'est selon les recherches préliminaires d'une équipe dirigée par Katherine Gallagher, chercheur au MIT Quest for Intelligence.

L'équipe a formé des modèles de vision par ordinateur sur des enregistrements vidéo de matchs de tennis et de matchs de football et de basket-ball et a découvert que les modèles pouvaient reconnaître des joueurs individuels en quelques images seulement à partir de points clés de leur corps, fournissant un aperçu approximatif de leur squelette.

L'équipe a utilisé une API Google Cloud pour traiter les données vidéo, et comparé les performances de leurs modèles à celles des modèles entraînés sur la plate-forme d'IA de Google Cloud. "Ces informations de pose sont si distinctives que nos modèles peuvent identifier les joueurs avec une précision presque aussi bonne que les modèles fournis avec beaucoup plus d'informations, comme la couleur des cheveux et les vêtements, " elle dit.

Leurs résultats sont pertinents pour l'identification automatisée des joueurs dans les systèmes d'analyse sportive, et ils pourraient fournir une base pour des recherches plus approfondies sur la déduction de la fatigue des joueurs pour anticiper le moment où les joueurs devraient être échangés. La détection de pose automatisée pourrait également aider les athlètes à affiner leur technique en leur permettant d'isoler les mouvements précis associés à l'entraînement expert d'un golfeur ou au swing gagnant d'un joueur de tennis.

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche du MIT, innovation et enseignement.