Ce qu’un peu plus de puissance de calcul peut faire
Les réseaux neuronaux ont donné aux chercheurs un outil puissant pour envisager l’avenir et faire des prédictions. Mais l’un de leurs inconvénients est leur insatiable besoin de données et de puissance de calcul ( » calculer « ) pour traiter toutes ces informations. Au MIT, on estime que la demande de calcul est cinq fois supérieure à ce que l’Institut peut offrir. Pour aider à atténuer la crise, l’industrie est intervenue. Un superordinateur de 11,6 millions de dollars donné récemment par IBM est en ligne cet automne, et au cours de la dernière année, IBM et Google ont fourni des crédits en nuage à MIT Quest for Intelligence pour distribution sur le campus. Quatre projets rendus possibles grâce aux dons d’IBM et de Google dans les nuages sont présentés ci-dessous.
Des réseaux neuronaux plus petits, plus rapides et plus intelligents
Pour reconnaître un chat dans une image, un modèle d’apprentissage profond peut avoir besoin de voir des millions de photos avant que ses neurones artificiels « apprennent » à identifier un chat. Le processus est intensif en calculs et comporte un coût élevé. coût écologiqueComme l’ont mis en évidence de nouvelles recherches visant à mesurer l’empreinte carbone de l’intelligence artificielle (IA).
Mais il y a peut-être un moyen plus efficace. De nouvelles recherches du MIT montrent que les modèles ne nécessitent qu’une fraction de leur taille. « Quand on forme un grand réseau, il y en a un petit qui aurait pu tout faire « , dit-il. Jonathan Frankleun étudiant diplômé de l’Institut de technologie de l’Université de Toronto Département de génie électrique et d’informatique (EECS).
Avec le co-auteur de l’étude et le professeur de l’EECS Michael CarbinFrankle estime qu’un réseau neuronal pourrait se contenter d’un dixième du nombre de connexions si le bon sous-réseau est trouvé au départ. Normalement, les réseaux de neurones sont coupés après le processus d’entraînement, les connexions non pertinentes étant alors supprimées. Pourquoi ne pas former le petit modèle pour commencer, se demanda Frankle ?
Expérimentant avec un réseau à deux neurones sur son ordinateur portable, Frankle a obtenu des résultats encourageants et est passé à des ensembles de données d’images plus grands comme MNIST et CIFAR-10, empruntant des GPU où il pouvait. Enfin, grâce à IBM Cloud, il a obtenu suffisamment de puissance de calcul pour former un vrai modèle ResNet. « Tout ce que j’avais fait auparavant, c’était des expériences de jouets », dit-il. « J’ai enfin pu gérer des douzaines de réglages différents pour m’assurer de pouvoir faire les déclarations dans notre journal. »
Frankle a parlé depuis les bureaux de Facebook, où il a travaillé pendant l’été pour explorer les idées soulevées par ses collègues de Facebook. Hypothèse du billet de loterie l’un des deux prix décernés pour le meilleur article à la Conférence internationale sur les représentations de l’apprentissage de cette année. Les applications potentielles du travail vont au-delà de la classification des images, dit M. Frankle, et comprennent l’apprentissage du renforcement et les modèles de traitement du langage naturel. Déjà, les chercheurs de l Recherche sur l’IA sur Facebook, Université de Princetonet Uber ont publié des études de suivi.
« Ce que j’aime des réseaux neuronaux, c’est que nous n’avons même pas encore jeté les bases « , dit Frankle, qui est récemment passé de l’étude de la cryptographie et des politiques technologiques à l’intelligence artificielle. « Nous ne comprenons vraiment pas comment il apprend, où il est bon et où il échoue. C’est la physique 1000 ans avant Newton. »
Distinguer les faits des fausses nouvelles
Les plateformes de réseautage comme Facebook et Twitter ont rendu plus facile que jamais la recherche de nouvelles de qualité. Mais trop souvent, les vraies nouvelles sont noyées sous les informations trompeuses ou carrément fausses affichées en ligne. La confusion suscitée par une récente vidéo de la présidente de la Chambre des représentants des États-Unis, Nancy Pelosi, trafiquée pour la faire paraître ivre n’est que le dernier exemple de la menace que représentent la désinformation et les fausses nouvelles pour la démocratie.
« Vous pouvez mettre n’importe quoi sur Internet maintenant, et certaines personnes le croiront « , dit-il. Moin Nadeemun diplômé d’E.E.C.E.S. du M.I.T..
Si la technologie a contribué à créer le problème, elle peut aussi aider à le résoudre. C’était la raison pour laquelle Nadeem a choisi un superUROP s’est concentré sur la construction d’un système automatisé pour lutter contre les nouvelles fausses et trompeuses. Travaillant dans le laboratoire de James Glass, un chercheur du MIT. Laboratoire d’informatique et d’intelligence artificielleSous la direction de Mitra Mohtarami, Nadeem a aidé à former un modèle linguistique pour vérifier les allégations en effectuant des recherches sur Wikipédia et dans trois types de sources d’information que les journalistes jugent de haute qualité, de qualité mixte ou de faible qualité.
Pour vérifier une allégation, le modèle mesure dans quelle mesure les sources sont d’accord, les scores d’accord les plus élevés indiquant que l’allégation est probablement vraie. Un score de désaccord élevé pour une affirmation comme » ISIS infiltre les États-Unis » est un bon indicateur de fausses nouvelles. L’un des inconvénients de cette méthode, dit-il, est que le modèle n’identifie pas la vérité indépendante, mais décrit plutôt ce que la plupart des gens pensent être vrai.
Avec l’aide de Google Cloud Platform, Nadeem a mené des expériences et construit un site Web interactif qui permet aux utilisateurs d’évaluer instantanément l’exactitude d’une réclamation. Lui et ses co-auteurs ont présenté leur bilan à la conférence de la North American Association of Computational Linguistics (NAACL) en juin et continuent d’élargir le travail.
« Le proverbe disait que voir, c’est croire « , dit Nadeem, en cette vidéo de son travail. « Mais nous entrons dans un monde où ce n’est pas vrai. Si les gens ne peuvent pas faire confiance à leurs yeux et à leurs oreilles, il s’agit de savoir ce qui peut en qui nous avons confiance ? »
Visualiser le réchauffement climatique
De la montée des eaux à l’aggravation des sécheresses, les effets du changement climatique se font déjà sentir. Dans quelques décennies, le monde sera plus chaud, plus sec et plus imprévisible. Brandon Leshchinskiyun étudiant diplômé de l’Institut de technologie de l’Université de Toronto Département d’aéronautique et d’astronautique (AeroAstro), expérimente avec des réseaux d’adversaires génératifs, ou GANs, pour imaginer à quoi ressemblera la Terre alors.
Les GAN produisent une imagerie hyperréaliste en dressant un réseau neuronal contre un autre. Le premier réseau apprend la structure sous-jacente d’un ensemble d’images et essaie de les reproduire, tandis que le second décide quelles images semblent peu plausibles et demande au premier réseau d’essayer à nouveau.
Inspiré par des chercheurs qui ont utilisé les GAN pour visualiser Leshchinskiy voulait voir si l’imagerie satellitaire pouvait également personnaliser les projections climatiques à partir d’images prises dans la rue. Avec son conseiller, le professeur AeroAstro Dava NewmanLeshchinskiy utilise actuellement des crédits IBM Cloud gratuits pour former une paire de GANs sur des images de la côte Est des États-Unis avec leurs points d’élévation correspondants. L’objectif est de visualiser comment les projections d’élévation du niveau de la mer pour 2050 vont redessiner le littoral. Si le projet fonctionne, Leshinskiy espère utiliser d’autres ensembles de données de la NASA pour imaginer l’acidification future des océans et les changements dans l’abondance du phytoplancton.
« Nous avons dépassé le point d’atténuation », dit-il. « Visualiser à quoi ressemblera le monde dans trois décennies peut nous aider à nous adapter au changement climatique. »
Identifier les athlètes à partir de quelques gestes
Quelques mouvements sur le terrain ou sur le court suffisent pour qu’un modèle de vision par ordinateur identifie les athlètes individuels. D’après les recherches préliminaires d’une équipe dirigée par le Katherine Gallagherchercheur au MIT Quest for Intelligence.
L’équipe a formé des modèles de vision par ordinateur sur des enregistrements vidéo de matchs de tennis et de matchs de soccer et de basket-ball et a constaté que les modèles pouvaient reconnaître des joueurs individuels en quelques images seulement à partir de points clés de leur corps, donnant un aperçu approximatif de leur ossature.
L’équipe a utilisé une API Google Cloud pour traiter les données vidéo et a comparé les performances de ses modèles avec celles de modèles formés sur la plate-forme d’IA de Google Cloud. « Cette information sur la pose est si distinctive que nos modèles peuvent identifier les joueurs avec une précision presque aussi bonne que les modèles fournis avec beaucoup plus d’informations, comme la couleur des cheveux et les vêtements « , dit-elle.
Leurs résultats sont pertinents pour l’identification automatisée des joueurs dans les systèmes d’analyse du sport et pourraient servir de base à d’autres recherches sur l’inférence de la fatigue des joueurs afin de prévoir quand les joueurs devraient être remplacés. La détection automatisée des poses pourrait également aider les athlètes à raffiner leur technique en leur permettant d’isoler les mouvements précis associés à la conduite experte d’un golfeur ou à l’élan gagnant d’un joueur de tennis.
