Donner vie à l’apprentissage approfondi

Gaby Ecanow aime écouter de la musique, mais n’a jamais envisagé d’écrire la sienne avant de prendre 6.S191 (Introduction to Deep Learning). En deuxième année, l’étudiante du MIT avait composé une chanson folklorique irlandaise originale à l’aide d’un réseau neuronal récurrent, et elle réfléchissait à la manière d’adapter le modèle pour créer ses propres rythmes de danse inspirés de Louis l’Enfant.

« C’était cool », dit-elle. « On aurait dit qu’une machine n’avait pas du tout réussi. »

Cette année, 6.S191 a démarré comme d’habitude, avec des élèves qui se sont déversés dans les allées de l’auditorium Kirsch du Stata Center pendant la période d’activités indépendantes (PIA). Mais la conférence d’ouverture comportait un rebondissement : un accueil enregistré de l’ancien président Barack Obama. La vidéo s’est rapidement révélée être une fabrication générée par l’IA, l’un des nombreux rebondissements qui Alexander Amini 17 et Ava Soleimany Les étudiants de l’Université de l’État du Michigan ont été invités à participer à un cours sur les équations et le code.

Sous les yeux de centaines de leurs pairs, Amini et Soleimany se relaient sur le podium. S’ils semblent à l’aise, c’est parce qu’ils connaissent la matière à froid ; ils ont conçu le programme eux-mêmes, et l’enseignent depuis trois ans. Le cours couvre les bases techniques de l’apprentissage approfondi et ses implications sociétales par le biais de conférences et de laboratoires de logiciels axés sur les applications du monde réel. Le dernier jour, les élèves se disputent les prix en présentant leurs propres idées de projets de recherche. Dans les semaines qui précèdent les cours, Amini et Soleimany passent des heures à mettre à jour les laboratoires, à rafraîchir leurs cours et à peaufiner leurs présentations.

Une branche de l’apprentissage machine, l’apprentissage profond, exploite des données massives et des algorithmes modélisés de façon approximative sur la façon dont le cerveau traite les informations pour faire des prédictions. La classe a été créditée pour avoir contribué à la diffusion des outils d’apprentissage machine dans les laboratoires de recherche du MIT. C’est une conception, dit Amini, un étudiant diplômé du MIT Département de génie électrique et d’informatique (EECS), et Soleimany, un étudiant diplômé du MIT et de l’université de Harvard.

Tous deux utilisent l’apprentissage machine dans leurs propres recherches – Amini dans l’ingénierie des robots, et Soleimany dans le développement d’outils de diagnostic du cancer – et ils voulaient s’assurer que le programme d’études préparerait les étudiants à faire de même. En plus du laboratoire sur le développement d’une IA génératrice de musique, ils proposent des laboratoires sur la construction d’un modèle de reconnaissance faciale avec des réseaux neuronaux convolutionnels et un bot qui utilise l’apprentissage par renforcement pour jouer au jeu vidéo vintage Atari, Pong. Une fois que les étudiants maîtrisent les bases, ceux qui suivent le cours pour obtenir des crédits créent leurs propres applications.

Cette année, 23 équipes ont présenté des projets. Parmi les lauréats figurait Carmen Martin, une étudiante diplômée de l Programme Harvard-MIT en sciences et technologies de la santé (HST), qui a proposé d’utiliser un type de réseau neuronal appelé réseau convolutionnel de graphes pour prédire la propagation du coronavirus. Elle a combiné plusieurs flux de données : données sur les billets d’avion pour mesurer les flux de population, confirmation en temps réel des nouvelles infections et classement des pays équipés pour prévenir et répondre à une pandémie.

« L’objectif est de former le modèle de prévision des cas afin de guider les gouvernements nationaux et l’Organisation mondiale de la santé dans leurs recommandations pour limiter les nouveaux cas et sauver des vies », dit-elle.

Un deuxième gagnant, Samuel Sledzieski, étudiant diplômé de l’EECS, a proposé de construire un modèle pour prédire les interactions entre les protéines en utilisant uniquement leurs séquences d’acides aminés. La prédiction du comportement des protéines est essentielle à la conception de cibles de médicaments, entre autres applications cliniques, et M. Sledzieski se demande si un apprentissage approfondi pourrait accélérer la recherche de paires de protéines viables.

« Il y a encore du travail à faire, mais je suis enthousiasmé par la distance que j’ai pu parcourir en trois jours », dit-il. « Le fait d’avoir des exemples faciles à suivre dans TensorFlow et Keras m’a aidé à comprendre comment construire et former ces modèles moi-même ». Il prévoit de poursuivre le travail dans le cadre de sa rotation actuelle au sein de l Bonnie Berger, le professeur Simons de mathématiques à l’EECS et le Laboratoire d’informatique et d’intelligence artificielle (CSAIL).

Chaque année, les étudiants entendent également parler des nouvelles applications d’apprentissage approfondi des entreprises qui parrainent le cours. David Cox, co-directeur de la MIT-IBM Watson AI LabLe projet de recherche sur l’IA neuro-symbolique, une approche hybride qui combine des programmes symboliques avec la capacité d’appariement des modèles d’apprentissage en profondeur. Alex Wiltschko, chercheur principal à Google Brain, a parlé de l’utilisation d’un outil d’analyse de réseau pour prédire l’odeur des petites molécules. Chuan Li, directeur scientifique de Lambda Labs, a parlé du rendu neural, un outil de reconstruction et de génération de scènes graphiques. Animesh Garg, chercheur senior chez NVIDIA, a traité des stratégies de développement de robots qui perçoivent et agissent davantage comme des êtres humains.

Avec 350 étudiants qui suivent le cours en direct chaque année, et plus d’un million de personnes qui ont regardé les conférences en ligne, Amini et Soleimany sont devenus des ambassadeurs éminents de l’apprentissage approfondi. Pourtant, c’est le tennis qui les a réunis pour la première fois.

Amini a participé à des compétitions nationales en tant qu’élève du secondaire en Irlande et a construit un modèle d’IA primé pour aider les joueurs de tennis amateurs et professionnels à améliorer leurs coups ; Soleimany a été deux fois capitaine de l’équipe féminine de tennis du MIT. Ils se sont rencontrés sur le terrain alors qu’ils étaient étudiants et ont découvert qu’ils partageaient une passion pour l’apprentissage machine.

Après avoir terminé leurs études de premier cycle, ils ont décidé de se lancer un défi et de répondre à ce qu’ils considéraient comme un besoin croissant au MIT pour un cours de base en apprentissage approfondi. 6.S191 a été lancé en 2017 par deux étudiants diplômés, Nick Locascio et Harini Suresh, et Amini et Soleimany avaient une vision pour transformer le cours en quelque chose de plus. Ils ont créé une série de laboratoires de logiciels, introduit de nouveaux sujets de pointe comme l’IA robuste et éthique, et ajouté du contenu pour attirer un large éventail d’étudiants, des informaticiens aux ingénieurs aérospatiaux et aux MBA.

« Alexander et moi sommes constamment en train de réfléchir, et ces discussions sont la clé du développement de 6.S191 et de certains de nos propres projets de recherche en collaboration », explique M. Soleimany.

Ils couvrent l’une de ces collaborations de recherche en classe. Dans le laboratoire de vision par ordinateur, les étudiants apprennent à connaître les préjugés algorithmiques et à tester et à traiter les préjugés raciaux et sexuels dans les outils de reconnaissance faciale. Le laboratoire est basé sur un algorithme que Amini et Soleimany ont développé avec leurs conseillers respectifs, Daniela Rusdirecteur du CSAIL, et Sangeeta Bhatia, le professeur John J. et Dorothy Wilson de HST et EECS. Cette année, ils ont également abordé des sujets brûlants dans le domaine de la robotique, notamment les travaux récents d’Amini sur les voitures sans conducteur.

Mais ils n’ont pas l’intention de s’arrêter là. « Nous nous engageons à faire de 6.S191 le meilleur qu’il puisse être, chaque année nous l’enseignons », dit Amini « et cela signifie faire avancer le cours au fur et à mesure que l’apprentissage approfondi continue d’évoluer ».