Un simulateur photoréaliste a fait de la compétition de robots du MIT une expérience en ligne

Chaque printemps, le sous-sol du Ray and Maria Stata Center se transforme en piste de course pour de minuscules voitures autopropulsées qui traversent les salles une à une. Derrière chaque voiture, une équipe de trois à six élèves sprintent à pied, portant parfois des routeurs sans fil ou des ordinateurs portables ouverts, allongés comme des torches olympiques. Tapissant les murs du sous-sol, leurs camarades de classe les encouragent, sachant l’effort qu’il a fallu faire pour programmer les algorithmes qui guident les voitures sur le parcours lors de cette compétition annuelle de course autonome du MIT.

Le concours est le projet final du cours 6.141/16.405 (Robotique : Science et systèmes). Il s’agit d’un événement de fin de semestre qui accélère les impulsions et des prix sont décernés pour avoir terminé différents parcours de course avec les meilleurs temps sur 20 équipes.

Le campus ayant été évacué ce printemps en raison de la pandémie de Covid-19, cependant, pas une seule voiture robotisée n’a brûlé de caoutchouc dans le sous-sol du Stata Center. Au lieu de cela, une nouvelle course s’est déroulée alors que Luca Carlone, le professeur assistant Charles Stark Draper d’aéronautique et d’astronautique et membre de l’Institut pour les données, les systèmes et la société, Nicholas Roy, professeur d’aéronautique et d’astronautique, et des assistants d’enseignement (AT) dont Marcus Abate, Lukas Lao Beyer et Caris Mariah Moses n’ont eu que quatre semaines pour trouver comment mettre en ligne l’excitation de cette course très attendue.

Parce que le laboratoire utilise parfois un simple simulateur pour d’autres recherches, Carlone dit qu’ils ont envisagé de prendre la course dans cette direction. Avec ce simple simulateur, les étudiants pouvaient observer leurs voitures autotractées serpenter autour d’une carte plate, comme une voiture représentée par un point se déplaçant le long d’un système de navigation GPS. Finalement, ils ont décidé que ce n’était pas la bonne route. La compétition de course devait être bruyante. Réaliste. Excitante. La dynamique de la voiture devait être presque aussi complexe que celle des voitures robotisées que les élèves avaient prévu d’utiliser. S’appuyant sur ses recherches antérieures en collaboration avec le laboratoire Lincoln du MIT, Abate a travaillé avec Lao Beyer et l’étudiante en ingénierie Sabina Chen pour développer un nouveau simulateur photoréaliste à la dernière minute.

La course a repris et Carlone a été impressionné par le fait que tout, du paysage urbain aux voitures aux lignes épurées, semblait « aussi réaliste que possible ».

« Les modifications ont consisté à introduire un environnement extérieur basé sur des ressources open-source, à intégrer une dynamique automobile réaliste pour l’agent et à ajouter des capteurs lidar », explique M. Abate. « J’ai également dû revoir l’interface avec Python et le système d’exploitation des robots (ROS) pour que tout soit prêt à l’emploi pour les étudiants ».

Cela signifie que la course s’est déroulée comme un jeu de course, comme Gran Turismo® ou Forza. Seulement, au lieu de s’asseoir sur leur canapé et d’actionner le joystick pour diriger la voiture, les étudiants ont développé des algorithmes pour anticiper chaque barrage et chaque virage. Pour les étudiants, la programmation pour ce nouvel environnement a peut-être été le plus grand ajustement. « Le simulateur utilisait une scène en plein air et une voiture grandeur nature avec un modèle dynamique très différent de la voiture de course réelle dans le sous-sol de la Stata », explique M. Abate.

Les assistants techniques ont également dû s’adapter aux complications en coulisses du nouveau cadre de la course. « Un effort énorme a été consacré au nouveau simulateur, ainsi qu’à la logistique d’obtention et d’évaluation des logiciels des étudiants », explique Lao Beyer. « Habituellement, les équipes sont capables de configurer le logiciel sur leur voiture de course comme elles le souhaitent, mais il est très difficile de s’adapter à une telle diversité de configurations logicielles dans la course virtuelle ».

Une fois que le simulateur était prêt, il n’y avait pas de temps à perdre en dépannage, alors les assistants techniques se sont rendus disponibles pour déboguer à la volée les problèmes qui se présentaient. « Je pense que cela a sauvé la journée pour le projet final et la course finale », dit Carlone.

Mais la programmation de leur code de course autonome n’était pas la seule façon pour les étudiants de personnaliser leur expérience de la course. La co-instructrice Jane Abbott a introduit l’écriture, la rhétorique et la communication professionnelle (WRAP) dans le cours. En tant que coordinatrice de l’équipe chargée de la communication, qui s’est attachée à aider les équipes à travailler efficacement, elle dit avoir eu peur que le silence qui plane souvent sur Zoom n’aspire toute l’énergie de la course. Elle a suggéré que les assistants ajoutent une bande sonore.

Au final, la course à distance a duré près de quatre heures, réunissant plus de 100 personnes en un seul appel Zoom avec des commentateurs et de la musique de Mario Kart. « Nous avons pu observer la solution de chaque élève grâce à un code de visualisation cool qui montrait la trajectoire et les obstacles rencontrés », explique Samuel Ubellacker, un étudiant en génie électrique et en informatique qui a participé à la course cette année. « Nous avons pu voir comment la solution de chaque équipe était beaucoup plus claire dans le simulateur car la caméra suivait toujours la voiture de course ».

Pour Yorai Shaoul, un autre étudiant en génie électrique et en informatique dans la course, sortir du sous-sol l’a aidé à s’engager davantage dans les projets des autres équipes. « Avant de quitter le campus, nous nous sommes retrouvés à travailler de longues heures dans le sous-sol de la Stata », explique Shaoul. « Nous étions tellement concentrés sur notre robot que nous n’avons pas remarqué que les autres équipes étaient tout le temps à côté de nous. »

Pendant la course, d’autres solutions de programmation que son équipe avait négligées sont devenues évidentes. « Les assistants techniques ont présenté et raconté la course de chaque équipe, nous permettant enfin de voir les diverses approches développées par les autres équipes », explique Shaoul.

« Une chose qui était bien : Quand nous l’avons fait en direct dans les tunnels, on ne peut en voir qu’une partie », explique Abbott. « On se tient en quelque sorte à un point fixe et on voit passer la voiture. C’est comme si on regardait le marathon : on voit les coureurs sur 100 mètres et puis ils sont partis ».

Sur Zoom, les participants pouvaient regarder chaque croisière impressionnante et chaque accident spectaculaire tel qu’il s’est produit, plus des rediffusions. Beaucoup sont restés pour regarder, et Lao Beyer dit : « Nous avons réussi à conserver autant d’excitation et de suspense que possible sur le défi final ». M. Ubellacker est d’accord : « C’était certainement une expérience inoubliable ! »

Pour les élèves qui ne se sentent pas à l’aise avec Mario, ils pouvaient aussi choisir la musique qu’ils voulaient pour accompagner leurs courses. « Près, loin, où que vous soyez », ces paroles, choisies par une équipe pour utiliser le thème du film « Titanic » « My Heart Will Go On », sont un clin d’œil au défi supplémentaire que représente la collaboration en équipe à distance.

L’un des maîtres de cérémonie de la course de 2020, Marwa Abdulhai ’20, était une TA l’année dernière et dit qu’un des avantages évidents de la course en ligne est qu’il est beaucoup plus facile de comprendre pourquoi votre voiture s’est écrasée. « Les avantages de cette approche virtuelle ont été de permettre aux étudiants de courir plusieurs fois sur la piste et de savoir que les performances de la voiture étaient principalement dues à l’algorithme et non à des contraintes physiques », explique Marwa Abdulhai.

Pour Ubellacker, c’était en fait une arnaque : « Le plus grand élément qui me manquait sans avoir de voiture physique était de ne pas pouvoir expérimenter les différences entre la simulation et la vie réelle. Il dit : « Une partie du plaisir pour moi est de concevoir un système qui fonctionne parfaitement dans le simulateur, et ensuite de comprendre toutes les folles façons dont il échouera dans le monde réel !

Shaoul dit qu’au lieu de travailler sur une seule voiture, on avait parfois l’impression de travailler sur cinq voitures individuelles qui vivaient sur l’ordinateur de chaque membre de l’équipe. « Avec une seule voiture, il était facile de voir si elle marchait bien et ce qu’il fallait réparer, alors que virtuellement, c’était plus ambigu », dit Shaoul. « Nous avons dû faire face à des difficultés pour garder une trace des versions de code mises à jour et aussi pour communiquer simplement ».

Carlone craignait que les étudiants ne soient pas aussi investis dans leurs algorithmes sans l’expérience de voir les performances de la voiture se jouer dans la vie réelle pour les motiver à pousser plus loin. « Chaque année, le temps record sur cette piste du Stata Center était de mieux en mieux », dit-il. « Cette année, nous étions un peu inquiets des performances ».

Heureusement, de nombreux étudiants étaient encore dans la course, certaines équipes battant les prévisions les plus optimistes, malgré le fait qu’ils aient dû s’adapter aux nouvelles conditions de course et aux défis plus importants que représente la collaboration en équipe entièrement en ligne. Les étudiants gagnants ont effectué les parcours de la course parfois trois fois plus vite que les autres équipes, sans aucune collision. « C’était juste au-delà des attentes », déclare Carlone.

Bien que ce changement dans le projet final ait quelque peu modifié les points à retenir du cours, M. Carlone affirme que l’expérience fera encore progresser les compétences algorithmiques des étudiants travaillant sur la robotique, tout en les initiant à l’intensité de communication requise pour travailler efficacement en équipe à distance. « De nombreux groupes de robotique font des recherches en utilisant la simulation photoréaliste, car vous pouvez tester des conditions que vous ne pouvez pas tester sur le vrai robot », dit-il. Le co-instructeur Roy affirme que cela a si bien fonctionné que le nouveau simulateur pourrait devenir un élément permanent du cours – non pas pour remplacer la course physique, mais comme un élément supplémentaire. « L’expérience robotique était bonne », dit Carlone à propos de la course de 2020, mais quand même : « L’expérience humaine est, bien sûr, différente ».