Aider les véhicules autonomes à voir dans les virages

Pour améliorer la sécurité des systèmes autonomes, les ingénieurs du MIT ont mis au point un système capable de détecter de minuscules changements d’ombres au sol afin de déterminer si un objet en mouvement approche.

Les voitures autonomes pourraient un jour utiliser le système pour éviter rapidement une collision potentielle avec une autre voiture ou un piéton émergeant du coin d’un immeuble ou d’entre deux voitures garées. À l’avenir, les robots qui pourraient naviguer dans les couloirs des hôpitaux pour faire des livraisons de médicaments ou de fournitures pourraient utiliser le système pour éviter de frapper les gens.

Dans un article présenté à la Conférence internationale sur les robots et systèmes intelligents (IROS) de la semaine prochaine, les chercheurs décrivent des expériences réussies avec une voiture autonome circulant dans un garage de stationnement et un fauteuil roulant autonome dans les corridors. Lors de la détection et de l’arrêt d’un véhicule qui s’approche, le système basé sur la voiture bat le LiDAR traditionnel – qui ne peut détecter que les objets visibles – de plus d’une demi seconde.

Ce n’est peut-être pas grand-chose, mais ce n’est qu’une fraction de seconde quand il s’agit de véhicules autonomes qui se déplacent rapidement, disent les chercheurs.

« Pour les applications où les robots se déplacent dans des environnements avec d’autres objets ou personnes en mouvement, notre méthode peut donner au robot un avertissement précoce que quelqu’un arrive au coin de la rue, afin que le véhicule puisse ralentir, adapter sa trajectoire et se préparer à l’avance pour éviter une collision « , ajoute Daniela Rus, co-auteure du livre et directrice du Laboratoire en sciences informatiques et intelligence artificielle (CSAIL) et titulaire de la Chaire Andrew et Erna Viterbi de génie électrique et informatique. « Le grand rêve est de fournir une sorte de « vision aux rayons X » aux véhicules circulant rapidement dans les rues. »

Actuellement, le système n’a été testé qu’à l’intérieur. La vitesse des robots est beaucoup plus faible à l’intérieur et les conditions d’éclairage sont plus uniformes, ce qui facilite la détection et l’analyse des ombres par le système.

Les personnes suivantes se joindront à Rus sur l’article : Felix Naser SM’19, premier auteur, ancien chercheur de la CSAIL ; Alexander Amini, étudiant diplômé de la CSAIL ; Igor Gilitschenski, étudiant postdoctoral de la CSAIL ; Christina Liao’19, récemment diplômée ; Guy Rosman du Toyota Research Institute ; et Sertac Karaman, professeur associé en aéronautique et astronautique du MIT.

Extension de ShadowCam

Pour leur travail, les chercheurs se sont appuyés sur leur système, appelé « ShadowCam », qui utilise des techniques de vision par ordinateur pour détecter et classer les changements des ombres au sol. Les professeurs du MIT William Freeman et Antonio Torralba, qui ne sont pas co-auteurs du document de l’IROS, ont collaboré aux versions antérieures du système, qui ont été présentées lors de conférences en 2017 et 2018.

Pour l’entrée, ShadowCam utilise des séquences d’images vidéo d’une caméra ciblant une zone spécifique, comme le sol devant un coin. Il détecte les changements d’intensité lumineuse dans le temps, d’image en image, qui peuvent indiquer que quelque chose s’éloigne ou se rapproche. Certains de ces changements peuvent être difficiles à détecter ou invisibles à l’œil nu, et peuvent être déterminés par diverses propriétés de l’objet et de l’environnement. ShadowCam calcule cette information et classe chaque image comme contenant un objet fixe ou un objet dynamique en mouvement. S’il arrive à une image dynamique, il réagit en conséquence.

L’adaptation de ShadowCam pour les véhicules autonomes a nécessité quelques avancées. La première version, par exemple, reposait sur l’alignement d’une zone avec des étiquettes de réalité augmentée appelées « AprilTags », qui ressemblent à des codes QR simplifiés. Les robots scannent les étiquettes AprilTags pour détecter et calculer leur position et leur orientation 3D précises par rapport à l’étiquette. ShadowCam a utilisé les balises comme caractéristiques de l’environnement pour se concentrer sur des zones spécifiques de pixels qui peuvent contenir des ombres. Mais modifier des environnements réels avec AprilTags n’est pas pratique.

Les chercheurs ont mis au point un procédé novateur qui combine l’enregistrement des images et une nouvelle technique d’odométrie visuelle. Souvent utilisé en vision par ordinateur, le repérage d’image superpose essentiellement plusieurs images pour révéler les variations dans les images. L’enregistrement des images médicales, par exemple, chevauche les scanners médicaux pour comparer et analyser les différences anatomiques.

L’odométrie visuelle, utilisée pour Mars Rovers, estime le mouvement d’une caméra en temps réel en analysant la pose et la géométrie en séquences d’images. Les chercheurs utilisent spécifiquement la « Direct Sparse Odometry » (DSO), qui peut calculer des points de caractéristiques dans des environnements similaires à ceux capturés par AprilTags. Essentiellement, DSO trace les caractéristiques d’un environnement sur un nuage de points 3D, puis un pipeline de vision par ordinateur sélectionne uniquement les caractéristiques situées dans une région d’intérêt, comme le plancher près d’un coin. (Les régions d’intérêt ont été annotées manuellement au préalable.)

Comme ShadowCam prend des séquences d’images d’entrée d’une région d’intérêt, il utilise la méthode d’enregistrement d’images DSO pour superposer toutes les images du même point de vue du robot. Même lorsqu’un robot se déplace, il est capable de se concentrer sur la même zone de pixels où se trouve une ombre pour l’aider à détecter tout écart subtil entre les images.

Ensuite, il y a l’amplification du signal, une technique présentée dans le premier article. Les pixels qui peuvent contenir des ombres reçoivent une augmentation de couleur qui réduit le rapport signal/bruit. Cela rend les signaux extrêmement faibles provenant des changements d’ombre beaucoup plus détectables. Si le signal amplifié atteint un certain seuil – basé en partie sur son écart par rapport aux autres ombres proches – ShadowCam classe l’image comme « dynamique ». Selon l’intensité de ce signal, le système peut demander au robot de ralentir ou de s’arrêter.

« En détectant ce signal, vous pouvez être prudent. Il peut s’agir de l’ombre d’une personne qui court derrière le virage ou d’une voiture stationnée, de sorte que la voiture autonome peut ralentir ou s’arrêter complètement « , explique M. Naser.

Test sans étiquette

Lors d’un essai, les chercheurs ont évalué la performance du système dans la classification d’objets en mouvement ou stationnaires à l’aide des étiquettes AprilTags et de la nouvelle méthode basée sur la DSO. Un fauteuil roulant autonome s’est dirigé vers divers coins de couloir pendant que les humains tournaient le coin dans la trajectoire du fauteuil roulant. Les deux méthodes ont atteint la même précision de classification de 70 %, ce qui indique que les étiquettes AprilTags ne sont plus nécessaires.

Dans un autre test, les chercheurs ont installé ShadowCam dans une voiture autonome d’un garage de stationnement, où les phares étaient éteints, imitant les conditions de conduite nocturne. Ils ont comparé les temps de détection des voitures par rapport à LiDAR. Dans un scénario d’exemple, ShadowCam a détecté que la voiture tournait autour des piliers environ 0,72 seconde plus vite que LiDAR. De plus, parce que les chercheurs avaient réglé ShadowCam spécifiquement aux conditions d’éclairage du garage, le système a atteint une précision de classification d’environ 86 %.

Ensuite, les chercheurs développent le système pour travailler dans des conditions d’éclairage intérieur et extérieur différentes. À l’avenir, il pourrait également y avoir des moyens d’accélérer la détection des ombres du système et d’automatiser le processus d’annotation des zones ciblées pour la détection des ombres.

Ces travaux ont été financés par l’Institut de recherche Toyota.