Annonce

Les commentaires sont clos.

Reconstruction 3D par vision évènementielle pour le véhicule autonome

24 Novembre 2021


Catégorie : Doctorant


 

Titre : Reconstruction 3D par vision évènementielle pour le véhicule autonome

 

Encadrants : Rémi Boutteau (LITIS), Fabio Morbidi (MIS), Sébastien Kramm (LITIS)

Période : à partir de septembre/octobre 2022 pour une durée de 3 ans avec possibilité de faire au préalable un stage M2 / ingénieur.

Description : Cette thèse est proposée dans le cadre du projet ANR CERBERE 2022-2025 (« Caméra évènementielle pour la pERception d’oBjEts Rapides autour du véhicule autonomE »), en partenariat avec le laboratoire MIS de l’Université de Picardie Jules Verne, le laboratoire ImVia de l’Université Bourgogne Franche-Comté et la société YUMAIN.

L’objectif principal de ce projet est l’exploitation d’un capteur en rupture technologique avec les solutions existantes pour la perception du véhicule autonome : la caméra évènementielle. Les caméras évènementielles (ou « event-based ») sont des capteurs de vision innovants qui permettent de capturer l’apparence d’une scène 3D de manière asynchrone. Comme l’œil humain, ces caméras bio-inspirées enregistrent uniquement les variations d'intensité qui se produisent au sein de la scène et elles vont au-delà du mécanisme d'acquisition des caméras traditionnelles, basé sur des images temporisées. Par rapport à ces dernières, les capteurs évènementiels ont une très faible latence (à l’échelle de la microseconde), génèrent 10 à 1000 fois moins de données, ont une faible consommation énergétique (quelque dizaine de mW), une large plage dynamique (supérieure à 120 dB) et peuvent fonctionner dans des conditions de faible éclairage [1].

Nous proposons dans ce projet d’étudier ce type de caméra dans le contexte du véhicule autonome afin de répondre aux verrous qui subsistent dans de tels environnements : scène avec de hautes dynamiques (sortie de tunnel par exemple), latence et vitesse de détection des obstacles (autres véhicules, piétons), tout en prenant en compte les contraintes de puissance de calcul et de flux de données limités imposées par le véhicule autonome. L’utilisation de caméras évènementielles impose de trouver de nouveaux algorithmes puisque les algorithmes de vision par ordinateur classiques ne sont pas adaptés, les données fournies par la caméra évènementielle étant fondamentalement différentes.

Le doctorant travaillera en particulier sur le sujet de la 3D évènementielle pour le véhicule autonome. Les travaux de cette thèse porteront en particulier sur le SLAM (Simultaneous Localization and Tracking) et la DATMO (Detection and Tracking of Moving Obstacles) par stéréo-évènementielle [2]. Des travaux sur la fusion entre un lidar et une caméra évènementielle sont également envisagés. Les travaux seront validés à la fois en simulation [3,4] et sur un système réel embarqué dans un véhicule.

La thèse sera réalisée au laboratoire LITIS, au sein de l’équipe STI (Systèmes de Transport Intelligent), avec les outils matériels (caméra évènementielle, robots mobiles) et logiciels (développements C++, librairies open-source et internes de vision par ordinateur, étalonnage de caméra, etc.) mis à sa disposition par les partenaires du projet. Elle sera co-encadrée par le laboratoire MIS.

Prérequis :

  • ·Vision par ordinateur, traitement d’images, robotique mobile
  • ·Algorithmique et programmation C++/Python/Matlab
  • ·Compétences en développement logiciel
  • ·Bonne maitrise de la communication
  • ·Motivation, autonomie, rigueur, force de proposition

 

Candidatures :

Envoyez votre CV et votre lettre de motivation à : remi.boutteau@univ-rouen.fr, fabio.morbidi@u-picardie.fr et sebastien.kramm@univ-rouen.fr .

Références :

[1] “Event-based vision: A survey”, G. Gallego, T. Delbruck, G. Orchard, C. Bartolozzi, B. Taba, A. Censi, S. Leutenegger, A. Davison, J. Conradt, K. Daniilidis, D. Scaramuzza,IEEE Trans. Pattern Analysis and Machine Intelligence, 2021 in press, DOI: 10.1109/TPAMI.2020.3008413

[2] “Event-Based Stereo Visual Odometry”, Y. Zhou, G. Gallego, S. Shen, IEEE Trans. Robotics, vol. 37, n. 5, pp. 1433-1450, Oct. 2021.

[3] “ESIM: an Open Event Camera Simulator”, H. Rebecq, D. Gehrig, D. Scaramuzza, in Proc. 2nd Conference on Robot Learning, pp. 969-982, 2018.

[4] “CARLA: Open-source simulator for autonomous driving research” https://carla.org/