Annonce

Les commentaires sont clos.

Développement d’algorithmes de fusion de données évidentielle au sein d’un réseau de neurones pour la perception des véhicules autonomes

17 Novembre 2022


Catégorie : Stagiaire


Le stage proposé s’inscrit dans le contexte actuel des véhicules autonomes. L’objectif de ce stage est de développer des systèmes de perception basés sur les réseaux de neurones intégrant une couche de fusion de données évidentielle. Le cadre applicatif sera le véhicule autonome du laboratoire IRIMAS avec ses capteurs intégrés.

Deadline pour candidater : 01/01/23

Thomas Josso-Laurain (thomas.josso-laurain@uha.fr)
IRIMAS, UHA, Mulhouse

 

Développement d’algorithmes de fusion de données évidentielle au sein d’un réseau de neurones pour la perception des véhicules autonomes

Encadrant : Dr. Thomas Josso-Laurain, Dr. Maxime Devanne, Pr. Jean-Philippe Lauffenburger

Durée : 6 mois (début février -> fin juillet 2023)

Rétribution : 573.50 € par mois

Mots-clefs : Perception ; véhicule autonome ; data fusion ; théorie évidentielle ; CNN ; cross-fusion

 

Contexte de recherche :

Le stage proposé s’inscrit dans le contexte actuel des véhicules autonomes. De nos jours, la perception de l’environnement autour du véhicule représente encore un verrou scientifique. Cette information est primordiale pour la planification de la trajectoire à suivre, et une erreur peut très vite coûter des vies. La perception de l’environnement peut se décomposer en deux tâches hiérarchiques : la détection des zones d’intérêt et l’analyse de la scène perçue. Ce stage se focalise sur l’analyse et l’interprétation de la scène. Une fois les zones d’intérêt détectées, il s’agira de définir le contour des potentiels obstacles (bounding boxes) ainsi que de définir la nature de ces obstacles (notamment leur caractère mobile ou non) et les caractériser (taille, vitesse…).

Avec l’augmentation du nombre de capteurs de différente nature (caméra RGB, caméra plénoptique, lidar 2D, lidar 3D, radar, etc.), il convient d’opérer une fusion de ces informations hétérogènes afin de tirer profit de ce que chaque source a à offrir. Cette fusion peut être réalisée par des approches basées sur des modèles exprimés selon différents formalismes : la fusion probabiliste [1] ou la fusion évidentielle [2].

Avec l’émergence des puissances de calcul et de l’intelligence artificielle, de nombreuses approches basées données ont été développées pour performer les tâches de perception [3], souvent d’après les informations issues d’une unique caméra RGB. D’un côté, certains travaux intègrent désormais le formalisme évidentiel à des réseaux mono-capteur [4] voire multi-capteurs. D’autres fusionnent les données au sein de réseaux de neurones selon différentes architectures [5].

L’objectif de ce stage est de développer des systèmes de perception basés sur les réseaux de neurones intégrant une couche de fusion de données évidentielle. Le cadre applicatif sera le véhicule autonome du laboratoire IRIMAS avec ses capteurs intégrés.

Objectifs :

Le/la stagiaire aura pour objectifs de faire un état de l’art sur la fusion de données, et particulièrement l’approche évidentielle, appliquée à la perception des véhicules autonomes. En parallèle, les Réseaux de Neurones Convolutifs (CNN) utilisés dans ce même cadre applicatif de la classification d’obstacles, seront étudiés.

En s’inspirant du travail de [4], il s’agira de mettre en place une structure neuronale permettant la fusion de plusieurs capteurs avec l’introduction de la théorie évidentielle. Dans un premier temps, le réseau de neurones sera choisi en accord avec l’application. Puis la méthode de fusion (pré-fusion, post-fusion ou cross-fusion) sera discutée. Enfin, des couches du réseau seront spécialement conçues pour intégrer l’approche évidentielle. Le modèle sera entraîné sur des datasets publics ou internes au laboratoire. Les résultats de classification de ce réseau de neurones évidentiel multi-capteurs seront analysés. L’ensemble des travaux de recherche réalisé par le/la stagiaire donnera lieu à des publications scientifiques pour des conférences internationales et/ou des journaux à facteur d’impact.

Conditions d’accueil :

L’intégralité du stage se déroulera à IRIMAS, au sein du Département ASI (Automatique Signal Image) et plus précisément dans l’équipe MIAM (Modélisation Identification Automatique et Mécanique) de l’Université de Haute Alsace, à Mulhouse (France). Ce stage est financé par l’ANR JCJC EviDeep.

Profil recherché : Etudiant-e en dernière année d’Ecole d’ingénieur ou en Master 2, de formation Automatique, Systèmes Embarqués, Electronique, Informatique. Des bonnes compétences en programmation sont attendues. Une expérience de système réel, ou la connaissance de la théorie évidentielle, seront des plus.

Pour toute demande d’information supplémentaire ou pour candidater, merci d’envoyer CV, résultats de Master/ingénieur et lettre de motivation avant le 01/01/2023. Pour des raisons sanitaires, nous n’accepterons que des candidatures issues d’étudiant(e)s actuellement en études supérieurs sur le sol français.

Contact : thomas.josso-laurain@uha.fr

Références :

[1] J. Dezert, A. Tchamova, and D. Han, “Total Belief Theorem and Generalized Bayes’ Theorem,” in IEEE International Conference on Information Fusion (FUSION), 2018, pp. 1040–1047. doi: 10.23919/ICIF.2018.8455351.

[2] H. Laghmara, T. Laurain, C. Cudel, and J.-P. Lauffenburger, “Heterogeneous Sensor Data Fusion for Multiple Object Association using Belief Functions,” Information Fusion, vol. 57, pp. 44–58, 2020.

[3] C.-H. Cheng, C.-H. Huang, T. Brunner, and V. Hashemi, “Towards Safety Verification of Direct Perception Neural Networks,” arXiv:1904.04706 [cs], Nov. 2019.

[4] E. Capellier, F. Davoine, V. Cherfaoui, and Y. Li, “Evidential deep learning for arbitrary LIDAR object classification in the context of autonomous driving,” in 2019 IEEE Intelligent Vehicles Symposium (IV), Jun. 2019, pp. 1304–1311. doi: 10.1109/IVS.2019.8813846.

[5] L. Caltagirone, M. Bellone, L. Svensson, and M. Wahde, “LIDAR–camera fusion for road detection using fully convolutional neural networks,” Robotics and Autonomous Systems, vol. 111, pp. 125–131, Jan. 2019, doi: 10.1016/j.robot.2018.11.002.