Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

18 septembre 2018

Post-Doc : Localisation 3D Multi-capteurs basée sur l’apprentissage artificiel - Application à la réalité augmentée


Catégorie : Post-doctorant


Ce post-doc s’inscrit dans le cadre du projet LARA3D : Localisation 3D Multi-capteurs pour les applications de réalité augmentée (région Bourgogne Franche Comté) qui vise à développer des recherches innovantes dans ce domaine afin de lever des verrous scientifiques complexes permettant de faire avancer l'état de l'art. Les résultats escomptés seront valorisés dans le cadre de projets collaboratifs avec des partenaires industriels de la région Bourgogne-Franche-Comté.

Contact : Fakhreddine.ABABSA@ensam.eu

 

Objectif

Les méthodes classiques de Réalité Augmentée (RA) fonctionnent mal lorsque l’environnement de travail est complexe présentant des conditions d’éclairage variables. Les approches basées SLAM visuel répondent en partie à cette problématique, mais présentent une limitation importante liée à la qualité de la détection et appariement des points d’intérêt dans les images. Par ailleurs, l’apprentissage automatique est considéré comme un outil efficace pour traiter les problèmes de vision par ordinateur. Plusieurs approches de la littérature proposent de formuler le problème de suivi 3D comme un problème d’apprentissage où il s’agit d’apprendre la relation entre une paire d’images et le déplacement relatif de la caméra ou de l’objet. Enfin, la combinaison de plusieurs capteurs (notamment inertiel et optique) permettrait d’améliorer la robustesse et la précision de la localisation.

L’objectif de ce post-doc est de développer de nouvelles approches de localisation multi-capteurs qui combinent un SLAM visuel avec une centrale inertielle pour pouvoir faire de la RA dans des environnements complexes. Il s’agira d’explorer de nouvelles pistes couplant l’apprentissage automatique, notamment l’apprentissage profond, avec la fusion de données pour lever certains verrous scientifiques dans ce domaine.

Mission

Dans ce projet, nous souhaitons développer une approche originale qui utilise les techniques de l'apprentissage artificiel pour localiser le système de Réalité Augmentée à partir de l'apparence courante de la scène et des données d’une centrale inertielle. Le problème de localisation sera formaliser dans un premier temps un problème d’apprentissage profond (Deep learning). L’idée ici consistera à apprendre la fonction de mapping entre, d’une part, les informations visuelles extraites des images, et d’autre part, la localisation 3D de la caméra. Pour assurer de bonnes performances dans des conditions difficiles, les descripteurs locaux des points d’intérêt, tels que SIFT et SURF, seront utilisés. Dans un deuxième temps, les données issues des capteurs seront fusionnées afin d’améliorer la précision de la localisation. Plusieurs stratégies de fusion seront testées et évaluées. Dans tous ces scénarios il s’agira de pouvoir garantir une qualité minimale de la localisation même dans des conditions très défavorables.

Dans ce cadre, un poste de Post-doctorant est ouvert et dont les tâches principales seront de :

Références

  1. A. Kacete, T. Wentz, J. Royan. Decision Forest For Efficient and Robust Camera Relocalization. In proceedings of 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR’17).
  2. M. Garon, J.F Lalonde. Deep 6-DOF Tracking. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, VOL. 23, NO. 11, pp. 2410-2418. NOVEMBER 2017
  3. A. Davison, I. Reid, N. Molton, and O. Stasse. MonoSLAM: Real-time single camera SLAM. Pattern Analysis and Machine Intelligence, 26(6):1052–1067, 2007
  4. D. Nistér. An efficient solution to the five-point relative pose problem. Pattern Analysis and Machine Intelligence, 26(6):756–777, 2004.
  5. F. Servant, P. Houlier, E. Marchand. Improving monocular plane-based SLAM with inertial measures. In IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, IROS'10, Pages 3810-3815, Taipei, Taiwan, Octobre 2010.

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.