Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

16 mars 2021

Thèse: apprentissage semi-supervisé pour la reconstruction 3D d'environnements à partir d'images


Catégorie : Doctorant


Thèse: apprentissage semi-supervisé pour la reconstruction 3D d'environnements à partir d'images

Encadrant de thèse: Maxime Lhuillier (CR CNRS, HDR), maxime.lhuillier@uca.fr

La reconstruction 3D d'un environnement complet à partir d'images est utile dans de nombreuses applications comme la réalité virtuelle et les véhicules autonomes.
Plusieurs méthodes de vision par ordinateur et de photogrammétrie sont nécessaires pour résoudre ce problème: l'estimation d'un nuage de points et des paramètres de caméras, la reconstruction de surface, et le texturage.

Des résultats obtenus jusqu'à présent sont accessibles à
https://www.youtube.com/user/flymax63
https://sketchfab.com/flymax63
https://sidequestvr.com/user/330664
http://maxime.lhuillier.free.fr

Une des voies les plus prometteuses d'améliorations est l'utilisation des méthodes d'apprentissage profond (AP) pour résoudre l'étape de reconstruction de surface.
Il s'agit aussi d'éviter les méthodes supervisées, qui nécessitent des bases de données avec de l'information 3D récupérée avec un scanner.
Il y a plusieurs raisons à cela: le prix/la disponibilité/les conditions d'applications du scanner et le temps/la facilité d'acquisition.
Ici on propose d'utiliser une base de données composée de plusieurs grands environnements reconstruits par une méthode (qui n'est pas AP), avec une minorité de corrections manuelles.
Une idée est que le réseau apprend à remplacer un morceau de surface qui peut être mauvais par un autre mieux, avec un auto-encodeur par exemple.
De plus, la taille de la zone locale de correction est un compromis: suffisamment petit pour permettre le calcul, suffisamment grand pour que le réseau puisse récupérer de l'information sémantique et décider à partir de cela comment corriger la surface.
Grâce à l'apprentissage, on espére améliorer le résultat d'une méthode de reconstruction de surface (qui n'est pas AP), par exemple quand les conditions expérimentales sont plus difficiles.

Il y a plusieurs types d'environnements et de méthodes de reconstruction de surfaces qui peuvent être utilisés pour générer une base de données.
On se focalise principalement sur le cas d'environnements extérieurs (urbains et naturels) reconstruits avec une caméra 360 grand public fixée sur un casque, mais d'autres cas peuvent êtres étudiés.
Ce cas est intéressant à la fois pour les applications (ex: réalité virtuelle) mais aussi pour la facilité de générer la base de donnée.

Pour candidater: envoyer à maxime.lhuillier@uca.fr un CV détaillé avec classements, lettre de motivation, lettres de recommendation, avant le 1 mai 2021.

Début de thèse: octobre 2021 (durée de 3 ans)
Localisation: Equipe ComSee à l'Institut Pascal, Clermont Ferrand
Financement: contrat doctoral (allocation ministerielle)


Keywords: deep learning, semi-supervised learning, photogrammetry for VR, surface reconstruction from images

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.