Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

7 janvier 2019

Utilisation de la sémantique pour le calcul de pose


Catégorie : Stagiaire


Lieu du stage: LORIA/INRIA (Nancy), équipe Magrit magrit.loria.fr

La réalité augmentée vise à accroître la perception qu'un utilisateur a de son environnement en ajoutant dans son champ visuel des informations ou des objets graphiques. Le besoin d'afficher des éléments au bon endroit dans les images et de les intégrer de façon réaliste dans l'environnement nécessite de connaître la position de la caméra à chaque instant.

Le calcul de pose a été longtemps basé uniquement sur la mise en correspondance entre points d'intérêt 2D extraits dans l'image et points 3D d'un modèle de la scène. En pratique, la génération d'hypothèses est basée sur les similarités photométriques et le taux d'hypothèses incorrectes peut etre assez élevé. Le calcul de la pose est donc fait par échantillonnage: 4 correspondances 2D/3D permettant le calcul de la pose, on génère aléatoirement des quadruplets de correspondances et on évalue la qualité de la solution trouvée. Traditionnellement, cette évaluation repose sur la taille de l'ensemble de consensus, c'est-à-dire l'ensemble des points en accord avec cette pose. En pratique, dans des contextes applicatifs complexes avec de nombreux motifs répétés, de forts changements de points de vue ou des changements d'illumination dans la scène, les hypothèses 2D/3D ne sont pas fiables et en petit nombre. La taille des ensembles de consensus est alors faible rendant l'identification de la solution optimale parmi les solutions possibles difficiles.

 

Avec l'avènement des méthodes de reconnaissance d'objets, on dispose désormais de méthodes assez fiables d'étiquetage sémantique (segnet,...). Ces méthodes sont par ailleurs relativement invariantes aux changements d'illumination. Plusieurs tentatives ont donc été faites pour utiliser cette information sémantique pour le calcul de pose. Certaines l'utilisent comme modalité principale, le recalage modèle/image étant fait uniquement sur la sémantique. D'autres l'utilisent comme modalité secondaire, la sémantique servant uniquement à évaluer la qualité de la solution.

Ce sujet vise à ouvrir une réflexion sur la meilleure façon d'utiliser la sémantique pour le calcul de pose. On travaillera dans le cadre de scènes modélisées par un ensemble de poins (SFM). On considérera plus particulièrement le contexte urbain. Plusieurs étapes sont envisagées:

Pré-requis: des connaissances en traitement d'image, vision par ordinateur et apprentissage seront appréciées. Une maquette implantant les méthodes proposées sera réalisées en matlab.

 

Durée: 5 mois

Contacts: Marie-Odile Berger (marie-odile.berger@loria.fr) et Gilles Simon (gilles.simon@loria.fr)

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.