Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

11 décembre 2019

Détection d'alignements dans les cartes de caractéristiques d'un CNN: application au calcul des points de fuite d'une image


Catégorie : Stagiaire


Stage de Master 1 ou de fin d'étude ingénieur.

Localisation: Nancy, INRIA/LORIA, équite Magrit, http://magrit.loria.fr

Encadrants: Marie-Odile Berger et Gilles Simon

Durée: 5 mois

Contexte du sujet:

La détection automatique des points de fuite (PF) d'une image est un pré-requis à la résolution de nombreux problème de vision par ordinateur tels que le calcul de l'orientation d'une caméra, l'ortho-rectification d'une image, la reconstruction 3D d'une scène à partir d'une photographie, etc. Pour cette raison, ce problème a fait l'objet de nombreux travaux au cours des vingt dernières années. Les premières méthodes [Kosecka02], essentiellement basées sur l'algorithme d'espérance-maximisation, ont été confrontées à la difficulté de fixer des valeurs de seuil généralisables, produisant fréquemment des PF dupliqués, manqués ou erronés. Un saut qualitatif a été réalisé récemment grâce à des travaux de l'équipe Magrit [Simon18] et de l'Université du Kentucky [Zhai16]. Ces travaux ont montré qu'il est possible de détecter la ligne d'horizon indépendamment des PF, et ainsi de limiter la zone de détection des PF horizontaux à cette ligne, évitant de nombreuses fausses détections.

Malgré ces avancées, la détection automatique de PF peut générer des résultats aberrants dans certaines situations. Ces problèmes devraient pouvoir être surmontés en restant dans un cadre géométrique et stochastique, mais en considérant des alignements de primitives de niveau sémantique supérieur à celui des contours d'une image, tel que ceux pouvant être détectés par des CNNs.

 

Sujet

Plusieurs auteurs ont remarqué que les points de fuite jouent un rôle clé dans la résolution de certains problème de vision par ordinateur à l'aide d'un CNN end-to-end, tels que le calcul de pose ou l'estimation d'une carte de profondeur. Une étude préalable a par ailleurs montré que des alignements de primitives de niveau sémantique élevé émergent naturellement dans certaines couches d'un CNN entrainé à régresser des points de fuite. Le sujet visera dans un premier temps à conforter cette observation, en explorant les couches profondes de différents CNN afin de déterminer quelles couches et quels types de CNN sont les plus à même de générer ce type de primitives. Dans un second temps, nous tenterons de détecter les alignements proprement dits dans les cartes de caractéristiques des couches identifiées, à l'aide de techniques d'analyse d'image classiques telles que la transformée de Hough ou la méthode stochastique utilisée dans [Simon18].

Cadre du travail

Des réseaux de neurones convolutifs pré-entrainés seront analysés. L'environnement Matlab a notre préférence mais n'est pas obligatoire si le stagiaire se sent plus à l'aise avec d'autres langages.

Des compétences en vision par ordinateur ou en Machine learning sont souhaitables.

Voir le site web de l'équipe: http://magrit.loria.fr

Contact et candidature

Envoyez vote candidature à Marie-Odile Berger (marie-odile.berger@loria.fr) et Gilles Simon (gilles.simon@loria.fr)

Bibliographie
[Kosecka02] Kosecka J., Zhang W. Video Compass. European Conference on Computer Vision, 2002.

[Simon18] G. Simon, A. Fond, M.-O. Berger. A-Contrario Horizon-First Vanishing Point
Detection Using Second-Order Grouping Laws. In European Conference on Computer Vision, 2018.

[Zhai16] M. Zhai, S. Workman, N. Jacobs. Detecting vanishing points using global image
context in a non-manhattan world. Computer Vision and Pattern Recognition, 2016.

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.