Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

30 mars 2018

Analyse de scènes routières par imagerie multimodale (visible et polarimétrique) et réseaux de neurones multi-classe.


Catégorie : Doctorant


Sujet de thèse proposé dans le cadre du projet ANR ICUB : Imagerie non Conventionnelle pour une mobilité sécurisée en milieu urbain (2018-2021)

Titre : Analyse de scènes routières par imagerie multimodale (visible et polarimétrique) et réseaux de neurones multi-classe.

Date du début : Septembre ou Octobre 2018

Encadrants : Samia Ainouz (samia.ainouz@insa-rouen.fr), Stéphane Canu (stephane.canu@insa-rouen.fr)

Lieu de la thèse : Laboratoire informatique, traitement de l'Information et des systèmes (LITIS, EA 4108). INSA de Rouen

 


Contexte de la thèse

Les systèmes d’aide à la conduite automobile avancée (ADAS) ne cessent d’évoluer dans le but d’une plus grande anticipation du conducteur et ainsi accroître la sécurité routière. Ces systèmes font de plus en plus appel aux techniques de vision avancées afin de détecter et/ou de suivre d’une manière précise les différents éléments d’une scène routière. Bien qu’elles aient conduit à des résultats prometteurs, ces techniques restent très limitées dans les situations peu commodes (réflexions parasites, bruits, occultations, météo dégradée, ...). Des statistiques récentes montrent que 20% des accidents mortels sont causés par des chaussées humides, 23% par des conditions météos défavorables et 41% se produisent la nuit [9]. L’objectif principal de cette thèse est donc de proposer une alternative robuste, en toutes situations, aux systèmes de détection existants.

Les techniques de détection classiques associant un classifieur de type SVM (Support Vector Machine) à des descripteurs locaux appliqués aux images 2D dans le visible [4], dans l’infrarouge [7], par fusion des deux modalités [3] ou sur une carte de disparité obtenue par stéréovision [7] s’avèrent efficaces dans de relativement bonnes conditions d’acquisition. Elles sont, en revanche, sujettes à erreurs lorsque les dégradations (bruit, flou, zones d’éblouissement,…). Nous envisageons donc de proposer, via ce travail de thèse, une alternative aux méthodes de détection d’obstacles existantes en mettant en place un système qui utilise conjointement deux modalités d’images : l’imagerie polarimétrique, et l’imagerie stéréoscopique. Notre approche vise à utiliser des caractéristiques liées à la surface de l’objet (interaction lumière-surface) plutôt qu’à sa forme ou à ses attributs géométriques et spatiaux. Notre système d’acquisition comporte un couple stéréo de caméras polarimétriques, qui permettra à la fois une acquisition polarimétrique et stéréoscopique. 

De son côté, l’imagerie polarimétrique est utilisée dans diverses applications telles que la robotique [2], le contrôle qualité [8], l’imagerie médicale [19], ou même des applications militaires [12]. Cette modalité d’image, porteuse d’informations physiques riches, est de plus en plus utilisée pour lever certaines ambiguïtés encore problématiques en imagerie conventionnelle. On peut citer d’une manière non exhaustive la mise en correspondance des surfaces fortement réfléchissantes ou transparentes [5], ou la restauration de scènes en présence de brouillard [16]. Ce haut pouvoir de distinction est dû au fait qu’en imagerie polarimétrique, chaque pixel est multidimensionnel. L’imageur polarimétrique de base étant constitué d’une caméra classique CCD et d’un filtre polariseur en rotation autour d’au moins trois angles, ce qui nous donne en moins trois images. Les composantes des pixels peuvent traduire multiples informations physiques sur la scène telles que : intensité, la réflexion, absorption, dépolarisance, …etc. La combinaison de ces composantes aboutit à des quantités physiques intéressantes telles que le degré de polarisation (DOP) ou l’angle de polarisation (AOP). L’ensemble des informations polarimétriques de la scène ainsi que sa carte de disparité calculée nous fournit un panel riche en information sur la scène considérée et permet de définir de nouvelles caractéristiques pertinentes pour les étapes de détection et de classification des obstacles.

Travail demandé

Nous envisageons, par cette thèse, de démontrer qu’il est possible de répondre positivement à nos objectifs avec les applications concernant la détection d’objets dynamiques sur la chaussée (piétons, véhicules), estimation de la distance des obstacles (par stéréovision et la relation entre les paramètres de polarisation et la normale en chaque point de la surface[8]), détection du revêtement de la chaussée (étendus d’eau, verglas[12]), caractérisation du brouillard (rapport entre les paramètres de polarisation et ceux du brouillard[16]) et la suppression des réflexions spéculaire qui empêche toute analyse d’une scène [21]). L’ongle d’attaque envisagé, dans le but de répondre à la forte contrainte des conditions défavorable et à l’objectif d’une détection multi-classe [6,10], est l’exploration des méthodes de détection avancées basées sur les réseaux de neurones profonds.

Détection d’obstacle par des réseaux de neurones profonds (Deep learning)

Il est certain que les systèmes d’aide à la conduite actuels type Mobileye montrent de très hautes performances concernant l’analyse des scènes routières. En revanche, ces systèmes sont limités dans des conditions d’acquisition défavorables. Ces conditions peuvent concerner une météo dégradées, quand la distance de visibilité est réduite, ou en présence de fortes réflexions du sol à cause de la pluie ou des objets fortement réfléchissants. L’utilisation de la polarimétrie pourrait résoudre partiellement ou complètement ces limitations vu qu’elle caractérise la réflexion de la lumière.. Cependant, il serait intéressant de combiner à cela un outil de détection performant. C’est pour cette raison que nous proposons d’utiliser les réseaux profonds, très performants pour la détection d’objets (statiques ou dynamiques) dans une scène. L’angle d’attaque envisagé pour atteindre cet objectif consiste à adapter les meilleures méthodes existantes à la multimodalité inhérente [1, 20], à la nature de notre projet et permettant notamment de traiter les phénomènes d’occultation [13].

Dans ce cadre, différentes architectures ont été proposées [15]. Nous devrons adapter ces architectures à la nature multimodale de nos données ( [17] et [18]) et notamment comparer les différentes entrées possibles (image brute, imagettes, caractéristiques extraites des images polarimétriques) et les différentes dispositions. Parmi ces entrées possibles, il serait également intéressant d’exploiter, les différents plans de polarisation (DOP, AOP) pour effectuer en amont le traitement des images en entrée afin par exemple de réduire en temps de pluie le problème des reflets qui peuvent fausser l’information acquise par le capteur (ex : différencier entre de vrais feux et feux aperçus à travers une vitrine ou sur un sol mouillé). Les propriétés physiques des images de polarisation et les méthodes basées sur les réseaux profonds peuvent nous mener jusqu’à la détection par sémantique des objets. Des travaux semblables dans le cadre du visible sont ceux développée dans [11]. Ils combinent la stéréovision et la détection par sémantique pour reconnaître différents obstacles routiers.

L’objectif final étant une architecture multi-tâche (détection et traitement) et multi-classe (plusieurs obstacles à la fois) pour une analyse complète et efficace de la scène routière.

Orientations envisagées pour ce sujet :

Compétences requises

Le candidat doit avoir de bonnes connaissances en traitement d’image et/ou de l’information. Des connaissances en imagerie de polarisation ne sont pas exigées, ça reste une modalité comme une autre. Une maîtrise d’un des langages (par ordre de préférence) : Python ou OpenCV, C/C++ ou Matlab est requise.

Références

[1] R. Benenson, M. Omran, J. Hosang, and B. Schiele. “Ten years of pedestrian detection, what have we learned?” In Proceedings of ECCV Workshop, 2014.

[2]Berger, Kai, Randolph Voorhies, and Larry H. Matthies. "Depth from stereo polarization in specular scenes for urban robotics." Robotics and Automation (ICRA), 2017 IEEE International Conference on. IEEE, 2017.

[3] M. Bertozzi, A. Broggi , A. Lasagni and M. Del Rose "Low-level pedestrian detection by means of visible and far infrared tetra-vision", Proc. IEEE Intell. Veh. Symp (IV). pp. 231 -236, 2006

[4] Felzenszwalb, P. F., Girshick, R. B., McAllester, D., & Ramanan, D. (2010). “Object detection with discriminatively trained part-based models”. IEEE Transactions on PAMI, 32(9), 1627-1645, 2010.

[5] Mathias Ferraton, Christophe Stolz, Fabrice Meriaudeau "Optimization of a polarization imaging system for 3D measurements of transparent objects", Optics Express, 17 (23), pp. 21077-21082, Optical Society of America, Nov. 2009.

[6] Flamary, R., Rakotomamonjy, A., & Gasso, G. “Learning Constrained Task Similarities in Graph-Regularized Multi-Task Learning”. Regularization, Optimization, Kernels, and Support Vector Machines, 103, 2014.

[7] A. Miron, A. Rogozan, S. Ainouz, A. Bensrhair, and A. Broggi. An evaluation of the pedestrian classification in a multi-domain multi-modality setup. Sensors, 15(6), pages 13851–13873, 2015. 


[8] O. Morel, C. Stolz, F. Meriaudeau, P. Gorria “Active Lighting Applied to 3D Reconstruction of Specular Metallic Surfaces by Polarization Imaging “, Applied Optics, 45, 4062-4068, 2006.

[9] Nicolas Pinchon, M; Ibn-Khedher., Olivier Cassignol et al. All-weather vision for automotive safety: which spectral band?. In : SIA Vision 2016-International Conference Night Drive Tests and Exhibition. Société des Ingénieurs de l'Automobile-SIA, 2016.

[10] Rakotomamonjy, A., Bach, F., Canu, S., & Grandvalet, Y. “Simple MKL”. Journal of Machine Learning Research, 9, 2491-2521, 2008.

[11] Sebastian Ramos, Stefan Gehrig, Peter Pinggera, et al. Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling. arXiv preprint arXiv:1612.06573, 2016.

[12]Rankin, Arturo L., and Larry H. Matthies. "Passive sensor evaluation for unmanned ground vehicle mud detection." Journal of Field Robotics 27.4: 473-490, 2010.

[13] M. Rohrbach, M. Enzweiler, D. M. Gavrila, “High-level fusion of depth and intensity for pedestrian classification”, in: Pattern Recognition, Springer, pp. 101-110, 2009

[14] Shreyas Saxena et Jakob Verbeek. Convolutional neural fabrics. In : Advances In Neural Information Processing Systems. p. 4053-4061, 2016.

[15] Sermanet, P., Eigen, D., Zhang, X., Mathieu, M., Fergus, R., & LeCun, Y. “Overfeat: Integrated recognition, localization and detection using convolutional networks”. International Conference on Learning Representations, 2014

[16] Yoav Schechner, Srinivasa Narasimhan, and Shree K Nayar. Polarization-based vision through haze. Applied optics, vol. 42, no 3, p. 511-525, 2003.

[17] Srivastava, N., & Salakhutdinov, R. R. Multimodal learning with deep boltzmann machines. In Advances in neural information processing systems (pp. 2222-2230), 2012.

[18] Luo, P., Tian, Y., Wang, X., & Tang, X. “Switchable deep network for pedestrian detection”. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 899-906, 2014

[19] Jérémy Vizet, Sandeep Manhas, Jacqueline Tran, et al. Optical fiber-based full Mueller polarimeter for endoscopic imaging using a two-wavelength simultaneous measurement method. Journal of biomedical optics, vol. 21, no 7, p. 071106-071106, 2016

[20] Wang Fan. How Polarimetry may contribute to road scenes understanding. Thèse de doctorat. Normandie Université, 2016

[21] Fan Wang, Samia Ainouz, Caroline PetitJean, et al. Specularity removal: A global energy minimization approach based on polarization imaging. Computer Vision and Image Understanding, vol. 158, pages 31–39, 2017. 


 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.