Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

19 mars 2021

Possibilité de thèse au GREYC (UMR 6072, Caen): "Photographie et vidéo 3D par prises de vues à éclairages multiples"


Catégorie : Doctorant


L'équipe IMAGE du laboratoire GREYC recherche un bon candidat pour une thèse, avec un sujet tournant autour de la reconstruction 3D à partir de photographies et de vidéos par prises de vues à éclairages multiples.

Plus de détails sur le sujet proposé, dans le fichier .pdf joint à ce mail.
Encadrants : David Tschumperlé (CR CNRS), Yvain Quéau (CR CNRS) et Vincent Bendetti (Lieutenant de Vaisseau).

 

Les étudiants intéressés doivent nous contacter assez rapidement (la deadline pour le financement est dans 1 mois).
 

Proposition de financement de thèse :

“Photographie et vidéo 3D par prises de vues à éclairages multiples”
 
Encadrants :
• David Tschumperlé (Chargé de Recherche CNRS - Resp. de l’équipe IMAGE du GREYC),
• Yvain Quéau (Chargé de Recherche CNRS, équipe IMAGE du GREYC),
• Vincent Bendetti (Lieutenant de Vaisseau, Bureau Numérisation du Centre Inter-armées de Coordination du Soutien, CICoS).
 
Contacts: David.Tschumperle@unicaen.fr, Yvain.Queau@unicaen.fr.
 
Durée : 3 ans, à partir du 1er Octobre 2021.
Rémuneration : Env. 2135 e bruts / mois.
 
Description du sujet :
 
Contexte applicatif : Cette thèse vise à concevoir et développer des algorithmes d’Intelligence Artificielle en traitement d’images, pour la mise au point d’un système automatique de reconstruction 3D et de visualisation « augmentée » de scènes, ou d’objets réels, à partir de photographies et/ou vidéos acquises sous des éclairages multiples (problème plus connu sous le nom de stéreophotométrie), et ceci, dans des contextes culturels, événementiels ou opérationnels de l’armée française. Avec cette thèse, nous souhaitons proposer des objectifs ambitieux, pour exploiter ce procédé d’éclairage, en particulier en s’intéressant aux points suivants:
1. Calculer une reconstruction 3D complète de la scène ou de l’objet photographié, pour permettre sa restitution «augmentée », sans se limiter à la synthèse de vues à partir uniquement d’images 2D.
2. Traiter le cas de scènes contenant des objets à reflectance fortement brillante.
3. Traiter des séquences vidéos plutôt qu’uniquement des photographies statiques.
 
Contexte collaboratif : Le sujet proposé découle d’une collaboration inter-disciplinaire, entre l’AID (Agence Innovation Défense) et le laboratoire GREYC de Caen. Le GREYC, UMR CNRS 6072, possède une expertise reconnue en traitement numérique des images et des vidéos, ainsi qu’en apprentissage profond pour l’image (via son équipe « IMAGE », comportant une vingtaine de permanents). L’AID du Ministère des Armées a financé un travail préliminaire R&D, concernant un procédé de photographie innovant.
 
Méthodologie : On se propose d’exploiter ce système d’acquisition pour reconstruire, de manière algorithmique et le plus précisément possible, la géométrie 3D et la réflectance de la scène, par des techniques de stéréophotométrie [Woodham, 1978], avec une mise en oeuvre effective dans un contexte tel que la préservation du patrimoine culturel [Yeh et al., 2016, Pintus et al., 2019] à partir de photos ou de vidéos. Les algorithmes les plus performants dans ce domaine se basent aujourd’hui sur des techniques d’apprentissage statistique [Chen et al., 2020a], par utilisation de réseaux de neuronaux convolutionnels, et c’est cette voie que nous souhaitons explorer avec cette thèse. Les approches fondées sur l’apprentissage sont particulièrement adaptées à la prise en compte de surfaces avec une réflectance et un éclairage non-triviaux [Santo et al., 2020]. Afin de tirer au maximum parti de l’information photométrique contenue dans de telles données images, tout en évitant les phénomènes de saturation, nous travaillerons sur les données brutes et sous un faible éclairage, en s’inspirant des travaux récents sur la restauration d’images acquises dans de telles conditions [Chen et al., 2018]. À terme, l’extraction de nouvelles informations 3D pertinentes à partir de flux vidéo permettra de proposer une analyse beaucoup plus fine des caractéristiques des objets, des détails et des éléments cachés de la scène, sans avoir à recourir à un système d’acquisition 3D laser (plus onéreux, et qui ne peut pas être mis en œuvre dans le cas d’acquisitions vidéo).
 
Contexte et Localisation :
La thèse se déroulera dans les locaux de l’équipe IMAGE du laboratoire GREYC, à Caen / France. Le financement de cette thèse est prévu avec un cofinancement 50% Région Normandie -50% Agence de l’Innovation de Défense (AID), sous réserve d’obtention (si la qualité du candidat le permet).
 
Profil recherché :
Le candidat doit avoir un niveau Master M2, avec des compétences en traitement d’images et en apprentissage machine. La candidature doit être envoyée par mail, en y incluant un CV détaillé. Un entretien visio sera par la suite proposé dans le cas où le profil du candidat correspondrait aux attentes.
 
Références bibiliographiques liées au sujet :
 
[Woodham, 1979] Woodham, R. J. (1979). Photometric stereo: A reflectance map technique for determining surface orientation from image intensity. In Image Understanding Systems and Industrial Applications I (Vol. 155, pp. 136-143).
[Hernandez et al., 2007] Hernández, C., Vogiatzis, G., Brostow, G. J., Stenger, B., & Cipolla, R. (2007). Non-rigid photometric stereo with colored lights. In Proc. ICCV
[Chandraker et al., 2012] Chandraker, M., Bai, J., & Ramamoorthi, R. (2012). On differential photometric reconstruction for unknown, isotropic BRDFs. IEEE transactions on Pattern Analysis and Machine Intelligence, 35(12), 2941-2955.
[Yeh et al., 2016] Yeh, C. K., Matsuda, N., Huang, X., Li, F., Walton, M., & Cossairt, O. (2016). A streamlined photometric stereo framework for cultural heritage. In Proc. ECCV
[Quéau et al., 2017] Quéau, Y., Wu, T., Lauze, F., Durou, J. D., & Cremers, D. (2017). A non-convex variational approach to photometric stereo under inaccurate lighting. In Proc. CVPR
[Chen et al., 2018] Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to see in the dark. In Proc. CVPR
[Haefner et al., 2019] Haefner, B., Ye, Z., Gao, M., Wu, T., Quéau, Y., & Cremers, D. (2019). Variational uncalibrated photometric stereo under general lighting. In Proc. ICCV
[Pintus et al., 2019] Pintus, R., Dulecha, T. G., Ciortan, I., Gobbetti, E., & Giachetti, A. (2019). State-of-the-art in Multi-Light Image Collections for Surface Visualization and Analysis. In Computer Graphics Forum (Vol. 38, No. 3, pp. 909-934).
[Zheng et al., 2019] Zheng, Q., Jia, Y., Shi, B., Jiang, X., Duan, L. Y., & Kot, A. C. (2019). SPLINE-Net: Sparse photometric stereo through lighting interpolation and normal estimation networks. In Proc. ICCV
[Chen et al., 2020a] Chen, G., Han, K., Shi, B., Matsushita, Y., & Wong, K. Y. K. (2020). Deep photometric stereo for non-Lambertian surfaces. IEEE Transactions on Pattern Analysis and Machine Intelligence. In press
[Chen et al., 2020b] Chen, G., Waechter, M., Shi, B., Wong, K. Y. K., & Matsushita, Y. (2020). What is Learned in Deep Uncalibrated Photometric Stereo?. In Proc. ECCV
[Li et al., 2020] Li, M., Zhou, Z., Wu, Z., Shi, B., Diao, C., & Tan, P. (2020). Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials. IEEE Transactions on Image Processing, 29, 4159-4173
[Santo et al., 2020] Santo, H., Waechter, M., & Matsushita, Y. (2020). Deep Near-Light Photometric Stereo for Spatially Varying Reflectances. In Proc. ECCV


 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.