Stage de fin d'études ONERA/DTIS : Imageur 3D monoculaire par Depth from Defocus et réseau de neurones

23 Octobre 2023

---

Catégorie : Stagiaire

---

L'ONERA développe depuis plusieurs années des caméras 3D compactes qui fournissent une image couleur et une carte de profondeur indiquant la distance des objets vus dans l'image. En particulier l'ONERA s'intéresse aux approches exploitant la relation entre le flou de défocalisation et la profondeur, approche désignée par le terme de Depth from Defocus (DFD)[1]. En effet, le niveau de flou d'un objet est une indication sur la position de l'objet par rapport au plan de mise au point. Plusieurs composants optiques non conventionnels ont été proposés pour améliorer les performances de cette technique. L'ONERA a notamment proposé d'utiliser une optique chromatique, qui sépare les plans de mise au point rouge, vert et bleu de l'image, pour éviter les ambiguités sur la profondeur (devant ou derrière le plan de mise au point) et les zones aveugles liées à la région de profondeur de champ dans laquelle l'objet est net [2]. D’un point de vue algorithmique, des approches d’estimation de profondeur à partir d’une image par deep learning ont récemment été développées à l’ONERA [3,4,5]. Il s’agit d’approches globales s’appuyant sur les informations de contexte [3,4] et d’une approche locale exploitant le flou de défocalisation d’une fenêtre de l’image [5]. Cependant, pour des optiques non conventionnelles, qui peuvent présenter des aberrations déformant le flou dans le champ, l’estimation d’une carte de profondeur dense sur l’ensemble de l’image reste un enjeu. Par ailleurs les approches par fenêtre génèrent des estimations sous-résolues par rapport à l’image et posent la question des zones de discontinuité de profondeur. Ainsi, ce stage vise principalement à investiguer deux problématiques :
- Comment faire du DFD grand champ lorsque l’optique présente de fortes aberrations hors axe ?
- Comment raffiner les cartes de profondeur brutes obtenues par des approches de DFD par fenêtre ?

Pour répondre à ces questions, le/la stagiaire développera des méthodes originales notamment basées sur des réseaux de neurones. Il/elle pourra s’inspirer de méthodes concernant la prise en compte des aberrations sur l’estimation mono-image de profondeur [6], de méthodes fusionnant des approches de DFD par fenêtres et par contours [7], ainsi que d’approches de raffinement de cartes de profondeur à l’aide de réseau de neurones, telle que la méthode [8] développée à l’ONERA en stéréoscopie. L’évaluation de ces méthodes se fera sur des bases de données réelles acquises par le/la stagiaire avec un banc d’acquisition multi-capteurs existant au DTIS.

Références

[1] A. Pentland, A new sense for depth of field, PAMI , 1987.
[2] P. Trouvé et al, Depth estimation using chromatique aberration and depth from defocus approach, Applied Optics, 2013.
[3] M. Carvalho, B. Le Saux, P. Trouvé-Peloux, A. Almansa and F. Champagnat, On regression losses for
deep depth estimation, (ICIP'2018).
[4] R. Leroy, B. Le Saux, P. Trouvé-Peloux, F. Champagnat, Pix2point: Learning outdoor 3d using sparse point clouds and optimal transport (MVA 2021).
[5] R. Leroy, P. Trouvé-Peloux, F. Champagnat et B. Le Saux, Learning Local Depth Regression from
Defocus Blur by Soft-Assignment Encoding (à paraître dans Applied Optics).
[6] M. Kashiwagi, N. Mishima, T. Kozakaya, and S. Hiura, Deep depth from aberration map, ICCV, (2019).
[7] Liu, S., Liao, Q., Xue, J.-H., and Zhou, F. Defocus map estimation from a single image using improved
likelihood feature and edge-based basis. Pattern Recognition (2020)
[8] M. Ferrera, A. Boulch, J. Moras, Fast Stereo Disparity Maps Refinement By Fusion of Data-Based And Model-Based Estimations, 3DV (2019)