Annonce
Impact du traitement numérique sur la conception conjointe optique/traitement
19 Octobre 2023
Catégorie : Stagiaire
Sujet de stage
Les systèmes d'imagerie sont aujourd'hui souvent constitués d'un système optique, auquel on adjoint un traitement numérique. L'approche classique consiste à considérer et optimiser ces deux parties séparément. Au contraire, la "co-conception", ou conception conjointe optique/traitement, s'intéresse au deux dans le même temps, soit pour améliorer le système d'imagerie entier, soit pour lui ajouter des fonctionnalités (extension de la profondeur de champ), ou encore pour limiter son coût et encombrement
à capacités constantes.
La co-conception peut être menée dans un logiciel de conception optique (CodeV, Zemax), auquel cas il faut y implémenter des métriques spécifiques, telles que l'écart quadratique (MSE, pour "mean square error") entre une image idéale et l'image produite par le système d'imagerie entier [1] lorsqu'on s'intéresse à la restauration de la qualité d'une image. Aujourd'hui, une autre voie est également envisagée : celle d'utiliser un logiciel de tracé de rayons qui fournit à la fois l'image et ses dérivées par rapport aux paramètres du système [2]. Ces logiciels ont l'avantage de pouvoir être liés à des réseaux de neurones, qui permettent d'envisager des traitements numériques plus puissants pour la co-conception. Cependant, de tels traitements complexifient le système, et crée un paysage d'optimisation complexe susceptible d'empêcher la stratégie de co-optimisation d'aboutir. D'intenses recherches sont donc menées pour établir les traitements numériques adaptés à la méthode de co-conception. Par exemples, il peut être envisagé de mixer les approches analytiques basées sur le MSE avec un réseau de neurones [3], ou de conserver une approche analytique mais avec des algorithmes plus complexes permettant par exemple de prendre en compte les variations de la PSF dans le champ [4]. Nous nous intéressons à ce dernier cas dans le cadre de ce stage.
L'ONERA a développé une méthode basée sur un modèle optique par tracé de rayons différentiel (nommé "FORMIDABLE") et démontré son efficacité [5]. Le logiciel présente la possibilité de prendre en compte des surfaces optiques complexes telles que des optiques freeform. Le stage proposé a deux objectifs : le premier est de développer la possibilité de faire de la co-conception avec ces surfaces au sein même de FORMIDABLE (plutôt que d'y adjoindre un réseau de neurones) et le second est d'étudier l'impact du traitement numérique choisi sur le système optique co-optimisé et sur les performances du système d'imagerie entier.
Les principales étapes du travail seront les suivantes :
1. Prise en main du logiciel de tracé de rayons différentiel FORMIDABLE et du langage de programmation associé (Julia/Python) ;
2. Implémentation des critères d'optimisation analytiques dans FORMIDABLE. Plusieurs critères seront envisagés, pour plus ou moins prendre en compte la variation de la PSF dans le champ :
- MSE obtenu après déconvolution par un filtre de Wiener moyen;
- MSE obtenu après utilisation d'un algorithme de déconvolution par zones. Il s'agit d'un algorithme qui consiste à diviser l'image en plusieurs zones et à déconvoluer chaque zone avec un filtre de déconvolution linéaire [4];
- MSE obtenu après une restauration adaptée, i.e. après l'utilisation d'algorithmes de déconvolution itératifs prenant en compte la variation continue de la PSF dans le champ.
3. Comparaison des méthodes d'optimisation. En partant d'un même point de départ optique, on étudiera et analysera les différences entre les systèmes obtenus avec les différentes méthodes. Cette comparaison se fera sur des systèmes optiques de complexité croissante.
Des échanges avec le Laboratoire Charles Fabry sont prévus à la fin du stage pour analyser et discuter des résultats optiques obtenus. En fonction de l'avancée des travaux, plusieurs nouvelles pistes pourront être envisagées :
- prise en compte de la taille finie du filtre de déconvolution dans l'implémentation;
- comparaison des résultats obtenus avec l'approche de "deep co-conception". Pour cela, un environnement de co-conception par réseau de neurones est disponible à l'ONERA/DTIS.
Les résultats obtenus pourront être soumis dans un journal à l'issu de ce stage.
Références
[1] A. Fontbonne, H. Sauer, F. Goudail, "Comparaison of methods for end-to-end co-optimization of optical systems and image processing with commercial lens design software," Opt. Express 30(8), 13556-13571 (2022).
[2] Q. Sun, C. Wang, Q. Fu, X. Dun, W. Heidrich, "End-to-end complex lens design with differentiable ray tracing", ACM Trans. Graphics, 40 (2021).
[3] R. Zhang, F. Tan, Q. Hou, Z. Li, Z. Sun, C. Yang, X. Gao, "End-to-end learned single lens design using improved Wiener deconvolution," Opt. Letter. 48, 522-525 (2023).
[4] A. Fontbonne, H. Sauer, F. Goudail, "Improved performanceof a hybrid optical/digital imaging system with fast piecewise Wiener deconvolution," Opt. Express 30, 34343-34361 (2022).
[5] A. Halé, P. Trouvé-Peloux, J.-B. Volatier, "End-to-end sensor and neural network design using differential ray tracing," Opt. Express, 29 (21) (2021).
Informations complémentaires
Stage de niveau M2, de durée 4 à 6 mois sur la période Février/Août 2024.
Localisation : ONERA, DOTA, Palaiseau
Contact : Alice FONTBONNE (alice.fontbonne@onera.fr) et Pauline TROUVE-PELOUX (pauline.trouve@onera.fr)
Lien : https://w3.onera.fr/stages/sites/w3.onera.fr.stages/files/dota-2024-08.pdf