Complex-Valued Generative Neural Networks for SAR Imaging Applications

13 Mars 2023

---

Catégorie : Doctorant

---

Depuis le travail séminal de Ian Goodfellow [I. Goodfellow, 2014], les modèles génératifs ont suscité un énorme intérêt de la part de la communauté de l'apprentissage automatique. Les réseaux adversariaux génératifs (GAN) sont des réseaux génératifs appris purement à partir de données. Les GAN ont démontré leur capacité à générer des données de haute fidélité dans divers domaines, à commencer par la vision par ordinateur. Bien que la proposition initiale soit inconditionnelle, elle a été étendue aux GANs conditionnels où un élément d'information peut être fourni pour conditionner le processus génératif. Par exemple, un masque sémantique peut être fourni en entrée d'un réseau générant des images réelles dont les catégories tentent de correspondre à la sémantique d'entrée fournie. Une autre application intéressante dans le contexte de cett thèse est la super-résolution : un GAN peut être entraîné de manière conditionnelle sur des données à faible résolution pour générer des données à haute résolution. Dans ce domaine de l'apprentissage de réseaux génératifs pilotés par les données, les réseaux de diffusion [J.S. Dickstein, 2015], introduits plus tard, démontrent également des performances impressionnantes sur la génération de données et permettent de s'ajouter. Dans ce projet de thèse, nous souhaitons explorer les possibilités offertes par les réseaux génératifs dans le contexte des signaux radar à valeurs complexes.

L'idée d'utiliser ces outils potentiels est de générer des images SAR artificielles (ou un autre type de signal radar) avec une représentation physique et une interprétation solides. À cette fin, nous devons veiller à ce que les développements de l'intelligence artificielle tiennent compte de la physique afin de garantir que ce qui est fait est approprié par rapport aux phénomènes physiques. La conservation de l'information de phase est cruciale pour synthétiser de nouvelles images SAR pendant la génération d'images SAR. Les développements de la méthodologie à valeurs complexes sont alors nécessaires pour construire un apprentissage automatique conscient de la physique et ont été récemment développés [J. A. Barrachina, 2022]. Par conséquent, des images SAR génératives à valeurs complexes correspondantes pourraient être construites pour conserver les informations de phase relatives à la largeur de bande spectrale, à la largeur de bande azimutale, à la relation de différence de phase dans les canaux polarimétriques et interférométriques, etc. Un autre intérêt de travailler avec l'image SAR à valeurs complexes est de générer directement le spectre des images SAR dans lequel l'information de phase est fondamentale pour reconstruire l'image spatiale. L'avantage de travailler dans le domaine spectral est qu'il prend effectivement en compte les caractéristiques du radar telles que la largeur de bande et les contraintes de sous-ouvertures qui peuvent potentiellement caractériser l'image SAR réelle.

Les applications radar et SAR pourraient tirer partie de ces nouveaux développements. La génération réaliste d'images SAR qui prennent en compte la diversité des images sources pourrait alors être possible :

* La génération de nouveaux ensembles de données SAR pour analyser la performance des algorithmes SAR (détection, détection des changements, classification) et pour améliorer la performance des algorithmes d'apprentissage automatique basés sur le SAR (augmentation des données),
* Génération de nouvelles images SAR à haute résolution (distance et azimut) à partir d'images à faible résolution (superrésolution),
* Génération d'images partageant différentes sources spatiales d'information : zones urbaines, agricoles, forestières, etc,
* Génération d'images SAR full-pol et/ou d'images SAR d'interférométrie à partir d'images SAR monocanal,
* Segmentation sémantique (GANs conditionnels comme CycleGAN [T. Karass, 2021] ou traduction d'images (par exemple SAR vers RGB).

Cette approche peut être une solution pour limiter les expérimentations SAR. La caractéristique physique des images SAR à valeurs complexes rendra possible des opérations telles que la détection cohérente de cibles, la détection cohérente de changements entre images, l'exploitation d'images SAR en série temporelle, la classification polarimétrique et l'interférométrie.

Ce doctorat vise à développer des outils dédiés à l'élaboration de nouveaux schémas d'apprentissage automatique non supervisés afin de conserver une représentation physique et une interprétation solides des images SAR générées. Le doctorant s'appuiera sur la bibliothèque open-source (https://github.com/NEGU93) développée précédemment par J. A. Barachina pour les données radar à valeurs complexes et basée sur Tensorflow, bien que des développements récents du cadre PyTorch permettent désormais de traiter des tenseurs à valeurs complexes avec des graphes de calcul différentiables. En utilisant cette bibliothèque, il est possible d'aborder et d'analyser n'importe quel composant récent d'apprentissage automatique comme les autoencodeurs, les transformateurs, etc. à travers des méthodologies théoriques stimulantes (transport optimal, distance de Wasserstein, caractérisation des espaces latents, etc.)

Cette thèse de doctorat devrait débuter en octobre 2023.

Lien Adum: https://adum.fr/as/ed/voirproposition.pl?site=PSaclay&matricule_prop=46187#version