Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

22 octobre 2019

[stage ONERA Palaiseau] Synthèse de fonds nuageux par deep learning


Catégorie : Stagiaire


Le but du stage est d’adapter des méthodes de type deep learning, notamment des GANs, à la génération de fonds nuageux texturés. La pertinence des textures générées par rapport aux textures réelles sera évaluée à l’aide de critères adaptés à la description des fonds naturels

L’évaluation des performances des capteurs optiques nécessite de disposer de scènes de référence et de prendre en compte la variabilité des cibles et du fond, donc de pouvoir générer rapidement des images reproduisant les niveaux radiométriques et la texture des fonds naturels réels, pour compléter les bases de données expérimentales. Pour les fonds nuageux, il faut notamment :

-avoir des bords de nuages réalistes, les bords de nuages étant les principales sources de fausses alarmes pour les applications de détection de cibles sur fond nuageux.

-pouvoir générer des images associées à de grandes surfaces à partir de mesures effectuées sur des zones réduites, en s’affranchissant des effets de mosaïques.

Le but du stage est d’adapter des méthodes de type deep learning à la génération de fonds nuageux texturés.

Dans un premier temps, il s’agira de mettre en œuvre et d’adapter à notre problématique une approche prometteuse, pour laquelle un code python est disponible. L'idée [Snelgrove 2017] est d’utiliser un réseau neuronal convolutionnel déjà entrainé pour une tâche de reconnaissance d’objets pour extraire des caractéristiques d’une image et de générer de nouvelles textures à partir d’un bruit blanc, de façon à minimiser l’écart entre les matrices de Gram dans l’espace des caractéristiques de l’image d’origine et de l’image synthétique.

Dans un second temps, l’objectif sera d’adapter le concept de réseau de noyaux convolutionnel (Convolutional Kernel Network – CKN)[Mairal2016], à une architecture de type réseaux antagonistes génératifs (Generative Adversarial Networks - GAN). Les GANs ont été introduits par Goodfellow en 2014 et permettent de générer des images avec un fort degré de réalisme. Un GAN est constitué de deux réseaux placés en compétition selon le principe de la théorie des jeux. Le premier réseau est le générateur, il génère une image la plus réaliste possible, tandis que son adversaire, le discriminateur, essaie de détecter si un échantillon est réel ou bien s'il est le résultat du générateur.

Les CKN sont parfaitement adaptés à l’apprentissage non supervisé,conduisentà une interprétation géométrique des différentes couches du réseau, chaque étape revenant à effectuer une projection sur un sous-espace linéaire dans un espace de Hilbert à noyau (RKHS – Reproducing Kernel Hilbert Space), et donnent de très bons résultats en classification et super-résolution avec des architectures simples. De plus, l'utilisation d'une architecture de type CKN à la place d'un noyau Gaussien classique semble intéressante [Bietti2019] dans le cas de GANs basés sur un critère de type MMD (Maximum Mean Discrepancy [Gretton2012]).

La pertinence des textures générées par rapport aux textures réelles sera évaluée à l’aide de critères pertinents pour la description des fonds naturels : moments statistiques, paramètre de Hurst et distribution des incréments horizontaux et verticaux pour caractériser les bords de nuages.

Bibliographie

X. Snelgrove, High-Resolution Multi-Scale Neural Texture Synthesis, 2017, doi 10.1145/3145749.3149449.

J. Mairal, End-to-End Kernel Learning with Supervised Convolutional Kernel Networks, Advances in Neural Information Processing Systems (NIPS), 2016, hal-01387399

A. Gretton, K. M. Borgwardt, M. J. Rasch, B. Schölkopf, and A. Smola, A kernel two-sample test, Journal of

Machine Learning Research (JMLR), 13 :723–773, 2012.

A. Bietti, G. Mialon, D. Chen, and J. Mairal, A Kernel Perspective for Regularizing Deep Neural Networks. International Conference on Machine Learning (ICML). 2019,arXiv:1810.00363

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.