Sujet de stage et thèse : amélioration de la qualité d’images de télédétection par apprentissage profond interprétable

6 Octobre 2023

---

Catégorie : Doctorant

---

Contexte

L’intelligence artificielle (IA) et les approches par apprentissage ont révolutionné la vision par ordinateur et le traitement d’images ces dernières années. Le domaine de la télédétection, qui exploite des images satellitaires ou aériennes pour l’observation de la terre, profite lui aussi de l’efficacité de ces approches qui ont conduit à de nombreuses avancées. Néanmoins, une application directe des méthodes d’apprentissage se heurte à de multiples difficultés. Tout d’abord, le domaine de la télédétection a de fortes spécificités qui nécessitent des adaptations significatives des méthodes d'apprentissage.

Par exemple, les données d'imagerie hyperspectrale souffrent généralement d'une faible résolution spatiale. En effet, ces images sont acquises dans de nombreuses bandes de spectrales/colorimétriques, qui mesurent chacune la scène dans des intervalles de longueurs d'ondes très étroits. Par conséquent, pour éviter que trop peu de photons ne soient mesurés par pixel, entraînant de mauvais rapports signal à bruit, la taille des pixel est généralement largement augmentée. Ainsi, malgré une très bonne résolution spectrale, les images hyperspectrales souffrent généralement de faibles résolutions spatiales, ce qui est d'autant plus critique en télédétection, où les capteurs se trouvent loin de la scène à imager.

Par ailleurs, une autre limitation est qu'il existe actuellement peu de jeux de données, et, en particulier dans le cadre de cette thèse, peu de couples d'images hyperspectrales basse-résolution/haute-résolution acquises dans des bandes de longueurs d'ondes similaires.

Pour pallier au problème de faible résolution spatiale en imagerie hyperspectrale, l’objectif de ce projet est de proposer de nouvelles méthodes de super-résolution adaptées au contexte de la télédétection. Celles-ci auront pour but d'apporter des solutions algorithmiques permettant d'améliorer la résolution spatiale d'une image. L'accent sera mis sur les réseaux de neurones interprétables nécessitant peu de paramètres appris, dont l'architecture sera inspirée de liens avec les algorithmes variationnels. En outre, les méthodes proposées contourneront le problème de la faible quantité de données disponibles en étudiant l'utilisation potentielle de données synthétiques d'entraînement et/ou de méthodes non-supervisées.

Axes méthodologiques à étudier

Nous décrivons ci-dessous deux axes méthodologiques qui seront développés dans ces travaux.

Exploitation d'algorithmes déroulés pour la super-résolution en imagerie hyperspectrale
Pour entrainer des réseaux de neurones de super-résolution, une approche possible est d'avoir recourt à de l'apprentissage supervisé : le réseau apprend à prédire, à partir d'une image hyperspectrale faiblement résolue spatialement, une nouvelle image fortement résolue. Toutefois, peu de couples d'images hyperspectrales faiblement et fortement résolues existent dans des bandes de longeurs d'ondes comparables, ce qui complexifie fortement l'entrainement de réseaux de neurones ayant un nombre important de paramètres à apprendre.
Pour contourner ce problème, nous proposons donc d'avoir recours à des réseaux de neurones dont l'architecture prend naturellement en compte les contraintes physiques du problème de super-résolution, permettant ainsi de limiter le nombre de paramètres à apprendre et par là-même la quantité de données d'entraînement requise. Plus spécifiquement, nous proposons de construire de tels réseaux en nous basant sur le principe de déploiement d'algorithmes ("algorithm unfolding/unrolling"). Le principe général du déploiement d’algorithmes est de proposer des architectures de réseaux de neurones profonds imitant les structures des algorithmes d’optimisation itératifs généralement utilisés pour résoudre le problème de super-résolution. Ces réseaux sont donc fortement interprétables. Dans le contexte de la super-résolution hyperspectrale, un élément clef pour obtenir de bons résultats est d'utiliser la structure faible rang des images, celle-ci étant due à la forte corrélation entre les bandes spectrales. Pour ce faire, nous pourrons nous inspirer de la large littérature existante sur le démélange hyperspectral.

Méthodes d'entraînement de réseaux d'apprentissage profond
Au-delà de la réduction de la complexité des réseaux de super-résolution, nous proposons également d'étudier la possibilité de réaliser leur entraînement à partir de données synthétiques pour pallier au manque de données réelles. En particulier, le modèle d’images feuilles mortes, que nous avons déjà étudié dans le contexte de l'imagerie optique classique Rouge Vert Bleu (RVB), pourra être exploré pour l'imagerie hyperspectrale. Ce modèle, originellement introduit en morphologie mathématique, permet de générer des images en superposant des formes aléatoires, simulant ainsi un processus de formation d’images simplifié. Les statistiques des images ainsi générées ont été montrées bien correspondre aux images naturelles, permettant d'espérer que ces images synthétiques soient suffisantes pour entrainer des réseaux de super-résolution. Une approche alternative pourra être de travailler sur des stratégies d'entraînement non-supervisées, permettant d'obtenir potentiellement de meilleurs résultats puisque les réseaux de neurones correspondants peuvent être directement entraînés sur les images de test (évitant ainsi une disparité trop importante entre la distribution des images d'entraînement et de test). Comme dans l'axe précédent, la prise en compte de la structure faible rang des images hyperspectrales pourra être un élément fondamental pour introduire de telles stratégies.

Planning prévisionnel du stage et de la thèse

Le stage et/ou la première année de thèse sera consacrée à la compréhension de l’imagerie hyperspectrale et aux modélisations mathématiques et physiques qui leur sont associées (modélisation des capteurs, structure faible rang…). Les travaux sur l'architecture des réseaux de neurones y seront menés. La deuxième année de thèse sera consacrée aux stratégies d'entraînement des réseaux de super-résolution en imagerie hyperspectrale (entraînement non-supervisé, sur données synthétiques...). Enfin, la dernière année pourra permettre de prendre en compte la présence de données auxiliaires pour améliorer les résultats des algorithmes (comme par exemple, l'acquisition jointe d'une image de Radar à Synthèse d'Ouverture (SAR) en même temps que l'image hyperspectrale).

Encadrement

L'équipe IMAGES de Télécom Paris a une longue expérience en imagerie de télédétection qui est internationalement reconnue.

La thèse sera réalisée sous la direction de Yann Gousseau, professeur dans cette équipe, en co-encadrement avec Christophe Kervazo (maître de conférences dans l'équipe IMAGES) et Saïd Ladjal (maître de conférences dans l'équipe IMAGES).

Par ailleurs, ce sujet s'inscrit dans le cadre du projet ALIA du CIEDS (centre inter-disciplinaire pour la défense et la sécurité de l'Institut Polytechnique de Paris) dont l'objectif est de développer des méthodes d'apprentissage en imagerie de télédétection. Elle donnera potentiellement lieu à des collaborations avec Florence Tupin et Loïc Denis dans le cadre de ce projet, ainsi qu'avec les deux autres doctorants/doctorantes et stagiaires qui seront recrutés.

Profil recherché

La personne recrutée devra être en Master 2 (pour le stage) ou avoir achevé une formation de niveau Master 2 (pour la thèse) et posséder de bonnes connaissances en traitement du signal / des images, ainsi qu’en apprentissage automatique (machine learning). La maîtrise d’outils d’optimisation convexe ou une connaissance du domaine de la télédétection sont des plus. Idéalement, le langage Python (et notamment le module d’apprentissage Pytorch) devra être connu. De par la nature des financements, les candidats / candidates possédant une nationalité européenne seront prioritaires.

Le candidat / la candidate acquiérera une expertise en traitement du signal et apprentissage profond interprétable, ainsi que de bonnes connaissances en optimisation non-convexe et en télédétection.

Contact

• Christophe Kervazo : christophe.kervazo@telecom-paris.fr
• Yann Gousseau : yann.gousseau@telecom-paris.fr

Le sujet complet, avec illustrations et référence bibliographiques, est disponible ici