Annonce

Les commentaires sont clos.

Methodes d'apprentissage statistique pour la factorisation de matrices non-negatives

17 Novembre 2021


Catégorie : Stagiaire


Ce stage a pour objet l’amélioration des résultats produits par l’algorithme de Multiplicative Updates pour le calcul de la factorisation en matrices non-négatives par l’introduction de méthodes d’apprentissage statistique profond, et plus specifiquement de deep unrolling.

 

Contexte:
En traitement du signal, la séparation aveugle de sources (SAS [Comon2010]) est une méthode de premier plan pour traiter des données multi-observations. Celle-ci a fait ses preuves dans de nombreux domaines : traitement du signal audio [Fevotte2009], télédétection [Dobigeon2014], astrophysique [Bobin2007]. Un exemple caractéristique de la SAS est le problème dit de la soirée cocktail: un auditeur dans une soirée animée entend les discussions de nombreuses personnes, et en particulier de son interlocuteur privilégié. La SAS consiste dans ce cas à savoir qui dit quoi, ou à minima de séparer ce que dit son interlocuteur du reste des conversations.

De manière générale, les jeux de données X de taille m par t considérés en SAS sont supposés provenir de mélanges de signaux élémentaires, appelés sources, S de taille n par t. Le mélange est souvent supposé linéaire, correspondant à un modèle
X = AS,
où la matrice A est une matrice de mélange, permettant de pondérer les contributions des différentes sources (poids de mélange). A partir de jeux de données suivant ce modèle, l'objectif de la SAS est de retrouver les sources S à l'origine du mélange observé X, ainsi que les coefficients de mélange A. La SAS s'écrit donc comme un problème de factorisation de matrices. C'est un problème mal posé, car sans information supplémentaire sur les inconnues A et S, il existe une infinité de factorisations équivalentes et on ne peut donc pas reconstruire exactement le ``vrai'' S.

Dans de nombreux cas pratiques, les coefficients des deux facteurs S et A correspondent à des quantités physiques positives (concentrations, proportions, spectres...), conduisant plus spécifiquement au problème de factorisation de matrices non-négatives (NMF - [Gillis2020]). Sous certaines conditions, la NMF a une solution essentiellement unique ce qui la rend pertinente pour retrouver les vrais S et A. Cependant l'estimation de ses paramètres est un problème difficile.

Applications
Les applications de la NMF sont variées. Durant ce stage, nous nous concentrerons sur la télédétection et plus spécifiquement le démélange hyperspectral. Dans ce contexte, les données hyperpsectrales correspondent à des images d'une scène, acquises depuis un capteur aéroporté. A la différence des images naturelles couleur classiques, les données hyperspectrales contiennent de nombreuses bandes spectrales (de quelques dizaines à quelques centaines). Ce sont donc des cubes possédant deux dimensions spatiales et une dimension spectrale. Ainsi, un spectre électromagnétique précis est mesuré pour chaque pixel, ce qui permet en principe d'obtenir une information sur les matériaux présents au sein de chaque pixel. Toutefois, malgré leur bonne résolution spatiale, les capteurs hyperspectraux ont généralement une faible résolution spatiale et plusieurs matériaux sont donc généralement présents dans chaque pixel. Ainsi, le spectre mesuré dans un pixel donné ne correspond pas au spectre d'un unique matériau mais plutôt à un mélange des spectres des matériaux constituant le pixel. La résolution d'un problème de NMF permet, à partir d'une image hypspectrale réécrite sous la forme d'une matrice X, de retrouver à la fois les concentrations relatives des matériaux dans chaque pixel (matrice S) et les spectres des différents matériaux présents dans l'image A.


Objectifs
En pratique, la NMF est souvent écrite sous la forme d'un problème d'optimisation, qui est toutefois hautement complexe car non-convexe. Dans ce contexte, la stratégie d'optimisation des mises-à-jours multiplicatives (Multiplicative updates -- MU) est couramment utilisée, car elle permet d'obtenir de manière simple des approximations des solutions recherchées. Toutefois, ces approximations sont souvent sous-optimales.
Ce stage a pour objet l'amélioration des résultats de l'algorithme MU par l'introduction de méthodes d'apprentissage statistique profond, et plus specifiquement de deep unrolling. L'unrolling, introduit dans [Gregor2010], permet de manière générale de proposer des architectures de réseaux de neurones inspirées d'algorithmes classiques d'optimisation. Dans notre cas, le réseau de neurones proposé aurait donc une structure basée sur l'algorithme MU. L'intérêt est double :

  • Comparé à l'algorithme MU, le réseau de neurones permettrait potentiellement d'obtenir de meilleures solutions en mettant à profit une base d'apprentissage pour reparamétriser la forme de la mise à jour, dans l'espoir d'améliorer les estimations finales de A et S.
  • Comparé aux réseaux de neurones conventionnels, utiliser une méthode d'unrolling permettrait d'obtenir une architecture plus interprétable, permettant de mieux prendre en compte l'existence de contraintes physiques sur le problème de NMF.

Les méthodes développées durant le stage devront être minutieusement évaluées, tant sur données simulées que réalistes, pour déterminer leur intérêt par rapport à l'algorithme MU.

Candidat.e:
La personne recrutée doit être en formation de Master 2 (ou équivalent) et devra posséder de bonnes connaissances en traitement du signal / des images, ainsi qu'en apprentissage automatique (machine learning). Idéalement, le langage Python (et notamment le module d'apprentissage Pytorch) devra être connu. Enfin, la maîtrise d'outils d'optimisation convexe est un plus.

Le candidat / la candidate acquiérera une expertise en traitement du signal (notamment en factorisation de matrices), en apprentissage automatique et en optimisation non-convexe. Les connaissances acquises sont valorisables dans de nombreux domaines : télédétection, astrophysique, traitement de données textuelles...

Contact:
Le stage (6 mois) se déroulera au sein de l'équipe IMAGES (Télécom Paris), sous la supervision de Jérémy Cohen (IRISA, Rennes) et Christophe Kervazo (Télécom Paris).

  • Contact: jeremy.cohen@irisa.fr; christophe.kervazo@telecom-paris.fr
  • Les candidatures sont attendues avant le 30 janvier 2022.
  • Date de début du stage: flexible, à partir de février 2022.

Plus d'informations sur: https://sites.google.com/view/christophekervazo/ et jeremy-e-cohen.jimdofree.com.