Annonce

Les commentaires sont clos.

Machine learning pour la factorisation de matrice non-négative et non-linéaire

9 December 2021


Catégorie : Stagiaire


Ce stage a pour l'objet l'introduction de méthodes d'apprentissage statistique pour le problème de factorisation de matrices nonnégatives.

 

Contexte

En traitement du signal, la séparation aveugle de sources (SAS – [1]) est une méthode de premier plan pour traiter des données multi-observations. Celle-ci a fait ses preuves dans de nombreux domaines : traitement du signal audio [2], télédétection [3], astrophysique [4]...

De manière générale, les jeux de données X ∈ R^(m×t) considérés en SAS sont supposés provenir de mélanges de signaux élémentaires, appelés sources S ∈ R^(n×t). Le mélange est souvent supposé linéaire, correspondant à un modèle :

X = AS

où la matrice A ∈ R^(n×t) est une matrice de mélange, permettant de pondérer les contributions des différentes sources (poids de mélange). A titre d’exemple, en traitement de signaux sonores, X peut correspondre à un (spectrogramme d’un) morceau de musique, et S aux différentes notes le composant.

A partir de jeux de données suivant le modèle (1), l’objectif de la SAS est de retrouver les sources S à l’origine du mélange observé X, ainsi que les coefficients de mélange A. La SAS s’écrit donc comme un problème de factorisation de matrices. Dans de nombreux cas pratiques, les coefficients des deux facteurs S et A correspondent à des quantités physiques positives (concentrations, proportions, spectres...), conduisant plus spécifiquement au problème de factorisation de matrices non-négatives (NMF).

Toutefois, la NMF est en l’état un problème hautement complexe, qui est en particulier NP-difficile. Pour rendre le problème soluble en temps polynomial, il a été proposé [5] de se restreindre à une sous-catégorie de NMF, à savoir la NMF presque séparable. Dans celle-ci, en plus des hypothèses denon-négativité propres à la NMF, il est supposé que chaque colonne de la matrice A apparait au moins une fois parmi celles du jeu de données X. Physiquement, cela revient à dire que chaque source est présente seule dans au moins une colonne de X, ou tout du moins y prédomine largement. Tout le jeu de la séparation de sources consiste alors à identifier ces colonnes pures et à décrire les autres colonnes de X comme une combinaison linéaire de celles-ci.

La NMF presque séparable a connu de nombreux succès dans le cadre de modèles linéaires de la forme (1) [6]. Cependant, les observations réelles présentent généralement des non-linéarités qu’il est nécessaire de prendre en compte pour une extraction précise des sources. A cette fin, plusieurs modèles non-linéaires ont été proposés : à titre d’exemple, le modéle linéaire-quadratique [7] propose d’ajouter dans (1) des termes polynômiaux d’ordre 2, permettant en particulier de mieux modéliser en télédétection les réflexions multiples de la lumière éclairant une scène imagée. Un autre modèle courant est le modèle post non-linéaire. Dans celui-ci, une fonction non-linéaire f est appliquée à un mélange linéaire : X = f(AS), ce qui permet de modéliser des saturations de capteurs. Cependant, les modèles non-linéaires étudiés jusqu’à présent sont bien souvent construits à partir de modèles analytiques fixés par avance (e.g. modèle polynomial), qui ne décrivent pas nécessairement la complexité réelle des données. La question traitée durant ce stage sera donc d’ ́etudier la construction de modèles données-dépendants par apprentissage automatique.

Objectifs

Ce stage a pour objet l’étude d’une nouvelle approche pour la résolution de problèmes de NMF non-linéaire. L’approche proposée réside dans la construction d’un modèle d’apprentissage inspiré d’un modèle introduit récemment appelé IAE (Interpolary AutoEncoder - [8]). Ce dernier permet l’apprentissage d’une représentation non-linéaire de manière non-supervisée à partir des données mesurées. A la différence des architectures d’autoencodeurs classique, l’IAE produit des échantillons construits par interpolation à partir de signaux de référence appelés points d’ancrage. Dans le contexte de la NMF non-linéaire, les points d’ancrages sont comparables aux colonnes pures, à partir desquels tout élément de l’ensemble d’apprentissage peut être construit, mais maintenant de manière non-linéaire. Le stage aura donc pour objectifs principaux :

  • Développer une architecture IAE pour la NMF non-linéaire, et étudier l’interprétabilité du modèle de représentation appris.
  • Application du modèle ainsi construit à des données synthétiques générées par des modèles standards en télédétection.
  • L’application à des données réelles en télédétection.

La méthode développée sera également comparée à des méthodes de l’état-de-l’art en NMF linéaire et non-linéaire.

Candidat / candidate

La personne recrutée doit être en formation de Master 2 (ou équivalent) et devra posséder de bonnes connaissances en traitement du signal / des images, ainsi qu’en apprentissage automatique (machine learning). Idéalement, le langage Python (et notamment les modules d’apprentissage : Keras, Tensorflow ou encore Jax...) devra être connu. Enfin, la maîtrise d’outils d’optimisation convexe est un plus.

Le candidat / la candidate acquiérera une expertise en traitement du signal parcimonieux (notamment de données multi-valuées), en apprentissage automatique et en optimisation non-convexe. Les connaissances acquises sont valorisables dans de nombreux domaines : télédétection, astrophysique, traitement de données textuelles...

Contact

Le stage (6 mois) se déroulera dans le Data Science du DEDIP (CEA Saclay), sous la supervision de Jérôme Bobin et Christophe Kervazo (laboratoire LTCI (Télécom Paris), groupe IMAGES).

  • Contact : jerome.bobin@cea.fr ; christophe.kervazo@telecom-paris.fr
  • Les candidatures sont attendues avant le 30 janvier 2022.

Plus d’informations sur : https://sites.google.com/view/christophekervazo/ et http://jerome-bobin.fr

Références

[1] Comon P and Jutten C 2010 Handbook of Blind Source Separation : Independent component analysis and applications (Academic Press)

[2] Févotte C, Bertin N and Durrieu J L 2009 Neural computation 21 793–830

[3] Dobigeon N, Tourneret J Y, Richard C, Bermudez J C M, McLaughlin S and Hero A O 2014 IEEE Signal Processing Magazine 31 82–94

[4] Bobin J, Starck J L, Fadili J M and Moudden Y 2007 IEEE Transactions on Image Processing 16 2662–2674

[5] Arora S, Ge R, Kannan R and Moitra A 2016 SIAM Journal on Computing 45 1582–1611

[6] Gillis N 2014 SIAM Journal on Imaging Sciences 7 1420–1450

[7] Kervazo C, Gillis N and Dobigeon N 2020 arXiv preprint arXiv :2011.11966

[8] Bobin J, Acero F and Picquenot A 2019 Metric learning for semi-supervised sparse source separation with spectral examples 2019 IEEE 8th International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP) (IEEE) pp 450–454