Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

22 janvier 2019

Univeristé de Lille (CRIStAL) - High-Dimensional Machine Learning with Multiple Measurement Data Vectors


Catégorie : Doctorant


 

 

Nom et prénom du directeur de thèse : Boyer Rémy

Nom et prénom du co-encadrant de thèse : Boulanger Jérémie

 

Nom du directeur de thèse: Boyer Rémy

Nom du laboratoire d’accueil du directeur: CRIStAL – UMR 9189

Date de l’obtention de l’habilitation à diriger des recherches du directeur: 11/2012

Adresse du directeur: Cité Scientifique, bâtiment P2, 59655 Villeneuve d'Ascq Cedex

Téléphone du directeur : 0320434567

E-mail du directeur: remy.boyer@univ-lille.fr

 

Nom du co-encadrant de thèse: Boulanger Jérémie

Nom du laboratoire d’accueil du co-encadrant: CRIStAL – UMR 9189

Adresse du co-encadrant: Cité Scientifique, bâtiment P2, 59655 Villeneuve d'Ascq Cedex

Téléphone du co-encadrant : 0320434877

E-mail du co-encadrant: jeremie.boulanger@univ-lille.fr

 

Intitulé du sujet de thèse :Apprentissage automatique en grande dimensionnalité dans le cas de données tensorielles.

 

 

Un nombre sans cesse croissant de données de grande dimensionnalité sont générées quotidiennement dans de nombreuses applications. Cela mène à une forte demande pour des algorithmes capables d’extraire de l’information utile à partir de cette masse de donnée. L’apprentissage automatique s’intéresse au développement de tels algorithmes qui soient capables d’apprendre à partir de ces données. Les applications classiques de ce genre de techniques vont du traitement automatique de catégorisation de texte, de la classification entre différent types de données, de prédictions météorologiques, de recommandations de contenu sur différentes plate-formes de VOD ou de musique en ligne au filtrage de courriers électroniques indésirables… Les réseaux neuronaux constituent à cet égard un puissant outil pour l’apprentissage automatique [1,2] capables de traiter des cas de données non linéaires. Dans le cas de mesures multiples, les données observées sont généralement multidimensionnelles et peuvent être vues comme des vecteurs de mesures multiples (MMV). Le but est alors de classifier les données dans une des catégories. Dans ce cas, on définit le tenseur généralisant la sortie d’une couche neuronale et la fonction de score associée. Il est à noter que des fonctions de coût similaires ont déjà été considérées dans les articles [6,7].

La factorisation de tenseurs [9] et l’utilisation de l’apprentissage profond se sont rapidement développées dans de nombreux domaines scientifiques tels que la psychologie, la chimie, les neurosciences, le traitement du signal, le traitement des images, la bio-informatique ou encore la fouille de données [8]. De nombreuses modalités et paramètres sont généralement présents dans tous les cas pratiques de mesure de données, tels que les conditions d’acquisitions, les canaux enregistrés, l’échantillonnage temporel et spatial, la température,…

De puissants outils mathématiques de l’algèbre des tenseurs peuvent être utilisés pour extraire des caractéristiques pertinentes à partir de transformations linéaires. Malheureusement, la complexité en terme de stockage et la complexité calculatoire sont exponentielles avec la dimension ou le nombre de paramètres. Le travail proposé se décompose en deux parties :

- L’exploration de méthodes avancées de factorisation tensorielles [10] pour limiter les problèmes liés à la dimensionnalité.

- Proposer de nouveaux algorithmes pour la rétro-propagation de gradient adaptés à la topologie de la décomposition de tenseur sur les graphes. Étant donné que cette partie de l’apprentissage automatique possède un coût calculatoire important, l’utilisation de la décomposition des tenseurs sur graphe devrait donner lieu à des méthodes avec des complexités bien moindre que l’implémentation directe.

 

 

 

 

[1] Y. LeCun, B. E Boser, J. S Denker, D. Henderson, R. E Howard, W. E Hubbard, and L. D Jackel.

 

 

Handwritten digit recognition with a back-propagation network. In Advances in neural information

 

 

processing systems, pp. 396-404, 1990.

 

 

 

[2] Y. LeCun, Y. Bengio, et al. Convolutional networks for images, speech, and time series. The hand-

 

 

book of brain theory and neural networks, 3361(10) :1995, 1995.

 

 

 

 

 

[3] D.L. Donoho (2000). High-dimensional data analysis : The curses and blessings of dimensionality.

 

 

AMS Math Challenges Lecture, 1, 32 pages.

 

 

 

 

 

[4] R. Boyer, R. Badeau and G. Favier, Fast Orthogonal Decomposition Of Volterra Cubic Kernels

 

 

Using Oblique Unfolding, IEEE, Proc. of International Conference on Acoustics, Speech, and Signal

 

 

Processing, (ICASSP’11)

 

 

 

 

 

[5] JH. Goulart, M. Boizard, R., Boyer, G., Favier, and P. Comon, Tensor CP Decomposition with

 

 

Structured Factor Matrices : Algorithms and Performance, IEEE Journal of Selected Topics in

 

 

Signal Processing, Volume 10, No. 4, June, 2016, pp. 757-769.

 

 

 

 

 

[6] N. Cohen, O. Sharir, and A. Shashua. On the expressive power of deep learning : A tensor analysis.

 

 

In Conference on Learning Theory, pp. 698-728, 2016.

 

 

 

 

 

[7] E. Stoudenmire and D. J Schwab. Supervised learning with tensor networks. In D. D. Lee, M. Su-

 

 

giyama, U. V. Luxburg, I. Guyon, and R. Garnett (eds.), Advances in Neural Information Processing

 

 

Systems 29, pp. 4799-4807. Curran Associates, Inc., 2016.

 

 

 

 

 

[8] N. D. Sidiropoulos, L. De Lathauwer, X. Fu, K. Huang, E.E. Papalexakis, and C. Faloutsos, (2017).

 

 

Tensor decomposition for signal processing and machine learning. IEEE Transactions on Signal

 

 

Processing, 65(13), 3551-3582.

 

 

 

 

 

[9] A. Cichocki et al., Tensor decompositions for signal processing applications : From two-way to

 

 

multiway component analysis, IEEE Signal Process. Mag., vol. 32, no. 2, pp. 145-163, Mar. 2015.

 

 

 

 

 

[10] I. V. Oseledets, Tensor-Train decomposition, SIAM J. Scientific Computing, vol. 33, no. 5, pp. 2295-

 

 

2317, 2011.

 

 

----------------

 

Nom et prénom du directeur de thèse : Boyer Rémy

Nom et prénom du co-encadrant de thèse : Boulanger Jérémie

 

Nom du directeur de thèse: Boyer Rémy

Nom du laboratoire d’accueil du directeur: CRIStAL – UMR 9189

Date de l’obtention de l’habilitation à diriger des recherches du directeur: 11/2012

Adresse du directeur: Cité Scientifique, bâtiment P2, 59655 Villeneuve d'Ascq Cedex

Téléphone du directeur : 0320434567

E-mail du directeur: remy.boyer@univ-lille.fr

 

Nom du co-encadrant de thèse: Boulanger Jérémie

Nom du laboratoire d’accueil du co-encadrant: CRIStAL – UMR 9189

Adresse du co-encadrant: Cité Scientifique, bâtiment P2, 59655 Villeneuve d'Ascq Cedex

Téléphone du co-encadrant : 0320434877

E-mail du co-encadrant: jeremie.boulanger@univ-lille.fr

 

 

Intitulé du sujet de thèse :Apprentissage automatique en grande dimensionnalité dans le cas de données tensorielles.

 

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.