Annonce

Les commentaires sont clos.

Stage M2 Informatique/Maths applis : Réseaux de neurones légers pour le machine learning "sobre", LIFAT, Tours/Blois

30 Novembre 2022


Catégorie : Stagiaire


Stage M2 Informatique/Maths applis : Réseaux de neurones légers pour le machine learning "sobre", LIFAT, Tours/Blois

 

La révolution deep learning qui a eu lieu dans les années 2010 a été accompagnée d'une explosion des besoins de calcul. En effet, les réseaux de neurones convolutifs, comme ceux employés pour la classification d'images, sont généralement composés d'une ou plusieurs dizaines(s) de couches, chaque couche comportant elle-même entre

plusieurs dizaines et plusieurs milliers d'unités (les filtres dans les couches convolutives, et les neurones dans les couches denses). D'après les travaux en réduction de réseaux (pruning) sur les cinq dernières années [Blalock et al. 2020, He et al. 2017, Molchanov et al. 2019], on observe que de nombreux réseaux standards de la littérature (ResNet, VGG, Inception) sont, souvent, largement surdimensionnés, et mobilisent des ressources de calcul importantes
durant l'apprentissage.
 
Peut-on concilier apprentissage machine avec sobriété ? Les méthodes d'apprentissage de réseau intégrant des contraintes de ressources (temps et/ou mémoire) ont encore été peu explorées, les premiers
articles traitant de machine learning "sobre'' ou "frugal'' datant de 2020~2021 [Chen et al. 2020, Evchenko et al. 2021]. Plusieurs pistes pourront être explorées durant le stage :
  • la poursuite de travaux en pruning démarrés au LIFAT [Mille 2022], où l'on s'intéresse à la réduction de réseaux déjà appris en limitant les impacts sur la performance (précision sur l'ensemble de validation);
  • l'étude et l'amélioration des modèles à "expansion'' [Evci et al. 2022, Yoon et al. 2018], dans lesquels un réseau initial, possédant peu d'unités (filtres ou neurones) à l'initialisation, augmente de taille au fur et à mesure de l'apprentissage, selon un critère ad hoc;
  • l'étude des deux stratégies précédentes (pruning et expansion) dans le cadre d'un apprentissage hybride discriminant-génératif [Grathwohl et al. 2020].
 
La programmation se fera en Python avec la bibliothèque PyTorch. Le stage (de 5 à 6 mois) aura lieu au LIFAT, laboratoire commun à l'Université de Tours et l'INSA Centre Val de Loire (campus de Blois).
 
Contact : julien.mille@insa-cvl.fr
 
Références :
[Blalock et al. 2020] D.W. Blalock, J.J. Gonzalez Ortiz, J. Frankle and J.V.Guttag. What is the state of neural network pruning? MLSys 2020.
[Chen et al. 2020] L. Chen, M. Zaharia and J.Y. Zou. FrugalML: How to use ML prediction APIs more accurately and cheaply. NeurIPS 2020.
[Evchenko et al. 2021] M. Evchenko, J. Vanschoren, H.H. Hoos, M. Schoenauer, and M. Sebag, Frugal machine learning. arXiv 2021.
[Evci et al. 2022] U. Evci, B. van Merriënboer, T. Unterthiner, M. Vladymyrov and F. Pedregosa. GradMax: growing neural networks using gradient information. ICLR 2022.
[Grathwohl et al 2020] W. Grathwohl, K.-C. Wang, J.-H. Jacobsen, D. Duvenaud, M. Norouzi and K. Swersky. Your classifier is secretly an energy based model and you should treat it like one. ICLR 2020.
[He et al. 2017] Y. He, X. Zhang and J. Sun. Channel pruning for accelerating very deep neural networks. ICCV 2017.
[Mille 2022] J. Mille. Convex quadratic programming for slimming convolutional networks. ICIP 2022 (https://julien-mille.gitlab.io/www/publis.html)
[Molchanov et al. 2019] P. Molchanov, A. Mallya, S. Tyree, I. Frosio and J. Kautz. Importance Estimation for Neural Network Pruning. CVPR 2019.
[Yoon et al. 2018] J. Yoon, E. Yang, J. Lee and S.J. Hwang. Lifelong learning with dynamically expandable networks. ICLR 2018.