Thèse en informatique : Réseaux de neurones légers pour le machine learning "sobre" / PhD thesis in computer science : Lightweight neural networks for frugal machine learning
21 Mars 2023
Catégorie : Doctorant
Mots-clés : apprentissage, réseaux de neurones, sobriété, pruning, expansion, discriminant-génératif\newline
La révolution deep learning qui a eu lieu dans les années 2010 a été accompagnée d'une explosion des besoins de calcul. En effet, les réseaux de neurones convolutifs, comme ceux employés pour la classification d'images, sont généralement composés d'une ou plusieurs dizaines(s) de couches, chaque couche comportant elle-même entre plusieurs dizaines et plusieurs milliers d'unités (les filtres dans les couches convolutives, et les neurones dans les couches denses). L'entrainement et l'inférence dans ces réseaux impliquent de nombreuses multiplications entre matrices et/ou tenseurs de dimension 3 ou 4, dont les tailles correspondent au nombres d'unités. D'après les travaux en réduction de réseaux (pruning) sur les cinq dernières années [Blalock2020, He2017, Molchanov2019], on observe que de nombreux réseaux standards de la littérature (ResNet, VGG, Inception) sont, souvent, largement surdimensionnés, et mobilisent des ressources de calcul importantes durant l'entrainement.
Peut-on concilier apprentissage machine avec sobriété ? Les méthodes d'apprentissage de réseau intégrant des contraintes de ressources (temps et/ou mémoire) ont encore été peu explorées, les premiers articles traitant de machine learning "sobre" ou "frugal" datant de 2020~2021 [Chen2020, Evchenko2021]. Plusieurs pistes pourront être explorées durant la thèse :
* l'adaptation de travaux en pruning démarrés au LIFAT [Mille2022], qui ont porté, jusqu'à présent, sur la réduction de réseaux déjà entrainés en limitant les impacts sur la performance (précision sur l'ensemble de validation). Cette piste consisterait à intégrer les algorithmes et/ou critères de pruning dans l'apprentissage
* l'étude et l'amélioration des modèles à "expansion" [Evci2022, Yoon2018], dans lesquels un réseau initial, possédant peu d'unités (filtres ou neurones) à l'initialisation, augmente de taille au fur et à mesure de l'entrainement, selon un critère ad hoc
* l'étude des deux stratégies précédentes (pruning et expansion) dans le cadre d'un apprentissage hybride discriminant-génératif [Grathwohl2020]
(les références bibliographiques sont dans la version en anglais)
Localisation : Tours/Blois. LIFAT, INSA Centre Val de Loire, Université de Tours
Contact : julien.mille@insa-cvl.fr, moncef.hidane@insa-cvl.fr
Pour candidater, veuillez envoyer un CV à ces adresses
-----------------------------------------
Keywords: machine learning, neural networks, frugality, pruning, growing, disciminative-generative
The deep learning revolution in the 2010s led to a boom in the need for computing resources. Convolutional neural networks, typically those used for image classification, are generally made up of one or several ten(s) of layers, each layer containing itself between several tens and several thousands of units (filters in convolutional layers and neurons in dense layers). Training and inference in these networks imply to execute numerous multiplications between matrices and higher-order tensors, whose sizes are linked to the number of units. According to fairly recent work in reduction of neural networks (=pruning) [Blalock2020, He2017, Molchanov2019], it is observed that many standard networks of the literature (ResNet, VGG, Inception, ...) are, often, highly oversized, and involve important computing resources during training.
Can machine learning and frugality be compatible? Machine learning methods integrating resource constraints (time and/or memory) have been scarcely addressed, in comparison to the entire literature on neural networks. The first papers dealing with "sober" or "frugal" machine learning date back to 2020~2021 [Chen2020, Evchenko2021]. Several research tracks could be investigated during the PhD:
* adapting work initiated at the LIFAT [Mille2022], which, for now, addressed the reduction of pretrained networks, while limiting the impact on the performance (accuracy on the validation set). This research track would consist in integrating pruning algorithms and/or criteria into the training process
* studying and improving what is refered to as "growing networks" (expansion models) [Evci2022, Yoon2018], in which an initial network, with few units, is grown while training, with respect to an ad hoc criterion.
* studying the two previous pruning/growing strategies in a hybrid discriminative/generative training [Grathwohl2020]
Localization : Tours/Blois. LIFAT, INSA Centre Val de Loire, Université de Tours
Contact : julien.mille@insa-cvl.fr, moncef.hidane@insa-cvl.fr
To apply, please send a résumé to the previous adresses
References:
[Blalock2020] D.W. Blalock, J.J. Gonzalez Ortiz, J. Frankle and J.V.Guttag. What is the state of neural network pruning? MLSys 2020.
[Chen2020] L. Chen, M. Zaharia and J.Y. Zou. FrugalML: How to use ML prediction APIs more accurately and cheaply. NeurIPS 2020.
[Evchenko2021] M. Evchenko, J. Vanschoren, H.H. Hoos, M. Schoenauer, and M. Sebag, Frugal machine learning. arXiv 2021.
[Evci2022] U. Evci, B. van Merriënboer, T. Unterthiner, M. Vladymyrov and F. Pedregosa. GradMax: growing neural networks using gradient information. ICLR 2022.
[Grathwohl2020] W. Grathwohl, K-C. Wang, J-H. Jacobsen, D. Duvenaud, M. Norouzi, K. Swersky. Your classifier is secretly an energy based model and you should treat it like one. ICLR 2020.
[He 2017] Y. He, X. Zhang and J. Sun. Channel pruning for accelerating very deep neural networks. ICCV 2017.
[Mille 2022] J. Mille. Convex quadratic programming for slimming convolutional networks. ICIP 2022.
[Molchanov 2019] P. Molchanov, A. Mallya, S. Tyree, I. Frosio and J. Kautz. Importance Estimation for Neural Network Pruning. CVPR 2019.
[Yoon 2018] J. Yoon, E. Yang, J. Lee and S.J. Hwang. Lifelong learning with dynamically expandable networks. ICLR 2018.
