Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

15 février 2021

Apprentissage supervisé dans les réseaux de neuronnes impulsionnels pour la vision par ordinateur


Catégorie : Stagiaire


Stage concernant l'apprentissage supervisé dans les réseaux de neuronnes impulsionnels pour la vision par ordinateur

 

La vision par ordinateur est un domaine stratégique, du fait du nombre potentiel d’applications avec un impact important sur la société. Ce secteur a rapidement progressé au cours de ces dernières années, notamment grâce aux avancées en intelligence artificielle et plus particulièrement l’avènement de l’apprentissage profond. Ces méthodes permettent de traiter des tâches complexes, au point de réussir à battre l’humain dans certains cas. Cependant, ces méthodes présentent deux défauts majeurs face au cerveau biologique : ils sont extrêmement énergivores et requièrent de gigantesques bases d’apprentissage étiquetées.

Les réseaux de neurones à impulsions sont des modèles alternatifs qui permettent de répondre à la problématique de la consommation énergétique et, en partie, au besoin de données étiquettées. Ces modèles ont la propriété de pouvoir être implémentés de manière très efficace sur du matériel, afin de créer des architectures très basse consommation. En contrepartie, ces implémentations imposent certaines contraintes, comme l’utilisation uniquement de mémoire et de calcul locaux. Cette limitation empêche l’utilisation de méthodes d’apprentissage traditionnelles, telles que la rétro-propagation du gradient. La STDP est un exemple de règle d’apprentissage non-supervisée, observée dans la biologie, qui peut être utilisée dans les réseaux de neurones à impulsions. Cette règle renforce les synapses où des corrélations locales entre les temps d’impulsions sont détectées, et affaiblit les autres synapses. Elle répond aux problématiques de supervision et de conservation énergétiques tout en respectant les contraintes des implémentation ultra-basse consommation.

L'équipe FOX développe des modèles de réseaux de neurones impulsionnels entraînés par STDP pour la classification d'images et de vidéos [1,2]. Ces modèles permettent l'apprentissage non-supervisé de caractéristiques visuelles et se placent parmi les plus performants de l'état de l'art pour ces tâches. L'usage d'un classifieur supervisé reste néanmoins nécessaire en bout de chaîne, pour apprendre à identifier les classes visées à partir de ces caractéristiques visuelles. À l'heure actuelle, des modèles classiques d'apprentissage supervisé sont employés (SVM, régression logistique). L'objectif est donc de remplacer ces modèles par des modèles de réseaux de neurones impulsionnels supervisés, pour mettre en place des modèles impulsionnels de bout en bout. Des algorithmes d'apprentissage supervisé existent pour les réseaux de neurones impulsionnels [3,4], mais ils ne respectent généralement pas les contraintes des matériels ultra-basse consommation.

L'objectif de ce stage est d'explorer la possibilité d'utiliser des réseaux de neurones impulsionnels supervisés en complément des modèles non-supervisés apprenant les caractéristiques visuelles. L'étudiant(e) retenu(e) aura pour charge de :
- effectuer un état de l'art des méthodes d'apprentissage supervisé pour les réseaux de neurones à impulsions,
- de sélectionner les méthodes de l'état de l'art qui paraissent les plus adaptées à l'objectif visé et au contexte applicatif,
- de mettre en place des expérimentations pour évaluer formellement les performances des modèles retenues sur des tâches de classification d'images et de vidéos,
- de proposer des adaptations des modèles existants, ou de nouveaux modèles, permettant de répondre aux contraintes matérielles, et d'évaluer leurs performances.
L'étudiant(e) utilisera le simulateur CSNNS (http://gitlab.univ-lille.fr/bioinsp/falez-cnn-simulator) optimisé pour simuler des réseaux à impulsions convolutifs.

Ce stage s'adresse à un(e) étudiant(e) de niveau Bac+5 (Master 2, École d'ingénieur...) spécialisé(e) en informatique, data science, statistiques ou une discipline connexe. Des connaissances ou une expérience dans un ou plusieurs des domaines suivants sera appréciée :
- apprentissage artificiel,
- traitement d'images / vision par ordinateur,
- réseaux de neurones impulsionnels.

Compétences requises:
- bon niveau en programmation, avec si possible la connaissance du C++ et d'un langage de script,
- bon niveau en anglais,
- bonne capacité rédactionelle,
- curiosité scientifique.

Contacts:


Bibliographie
[1] P. Falez, P. Tirilly, I.M. Bilasco, P. Devienne, P. Boulet. Multi-layered spiking neural network with target timestamp threshold adaptation and STDP. IJCNN, 2019.
[2] P. Falez, P. Tirilly, I.M. Bilasco. Improving STDP-based Visual Feature Learning with Whitening, IJCNN, 2020.
[3] Y. Wu, L. Deng, G. Li, J. Zhu, L. Shi. Spatio-temporal backpropagation for training high-performance spiking neural networks. Frontiers in Neuroscience, 12, 2018.
[4] Y. Meng, Y. Jin, J. Yin, and M. Conforth. Human activity detection using spiking neural networks regulated by a gene regulatory network. IJCNN, 2010.

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.