Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

31 janvier 2018

Master 2 Apprentissage profond pour la reconnaissance d'actions et d'interactions humaines pour des applications de robotique -- IMT Lille Douai


Catégorie : Stagiaire


Il s'agit d'étudier et de tester les approches d'apprentissage profond pour assurer la reconnaissance d'actions dans le domaine de la robotique de service. Ce domaine applicatif est lié fortement aux enjeux portés par les interactions entre l'homme et le robot.L'objectif du sujet est de vérifier les performances (précision, robustesse au point de vue, temps de reconnaissance, portabilité et adaptabilité des modèles, temps de traitement etc.) des nouvelles méthodes proposées dans la littérature afin d'en déterminer les axes d’améliorations possibles. Une attention particulière sera portée au transfert et au fine-tuning des modèles dans un contexte inconnu.

Mots clés : Deep learning, Recurrent neural network, Convolutional neural network, Action recognition

 

Ce sujet se place dans le contexte de l'analyse automatique de flux vidéo pour la reconnaissance d'actions humaines dans un contexte d'interaction entre un robot et des humains. L'URIA assure une activité dans ce domaine depuis plusieurs années [1,2]. L'équipe a notamment travaillé [1] à l'amélioration de la robustesse des algorithmes lorsque le point de vue de la caméra change et [2] à la mise en place d'une reconnaissance anticipée de l'action en présence. La première amélioration propose un apprentissage des actions perçues selon plusieurs points de vue à partir de données de profondeur et de squelette fournies par un capteur RGB-D (type Kinect). La seconde amélioration exploite uniquement les informations de squelette : elle se fonde sur l'utilisation d'un modèle de Markov et sur la définition d'un nouveau descripteur.

Le sujet proposé s'inscrit dans la continuité de ce qui a été réalisé à ce jour mais le candidat étudiera et exploitera les récentes avancées dans le domaine de l'apprentissage profond. De très nombreux papiers porte sur l'usage de ces méthodes au domaine de la reconnaissance d'actions. De nombreux frameworks sont apparus depuis quelques temps et permettent de prototyper des réseaux (et d'en apprendre les paramètres) assez rapidement (Tensorflow, Keras). Il a été montré récemment qu'une phase d'apprentissage “allégée” permettait de reconnaitre des actions humaines à partir de CNN (Convolutional Neural Network) appris sur de larges bases d'images pour des fonctions d'extraction de paramètres ou de reconnaissances d'objets. Certains de ces nouveaux algorithmes sont la juxtaposition d'un CNN et d'une ou plusieurs couches de décision (SVM, K-NN, Long-Short Term Memory – LSTM, HMM) [3,4] selon une structure qui permet de capter l'information spatio-temporelle contenue dans le déroulement d'une action.

Nous proposons à l'étudiant(e) de mener sa recherche au travers de toutes ces nouveautés présentées dans la littérature très récentes et abondantes sur le sujet. Il ou elle devra assurer une comparaison de certaines des structures profondes proposées et d'apporter certaines améliorations notamment en ce qui concerne leur adaptabilité à l'environnement expérimental retenu et la robustesse au point de vue de l'action [5].

Bibliographie

[1] Hammouche Mounir, Enjie Ghorbel, Anthony Fleury, Sebastien Ambellouis, Toward a Real Time View-invariant 3D Action Recognition, International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, February 2016

[2] Sid Ahmed Walid Talha, Anthony Fleury et Sebastien Ambellouis, Human Action Recognition from Body-Part Directional Velocity Using Hidden Markov Models, 16th IEEE International Conference on Machine Learning and Applications, December 2017

[3] Yue-Hei Ng, J., Hausknecht, M., Vijayanarasimhan, S., Vinyals, O., Monga, R. and Toderici, G., Beyond short snippets: Deep networks for video classification. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015

[4] Sung, J., Ponce, C., Selman, B. and Saxena, A., Unstructured human activity detection from rgbd images. In Robotics and Automation (ICRA), 2012 IEEE International Conference on, 2012

[5] Rahmani, H., Mian, A., & Shah, M. (2017). Learning a deep model for human action recognition from novel viewpoints. IEEE transactions on pattern analysis and machine intelligence.

Prérequis et contraintes particulières

Bon niveau dans le doamine de l'apprentissage et de la modélisation

Autonomie importante, curieux, volontaire

Bonne maitrise de l’anglais

Bonnes compétences en programmation : linux, python, matlab et diverses bibliothèques (Deep Learning et Opencv)

Informations complémentaires

Encadrant(s) : Anthony Fleury (Anthony.Fleury@imt-lille-douai.fr) / Sébastien Ambellouis (Sebastien.Ambellouis@imt-lille-douai.fr).

Etablissement : IMT Lille Douai

Equipe/Thème : UR Informatique – Automatique (URIA)

Date de début du stage souhaitée : avril 2018

Durée du stage : 5 mois minimum

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.