Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

14 novembre 2019

Sujet de stage de Master 2 - Transfert de style du mouvement humain par une approche d’apprentissage profond


Catégorie : Stagiaire


Laboratoire et équipe d'accueil

Le(la) candidat(e) retenu(e) devra être un(e) étudiant(e) en M2, idéalement en Informatique, Image et/ou Vision, avec une bonne maîtrise du langage Python. Il/elle sera co-encadré par Hazem Wannous et Jean-Philippe Vandeborre à l'IMT Lille Douai et du CRIStAL UMR 9189 Lille1 / CNRS.

Contact: Hazem WANNOUS (03 20 43 64 27, hazem.wannous@imt-lille-douai.fr)

 

Durée: 5 mois

Indemnités de stage : 550 €/mois

 

Lieu du stage

Institut Mines Telecom Lille Douai – Site de Lille – Cité scientifique 59650 Villeneuve d’Ascq

 

Sujet

La compréhension du mouvement humain est un problème important actuellement étudié dans de nombreux domaines de recherche. Par conséquent, les améliorations dans l'analyse du mouvement et la compréhension du comportement peuvent bénéficier à un large éventail de domaines de recherche [Koktas 2010, Chaaraoui 2012, Bashir 2010, Devanne 2015, Slama 2014, ...].

Le mouvement humain peut être considéré comme une combinaison de deux ensembles de caractéristiques: les variations d'action – définissant des actions telles que la marche, la course, le saut, etc. – et les variations stylistiques – liées à l’état affectif, le style ou les caractéristiques individuelles dans lesquelles ces actions sont effectuées. Le transfert de style du mouvement est un processus permettant de convertir le mouvement d'un acteur en celui d’un autre personnage, tel qu'un vieux, déprimé, heureux ou blessé.

Les modèles d'apprentissage profonds ont connu un succès général dans divers domaines de recherche, tels que les problèmes de reconnaissance, en particulier la reconnaissance d'images et de textes. Ces succès ont été récemment généralisés pour d'autres problèmes, y compris la génération du mouvement humain et leur style [Xia 2015], la translation vidéo à vidéo en utilisant la pose en tant que représentation intermédiaire [Chan 2018, Wang 2019].

Le sujet vise à étendre un travail existant sur la reconnaissance de mouvement 3D, en utilisant un modèle de réseau profond, aux problèmes de génération et de synthèse, prenant en compte les caractéristiques de mouvements affectifs et stylistiques et permettant d'ajouter différents styles ou émotions à une animation existante. Nous considérons que les caractéristiques du mouvement affectif et stylistique, qui sont des déterminants fondamentaux de la personnalité et du mouvement naturel des personnages animés, devraient être réalisées par l'approche proposée, conduisant à des séquences de mouvement naturelles et crédibles. Une collection riche de données de mouvement 3D, avec un large éventail de variations pour une action donnée (comme la marche, le saut et l'équilibrage), sera utilisée pour apprendre le modèle proposé.

 

Mots clés : Apprentissage profond, analyse du mouvement, style

 

References

[Bashir 2010] K Bashir, T Xiang, S Gong, Gait recognition without subject cooperation. Pattern Recognition Letters. 31(13), 2052–2060 (2010)

[Chaaraoui 2012] A. A. Chaaraoui, P. Climent-Perrez and F. Florez-Revuelta, F. (2012). A review on vision techniques applied to human behaviour analysis for ambient-assisted living. Expert Systems with Applications 39(12), 15 September 2012.

[Devanne 2015] M. Devanne, H. Wannous, S. Berretti, P. Pala, M. Daoudi, A. Del Bimbo: 3-D Human Action Recognition by Shape Analysis of Motion Trajectories on Riemannian Manifold. IEEE Trans. Cybernetics 45(7): 1340-1352 (2015)

[Slama 2015] R. Slama, H. Wannous, M. Daoudi and A. Srivastava. Accurate 3d action recognition using learning on the grassmann manifold. In Pattern Recognition 48.2 : 556-567, 2015.

[Xia 2015] S. Xia Congyi, W. J. Chai, J. Hodgin, Realtime Style Transfer for Unlabeled Heterogeneous Human Motion. ACM Transactions on Graphics, Volume 34 Issue 4, August 2015.

[Chan 2018] Caroline Chan, Shiry Ginosar, Tinghui Zhou, and Alexei A Efros, Everybody dance now. arXiv preprint arXiv:1808.07371 (2018)

[Wang 2019] Ting-Chun Wang, Ming-Yu Liu, Andrew Tao, Guilin Liu, Jan Kautz, Bryan Catanzaro, Few-shot Video-to-Video Synthesis, CVPR 2019

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.