Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

2 mai 2019

Analyse de micro-expressions faciales par apprentissage profond


Catégorie : Doctorant


Mots clés

Facial micro-expressions, machine learning, deep learning, convolutional neural networks, PCA, optical flow.

 

Contexte

Les micro-expressions (MiE) faciales sont des expressions très brèves, spontanées et incontrôlables exprimant l'émotion d'une personne. Il peut aussi s'agir de l'expression que la personne ne souhaite pas montrer et qu'elle cherche à camoufler [1,4,5]. Faisant partie du mode de communication non-verbale, la compréhension des MiE est très utile dans divers domaines d'application comme la médecine ou la

sécurité.

Les MiE sont induites par des micro-mouvements des muscles du visage dont la détection constitue une étape essentielle préalable à la reconnaissance des MiE. Ce projet va donc au-delà de la “simple” reconnaissance faciale largement utilisée

aujourd'hui pour s’intéresser aux applications du domaine médical. En effet, la compréhension de l'expression faciale peut permettre de comprendre la douleur d'un patient qui ne peut s'exprimer. Ce peut être pour :

- gérer la sortie de coma ou le réveil après une anesthésie. Dans certains cas, après une opération, le patient se réveille avec la sonde encore en place et ressent un étouffement qui l'amène à arracher la sonde. En général, les capteurs en place (EEG, rythme cardiaque) sont incapables de prévenir l'instant du réveil d'où l'idée d'un système filmant le patient dans sa chambre pour prédire le réveil en interprétant les MiE du patient. L’équipe FAST travaille sur un tel dispositif et a relevé les principales difficultés comme la résolution de la caméra ou son

emplacement, qui sont en phase de résolution.

- traiter des troubles nerveux du visage à l'aide d'exercices de rééducation en observant les MiE du patient. L'ANR Reflets auquel participe l’équipe FAST vise à proposer un outil permettant de renvoyer une parole et une image plus positive à une personne atteinte de PTSD (Post Traumatic Stress Desorders) qui se parlerait face à un miroir virtuel, afin de l’aider à sortir de son état. La thèse visée permettra d’élaborer un outil d’évaluation automatique du système.

- aider au diagnostic précoce de certaines pathologies neurodégénératives dont les premiers symptômes sont détectables à l'aide des MiE.

 

 

Objectifs de l'étude

Ces dernières années, l'apprentissage profond ou deep learning (DL) a permis de faire des progrès énormes dans l'intelligence artificielle appliquée au machine learning à travers des réseaux de neurones convolutionnels. Il s'agit pour cette thèse de prendre la suite d'un stage, en cours, dont l'objectif est d’évaluer l’apport de réseaux de neurones convolutionnels dans la génération du flot optique qui permet de mesurer l’intensité d’un mouvement [3].

La thèse sera co-encadrée par les deux équipes FAST et VAADER de l'IETR qui ont développé des approches de reconnaissance des MiE basées sur les PCA et les auto-encodeurs [2] et le flot optique [1]. La thèse prendra la suite des travaux réalisés au sein du département Image en y intégrant les réseaux de neurones convolutionnels dans la génération du flot optique pour la détection de mouvements subtils. La thèse explorera et développera de nouveaux réseaux convolutifs plus performants comme le "reinforcement learning" et "Generative Adversarial Networks" (GAN) afin d'enrichir et tirer profit des bases de données existantes dans l'étape d'apprentissage, et tenant compte de la variable temporelle 3D-CNN et des cartes Long short-term Memory (LSTM).

 

Lieu

Le site principal du projet est l'INSA de Rennes avec des mobilités à CentraleSupélec, campus de Rennes et également des mobilités auprès des

partenaires des universités de Shandong sous condition d’obtention d’une bourse de mobilité. La date prévisionnelle de démarrage est le 1 octobre 2019.

 

Profil du candidat recherché

- niveau ingénieur ou Master 2,

- compétences en traitement de l'image/signal, mathématiques appliquées et en informatique

- bonne maîtrise de Matlab et/ou Python et du langage de programmation C/C++

- la maîtrise de l’anglais à l’oral et l’écrit est appréciée.

 

Contacts

- Equipe VAADER

- Kidiyo Kpalma (kidiyo.kpalma@insa-rennes.fr)

- Wassim Hamidouche (wassim.hamidouche@insa-rennes.fr)

- Equipe FAST

- Renaud Séguier (renaud.seguier@centralesupelec.fr)

 

Références

[1] Hua Lu, Video Analysis for Micro-Expression Spotting and Recognition, thèse de Doctorat de l'INSA de Rennes soutenue le 5 avril 2018

[2] Jingting LI, Catherine SOLADIE, Renaud SEGUIER, LTP-ML : Micro-Expression Detection by Recognition of Local temporal Pattern of Facial Movements, 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), Xi'an, 2018, pp. 634-641.

[3] Tak-Wai Hui, Xiaoou Tang, Chen Change Loy, LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, Salt

Lake City, Utah, USA

[4] Xiaobai Li, Xiaopeng Hong, Antti Moilanen, Xiaohua Huang, Tomas Pfister, Guoying Zhao,and Matti Pietikainen, Towards Reading Hidden Emotions: A Comparative Study of Spontaneous Micro-Expression Spotting and Recognition Methods, in IEEE Trans. on Affec. Computing, 2018.

[5] Site du projet européen iBorderCtrl, https://www.iborderctrl.eu/ (consulté8/11/2018)

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2019.