Ce que le visage révèle : Analyse des mouvements faciaux pour l’interprétation émotionnelle

15 Octobre 2011

---

Catégorie : Soutenance de thèse

---

Résumé

Un objectif dans la création de nouveaux environnements informatisés est de placer l’utilisateur au coeur de ce système. Le système doit être capable d’interagir avec l’utilisateur de façon naturelle, et d’analyser sa communication verbale et non verbale (gestuelle, ton de la voix, expressions faciales).

Cette thèse traite du problème de la reconnaissance des expressions faciales à partir d’images ou de séquences vidéos. Pour cela, trois applications sont proposées : la localisation et le suivi de points caractéristiques du visage pour détecter le segment temporel de l’émotion, l’analyse des micro-mouvements du visage, appelés Action Units (AU) et la détection de l’émotion.

D’un point de vue méthodologique, différentes techniques ont été proposées. Pour représenter le visage de façon à décorréler l’identité de l’expression, nous calculons les différences d’histogrammes de motifs binaires de Gabor locaux ou Local Gabor Binary Pattern (LGBP), et nous utilisons une nouvelle fonction noyau, la fonction HDI adaptée aux différences d’histogrammes. Nous proposons aussi une adaptation de l’analyse multi-linéaire aux cas où des données de certaines classes sont manquantes. Au niveau du système d’apprentissage, nous utilisons les progrès récents en apprentissage multi-noyaux des machines à vecteurs supports (SVM) pour combiner des descripteurs hétérogènes, comme des descripteurs statiques et dynamiques ou des descripteurs géométriques et d’apparence. Des comparaisons rigoureuses avec l’état de l’art et la première place lors de la première campagne internationale de reconnaissance des AU, FERA’11, montrent les avancées applicatives de ces travaux en reconnaissance de l’expression faciale.

De plus, différentes problématiques propres à la reconnaissance de l’expression sont étudiées en détail, comme l’utilisation de l’information sur l’identité du sujet, l’aspect temporel de l’émotion et la détection préalable des AU pour reconnaître l’émotion.

Mots clés

expression faciale, Action Unit, dynamique de l’émotion, LGBP, SVM, apprentissage multi-noyaux, analyse multi-linéaire.