Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

28 mars 2018

Sujet de thèse (2018) : Système d’assistance gestuelle personnalisée en combinant des techniques de la vision par ordinateur et la réalité augmentée


Catégorie : Doctorant


Laboratoire et équipe d'accueil : le(la) candidat(e) retenu(e) devra être un(e) étudiant(e) en M2, idéalement en Informatique, Image et/ou Vision, avec une bonne maîtrise de la programmation en C/C++ ou en Python. Il/elle sera co-encadré par Hazem Wannous et Jean-Philippe Vandeborre à l'IMT Lille Douai et du CRIStAL UMR 9189 Lille1 / CNRS.

Descriptif du sujet

Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu’il est question d’interaction ou de manipulation d’objets, et les efforts de recherche qui y sont liés ont récemment relancé son intérêt. En outre, les avancées récentes dans le développement des visiocasques optiques, telles que Microsoft HoloLens ou Epson Moverio, qui superposent des informations visuelles directement dans le champ de vision de l'utilisateur, ont ouvert de nouvelles possibilités pour des applications de la réalité augmentée.

L’objectif de cette thèse est de proposer un système d’assistance à l'utilisateur lors d'activités orientées vers des objectifs (médicaux comme la chirurgie assistée ou l’auto-rééducation, et industriels d’automobile comme l'assistance avancée au conducteur) d'une manière intuitive et discrète [1]. À cette fin, ce système observe les mains de l'utilisateur et génère des commentaires contextuels en fonction de la reconnaissance de ses gestes.

Cette thèse associe des techniques de recherche en vision par ordinateur sur la reconnaissance de gestes et d'objets manipulés par les mains et de la réalité augmentée afin de proposer un outil d'intervention corrective. Le système sera capable d'identifier les problèmes au cours des processus d'action, de réagir lorsque des erreurs sont commises, et d'afficher une assistance dépendante de la situation et du contexte en superposant des informations utiles sur un plan virtuel transparent dans le champ de vision de l’utilisateur.

Afin de générer un retour contextuel significatif, les gestes de l'utilisateur capturés par un capteur RGBD seront reconnus dans ce système. Des techniques de Deep Learning seront utilisées pour détecter les interactions main-objet locales et pour reconnaître l'état global de la progression de l'activité. Des solutions d’estimation de la pose de la main et la reconnaissance de gestes, développées au sein de l’équipe [2-3], seront exploitées et étendues vers des applications d’activités manuelles de la première personne [4-5]. Le composant de réalité augmentée permet d’afficher en temps réel, sous la recommandation du composant de reconnaissance de gestes, des commentaires et une assistance de rétroaction adaptative au format textuel ou virtuel sur le plan virtuel transparent dans le champ de vision de l’utilisateur.

Références

[1] Kai Essig, Benjamin Strenge, and omas Schack. 2016. ADAMAAS: Towards Smart Glasses for Mobile and Personalized Action Assistance. In International Conference on Pervasive Technologies Related to Assistive Environments. 46:1–46:4

[2] Quentin De Smedt, Hazem Wannous, Jean-Philippe Vandeborre, Skeleton-Based Dynamic Hand Gesture Recognition, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2016, pp. 1-9 , 26th - July 1st 2016 Las Vegas, USA

[3] M. Devanne, H. Wannous, S. Berretti, P. Pala, M. Daoudi, A. Del Bimbo: "3D Human Action Recognition by Shape Analysis of Motion Trajectories on Riemannian Manifold". IEEE Transactions on Cybernetics (IF: 3.2). Vol. 45, no. 7, July 2015 


[4] Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, Tae-Kyun Kim:
First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations. CoRR abs/1704.02463 (2017)

[5] Shanxin Yuan, Qi Ye, Björn Stenger, Siddhant Jain, Tae-Kyun Kim:
BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis. CoRR abs/1704.02612 (2017)

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.