Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

25 mai 2018

Applications Interactives pour Performance Live à partir de Mouvement Humain Capturé


Catégorie : Doctorant


L'équipe Expression du laboratoire IRISA propose une thèse une thèse en informatique sur les Applications Interactives pour Performance Live à partir de Mouvement Humain Capturé.

Début des travaux : 1er octobre 2018 au laboratoire IRISA (Vannes).

Candidature : les candidats intéressés peuvent envoyer rapidement leur CV, lettre de motivation et relevés de notes post-bac afin d'étudier leur candidature (sylvie.gibet@irisa.fr)

Financement :Région Bretagne (50%) et CDE 56

Lieu : IRISA - Campus de Tohannic - 56000 Vannes

Mots clefs : interaction gestuelle expressive, capture du mouvement, descripteurs, simulation, 3D, sons, apprentissage automatique, évaluation perceptuelle, performance live

 

Les interactions entre l'humain et les systèmes informatiques sont au cœur de l'interaction homme-machine (ou IHM). Elles définissent les moyens et outils mis en oeuvre afin qu'un utilisateur puisse contrôler et communiquer avec une machine et l'environnement. Ainsi, les smartphones, tablettes tactiles, consoles de jeux sont autant de dispositifs numériques qui ont envahi notre quotidien, bouleversent nos habitudes et parfois même, en créent de nouvelles. Cependant, si ces nouveaux dispositifs permettent d'interagir plus facilement, ils n'exploitent pas toutes les possibilités d'agir de manière naturelle et intuitive de l'humain. C'est pourquoi nous nous intéressons à de nouvelles interactions qui permettent d'explorer les possibilités de variations sensorielles et motrices du corps humain.

La thèse porte sur l'interaction gestuelle ou corporelle en temps réel pour le contrôle de processus visuels et sonores simulés dans le contexte de performances live. Les gestes et mouvements corporels seront capturés par des dispositifs de capture du mouvement et exploités de manière interactive par des programmes de simulation produisant des sorties visuelles en 2D ou 3D et sonores. On s’intéressera en particulier à la caractérisation expressive des mouvements (descripteurs corporels cinématiques et géométriques calculés en temps réel à partir des données capturées).

Pour ce faire, à partir des données capturées et des descripteurs calculés, il faudra mettre en œuvre des modèles de mapping entre les descripteurs de mouvement et les paramètres de contrôle des systèmes simulés, ces mappings se voulant adaptables à chaque utilisateur grâce à des algorithmes d’apprentissage. Il faudra en outre proposer une méthodologie pour l'évaluation perceptuelle à différents niveaux de la chaîne de synthèse (évaluation des descripteurs expressifs, des modèles de simulation, des effets visuels ou sonores et de l’expérience utilisateur).

Cette thèse sera réalisée en partenariat avec une entreprise du Morbihan et les systèmes développés seront évalués sur sites culturels sous forme de performances live destinées au grand public.

Début des travaux : 1er octobre 2018

Bibliographie :

[1] I Am a Tree: Embodiment Using Physically Based Animation Driven by Expressive Descriptors of Motion. Caroline Larboulette and Sylvie Gibet. In Proceedings of the International Symposium on Movement and Computing, page 18:1--18:8 - jul 2016
[2] A Review of Computable Expressive Descriptors of Human Motion. Caroline Larboulette and Sylvie Gibet. In Proceedings of the International Symposium on Movement and Computing - Aug.2015
[3] An Expressive Conducting Gesture Dataset for Sound Control. Lei Chen, Sylvie Gibet, Camille Marteau. In 11th edition of the Language Resources and Evaluation Conference, 7-12 May 2018, Miyazaki, 2018
[4] From Expressive End-Effector Trajectories to Expressive Bodily Motions. Pamela Carreno-Medrano, Sylvie Gibet, Pierre-François Marteau. Conference on Computer Animation and Social Agents. CASA 2016: 157-163, 2016.
[5] Quantitative Evaluation of Percussive Gestures by Ranking Trainees versus Teacher. Lei Chen, Sylvie Gibet, Pierre-François Marteau, Fabrice Marandola, Marcelo M. Wanderley. In Proceedings of the International Symposium on Movement and Computing, pp.13 :1-13 :8, July 2016

Lieu :

IRISA - Campus de Tohannic - 56000 Vannes

Mots clefs : interaction gestuelle expressive, capture du mouvement, descripteurs, simulation, 3D, sons, apprentissage automatique, évaluation perceptuelle, performance live

-----

Novel systems such as smartphones, tablets, or game consoles are now part of our daily lives and change the way we interact with our environment and even create new human-machine behaviors. However, even if these new devices facilitate our everyday lives, they do not cover all of the possible ways humans can interact with devices, especially those ways that are more natural or intuitives. Our research in Expression team (IRISA) aims at designing applications in the field of Human-Computer Interaction (HCI) driven by gestures. Those interactions define natural and rich means of communication that can be used to expressively control systems that are digirally simulated.

In this PhD, we want to investigate new ways of interaction and explore all of the possibilities offered by our body. More precisely, the thesis deals with gesture or full body interaction in realtime used to control image and sound simulations in the context of live performances. Gestures and body movements are recorded using motion capture systems, analysed in realtime and used as input to simulation programs that can produce 2D or 3D visual output or sounds in realtime for an interactive experience. More specifically, we will pay attention to expressiveness of motions and how it can be characterized by high level motion descriptors (kinematic and geometric motion descriptors for body parts or full body computed in realtime from captured data).

To this end, mapping models from captured data and computed descriptors to the parameters of the simulated systems need to be defined. Thanks to machine learning approaches (deep learning), we shall be able to adapt the models to each individual user for a unique experience. To validate those models, we will need to propose a methodology based on perceptual evaluations at all levels of the synthesis pipeline (evaluation of the expressive descriptors, of the simulated systems, of the visual or sound effects and of the user experience).

This thesis will be conducted in partnership with a company from Morbihan and the developed prototypes will be tested at cultural events in the form of live performances designed for a general audience.

Workplace: this work will be conducted at the IRISA lab (EXPRESSION Team, IRISA) in Vannes, France.

Prerequisites: the candidate must hold a Master degree (or equivalent) in computer science. S/he should have a strong knowledge of C++ programming, an excellent level in written English and knowledgable in computer graphics. Additional knowledge in Human-Computer Interaction (HCI), data processing or music would be greatly appreciated.

Funding: grant from the Région Bretagne and Morbihan department (CDE 56)

Application

Please send a CV and a cover letter with a list of references with contact details by email to Caroline Larboulette (sylvie.gibet@irisa.fr) as soon as possible.

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2018.