Réunion

Les commentaires sont clos.

Journée Visage, gestes, actions et comportement

Date : 14-06-2022
Lieu : Amphi Durand, Sorbonne Université (et visio)

Thèmes scientifiques :
  • B - Image et Vision
  • T - Apprentissage pour l'analyse du signal et des images

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.


S'inscrire à la réunion.

Inscriptions

30 personnes membres du GdR ISIS, et 27 personnes non membres du GdR, sont inscrits à cette réunion.

Capacité de la salle : 140 personnes.

Annonce

Nous privilégeons le présentiel mais nous fournirons ultérieurement un lien pour pouvoir suivre la réunion en visio.

L'objectif de cette journée est de présenter des travaux concernant l'extraction du mouvement humain (visage, mains, corps, gestes) à partir de séquences vidéo, et son analyse à plus haut niveau (tâches, comportement), notamment pour des applications interactives ou de surveillance (video-surveillance, health monitoring, ...).

Une session spécifique sera dédiée à l'analyse des émotions.

La journée inclura deux conférences invitées :

  • Cloé Clavel
    Natural Language Processing and User's Social Behaviour Analysis in Conversational AI Systems
  • Ivan Laptev
    Towards embodied multi-modal visual understanding

Nous lançons donc un appel à contribution, pour des travaux méthodologiques (incluant les méthodes par apprentissage) et/ou applicatifs, sur l'ensemble des thèmes de l'action :

  • Reconnaissance d'émotions (visage, audio, geste, ...)
  • Reconnaissance de gestes interactifs
  • Reconnaissance d'actions et d'activités
  • Estimation de la posture articulée (corps entier, mains, etc.)
  • Etude de la synchronie des signaux non verbaux (mouvement de tête, tours de parole, geste, posture, ...).
  • Modélisation et détection de l'engagement dans les interactions
  • Modélisation et génération de comportements (avatar)
  • Applications...

Les personnes souhaitant présenter leurs travaux à cette journée sont invitées à envoyer, par e-mail, leur proposition (titre et résumé de 1 page maximum) aux organisateurs avant le 13 mai 2022.

Orateurs invités

Cloé Clavel, Image Data Signal dept., Telecom Paris

Titre : Natural Language Processing and User's Social Behaviour Analysis in Conversational AI Systems

Résumé : The last few years have seen an acceleration in the development of conversational AI systems (Alexa from Amazon, Siri from Apple, Google home, companion robots such as Pepper). Although the conversational agents offered by these companies are already on the market, taking into account the social component of the interaction is still a crucial issue for the fluidity and naturalness of the interaction. For example, based on the user's behaviours (e.g. the expression of her preferences or showing signs of boredom or frustration), a companion robot can choose the topics to be addressed in its successive interactions with humans, and propose strategies to re-engage her in the interaction. The first part of my talk will describe the challenges raised by the specific nature of social behaviours as they occur in human-agent interactions and I will propose new insights for future tractable and explainable detection models. In order to illustrate these insights, I will refer to ongoing work on hierarchical and recurrent neural networks to predict the recruiter's decision on hireability from job video interviews. As interpretability of the prediction is crucial for this task, I will present how we leverage the processing of attention mechanisms in order to visualize salient components (analyzing the social signal content of attention slices) for the decision. In the second part of the talk, I will describe the specific structure of human-agent interaction and investigate future directions based on the recent trends in neural architectures for the integration of interaction context and spontaneous speech features. Throughout my talk, I will argue that better interleaving Human Social Sciences and deep learning approaches is the step we need to take towards human-agent interaction systems that are not only more natural and user-friendly but also more performant and trustworthy.

Ivan Laptev, WILLOW project-team INRIA Paris

Titre : Towards embodied multi-modal visual understanding

Résumé : to be completed

Organisateurs