Vous êtes ici : Accueil » Kiosque » Annonce

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Annonce

3 octobre 2020

Doctorat : Classification active multimodale - Application à l’analyse de vidéos Youtube pour les sciences sociales computationnelles


Catégorie : Doctorant


Dans le cadre d'un projet ANR, nous recherchons un doctorant sur le sujet suivant "Classification active multimodale - Application à l’analyse de vidéos Youtube pour les sciences sociales computationnelles". Début de thèse en janvier 2021, financement 36 mois. Le thésard sera rattaché au LIGM et à ESIEE Paris (Université Gustave Eiffel).

 

Classification active multimodale - Application à l’analyse de vidéos Youtube pour les sciences sociales computationnelles

Profil détaillé : https://perso.esiee.fr/~bercherj/Classification_active_multimodale_APY.pdf

Contexte de la thèse -- Le projet APY, “Entre Réseaux Complexes et Marché : YouTube au prisme des Sciences sociales computationnelles”, soutenu par l’ANR, vise à analyser et comprendre l’économie des contenus diffusés sur YouTube, pour comprendre la manière dont les écosystèmes numériques transforment la nature de biens culturels et médiatiques. Il s’agit d’un projet transverse et pluridisciplinaire qui mêle des spécialistes de l’économie, des sciences sociales et de l’informatique, avec lesquels le doctorant sera amené à interagir. Dans le contexte de ce projet, une contribution applicative de cette thèse sera d’enrichir de métadonnées un corpus de vidéos pour les besoins spécifiques de la recherche en sciences sociales, en classifiant notamment les actions et le style des vidéos.

Contexte scientifique du travail de thèse -- Le problème scientifique est celui d’une classification active multimodale : les tâches de classification ou de multi-labellisation utiliseront à la fois les contenu visuel (descripteurs de niveau bas, moyen et haut) et textuel (transcription des paroles fournies par Youtube, ainsi que le titre, les tags et la description des vidéos). L’apprentissage profond (deep learning) s’est imposé ces dernières années comme une approche de choix pour les différentes tâches d’apprentissage, avec des performances très importantes. Les méthodes explorées dans la thèse s'appuieront sur l’état de l’art en apprentissage profond et se focaliseront sur l’apprentissage par plongement (embeddings), une projection non linéaire dans un espace de représentations multimodales, qui reflétera au mieux les similarités entre les vidéos. Les méthodes supervisées habituelles reposent sur des classes connues et fixées. Ceci doit être dépassé dans un contexte d’exploration des données, où un aspect interactif doit être intégré. L’aspect actif, ou adaptatif, ou en ligne, consiste à construire son ensemble d’apprentissage au cours de son entraînement, en interaction avec l’analyste qui construit une problématique relative aux corpus de vidéos. Afin de raffiner la base d’apprentissage, un système de recommandation, à la fois des vidéos les plus pertinentes à annoter et plus spécifiquement de sous-séquences de ces vidéos, sera développé. Ceci induira une réflexion sur les métriques permettant d’évaluer la distance entre les vidéos, en regard des performances de classification attendues. En complément de ces nouvelles classes introduites de manière adaptative mais supervisée, il sera intéressant de proposer de nouvelles classes de manière non supervisée, et d’analyser les classes ainsi découvertes.

Le travail de thèse permettra ainsi de contribuer à l’avancement des connaissances en apprentissage actif multi-label et intégrera la découverte non supervisée de nouvelles classes. Il se déroulera dans le contexte applicatif et en interaction avec la sociologie computationnelle.

Environnement scientifique et de travail Le doctorant sera rattaché au Laboratoire d’informatique Gaspard Monge, UMR 8049, CNRS-université Gustave Eiffel. Il disposera d’un bureau à ESIEE Paris, école membre de l’université Gustave Eiffel, et des facilités de l’école. Il sera encadré par Romain Negrel, Giovanni Chierchia (maîtres de conférences) et Jean-François Bercher (Pr).

La durée du financement est de 3 années, avec un salaire aligné sur les contrats CNRS, environ 2200€ brut, et pourra être complété par des vacations d’enseignement. Un financement est prévu pour le matériel et les missions de recherche.

Le profil recherché est celui d’un(e) étudiant(e) titulaire d’un M2 ou d’un diplôme d’ingénieur à dominante informatique, avec une spécialité ou des connaissances avérées en sciences des données. Prise de contact : Renseignements et candidature auprès de [romain.negrel, giovanni.chierchia, jf.bercher]@esiee.fr, avec un CV comportant une mention des expériences en stage, un programme ou un pointeur vers les enseignements suivis en M2, relevé de notes ou classement.

 

Dans cette rubrique

(c) GdR 720 ISIS - CNRS - 2011-2020.