Soutenance de thèse: Amel Znaidia

29 Janvier 2014

---

Catégorie : Soutenance de thèse

---

Plan d’accès : http://www.ecp.fr/plan_d_acces

Résumé

La présente thèse s'intéresse à l'annotation multimodale d'images dans le contexte des médias sociaux. Notre objectif est de combiner les modalités visuelles et textuelles (tags) afin d'améliorer les performances d'annotation d'images. Cependant, ces tags sont généralement issus d'une indexation personnelle, fournissant une information imparfaite et partiellement pertinente pour un objectif de description du contenu sémantique de l'image. En outre, en combinant les scores de prédiction de différents classifieurs appris sur les différentes modalités, l'annotation multimodale d'image fait face à leurs imperfections: l'incertitude, l'imprécision et l'incomplétude. Dans cette thèse, nous ne considérons que l'annotation multimodale d'image est soumise à ces imperfections à deux niveaux : niveau représentation et niveau décision. Inspiré de la théorie de fusion de l'information, nous concentrons nos efforts dans cette thèse sur la définition, l'identification et la prise en compte de ces aspects d'imperfections afin d'améliorer l'annotation d'images.

Pour traiter les imperfections au niveau de la représentation, nous commençons par identifier et définir ses aspects dans le contexte de l'annotation multimodale d'images. Une fois que ces imperfections sont bien identifiées et définies, nous proposons deux nouvelles signatures basées sur l'information textuelle pour prendre en compte de telles imperfections. Pour aborder le problème d'incomplétude des tags, nous proposons une nouvelle méthode basée d'une part sur les images visuellement voisines et sur une combinaison de leur contribution utilisant la théorie des fonctions de croyance. Ensuite, nous proposons une signature sémantique compacte qui résulte de la combinaison de modalités textuelle et visuelle.

Pour prendre en compte les imperfections au niveau de la décision, nous proposons deux modèles qui consistent à combiner des classifieurs appris sur les différentes modalités. Le premier modèle est basé sur l'algorithme de "Stack Generalization" où les aspects d'imperfections sont traités implicitement dans l'étape d'apprentissage. Le deuxième modèle est basé sur la fusion de classifieurs dans la théorie des fonctions de croyance en utilisant la règle de Dempster-Shafer pour traiter explicitement les imperfections qui peuvent exister en combinant les différents classifieurs. Les résultats expérimentaux montrent que les méthodes proposées dépassent l'état de l'art tout en restant moins coûteuses en calculs que les travaux récents dans le domaine.

Jury

• Pr. Stéphane Marchand-Maillet, Université de Genève (relecteur)
• Pr. Bernard Mérialdo, Intitut Eurecom, (relecteur)
• Pr. Henri Maître, Telecom Paris Tech
• Pr. Patrick Lambert, Polytech Annecy-Chambéry,
• Pr. Matthieu Cord, Université UPMC-Sorbonne,
• Dr. Stéphane Ayache, Université Aix-Marseille ,
• Pr. Nikos Paragios Ecole Centrale Paris, (directeur de thèse)
• Dr. Céline Hudelot École Centrale Paris, (encadrant)
• Dr. Hervé Le Borgne, CEA Saclay, (encadrant)