Seminaire Brillouin sur les Sciences Géométriques de l'Information

29 Mars 2012

---

Catégorie : Journée d étude

---

Nous vous rappelons que la 8e séance du Séminaire Léon Brillouin aura lieu le 12 avril 2012. Nous accueillerons Yann Ollivier et Silvère Bonnabel.

Yann Ollivier. Géométrie de l'information pour l'optimisation boîte noire.

Le problème de l'optimisation boîte noire consiste à rechercher le minimum d'une fonction objectif sur un espace donné (discret ou continu), sans information a priori sur cette fonction. La géométrie de l'information fournit une méthode générique, IGO (information-geometric optimization), pour construire facilement des algorithmes d'optimisation ayant de bonnes propriétés, et en particulier en minimisant le nombre et l'influence de choix arbitraires tels que les choix de représentation de l'espace des solutions. Selon les situations, les algorithmes IGO, soit retrouvent des algorithmes déjà connus dont ils donnent une explication théorique, soit fournissent de nouveaux algorithmes potentiellement plus puissants. En outre, les propriétés spécifiques de la géométrie de l'information et de l'entropie de Kullback-Leibler garantissent, à chaque étape, une perte de diversité minimale pour l'exploration des solutions potentielles : des expériences préliminaires suggèrent en particulier que des méthodes IGO maximisent spontanément la diversité et sont en particulier capables d'explorer simultanément plusieurs solutions concurrentes.

Silvère Bonnabel. Gradient stochastique sur les variétés riemanniennes: théorie et applications.

La méthode du gradient stochastique est une approche simple pour déterminer un minimum local d'une fonction dont les évaluations sont corrompues par du bruit. Principalement motivé par des applications en apprentissage, nous présenterons une procédure pour étendre la méthode au cas où la fonction de coût est définie sur une variété riemannienne. On montrera, que, comme dans le cas euclidien, l'algorithme converge vers un point critique de la fonction de coût sous des hypothèses raisonnables. La méthode trouve de nombreuses applications. Elles permet de retrouver certains algorithmes connus (comme le gradient naturel d'Amari en géométrie de l'information), ou de proposer de nouveaux algorithmes.

L'application que nous creuserons en détail est celle de la régression linéaire sur les matrices semi-définies positives de rang faible, pour laquelle la méthode fournit une procédure adaptée au caractère non-linéaire de l'espace de recherche, et adaptée aux problèmes de grande dimension. L'algorithme s'avère utile par exemple pour l'apprentissage de matrices de Mahalanobis de rang faible.