Action Co-conception
Animateur(s) : Matthieu Boffety (MC, Laboratoire Charles Fabry – Institut d’Optique Graduate School), Julien Fade (MC, Institut FOTON – Université Rennes 1), Corinne Fournier (MC, Laboratoire Hubert Curien – Université de St Etienne), Pauline Trouvé (IR, ONERA)
La conception de systèmes d’acquisition d’images connaît un renouveau grâce aux approches où le dispositif d’imagerie est étroitement associé aux algorithmes de traitement des données. On parle de conception conjointe ou co-conception. Cette démarche est particulièrement utile aujourd’hui où les capteurs peuvent délivrer beaucoup d’informations : spatiales, 3D, temporelles, spectrales, polarimétriques… Il est très important de définir des approches qui permettent d’acquérir l’information utile pour une application donnée de la manière la plus efficace, simple et économe possible. Elles trouvent des applications dans des domaines à fort potentiel d’innovation tels que l’imagerie biomédicale, le multimédia, la télédétection ou le contrôle des processus industriels.
Pour atteindre cet objectif, on doit prendre en compte la nature physique de la scène observée, de l’instrument qui acquiert les données et des algorithmes de traitement qui extraient l’information pertinente. Ce domaine est donc par essence multidisciplinaire, et l’objectif de cette action est de favoriser l’interaction entre les utilisateurs des informations (physiciens, biologistes et médecins, spécialistes de l’environnement, …), les concepteurs de systèmes d’imagerie et les traiteurs de signaux/images, dans le but d’améliorer l’efficacité globale des systèmes d’imagerie. Cet axe se situant à l’interface entre la physique, les mathématiques appliquées et le traitement d’image, la plupart des journées seront organisées en collaboration avec des GDR tels que Ondes, MIV (Microscopie et imagerie du vivant), ou MIA.
Action Nouveaux enjeux en télédétection
Animateur(s) : Abdourrahmane Atto (MC, LISTIC – Université Savoie Mont Blanc), Loïc Denis (MC, Laboratoire Hubert Curien – TELECOM Saint-Etienne), Stéphane May, CNES.
Aujourd’hui, les nouvelles générations de satellites d’observation de la Terre sont déployées en constellations pour augmenter de manière très significative les résolutions spatiales, spectrales et temporelles des images numériques des sites observés. Il en est de même en imagerie astrophysique : les dernières générations de systèmes de télédétection sont déployées par exemple en constellations de télescopes imageurs pour améliorer l’observabilité de rayonnements rares dans le temps. D’autre part, la généralisation de l’usage de capteurs imageurs embarqués sur des drones révolutionne l’imagerie aéroportée au sens où le coût faible (en comparaison avec l’utilisation d’avions ou d’hélicoptères dans les précédentes décennies) d’un tel système rend possible des revisites régulières de sites sensibles et/ou peu accessibles.
La grande quantité des données acquises et les nouvelles caractéristiques de ces images constituent de nouveaux défis pour leur traitement et l’extraction de l’information dans ces images de télédétection. Ces défis imposent que la communauté de se coordonner et partager ses compétences sur de nouvelles approches en analyse des images de télédétection. Les nouveaux défis soulevés sont relatifs, entre autres, à la multimodalité, au traitement de séries temporelles d’images de plus en plus denses, à l’apprentissage statistique de régularités ou d’évolutions spatio/spectro-temporelles caractérisant différents phénomènes dynamiques.
3. Action Vision guidée par les capteurs émergents
Animateur(s) : Pascal Vasseur (PR, LITIS – Université de Rouen Normandie), Guillaume Caron (MCF, MIS – Université de Picardie Jules Verne), Franck Ruffier (CR, ISM – CNRS Aix Marseille Université).
De nombreuses entreprises s’impliquent de plus en plus dans la fabrication et la commercialisation de nouveaux types de caméras comme les caméras à temps de vol, les caméras plénoptiques, les caméras omnidirectionnelles, les caméras événementielles et autres capteurs visuels. Ces nouvelles caméras et les nouveaux usages qu’elles laissent entrevoir sont le fruit de progrès d’intégrations techniques et technologiques récents. Ces caméras permettent d’obtenir des informations de natures différentes comme la profondeur, le mouvement, la couleur ou encore de longueurs d’ondes différentes (IR, FIR, SWIR).
L’usage de ces capteurs fait émerger de nombreuses questions sur les outils et les méthodes associées. En premier lieu, se pose le problème de la modélisation et de l’étalonnage. Ce thème a été profondément traité pour les caméras classiques voire également les caméras omnidirectionnelles avec des résultats significatifs et des outils performants. Néanmoins, il existe un intérêt important pour l’amélioration de ces modélisations géométriques et/ou photométriques et pour le développement d’outils rapides, précis et robustes de mise en oeuvre. De même, la nature hétérogène des informations mesurées implique des principes particuliers à développer pour l’étalonnage extrinsèque des caméras comme cela a été le cas pour les caméras et les Lidars par exemple.
Du point de vue du traitement de l’information, de nombreuses pistes de recherche sont également à explorer pour l’extraction de primitives, la caractérisation de ces primitives, la mise en correspondance. Ainsi, il est pertinent d’étudier si les traitements classiques sont applicables à ces modalités et s’ils sont optimaux dans tous les cas. Une question intéressante concerne les traitements précoces qu’il est possible voire souhaitable d’effectuer au plus proche du capteur. La collaboration entre capteurs interroge sur l’usage de l’information d’une modalité pour optimiser le traitement d’une autre. L’étude des gains et des pertes en termes de robustesse, précision, incertitude, temps de calcul avec ces modalités par rapport aux méthodes de vision classiques ainsi les conditions optimales d’utilisation sont d’un intérêt fondamental.
De nombreuses journées se feront en lien avec le GdR Robotique.
4. Action Interaction avec l’humain : qualité et perception
Animateur(s) : partie qualité : Patrick Le Callet (PR, IRCCyN lab Polytech’Nantes), Frédéric Dufaux (DR, L2S UMR 8506, Paris Centrale Supelec), Christophe Charrier (MCF, GREYC-Université de Caen Normandie), Hakim Saadane (MCF, XLIM-SIC, Université de Nantes), Giuseppe Valenzise (CR, L2S UMR 8506, Paris Centrale Supelec), Aladine Chetouani (MC, PRISME, Polytech Orléans); partie perception : Jesus Angulo (CR, CMM, MINES ParisTech), Michel Berthier (PR, MIA Université de La Rochelle), Phi- lippe Carré (PR, XLIM UMR 7252, Université de Poitiers), Laurent Condat (CR GIPSA-lab UMR 5216, Grenoble), Julie Delon (PR, MAP5, Université Paris-Descartes), Edoardo Provenzi (PR, IMB, Université de Bordeaux).
L’objectif de cette action est de mettre en communication les chercheurs qui travaillent, d’un côté, sur la modélisation des propriétés de la vision humaine et, de l’autre côté, ceux qui sont intéressés aux applications de ces propriétés dans le domaine du traitement des images et de la vision par ordinateur. L’avantage de cette mise en relation est double : en fait les applications bénéficient souvent des connaissances sur le fonctionnement du système visuel humain et, vice-versa, des simulations et des expériences avec des images numériques sont souvent indispensables pour inférer des propriétés visuelles. Un exemple récent de ce type d’interaction est donné par le workshop EUVIP (European Workshop on Visual Information Processing) qui s’est tenu à Marseille en octobre 2016, dans lequel plusieurs chercheurs en neurosciences, informatique, psychologie cognitive et mathématiques appliquées au traitement d’images ont présenté leurs travaux et entamé des collaborations. Une liste non-exhaustive de champs de recherche intéressés par cette action est la suivante :
- l’imagerie à gamme dynamique étendue (HDR – High Dynamic Range), 22
- l’étude de la qualité des images et des vidéos
- les statistiques des images naturelles,
- les métriques et la géométrie des espaces des couleurs,
- le rehaussement du contraste,
- la restauration d’images et des videos,
- la colorimétrie,
- la métrologie des attributs perceptuels des surfaces.
Cette thématique demande évidemment des compétences pluridisciplinaires, ce qui implique l’exigence d’une interaction avec d’autres GdR, notamment les GdR Vision et GdR MIA. Des contacts pour l’animation de journées communes ont déjà été formalisés avec Jean-François Aujol (PR26 IMB Bordeaux UMR 5152) et Nicolas Papadakis (CR IMB Bordeaux UMR 5152) du GDR MIA et avec Pascal Mamassian (DR CNRS UMR 8248, Paris), Laurent Madelain (PR SCALab CNRS UMR 9193, Lille), Simon Thorpe (DR CerCo CNRS UMR 5549, Toulouse), Anna Montagnini (CR2 INT CNRS 7289, Marseille) et Laurent Perrinet (CR2 INT CNRS 7289, Marseille) du GDR VISION. Notamment, Laurent Madelain a répondu avec enthousiasme à la proposition d’une rencontre avant le forum annuel du GDR Vision, à Paris, en automne 2018, organisé par Thérèse Collins et Céline Paeye.
L’évaluation de la qualité des images et des vidéos joue un rôle central dans cette action. Elle se concentre sur l’intégration de l’observateur dans la chaîne de traitements et d’évaluation de la qualité des images et des vidéos. Les domaines d’application visés par cette action sont : la réalité virtuelle ou augmentée, l’imagerie à grande gamme dynamique (High Dynamic Range Imaging ou HDRI) et autres formats immersifs, les dispositifs d’affichage d’images 3D ou lightfield, les processus de protection des données et des personnes (biométrie, video-protection), l’imagerie bio-médicale (tomographies), l’évaluation de la qualité avec ou sans référence. Les problématiques et enjeux concernent les métriques, les protocoles d’évaluation, les techniques d’évaluation automatique par apprentissage, les mesures de saillance, la qualité d’expérience et intégration de l’observateur dans la chaîne d’évaluation de la qualité. La conférence annuelle Qomex « Qualité de l’expérience visuelle », qui est en train de devenir de plus en plus importante, est entièrement dédiée à la recherche sur la qualité.
5. Action Analyse de données massives en imagerie du vivant
Animateur(s) : Carole Lartizien (CR – CREATIS), Caroline Petitjean (MC LITIS – Normastic, Université de Rouen), Su Ruan (PR LITIS-Normastic, Université de Rouen).
Les sciences de l’information tiennent aujourd’hui une place primordiale dans l’analyse des données produites en Sciences du Vivant (SV). Il s’agit d’une part d’organiser les masses de données hétérogènes, multi-échelles et multimodales produites dans les hôpitaux et les centres de recherche, et d’autre part d’extraire l’information pertinente pour mieux soigner ou mieux comprendre les mécanismes physiopathologiques.
Les travaux de recherche dans ce domaine doivent être réalisés dans un contexte pluridisciplinaire rassemblant des acteurs des sciences des données, de l’ingénierie et du vivant, afin de concevoir et développer des méthodes adaptées aux spécificités des données biomédicales. L’objectif de cette action est de favoriser les interactions entre les différentes communautés scientifiques autour de thèmes de recherche émergents et fédérateurs en science de l’information (SI).
Cette action s’articulera autour de plusieurs journées scientifiques associant des chercheurs seniors pour des exposés tutoriels et des jeunes chercheurs pour la présentation de travaux plus focalisés afin de favoriser la qualité des échanges et la création de dynamiques communes. Certaines journées, organisées autour de thèmes ciblés des sciences des données particulièrement intéressants pour l’analyse des données biomédicales, viseront à favoriser le transfert des connaissances. D’autres journées seront centrées autour de grands thèmes de l’analyse des données biomédicales. Elles viseront à identifier les verrous scientifiques ou technologiques dans ce domaine et à dresser un état de l’art des méthodes des sciences de l’information les plus performantes pour les résoudre ainsi que des axes de recherche à développer, notamment en extraction d’information, en modélisation d’image, fusion de données, fouille de données, apprentissage.
6. Action Vision 3D et Apprentissage
Animateur(s) : Adrien Bartoli (PR, Institut Pascal Université Clermont Auvergne), Pierre Gurdjos (IR, IRIT, ENSEEIHT), Vincent Lepetit (PR, LABRI, Université de Bordeaux).
Cette action Vision 3D et Apprentissage s’intéressera à la reconstruction 3D d’un objet ou d’une scène rigide ou déformable (SfM, NRSfM – MVS), au recalage d’images multimodales (RGB, RGB-D, depth), au calcul de pose d’un objet ou d’une scène rigide ou déformable (pose, SfT) à partir de modèles texturés ou non-texturés. Alors que ces problèmes peuvent sembler résolus, ils restent néanmoins ouverts par certains aspects dus aux limites des méthodes géométriques actuelles.
A titre d’exemples, on peut citer :
- La vision 3D à partir d’images endoscopiques pour la réalité augmentée. Il s’agit d’une application clef de la vision 3D. Les images impliquées nécessitent de faire des progrès fondamentaux en vision 3D : structures déformables, surfaces peu texturées ou texture répétitive, présence de fumée et de fluides et changements de topologie.
- Le recalage rigide d’images et d’un modèle 3D non texturé obtenu par exemple par un scanner 3D, permettant la reconstruction de scènes d’extérieur à grande échelle. Les capteurs laser vont être accessibles à des prix ultra compétitifs et seront dans un futur proche utilisés pour raccourcir le cycle d’acquisition de scènes 3D. L’intégration des données 3D (souvent non texturées) qu’ils fourniront pose de nouveaux problèmes dans le cadre du SfM mais aussi du MVS (Multi-View Stereo).
Notons qu’aujourd’hui les méthodes d’apprentissage profond peuvent également être développées en vision 3D et font l’objet de nombreux travaux. A l’heure actuelle, les algorithmes sont capables de prédire d’importantes quantités de cartes de profondeur et de normales à partir d’une seule image. Il est aujourd’hui intéressant d’utiliser ces données pour généraliser les approches sur des données temporelles. De la même manière, l’étude du concept du self-learning, où l’apprentissage est effectué grâce à une tâche secondaire différente de la tâche primaire de reconstruction 3D, peut être fort utile dans le cas où les données d’apprentissage ne sont pas disponibles. Enfin, les algorithmes de SLAM récents se concentrent sur l’association d’un label sémantique sur chaque objet tout en reconstruisant la scène de manière automatique. Ce sujet de recherche récent et prometteur alliant reconstruction 3D et reconnaissance d’objet sera également étudié ici.
Ainsi, dans cette action, il s’agit d’étudier les techniques géométriques de vision 3D en tenant compte de la spécificité des données (multi-modales, dynamiques, déformables) et d’utiliser, dans une certaine mesure, les méthodes d’apprentissage en vision 3D de manière conjointe à la géométrie.
7. Action Visage, Geste et Comportement
Animateur(s) : Catherine Achard (MC, ISIR, Université Pierre et Marie Curie), Christophe Ducottet (PR, Laboratoire Hubert Curien, Université de Saint-Etienne), Olivier Alata (PR, Laboratoire Hubert Curien, Université de Saint-Etienne).
Cette action concerne l’extraction du mouvement humain (visage, mains, corps, gestes) à partir de séquences vidéo, et son analyse à plus haut niveau (tâches, comportement), notamment pour des applications interactives ou de surveillance. Une attention particulière sera portée aux données hétérogènes (couleur, thermique, 3D, …) et/ou acquises dans des situations non contraintes.
Elle s’intéresse notamment à la prédiction de posture 2D ou 3D de la main ou du corps avec notamment des approches utilisant l’apprentissage profond, à la modélisation statistique de gestes, à la modélisation du visage (forme, apparence, émotion), et à la reconnaissance d’activités et de comportements. Des journées thématiques, éventuellement co-organisées avec le GdR Robotique, seront organisées sur ces sujets.
8. Action Apprentissage profond pour l’indexation multimédia
Animateur(s) : Jenny Benois-Pineau (PR, LABRI Université de Bordeaux), Alexandre Benoit (MC, LISTIC Polytech’Savoie), Hervé Le Borgne (CR, Vision and Content Engineering Lab CEA Saclay), Hervé Bredin(CR, LIMSI), Liming Chen (PR, LIRIS Centrale Lyon).
La structuration des contenus multimédia, notamment ceux impliquant une modalité visuelle, suscite un intérêt de la communauté scientifique mais aussi des acteurs industriels et institutionnels pour leurs besoins propres. Il émerge un besoin d’organiser des objets non seulement plus complexes ou de manière plus fine mais aussi plus composites par le nombre de modalités mises en jeu. Le traitement et l’indexation de chaque modalité ont fait des progrès importants. Ainsi la recherche et la conception des descripteurs du contenu adaptés a cédé la place au renforcement des méthodes d’apprentissage, spécifiquement avec la popularisation des réseaux d’apprentissage profond. La combinaison des techniques propres à chaque domaine reste cependant un défi.
Le cœur de l’action « Méthodes et Apprentissage en Indexation Multimédia » porte sur la fusion et la combinaison des traitements de diverses modalités avec la modalité visuelle. Elle s’intéressera aux liens en termes de traitement et d’indexation par apprentissage statistique et plus particulièrement par apprentissage profond. Les défis propres à cette problématique concernent notamment l’hétérogénéité des approches en fonction des modalités, les différences de performances obtenues selon les médias. Dans le contexte d’apprentissage profond les modes de fusion optimale restent à étudier afin d’obtenir des scores suffisamment élevés pour l’utilisation des outils dans des problèmes réels avec une quantité de données d’apprentissage souvent faible et des annotations bruitées.