Réunion

Les commentaires sont clos.

Capteurs visuels émergents pour la robotique

Date : 10-11-2022
Lieu : SORBONNE UNIVERSITÉ, campus Université Pierre & Marie Curie, 4 place Jussieu, 75005, Paris

Thèmes scientifiques :
  • B - Image et Vision

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.


S'inscrire à la réunion.

Inscriptions

19 personnes membres du GdR ISIS, et 10 personnes non membres du GdR, sont inscrits à cette réunion.

Capacité de la salle : 50 personnes.

Annonce

Journée inter-GdR ISIS et Robotique

Capteurs visuels émergents pour la robotique

10 novembre 2022 - Paris

Lieu

SORBONNE UNIVERSITÉ - (salle à venir avec le programme final)
campus Université Pierre & Marie Curie, 4 place Jussieu, 75005, Paris

Organisateurs

Brahim Tamadazte (CNRS-SU ISIR), Guillaume Caron (CNRS-AIST JRL, UPJV MIS), Nathanaël Jarassé (CNRS-SU ISIR), Pascal Vasseur (UPJV MIS), Franck Ruffier (CNRS-AMU ISM)

Objectifs de la journée

Les GdRs ISIS et Robotique s'associent pour l'organisation d'une journée de travail autour des capteurs visuels émergents et leurs applications, notamment en robotique. Nous constatons sur les trois dernières décennies, l'émergence de capteurs visuels de plus en plus variés. A titre d'exemples, les caméras à temps de vol, les caméras événementielles, les caméras plénoptiques, les capteurs visio-tactiles, ... auxquels s'ajoutent de nombreux capteurs d'imagerie médicale de plus en plus performants. Ces capteurs permettent d'obtenir des informations de nature et de physique différentes comme la couleur, la profondeur (ou les deux associés), le mouvement, etc. En conséquence, de nombreuses activités de recherche ont émergé et leur point commun est l'utilisation des informations visuelles issues de ces capteurs, pour caractériser l'environnement dans ses états statique et dynamique, la commande de véhicules ou de robots, ou encore en médecine pour la surveillance, le diagnostic et l'intervention.

L'objectif de cette journée est de réunir les deux communautés autour d'un panel d'invités exposant leurs travaux au sujet de capteurs visuels innovants à fort potentiel d'applications : la tomographie à cohérence optique, la microscopie électronique à balayage, les capteurs visio-tactiles, les caméras de profondeurs, les caméras sphériques, les capteurs plénoptiques, l'imagerie polarimétrique, etc.

Ces présentations seront accompagnées par des présentations supplémentaires sélectionnées sur la base d'un résumé à transmettre avant le 07 octobre 2022 aux organisateurs (cf. la section "contacts") afin d'avoir une meilleure couverture des thématiques liées aux capteurs émergents.

L'inscription à cette journée est gratuite mais obligatoire sur le site du GdR ISIS.

Liste des invité(e)s ayant déjà confirmé leur présence

  • Benoit Rosa (Icube, Strasbourg)
  • Jean-Yves Rauch (FEMTO-ST, Besançon)
  • Edison Gerena (ISIR, Paris)
  • Pend Song (Institut Pascal, Clermont-Ferrand)
  • Olivier Morel (ImViA, Le Creusot)
  • Antoine André (JRL, Tsukuba, Japon)
  • Zongwei Wu (ImViA, Dijon)
  • Maxime Ferrera (Ifremer, La Seyne-sur-mer)

Dates importantes

  • 06/09/2022 : annonce de la journée et lancement de l'appel à résumés
  • 07/10/2022 : date limite d'envoi des résumés (1 page)
  • 21/10/2022 : notification aux auteurs et diffusion du programme final
  • 25/10/2022 : date limite d'inscription (gratuite mais obligatoire)
  • 10/11/2022 : tenue de la journée "Capteurs visuels émergents pour la robotique"

GdR ISIS

Le GdR ISIS "Information, Signal, Image, Vision" est une structure d'animation du CNRS rassemblant plus de 4600 chercheurs, ingénieurs, techniciens et industriels. C'est dans le cadre du Thème B "Image et Vision", action spécifique "Vision guidée par les capteurs émergents" que cette journée thématique inter-GdR est organisée.
https://www.gdr-isis.fr

GdR Robotique

Le GdR-Robotique est fort de plus de 1200 chercheurs et ingénieurs relevant de différents établissements publics (universités, laboratoires de recherche, etc.) et privés. Il est organisé en plusieurs groupes de travail (GT) couvrant les grandes disciplines de la robotique. Chaque GT organise une ou plusieurs rencontres annuelles pour discuter et échanger des dernières avancées de la robotique.
https://www.gdr-robotique.org

Contacts

  • Guillaume Caron : guillaume.caron@u-picardie.fr
  • Brahim Tamadazte : brahim.tamadazte@cnrs.fr

Programme

Programme prévisionnel de la journée :

Les titres et résumés des présentations sont au bas de cette page.

  • 09h45 - 10h00 : Accueil des participants
  • 10h00 - 10h40 : Session 1
  • 10h40 - 11h00 : pause café
  • 11h00 - 12h00 : Session 2
  • 12h00 - 13h30 : Déjeuner
  • 13h30 - 14h40 : Session 3
  • 14h40 - 15h00 : pause café
  • 15h00 - 16h20 : Session 4
  • 16h20 - 16h30 : Clôture de la journée

Résumés des contributions

Olivier Morel, "Caméras polarimétriques et vision pour la robotique"

Résumé :

Depuis une dizaine d'années, l'utilisation des caméras polarimétriques en temps réel tend à se généraliser avec l'apparition sur le marché de capteurs polarimétriques basés sur des grilles de micropolariseurs. Ces caméras semblables à des caméras RGB classiques apportent au delà de l'information couleur, une estimation des paramètres de polarisation de la scène observée. Contrairement aux humains, de nombreux animaux sont sensibles à la polarisation de la lumière et utilisent à bon escient cette modalité pour s'orienter dans l'espace ou détecter des régions particulières.

Après une brève description des modèles de caméra polarimétriques les plus fréquemment utilisés, cette présentation rappellera les paramètres de polarisation pouvant être estimés en évoquant également les aspects de calibrage. Dans la nature, nous retrouvons principalement de la lumière polarisée obtenue par réflexion ou par diffusion d'une onde lumineuse. Après avoir détaillé des modèles mathématiques de ces deux aspects, nous illustrerons l'exploitation de ces caractéristiques au travers d'applications liées à la vision pour la robotique.

Maxime Ferrera, "Cartographie 3D Hyperspectrale en Environnements Sous-Marins Profonds"

Résumé :

Contrairement aux caméras couleurs classiques qui produisent des images formées à partir de trois canaux (rouge, vert, bleu), les caméras hyperspectrales sont capables de capturer des centaines de bandes spectrales sur l'ensemble du spectre du visible. L'imagerie hyperspectrale permet ainsi d'analyser de façon très précise les caractéristiques physiques des scènes imagées. Les applications en environnements sous-marins sont multiples : étude de l'état de santé de la faune et flore, détection automatique d'espèces, analyse de matériau pour l'archéologie ou la maintenance industrielle, etc. Néanmoins, la richesse en information spectrale fournit par ce type de caméra vient au prix d'une perte en dimension spatiale car les images acquises sont en fait de simple lignes (caméra de type pushbroom). Afin de rendre ces images exploitables, il est nécessaire de les re-projeter dans l'espace. Une approche classique est de créer une mosaïque 2D à partir de ces images en utilisant les données de navigation du robot embarquant la caméra. Le problème de ce type d'approche provient du fait que l'hypothèse d'avoir une scène plane, inhérente à la mosaïque 2D, est très majoritairement fausse, ce qui engendre des déformations géométriques importantes lors de la reconstruction. Ces déformations sont de surcroît amplifiées par la précision limitée des données de navigation sur les robots sous-marins. Dans cet exposé, nous présenterons une solution innovante permettant de créer des reconstructions 3D hyperspectrales précises et représentatives de la géométrie réelle des environnements imagés.

Jean-Yves Rauch, "Nouveaux systèmes micro et nano robotiques actifs à base d'origami de silice en bout de fibre optique : applications à la micro et nano robotique et aux capteurs émergents"

Résumé :

De récentes avancés en micro et nano robotique sous MEB dans la plateforme µROBOTEX du PIA1, devenue TIRREX dans le PIA3, ont permis de réaliser de nouveaux capteurs intégrés à l'extrémité de fibres optique étirées ou clivées, comme ce fut le cas avec la micro maison de FEMTO-ST en 2018 [1]. Pour la première fois, nous avons découpé et plié une membrane de silice par un procédé origami afin de la souder à l'extrémité d'une fibre optique clivée. Depuis nous avons réaliser des capteurs de pression ou de position qui fonctionnent par interférométrie infra rouge sur une origami de silice flexible soudée en bout de fibre optique clivée. En 2021, nous avons publié un article dans Advanced Materials avec un IF=30.8, au sujet d'une architecture nano robotique électrothermique. Nous venons de recevoir le micron d'or du salon Micronora 2022 pour un système actif à base d'origami de silice, sur lequel nous soudons un bilame aluminium/silice qui actionne le système. L'ensemble est installé à l'extrémité d'une fibre optique étirée permettant d'apporter l'énergie thermique sous forme de chaleur pour effectuer la déformation du bilame et donc l'actionnement. Cette nouvelle famille de systèmes nano robotique, construit sous MEB, permet d'envisager la construction de nouveaux capteurs/actionneurs, pour l'optique, la photonique, la biologie moléculaire, l'archéologie 3D avec la reconstruction de pollen, la micro chirurgie, les prélèvement in situ, des tâches de pick and place à différentes dimensions entre 50nm et 15µm.

1- Smallest microhouse in the world, assembled on the facet of an optical fiber by origami and welded in the Robotex nanofactory. Journal of Vacuum Science & Technology A 36, 041601 (2018); https://doi.org/10.1116/1.5020128 Jean-Yves Rauch a) , Olivier Lehmann, Patrick Rougeot, Miguel. Angel Suarez, Joel Abadie, and Joel Agnus, Dept. AS2M, Nanorobotics Team, Femto-ST Institute, Univ. Bourgogne Franche-Comte, UMR CNRS 6177, 24, rue Alain Savary, 25000 Besançon, France

Edison Gerena, "Micro-robots optiques à 6 ddl avec retour de force pour une bio-manipulation interactive"

Résumé :

La manipulation à l'échelle unicellulaire est considérée comme une tâche clé dans la recherche biomédicale. Cependant le manque de systèmes intuitifs et efficaces restreindre le type d'opérations possibles à cette échelle. Nous proposons une nouvelle solution télé-robotique pour la manipulation des cellules à l'aide de pinces optiques. Il permet la manipulation simultanée de plus de 15 pièges optiques dans un grand espace de travail avec une résolution nanométrique. Le système est équipé d'une caméra événementielle, ce type de capteur ne génère que l'information dynamique de la scène. Cela permet une mesure de force à haute vitesse, et le système fournit un retour haptique en temps réel. Nous présenterons également des microrobots optiques, des microstructures actionnées à 6 ddl avec un capteur de force intégré, qui peuvent être utilisées comme outils pour différentes tâches de biologie expérimentale.

Peng Song, "Reconstruction 3D d'image tactile et son application pour l'assemblage d'objets déformables"

Résumé :

Les capteurs tactiles sont de plus en plus utilisés pour la manipulation robotique. Le capteur tactile qui peut transmettre une image de contact est devenu un nouveau genre de capteur. Nous allons présenter comment reconstruire une image 3D tactile en temps réel pour récupérer l'information la plus complète de contact. En utilisant les images tactiles 3D, il est possible de réaliser l'assemblage d'objets déformables avec un seul capteur tactile installé sur la pince robotique.

Antoine André, "Vision sphérique en robotique : représentation d'image et applications"

Résumé :

De par sa capacité à percevoir et obtenir une grande quantité d'informations à l'aide d'un seul et même capteur, les caméras se sont offertes une place de choix dans les outils de perception de l'environnement et de scènes dans un panel applicatif allant de la microscopie à l'astronomie. Cependant, cette perception reste limitée par les objectifs utilisés et par leur optique. Une des problématiques majeures de ces méthodes d'étude de scène reste la limitation du champ de vision provenant directement de la conception des optiques employées, et ce quelque soit l'échelle d'étude considérée.

Pour répondre à cette problématique à l'échelle macroscopique (allant du mètre à la dizaine de mètres), des objectifs aux optiques innovantes permettant d'acquérir une image 360 degrés d'une scène ont émergé ces dernières années. Grâce à ces optiques il est désormais possible d'effectuer de l'estimation de pose, ou encore de l'asservissement visuel avec un domaine de convergence bien plus grand que ce que permettaient les optiques à champ de vision plus réduits. Le champ de vision de la caméra n'étant plus une limitation, de nouvelles applications ont pu naître de ces caméras au champ de vue à 360 degrés. Grâce à leur construction quasi-sphérique, ces caméras proposent également une nouvelle manière de représenter l'information photométrique non plus sur un plan image (comme avec les objectifs à projection orthographique ou perspective faible) mais directement sur une sphère complète.

Cette présentation vise ainsi dans un premier temps à montrer les différentes méthodes de représentation des images initialement acquises sur un capteur planaire pour effectuer leur projection sur une sphère, rendant l'information photométrique disponible à 360 degrés plus aisée. Dans un second temps nous présenterons différentes applications de ces méthodes à l'estimation de pose et à l'asservissement visuel direct en robotique. Nous conclurons en présentant les différents verrous restant dans la vision omnidirectionnelle, et les applications pouvant découler de ces avancées scientifiques.

Zongwei Wu, "Robust RGB-D Fusion For Saliency Detection"

Résumé :

Efficiently exploiting multi-modal inputs for accurate RGB-D saliency detection is a topic of high interest. Most existing works leverage cross-modal interactions to fuse the two streams of RGB-D for intermediate features' enhancement. In this process, a practical aspect of the low quality of the available depths has not been fully considered yet. In this work, we aim for RGB-D saliency detection that is robust to the low-quality depths which primarily appear in two forms: inaccuracy due to noise and the misalignment to RGB. To this end, we propose a robust RGB-D fusion method that benefits from (1) layer-wise, and (2) trident spatial, attention mechanisms. On the one hand, layer-wise attention (LWA) learns the trade-off between early and late fusion of RGB and depth features, depending upon the depth accuracy. On the other hand, trident spatial attention (TSA) aggregates the features from a wider spatial context to address the depth misalignment problem. The proposed LWA and TSA mechanisms allow us to efficiently exploit the multi-modal inputs for saliency detection while being robust against low-quality depths. Our experiments on five benchmark datasets demonstrate that the proposed fusion method performs consistently better than the state-of-the-art fusion alternatives.