Analyse de vidéos multi-spectrales pour la reconnaissance de textures déformables observées par une caméra de type snapshot

17 Février 2023

---

Catégorie : Doctorant

---

Candidature obligatoire via ADUM :

https://www.adum.fr/as/ed/voirproposition.pl?site=adumR&matricule_prop=45458

 

Résumé du sujet de thèse

Le champ applicatif de cette thèse concerne la reconnaissance de plantes en scènes extérieures. Elle fait suite à la thèse d’Anis Amziane qui porte sur l’identification d’adventices par analyse d’images multi-spectrales [1]. Dans cette thèse, les plantes observées doivent être fixes lors de l’acquisition des images, ce qui limite la portée applicative de ces travaux [2]. En effet, les plantes en milieu extérieur se déforment sous l’effet du vent. Ainsi, les surfaces des feuilles et tiges qui composent ces plantes constituent des surfaces qui se déforment au cours du temps. L’objectif de cette thèse sera alors de développer des méthodes qui parviennent à identifier automatiquement ces textures déformables par l’analyse de séquences temporelles d’images, appelées également vidéos.

Les méthodes classiques de détermination du mouvement par analyse de vidéos tentent de déterminer le déplacement de tous les éléments constituant les surfaces des objets. Lors du mouvement de l’objet ou de la déformation de la texture, chaque élément de surface se déplaçant dans la scène va se projeter sur des pixels différents dans les images acquises consécutivement par la caméra. L’objectif principal est donc de retrouver les coordonnées spatiales du pixel associé à un même élément de surface dans chacune des images composant la séquence. Pour ce faire, l’hypothèse sous-jacente est la conservation de l’énergie réfléchie par chaque élément de surface au cours du mouvement de l’objet. Cela se traduit classiquement par la constance du niveau de gris représentant le pixel associé à cet élément de surface dans chacune des images composant la séquence. Les méthodes classiques d’analyse de mouvement procèdent alors par des mesures de corrélation, ou développement des approches de flot optique pour retrouver le mouvement [3].

Les surfaces des plantes observées présentent des textures déformables dans le domaine spectrale du visible, mais également dans le domaine spectral du proche infra-rouge. Dans le proche infra-rouge, les textures présentées peuvent permettre de séparer les adventices des cultures. Or les caméras classiques (en niveaux de gris ou couleur) ne permettent pas d’acquérir des vidéos ou séquences d’images dans le domaine du proche infra-rouge.

Différentes caméras multispectrales de type snapshot (en une seule acquisition) ont été proposées dans la littérature ces dernières années. La technologie dite SFA (spectral filter array) a récemment attiré l’intérêt de la communauté scientifique. Il s’agit d’une généralisation du concept de caméra couleur matricielle à l’imagerie multispectrale. Il est en effet possible de sacrifier la résolution spatiale au profit de la résolution spectrale. Une mosaïque de filtres spectraux est pour cela placée directement sur le capteur, dont chaque élément photo-sensible est alors sensible à une unique bande spectrale. Comme une seule composante spectrale est disponible par pixel, la place mémoire occupée par chaque image résultante (appelée image brute (raw) ou (M)SFA) de la séquence est identique à celle d’une image en niveaux de gris. Une vidéo multi-spectrale délivrée par ce type de caméra est donc constituée d’une séquence d’images brutes acquises à la cadence vidéo classique et stockée comme une séquence d’images en niveaux de gris.

Les composantes spectrales manquantes au sein de chaque image brute peuvent ensuite être estimées par dématriçage afin d’obtenir une vidéo multispectrale pleinement définie. La qualité d’une telle vidéo est dépendante du nombre de bandes spectrales, de leur nature, de leur distribution spatiale et de la méthode de dématriçage appliquée à chaque image. La taille mémoire occupée par une séquence d’images multi-spectrales pleinement définies est très importante. Par ailleurs, comme les méthodes de dématriçage induisent des erreurs d’estimation des composantes manquantes, elles dégradent la qualité des textures présentes dans les images brutes. Par conséquent, nous proposons d’analyser directement les séquences d’images brutes pour reconnaître les textures déformables. A notre connaissance, très peu de travaux portent actuellement sur l’analyse de vidéos multi-spectrales [4,5]. Les problèmes abordés par ces travaux de thèse sont donc très orginaux.

Les techniques de détermination du mouvement par analyse d’images brutes ne peuvent pas s’appuyer sur les les hypothèses sous-jacentes à la constance du niveau de gris représentant le pixel associé à un élément de surface dans chacune des images acquises consécutivement. En effet, comme la seule composante spectrale disponible est différente entre pixels voisins spatialement, les niveaux représentant ces pixels sont faiblement corrélés quand ils sont associés à des éléments de surface différents. Par conséquent, les niveaux des pixels qui observent dans les images acquises consécutivement un même élément de surface en mouvement, dépendent des composantes spectrales disponibles en ces pixels et donc sont différents entre eux. Les approches multi-échelles spatiales ne peuvent donc pas être appliquées directement puisque les composantes spectrales disponibles dépendent du SFA. Enfin, les démarches qui s’appuient sur l’analyse de la phase dans le domaine fréquentiel spatial ne peuvent pas être développées directement pour extraire le mouvement à partir de séquences d’images brutes.

Les méthodes d’analyse de ces séquences d’images brutes devront alors tenir compte du treillis relevant du SFA qui compose le capteur de la caméra. Des descripteurs de texture adaptés au treillis SFA ont été proposés par les membres de l’équipe Imagerie Couleur. Il s’agira de s’inspirer de ces descripteurs conçus pour l’analyse de textures fixes pour imaginer des descripteurs dédiés aux textures déformables dans le temps.

 

Planning de la thèse

M1-M6 : Bibliographie sur l’analyse du mouvement par méthodes classiques d’analyse de vidéos et sur la formation et l’analyse de séquences d’images brutes multi-spectrales.

M7-M12 : Détermination du mouvement par mesure de corrélations locales au sein des séquences d’images brutes multi-spectrales.

M13-18 : Etude du mouvement par flot optique s’appuyant sur la phase au sein des vidéos multi-spectrales.

M19-M24 : Développement de descripteurs de texture par analyse mono-échelle et multi-échelle de séquence d’images brutes.

M25-M30 : Application à la reconnaissance de plantes en mouvement.

M31-M36 : Rédaction du manuscrit.

 

Bibliographie

[1] Anis Amziane, Attributs de texture extraits d'images multispectrales acquises en conditionsd'éclairage non contrôlées. Application à l'agriculture de précision, thèse soutenue en octobre 2022, https://www.theses.fr/s323059.

[2] Anis Amziane, Olivier Losson, Benjamin Mathon, Aurelien Duménil, Ludovic Macaire, Reflectance Estimation from Multispectral Linescan Acquisitions under Varying Illumination. Application to Outdoor Weed Identification, Sensors, 2021, 21 (11), 3601, https://dx.doi.org/10.3390/s21113601

[3] Cédric Marinel, Benjamin Mathon, Olivier Losson, Ludovic Macaire, Comparison of Phase-based Sub-Pixel Motion Estimation Methods , 2022 IEEE International Conference on Image Processing (ICIP), Oct 2022, Bordeaux, France. pp.561-565, https://doi.org/10.1109/ICIP46576.2022.9897338

[4] Shen, Ying, Jie Li, Wenfu Lin, Liqiong Chen, Feng Huang, and Shu Wang. "Camouflaged Target Detection Based on Snapshot Multispectral Imaging" Remote Sensing, 2021, 13 (19), 3949,https://doi.org/10.3390/rs13193949

[5] Raffaele Vitale, Cyril Ruckebusch, Ingunn Burud, and Harald Martens, Hyperspectral Video Analysis by Motion and Intensity Preprocessing and Subspace Autoencoding, Frontiers in Chemistry, 2022,https://doi.org/10.3389/fchem.2022.818974

[6] Sofiane Mihoubi, Olivier Losson, Benjamin Mathon, Ludovic Macaire, Spatio-spectral binary patterns based on multispectral filter arrays for texture classification , Journal of the Optical Society of America. A Optics, Image Science, and Vision, Optical Society of America, 2018, 35 (9), pp.1532-1542,https://doi.org/10.1364/JOSAA.35.001532