Réunion

Alexandre Bousse, Machine Learning for Multichannel Image Reconstruction.

Marion Savanier, Florent Sureau and Claude Comtat. Convergent Plug&Play Reconstruction for Positron Emission Tomography

Deep learning models are now ubiquitous in PET imaging, especially for post-processing. Recent methods directly incorporate deep learning into the reconstruction, leveraging neural networks' denoising performance while preserving image fidelity to the data. These methods include networks that loosely unroll a fixed number of iterations of an algorithm performing reconstruction and plug-and-play algorithms involving an off-the-shelf network to replace the operator related to the regularisation. As PET reconstruction often requires many iterations for convergence, plug-and-play methods emerge as the most scalable candidates for this task.
In this talk, we will present recent convergent plug-and-play algorithms well-suited for PET reconstruction. We will show how to integrate a classical convolutional architecture into the ADMM and Forward-Backward algorithms while maintaining convergence of the iterates and discuss fixed point control. For ADMM, a regularization term enforces neural network non-expansiveness within the training loss, while the Forward-Backward algorithm requires slight denoiser architecture modification. We will focus on the scenario where only high- and low-dose reconstructed PET images are available for training the network. Experimental results indicate that the proposed schemes converge to fixed points with high likelihood and low mean squared error, highlighting the potential of convergent plug-and-play approaches for PET reconstruction.

Arnaud Quillent, Vincent Bismuth, Isabelle Bloch, Christophe Kervazo et Saïd Ladjal. Apprentissage profond sur données synthétiques pour la reconstruction en tomosynthèse du sein

La tomosynthèse numérique du sein (Digital Breast Tomosynthesis - DBT) est une modalité d'imagerie médicale utilisant des rayons X et permettant la reconstruction de volumes 3D du sein imagé. La DBT est principalement utilisée dans le cadre du dépistage organisé du cancer du sein et est vouée à remplacer la mammographie 2D conventionnelle d'ici à quelques années. Toutefois, les reconstructions DBT sont impactées par un certain nombre de phénomènes dus à la géométrie du système d'acquisition. Ceux-ci dégradent la qualité des images et limitent leur résolution dans l'épaisseur du sein. Nous proposons donc une méthode utilisant l'apprentissage profond afin de réduire les artéfacts d'angle limité et de vue éparse dans les reconstructions DBT. Cette procédure comprend deux étapes : une reconstruction classique est obtenue à partir des projections acquises puis est post-traitée par un réseau de neurones chargé d'atténuer les artéfacts présents dans le volume. L'une des difficultés majeures pour résoudre ce problème est l'absence d'images cliniques non corrompues. Pour entraîner notre algorithme de manière supervisée, nous recourons donc à une nouvelle base de données composée de fantômes synthétiques reproduisant la texture de tissus mammaires.
Nous démontrons que cette approche est prometteuse car elle améliore considérablement l'information utile disponible dans les plans orthogonaux au détecteur du système, qui ne sont actuellement pas utilisés par les radiologues du fait de leur piètre qualité. Nous étudions également l'influence des termes de biais du réseau de neurones ainsi que l'agrégation de coupes 2D en vue d'améliorer les capacités de généralisation de la méthode, aussi bien à d'autres données synthétiques qu'à des données cliniques.

Corentin Vazia, Jacques Froment, Alexandre Bousse, Béatrice Vedel et Franck Vermet. Reconstruction synergistique par tomographie spectrale avec modèles de diffusion

La tomographie spectrale est une version avancée de la tomographie par rayons-X dans laquelle des multiples mesures sont effectuées à différents niveaux d'énergie.
Plutôt que de reconstruire les images énergie par énergie, une reconstruction synergique prend en compte toutes les mesures ensemble, ce qui garantit la cohérence entre les différents niveaux d'énergie. En s'appuyant sur les récents progrès de l'intelligence artificielle générative apportés par les modèles de diffusion, il est possible de développer une nouvelle méthode de reconstruction synergistique pour la tomographie spectrale. Les modèles de diffusion utilisent un réseau de neurones pour approximer le gradient de la log-densité des images d'intérêts, qui est ensuite utilisé pour générer de nouvelles images similaires à celles utilisées pour l'apprentissage.
En suivant le paradigme du problème inverse, nous proposons d'adapter ce processus génératif, qui devient alors un a priori pour le problème de reconstruction synergistique via tomographie spectrale. Les expériences suggèrent que l'approche proposée permettrait d'obtenir une qualité de reconstruction similaire à l'état de l'art et permettrait de délivrer une dose de radiation plus faible au patient.

Françoise Peyrin, New contrasts in X-Ray CT and applications to osteoarticular imaging

X-ray CT has evolved from a 2D to 3D technique with many improvements in spatial, temporal and contrast resolution and remains the most widely spread medical imaging modality. The development of micro CT which has been strongly motivated by the application to bone microarchitecture imaging now plays a major role in pre-clinical animal imaging and in microscopic imaging studies.
We will review progresses in X-ray CT in particular we will present 3D synchrotron micro CT providing quantitative attenuation maps at a given energy with a high signal-to-noise ratio as well as phase CT yielding to new contrasts up to the nanoscale. This will be illustrated by applications to bone tissue imaging from the microstructure to the cellular scale. The development of dedicated image analysis algorithms allows to go beyond imaging and extract quantitative parameters on bone tissue.
Then we will illustrate some current developments of X Ray CT at the patient scale. In one hand, the promise of artificial intelligence, and particularly deep learning methods, may allow to reduce radiation dose, which is a main limitation to the application of X-Ray CT or to improve the spatial resolution of the acquired images. On the other hand, we will introduce X-Ray spectral CT, which an emerging modality relying on the development of photon counting detectors and new data reconstruction algorithms. This technique may provide quantitative maps of different materials (e.g., bone, soft tissue) or "single energy" images, opening new possibilities for quantitative imaging and will be illustrated by an application to knee osteoarthrosis.

Solène Valton, Reconstruction tomographique : pratiques et besoins dans l'industrie et la recherche pour les équipements non médicaux

Dans la foulée du médical, l'industrie et la recherche se sont mis à utiliser la tomographie par rayons X comme moyen de contrôle non destructif et comme technique d'imagerie pour la caractérisation des matériaux de manière de plus en plus intensive. Le développement au cours des 20 dernières années est considérable. Si les principes fondamentaux sont les mêmes, les équipements sont généralement assez différents des scanners médicaux. Les attentes en termes de qualité d'images, de résolution temporelle et spatiale sont également très différentes. Les algorithmes utilisés peuvent donc être assez différents. Nous verrons dans cette présentation ces différents aspects et les conséquences sur les algorithmes de reconstruction couramment utilisés, les algorithmes de correction d'artefacts, et les enjeux pour les années à venir.

Matteo Barbieri, Clément Jailin, Laurence Vancamberg, and Stéphane Roux, Dynamic tomosynthesis

Digital tomosynthesis (DTS) is a type of limited-field Computed Tomography (CT) used to provide pseudo 3D volumes in the medical field, with a primary application on breast imaging. Patient motion during the acquisition of X-ray images may result in blurring out texture in the reconstruction and preventing from delivering optimal patient care. Accurate reconstruction of moving samples from a single conventional tomosynthesis projection series is addressed, based on an adaptation of a 4D dynamic tomography strategy. The method leverages the formalism of Projection-based Digital Volume Correlation (P-DVC) with a multiscale approach to estimate the patient's motion. The workflow consists of iterations of two consecutive steps: i) a motion-corrected reconstruction based on the SIRT algorithm and ii) motion estimation from projection residuals. The resulting algorithm is tested on a synthetic phantom case polluted by motion. Three slabs of a CIRS anthropomorphic breast phantom are imaged on a Senographe PristinaTM, including slab-wise rigid body motions with amplitudes ranging up to 10 mm. The results show improved metrics and image quality of the overall volume with respect to the motion-polluted case and applicable state-of-the-art motion-correction techniques. In particular, a series of microcalcification-like patterns of small size and faint contrast are shown to be correctly reproduced in the dynamic reconstruction.

Nicola Vigano, Attenuation correction in X-ray fluorescence computed tomography

X-ray fluorescence computed tomography (XRF-CT) is an imaging technique that provides three-dimensional chemical maps of the studied samples. It is used in many different fields for example, to study the distribution of trace elements in biological tissues, to map the distribution of metal ions in materials, or to study the distribution of contrast agents in medical imaging. Despite its success, XRF-CT faces several challenges related to its nature as an X-ray emission technique.
XRF-CT acquisitions use a focused X-ray beam to excite individual points in a sample. An XRF detector positioned close to the sample collects the XRF spectrum emitted by the illuminated region. Each illuminated point, for each rotation of the sample, becomes a pixel in the corresponding hyperspectral tomographic projection. These projections are acquired by raster scanning the field-of-view.
As a consequence, the incoming X-ray beam and even more so the emitted XRF photons are subject to attenuation by the sample itself (the latter being called self-attenuation). This undermines the quantitativeness of the XRF-CT reconstructions, and it introduces specific "extinction" artifacts, which alter the shapes of the reconstructed objects. In this talk, we will be exploring these artifacts and problems caused by the attenuation. We will then formulate the attenuation-corrected reconstruction problem, and present its results on nano XRF-CT data from the beamline ID16A at the ESRF - The European Synchrotron.

Matthieu Laurendeau, Simon Rit, Laurent Desbat, Sébastien Gorges, Frédéric Jolivet and Guillaume Bernard. Measure of tomographic incompleteness and applications

The new generation of X-ray sources based on carbon nanotubes enables the design of multi-source computed tomography scanners. Such scanners often use a limited number of stationary sources and projections. In tomography, the theory gives the necessary condition for the stable three dimensional (3D) reconstruction of an object, scanned from a continuous source trajectory and without truncation. We define a realistic tomographic incompleteness metric considering a limited number of sources and the limited size of the detectors from which we compute the 3D map predicting the reconstruction quality of a given scanner architecture. We illustrate this metric with a dedicated phantom in which the reconstructed images match the results predicted by the realistic tomographic incompleteness map. Finally, we exploit the spatially varying incompleteness in a regularized iterative reconstruction algorithm and demonstrate improved image quality results with this adapted regularization.

Lionel Hervé et Chiara Paviolo, Système bimodale (diffraction et fluorescence) pour la microscopie optique 3D

Nous avons développé un système optique bimodale permettant d'obtenir les indices optiques et le rendement de fluorescence en 3D d'échantillons multicellulaires vivants (par exemple organoïdes et embryons de souris).
Le microscope permet l'acquisition d'images en tomographie d'intensité de diffraction pour divers angles d'illumination (84 angles) et d'images d'épi fluorescence pour divers plans objet (100 focus).
À partir des données de diffraction, nous reconstruisons un volume 3D de l'indice optique de l'échantillon et à partir des mesures de fluorescence nous reconstruisons un volume 3D du rendement de fluorescence.
Dans les deux cas, la reconstruction est basée sur la résolution d'un problème inverse, impliquant l'établissement d'un modèle direct (qui modélise le problème physique jusqu'à la mesure) et d'une optimisation avec régularisation.
S'agissant de la modalité de diffraction, le modèle direct utilisé est basé sur la méthode BPM (« Beam propagation method » i.e. calcul de diffraction au travers d'un modèle multi-couches). S'agissant de la modalité de fluorescence, le traitement basique est d'utiliser un modèle simple de convolution 3D.
Ce dernier traitement suppose que le problème est invariant par translation ce qui n'est pas forcément vrai si les hétérogénéités d'indices optiques sont fortes dans l'échantillon. Pour pallier à ce cas, nous avons développé un autre modèle direct de fluorescence prenant en compte le caractère incohérent du rayonnement et la carte 3D d'indice optique. Ce modèle est calculable car il est stochastique (basé sur des tirages aléatoires (400) de phase des sources de fluorescence). Ce caractère réduit considérablement les coûts en mémoire et en temps de calculs par rapport à un modèle analytique. Cet aspect est important car dans tous les cas présentés, les différentes mesures et les différents volumes reconstruits comportent approximativement 2000x2000x100=4E8 « voxels ».
Au séminaire, nous présenterons le système, le modèle cohérent de la diffraction, les deux modèles incohérents de fluorescence, les principes de la reconstruction et des premiers résultats de reconstruction.

Dylan Brault, Fabien Momey, Matthieu Debailleul, Nicolas Verrier et Olivier Haeberlé, Reconstruction d'image par approche problème inverse en microscopie tomographique diffractive

La microscopie tomographique diffractive (MTD) est une méthode d'imagerie optique quantitative de phase, sous illumination cohérente, permettant d'observer des échantillons microscopiques non marqués à haute résolution [1, 2]. La MTD peut apporter une information morphologique complémentaire aux phénomènes métaboliques observés via les techniques de nanoscopie fluorescente (STED, PALM/STORM).
Bien que moins résolue et moins spécifique que ces dernières, la MTD permet tout de même d'imager un champ de vue plus étendu et à haute résolution (deux fois la limite de diffraction en théorie). Les mesures consistent en l'enregistrement d'hologrammes suivant un montage d'holographie en configuration hors-axe : on enregistre l'interférence entre une onde plane inclinée (bras de référence) et l'onde diffractée par l'objet d'intérêt éclairé séquentiellement sous différents angles d'illumination (bras objet), d'où l'assimilation aux méthodes de tomographie.
L'échantillon est restitué par reconstruction sous forme d'une carte 3D d'indice de réfraction traduisant à fois les propriétés morphologiques, réfringentes et absorbantes des objets d'intérêt observés dans le champ. La reconstruction peut se faire par inversion directe en appliquant le théorème de diffraction de Fourier sous approximation de Born/Rytov [3], équivalent à une synthèse d'ouverture dans l'espace de Fourier 3D de l'objet d'intérêt. D'autres méthodes plus avancées sont basées sur le principe des algorithmes par projections alternées type Fienup Error-Reduction [4, 5], très usités en holographie numérique, permettant l'injection de contraintes sur l'objet d'intérêt (positivité/négativité du gradient d'indice, contraintes de support). Ces méthodes usuelles de reconstruction sont contraintes par les approximations faites sur le modèle de formation d'image, qui ne tient pas compte de la diffraction multiple à l'intérieur même de l'objet. De plus, ce manque de flexibilité du modèle empêche la prise en compte d'effets induits par l'instrument (aberrations optiques, poussières sur le trajet de la lumière, variations d'éclairement, etc.) pouvant impacter la qualité de reconstruction.
Nous proposons de présenter l'état de nos travaux sur la reconstruction en MTD, dont l'objectif est l'exploitation de la méthodologie des problèmes inverses pour l'élaboration de méthodes de reconstruction régularisées avancées. Notamment, nous travaillons sur la mise au point et l'utilisation de modèles plus précis prenant en compte la diffraction multiple et les effets instrumentaux, avec des possibilités d'auto-étalonnage de certains paramètres comme les aberrations [6]. Un point de blocage important de la méthodologie des problèmes inverses étant le réglage du compromis entre l'attache aux données et les contraintes a priori dans le critère de reconstruction, nous avons en parallèle élaboré et validé une méthode de reconstruction régularisée non-supervisée, où les hyperparamètres de réglage des régularisations sont automatiquement estimés par minimisation d'un critère GSURE [7].

[1] O. Haeberlé, K. Belkebir, H. Giovaninni, and A. Sentenac. Tomographic diffractive microscopy: basics, techniques and perspectives. Journal of Modern Optics, 57(9):686-699, May 2010.
[2] Bertrand Simon, Matthieu Debailleul, Mounir Houkal, Carole Ecoffet, Jonathan Bailleul, Joël Lambert, Arnaud Spangenberg, Hui Liu, Olivier Soppera, and Olivier Haeberlé. Tomographic diffractive microscopy with isotropic resolution. Optica, 4(4):460-463, April 2017.
[3] Emil Wolf. Three-dimensional structure determination of semi-transparent objects from holographic data. Optics Communications, 1(4):153-156, September 1969.
[4] J. R. Fienup. Phase retrieval algorithms: a comparison. Applied Optics, 21(15):2758-2769, August 1982.
[5] JooWon Lim, KyeoReh Lee, Kyong Hwan Jin, Seungwoo Shin, SeoEun Lee, YongKeun Park, and Jong Chul Ye. Comparative study of iterative reconstruction algorithms for missing cone problems in optical diffraction tomography. Optics Express, 23(13):16933-16948, June 2015.
[6] Dylan Brault, Thomas Olivier, Ferréol Soulez, Sachin Joshi, Nicolas Faure, and Corinne Fournier. Accurate unsupervised estimation of aberrations in digital holographic microscopy for improved quantitative reconstruction. Opt. Express, 30(21):38383-38404, Oct 2022.
[7] L. Denneulin, F. Momey, D. Brault, M. Debailleul, A. M. Taddese, N. Verrier, and O. Haeberlé. Gsure criterion for unsupervised regularized reconstruction in tomographic diffractive microscopy. J. Opt. Soc. Am. A, 39(2):A52-A61, Feb 2022.