Annonce

Les commentaires sont clos.

Thèse CIFRE EDF R&D / ENS Paris-Saclay - Reconnaissance de formes dans des nuages de points 3D d’installations industrielles à partir des schémas de fonctionnement

6 Juillet 2022


Catégorie : Doctorant


Ecole Doctorale : EDMH (Ecole Doctorale Mathématique Hadamard), Université Paris-Saclay

Laboratoire d’accueil : Ecole Normale Supérieure Paris-Saclay (Centre Borelli)

Entreprise d'accueil : EDF R&D Saclay

Contact : Guillaume Terrasse [prenom.nom@edf.fr]

 

Cette thèse sera réalisée en collaboration entre le Département PERICLES d’EDF-R&D (7 boulevard Gaspard Monge, 91120 Palaiseau) et le Centre Borelli de l’Ecole Normale Supérieure de Paris-Saclay (4, avenue des sciences, 91190 Gif-sur-Yvette).

Gabriele Facciolo est professeur à l’Ecole Normale Supérieure de Paris-Saclay (Centre Borelli) en Vision par ordinateur. Il enseigne dans le cadre du Mastère Recherche Mathématiques – Vision – Apprentissage (MVA) de l’ENS.

Dates envisagées pour la thèse : fin 2022 à fin 2025.

 

Contexte

Les exploitants d’installations industrielles, en particulier EDF, recourent massivement aux numérisations (photographies haute résolution, scans laser 3D) de bâtiments entiers, conduisant à des centaines de milliards de mesures RGB/XYZ décrivant des dizaines de milliers d’équipements 3D (tuyauteries, chemins de câbles, génie civil, etc.) conformes à la réalité à quelques cm près [Hullo et al 2017]. Ces données topographiques entrent déjà dans la préparation des grands chantiers de maintenance et apparaissent dans l’entraînement des conducteurs des centrales. Au-delà de représenter fidèlement la réalité des installations, les copies numériques 3D doivent être référencées par les schémas de fonctionnement de l’usine, pour disposer d’un tandem topographie-fonctionnement permettant de former les équipes d’opérateurs.

Ce besoin est valable dans les différentes industries de process (énergie, chimie, agro-alimentaire).

Objectifs industriels

Le trait d’union entre les graphes de fonctionnement et les géométries 3D est l’immatriculation unique de chaque équipement : présente sous forme numérique dans les schémas de fonctionnement, l’immatriculation d’un équipement est matérialisée dans l’usine sous la forme d’une petite plaque située au voisinage de la géométrie dudit équipement. Il est indéniable que les progrès de l’Intelligence Artificielle profonde commencent à diminuer les dizaines de milliers d’heures nécessaires à la détection de ces immatriculations et à la production des géométries conformes au réel [Agapaki & Brilakis 2017].

Il s’agit désormais de produire en masse les données topographiques reliées aux schémas de fonctionnement, qu’on baptise données topo-fonctionnelles. En effet,la réconciliation topographie-fonctionnement, cad la liaison entre un équipement présent dans le schéma fonctionnel et sa géométrie 3D est actuellement faite manuellement, ce qui ne passe pas à l’échelle des enjeux industriels (plusieurs dizaines de milliers de liaisons). L’objectif industriel de cette thèse est ainsi de réduire drastiquement le volume d’heures de traitement du nuage de points 3D pour produire des géométries liées équipement par équipement aux nœuds des graphes de fonctionnement.

Avec un modèle 3D conforme au réel de chaque usine de production d’électricité, connecté à ses schémas de fonctionnement, ainsi fiabilisées et cohérentes, la performance des opérations de conduite et de maintenance sera améliorée, contribuant à la durée de vie du parc existant et à la décarbonation de la production d’énergie.

Etat de l’art, objectifs de la thèse et verrous scientifiques à franchir vis-à-vis de l’état de l’art pour atteindre les objectifs de la thèse

Le verrou central pour produire la masse de données topo-fonctionnelle attendue tient dans l’automatisation des traitements de réconciliation. Cette automatisation est engagée : il est indéniable que des Intelligences Artificielles profondes comme Albert [Dory et al 2018], dans la veine des IA de Reconnaissances de caractères dans les photos, accélèrent la détection des plaques d’immatriculation dans des centaines de milliards de pixels. De même, les IA de segmentation panoptique des photos comme Leonard [Nivaggioli, Hullo & Thibault 2019] et des nuages de points 3D tel Minkowski engine [Choy, Gwak & Savarese 2019] commencent à remplacer des semaines de labeur humain par des jours de calcul.

Néanmoins, ces IA ne sont pas conçues pour atteindre le niveau du fonctionnel : elles ne peuvent pas remonter à la logique des connexions entre les équipements, la logique du fonctionnement. C’est l’ambition de la thèse : concevoir une IA topo-fonctionnelle, cad topographique et fonctionnelle à la fois, en partant des arcs et nœuds des schémas fonctionnels pour découvrir dans les photos et les nuages de points 3D la séquence connexe des géométries avec leurs immatriculations.

C’est ici qu’intervient un nouveau tournant de l’IA : les Intelligences jusqu’ici mono-modales, cad adaptées à une seule nature de données (texte ou photo ou vidéo, etc.) deviennent multi-modales et multi-tâches (texte et photo et vidéo, etc.) comme Omnivore [Girdhar et al 2022] et FLAVA [Singh et al, 2022] de Meta (et leurs équivalents chez Google et Microsoft) : elles commencent à tirer parti des différentes représentations d’un même item dans les différentes modalités pour détecter l’item avec une performance supérieure à celle issue de la simple combinaison des IA mono-modales, selon des tâches différentes mais coopératives. Ces nouvelles IA sont majoritairement développées par les GAFAM pour les applications grand public (les grands moteurs de recherche, entraînés sur de très grands corpus de données annotées). Les cas industriels (scans laser, photos haute résolution, graphes, chaines de caractères nomenclaturées) ne sont pas étudiés actuellement. Ils apportent des vérités terrain de taille plus réduite étant donnée leur coût de constitution. Il sera ici nécessaire de spécialiser ces IA multi-modales sur le domaine métier sans pour autant leur faire perdre leur pouvoir de généralisation multi-dimensionnelle.

Programme technique et tâches détaillées de la thèse

Les tâches à réaliser au cours de la thèse sont de :

1.Développer et comparer des détecteurs multi-modaux de formes et d’immatriculations explorant à la fois les scans laser et les photos haute résolution :

  • Pour les lignes de tuyauterie et les équipements sous pression (vanne, pompe, échangeur, etc.)
  • Pour les alimentations électriques afférentes

2.Guider ces IA multi-modales par la logique de connexion apportée par les schémas de fonctionnement

3.En visant un très haut niveau de qualité :

  • la précision des détecteurs doit dépasser les 97% (3% d’erreur sur 10.000 cas demanderont la reprise de 300 liens). Le rappel doit également être maximal.
  • Les obstacles sont ici les imperfections des données :
    • les différents bruits dans les nuages de points 3D (bavures du spot laser, réflexions sur les surfaces brillantes, etc.) et les photos (flou, ombre, manque de luminosité, etc.)
    • les variations fortes de densité du nuage de points 3D,
    • les occlusions dans les nuages de points 3D et les photos,
    • des ambiguïtés dans les schémas fonctionnels.

4.en augmentant par approche bayésienne la base d’apprentissage topo-fonctionnelle qu’EDF mettra à disposition du doctorant (schémas de quelques lignes et géométries des équipements d’un bâtiment).

 

Références bibliographiques

Numérisation 3D d’usines

Agapaki E., Brilakis, I. (2017) Prioritising object types of industrial facilities to reduce as-is modelling time. In: Proceeding of the 33rd Annual ARCOM Conference, 4-6 September 2017. Cambridge, U.K., pp 402–411

Hullo, J.-F., Thibault, G., Boucheny, C., Dory, F. and Mas, A. (2015) Multi-Sensor As-Built Models of Complex Industrial Architectures. Remote Sensing 7(12), pp. 16339–16362.

IA Mono-modales

Choy, C., Gwak, J. & Savarese, S. (2019). 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. 3070-3079. 10.1109/CVPR.2019.00319.

Dory, F., Hullo, J.-F., Thibault, G., & Mas, A. (2018). Equipment localization thanks to a digital mock-up and deep learning techniques for the preparation of operations - 000184. DEM 2018: International conference on dismantling challenges: industrial reality, prospects and feedback experience, France – 2018.

Nivaggioli, A., Hullo, J.-F., Thibault, G. (2019) Using 3D models to generate labels for panoptic segmentation of industrial scenes, ISPRS Geo Week 2019.

IA Multi-modales

Singh, A., Hu, R., Goswami, V., Couairon, G., Galuba, W., Rohrbach, M., & Kiela, D. (2022). Flava: A foundational language and vision alignment model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 15638-15650).

Girdhar, R., et al., Omnivore: A Single Model for Many Visual Modalities. arXiv preprint arXiv:2201.08377, 2022.