Thèse Univ. Bordeaux : approches de fusion pour la vision embarquée et l'IA, appliquées à l'agriculture de précision.

5 Avril 2023

---

Catégorie : Doctorant

---

Titre de la thèse

Approches de fusion multi-capteurs, multi-vues, multi-dates pour la vision embarquée et l’IA en environnement ouvert. Application au monitoring de cultures pérennes en agriculture de précision.

Laboratoire d’accueil
IMS, CNRS UMR 5218
Adresse : 351, Cours de la Libération, 33405 Talence cedex

Contexte : le projet Scout&See

La conduite d'une exploitation arboricole ou viticole requiert un suivi phénologique et sanitaire continu des parcelles. La détection de stades phénologiques clés, l’estimation de la vigueur et de la charge florale ou fruitière permettent de planifier finement les opérations culturales et d’estimer la récolte. Le suivi sanitaire permet une meilleure gestion des maladies et une limitation des intrants phytosanitaires.
Il est toutefois difficile pour un agriculteur d’avoir une vision exhaustive de son exploitation, sans une visite régulière de ses parcelles. Chaque parcelle évolue différemment en cours de saison et des zones hétérogènes sont constatées à l’intérieur même des parcelles. Si des solutions de vision embarquée existent, leur utilisation reste très contrainte par la disponibilité des engins (tracteur, enjambeur) et des conducteurs. La robotique mobile est une voie prometteuse pour le développement de ces solutions. En particulier, le robot de scouting prend ici tout son sens : un mobile robotisé, léger et facilement déployable, se charge du monitoring continu des parcelles tout en offrant des possibilités multiples comme l’embarquement de différents capteurs, l’optimisation de l’angle de vue, la recherche d’informations précises et localisées, le suivi temporel...
Ces nouvelles modalités requièrent cependant des développements méthodologiques spécifiques. En effet, si l’utilisation de différents capteurs, en différentes positions et à différentes dates laisse envisager une reconstruction 2D, 3D voire multi-temporelle des cultures, elle induit aussi des questions d’étalonnage, de recalage et de fusion de données. Par ailleurs, l’utilisation envisagée d’un bras robotisé permettrait d’asservir dynamiquement l’angle d’observation et les paramètres de prise de vue à l’obtention d’une image idéale mais requiert également des approches méthodologiques originales.
Le projet Scout & See vise ainsi à explorer les potentialités offertes par la robotique mobile pour le monitoring en continu de cultures pérennes et à proposer des méthodologies nouvelles d’acquisition et de traitement de données adaptées à la nature composite et dynamique des données collectées.
Associant les laboratoires IMS et LaBRI, il est co-financé par le Réseau de Recherche RobSys de l’Université de Bordeaux, fédérant les forces de recherche du site bordelais en robotique, et par la Région Nouvelle Aquitaine.
Le projet Scout & See s’organise autour de trois axes, cette thèse se focalisant sur le deuxième :
- le développement du robot de scouting autonome, équipé d’un bras articulé et de capteurs
- la proposition de nouvelles méthodologies d’acquisition et de traitement algorithmique de données multi-capteurs, multi-vues et multi-dates
- le déploiement du robot dans des conditions de terrain, en viticulture (Domaine Luchey-Halde, Bordeaux Sciences Agro) et en arboriculture (Centre Technique Interprofessionnel des Fruits et Légumes).

Le sujet de thèse
La thèse porte sur le deuxième axe, à savoir la conception de briques méthodologiques visant à exploiter l'information issue de capteurs embarqués sur ce robot de scouting. Trois volets seront successivement abordés.
Le premier volet concerne l'exploitation conjointe de données de capteurs 3D (Time of Flight, RGB-D, LIDAR) et de capteurs imageurs classiques. Une appropriation de l'état de l'art théorique et applicatif des possibilités de fusion entre ces données sera d'abord attendue. Ces approches pourront par exemple inclure des méthodes de reconstruction de l'information 3D (nuage de points ou carte de profondeur), de segmentation des organes de la plante ou de classification tirant parti de l'information spatiale et couleur exploitable. Elles pourront être appliquées à des problématiques de détection de fruits ou de maladies et comparées aux méthodes développées dans le laboratoire et la littérature.
La gestion des revisites temporelles entre acquisitions sera de même au centre de la thèse. Ce deuxième volet est motivé par des applications potentielles basées sur l'exploitation de séries temporelles décrivant l'évolution phénologique et sanitaire de la plante. Une contribution méthodologique pour le recalage des acquisitions et la gestion des erreurs sera ainsi attendue. Des ponts méthodologiques pourront être établis avec d'autres travaux poursuivis dans le laboratoire, notamment une thèse sur la fusion de données spatialement et temporellement résolues au vignoble.
Enfin, le dernier volet de la thèse se penchera sur les possibilités d'utilisation d'un bras robotique pour l'observation du couvert végétal à des angles différents. La prise en compte des contraintes méthodologiques et pratiques liées à l'utilisation du bras à la parcelle (degrés de liberté du bras, prise en compte de la géométrie du couvert, robustesse aux conditions d'éclairage) sera au cœur des contributions méthodologiques attendues.

Profil recherché
Diplôme d’ingénieur ou de master 2 en électronique ou informatique avec une spécialisation en traitement d’image, robotique ou intelligence artificielle et un intérêt pour l’agronomie.
Anglais : lu, écrit, parlé, niveau B2 requis.

Conditions salariales et avantages
Salaire brut mensuel : 2166.77€.
Autres avantages :
- remboursement partiel des frais de transport,
- participation aux frais de mutuelle Santé,
- 50 jours de congés.

Contact
Pour toute information, contacter J.P. Da Costa par email : jean-pierre.dacosta@ims-bordeaux.fr
ou par téléphone : +33 5 4000 2634 / +33 5 5735 4234.

Pour candidater, envoyer un CV et une lettre de motivation par email.