Annonce

Les commentaires sont clos.

Réseaux de convolutions sur graphes pour la détection et quantification des mouvements répétitifs d'enfants avec autisme

15 Novembre 2022


Catégorie : Stagiaire


 

Titre : Réseaux de convolutions sur graphes pour la détection et quantification des mouvements répétitifs d’enfants avec autisme

- Encadrants : Benoit Favre, Djamal Merad

- Laboratoire d’accueil : LIS, Aix-Marseille Université, site Luminy

- Durée du stage : 5 à 6 mois

- Période : printemps 2023

- Contacts : envoyer CV, lettre de motivation et feuille de notes à Benoit.Favre@lis-lab.fr et Djamal.Merad@lis-lab.fr

 

Titre : Réseaux de convolutions sur graphes pour la détection et quantification des mouvements répétitifs d’enfants avec autisme

Description du sujet

La détection précoce des troubles du spectre autistique (TSA) représente un enjeu crucial car elle permet de mettre en place une prise en charge adaptée à un âge où certains processus de développement peuvent encore être modifiés. Beaucoup de ces études reposent sur l’observation intensive de vidéos afin d’analyser le comportement naturel de l’enfant et de déceler d’éventuels troubles caractérisés par des anormalités dans les interactions sociales, la communication ainsi que par un comportement répétitif. Ces approches exigent un temps d’analyse manuelle relativement long et imposent une formation étendue des professionnels de santé et de la petite enfance. Elles sont peu pratiques pour les recherches cliniques sur de larges populations.

L’objectif de ce stage est de développer une technique non-intrusive de détection et d’analyse des mouvements répétitifs en utilisant un capteur 3D de type KINECT Azur, commercialisé par Microsoft. Ce périphérique permet d’obtenir un flux vidéo classique avec profondeur, mais aussi un squelette 3D des personnes. En plus d’un invariant sur l’apparence des personnes, l’avantage d’une telle représentation est de rendre disponible et interprétable l’information de localisation et de qualité des mouvements. Suite à des travaux réalisés en 2022 ayant montré le potentiel d’analyse du graphe constitué d’une séquence de squelettes 3D connectés joint à joint dans le temps, ce stage va explorer les Graph Convolution Networks (GCN) afin d’extraire des représentations pertinentes pour la détection de mouvements répétitifs.

Les convolutions de graphes sont une forme de réseaux de neurones capable d’exploiter les relations de proximité entre les nœuds d’un graphe pour propager l’information pertinente à un contexte (Zhang et al, 2019). Ils ont été étudiés pour la reconnaissance d’actions à partir de squelettes 3D (Yan et al, 2018) et ont montré leur intérêt pour obtenir des systèmes de prédiction interprétables. L’objectif sera donc de proposer des architectures de GCN capables de détecter les types de mouvements répétés qui intéressent les médecins, de localiser et de compter les répétitions.

Comme les données sur la tâche cible sont peu nombreuses, les modèles seront pré-entraînés sur de grandes bases de données synthétiques crées en répétant des captures d’actions individuelles disponibles dans de grands jeux de données comme NTU RGB+D (Shahroudy et al, 2016). Ils seront ensuite affinés sur les données cibles. L’implémentation sera réalisée avec des outils de deep learning standard comme Pytorch. Contributions attendues :

1.proposition de fonctions de coût pour évaluer la tâche de détection de répétitions;

2.implémentation de GCN spécialisés dans la détection de répétitions;

3.évaluation sur des données métier;

4.écriture d’un article scientifique présentant les résultats.

Profil recherché

Le ou la candidate aura le profil suivant :

— formation de Master 2 recherche ou école d’ingénieur en informatique ;

— maîtrise de l’apprentissage automatique et des outils standard comme Pytorch/Tensorflow;

— excellentes compétences en programmation (Python) ;

— compétences en vision par ordinateur souhaitées ;

— solides compétences de communication, en particulier écriture en anglais ;

— passion et rigueur, intérêt pour la recherche.

 

Informations administratives

— Encadrants : Benoit Favre, Djamal Merad

— Laboratoire d’accueil : LIS, Aix-Marseille Université, site Luminy

— Durée du stage : 5 à6 mois

— Période : printemps 2023

— Contacts : envoyer CV, lettre de motivation et feuille de notes àBenoit.Favre@lis-lab.fr et Djamal.Merad@lis-lab.fr

Références

(Yan et al, 2018) Yan, Sijie, Yuanjun Xiong, and Dahua Lin. ”Spatial temporal graph convolutional networks for skeleton-based action recognition.” Thirty-second AAAI conference on artificial intelligence. 2018.

(Zhang et al, 2019) Zhang, Si, et al. ”Graph convolutional networks : a comprehensive review.” Computational Social Networks 6.1 (2019) : 1-23.

(Shahroudy et al, 2016) Shahroudy, A., Liu, J., Ng, T. T., Wang, G. (2016). Ntu rgb+ d : A large scale dataset for 3d human activity analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1010-1019).