[postdoc] Data-driven detection and identification of personal mobility devices

17 Août 2023

---

Catégorie : Post-doctorant

---

Context (in French and English) :
Ce travail de recherche s’inscrit dans le projet ANR ANNAPOLIS (

https://project.inria.fr/annapolis/

), coordonné par l’INRIA. Le projet ANNAPOLIS vise à détecter et identifier les appareils de mobilité personnels (AMP) électriques en environnement urbain, pour prédire leur trajectoire et assurer la sécurité de la conduite. Des données vidéo et LiDAR sont extraites du point de vue véhicule et RSU (road side units), avec fusion de type V2X (vehicle to infrastructure). Le postdoc travaillera en collaboration étroite avec un doctorant focalisé sur la génération de cartes hybrides augmentées par la fusion V2X (par réseaux type V2VNet [1]). Dans le projet, en plus de l’usage de jeux de données existants, des données de simulation sont en cours de création et des acquisitions réelles sont prévues sur piste d’essai.
–
This research is part of the ANR ANNAPOLIS project (https://project.inria.fr/annapolis/), coordinated by INRIA. The ANNAPOLIS project aims to detect and identify electric personal mobility devices (PMDs) in urban environments, in order to predict their trajectory and ensure driving safety. Video and LiDAR data are extracted from the vehicle and RSU viewpoints (road side unit), with V2X fusion (vehicle to infrastructure). The postdoc will work in close collaboration with a PhD student focusing on the generation of hybrid maps augmented by V2X fusion (using V2VNet-type networks [1]). In addition to the use of existing datasets, simulation data are being created and real acquisitions are planned.


Postdoc goals (in French and English) :
La tâche du postdoc sera de développer des méthodes basées apprentissage pour identifier précisément les différents types de AMP possibles (trottinette, gyropode, monocycle, hoverboard…) en plus du vélo. Il pourra exploiter les informations contextuelles des cartes augmentées fournies par le doctorant. Les difficultés seront de lever les ambiguïtés de classification entre classes et avec les piétons, et de ré-identifier et suivre les agents entre les points de vue véhicule et RSU (propager les détections). Pour ce travail, nous pourrons par exemple explorer l’usage de classes hiérarchiques avec confiances [2], de mécanismes de gestion de classes nouvelles OOD (out of distribution) [3], de détection de la pose des humains dans la scène [4], couplée à l’estimation de relation humain/objet [5] ou de l’identification par analyse de la démarche [6, 7], de suivi d’objets entre plusieurs vues [8], de suivi d’objets à l’échelle métrique [9].
–
The postdoc's task will be to develop learning-based methods to accurately identify the different types of possible PMDs (scooter, gyropod, unicycle, hoverboard...) in addition to the bicycle. He will have access to the contextual information from augmented maps supplied by the PhD student. The challenges will be to remove classification ambiguities between classes and with pedestrians, and to re-identify and track agents between the vehicle and RSU viewpoints (propagating detections). For this work, we could, for example, explore the use of hierarchical classes with confidence [2], new OOD (out of distribution) class management mechanisms [3], human pose detection in the scene [4], coupled with human/object relationship estimation [5] or identification by gait analysis [6, 7], object tracking between several views [8], object tracking on a metric scale [9].


Profile (in French and English) :
- jeune docteur en vision par ordinateur ou sujet similaire
- apprentissage machine et deep learning (CNN, GNN, Transformers…)
- perception caméra et/ou LiDAR 3D
- motivation
- curiosité, goût pour les idées nouvelles et la collaboration
- consciencieux et organisé
–
- PhD in computer vision or similar
- machine learning and deep learning (CNN, GNN, Transformers…)
- camera and/or 3D LiDAR perception
- motivation
- curiosity, taste for new ideas and for collaboration
- conscientious and organized


References :
[1] Wang, TH., Manivasagam, S., Liang, M., Yang, B., Zeng, W., Urtasun, R. (2020). V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction. ECCV 2020.

[2] La Grassa, R., Gallo, I. & Landro, N. Learn class hierarchy using convolutional neural networks. Appl Intell 51, 6622–6632 (2021).

[3] Qihao Liu, Adam Kortylewski, Alan L. Yuille; “PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 672-681

[4] S. Kreiss, L. Bertoni and A. Alahi, "OpenPifPaf: Composite Fields for Semantic Keypoint Detection and Spatio-Temporal Association," in IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 8, pp. 13498-13511, Aug. 2022

[5] Sanghyun Kim, Deunsol Jung, Minsu Cho; “Relational Context Learning for Human-Object Interaction Detection”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 2925-2934

[6] A. Sepas-Moghaddam and A. Etemad, "Deep Gait Recognition: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 1, pp. 264-284, 1 Jan. 2023, doi: 10.1109/TPAMI.2022.3151865.

[7] Jathushan Rajasegaran, Georgios Pavlakos, Angjoo Kanazawa, Christoph Feichtenhofer, Jitendra Malik; “On the Benefits of 3D Pose and Tracking for Human Action Recognition”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 640-649

[8] Yuqi Wang, Yuntao Chen, Zhaoxiang Zhang; “FrustumFormer: Adaptive Instance-Aware Resampling for Multi-View 3D Detection”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 5096-5105

[9] Y. Du et al., "StrongSORT: Make DeepSORT Great Again," in IEEE Transactions on Multimedia, doi: 10.1109/TMM.2023.3240881, 2023.