Annonce

Les commentaires sont clos.

Continual self-supervised learning for dynamic data and safety AI

15 Juin 2022


Catégorie : Doctorant


Abstract: Like humans, modern artificial intelligence (AI) models need to continually learn a sequence of new data and tasks without forgetting the previously acquired knowledge. This project addresses the very challenging topic of (1) online continual learning – learning with limited access to past data without catastrophic forgetting – by following the latest trends of (2) self-supervised learning – learning without annotated data – associated with (3) associative memory networks. On the one hand, the representations learnt in a self-supervised manner are shown to be transferred better to unseen tasks than supervised methods which rely on task-specific supervision. On the other hand, sparse distributed memory is an excellent mathematical model of human long-term memory.

The models being developed should perform well in different continual tasks, including classification, regression and with noisy label data as well as with few labeled data. The results of the project will be applicable to many fields which have to deal with non-stationary data, such as fake information detectionon media, and medical applications. We will also investigate the problem of out-of-distribution detection which is increasingly considered as a pre-condition for deploying AI models.

 

Profile and requirements

Strong background in machine learning/computer vision.

Experience in deep learning frameworks such as Pytorch/Tensorflow.

European or UK nationality.

Contact

Please send a CV, grades and referee letters before June 30th to Ngoc-Son Vu (son.vu@ensea.fr)

The thesis will be carried out at ETIS-lab, UMR 8051, ENSEA, CYU, CNRS, Cergy Pontoise, France, from October 2022.

 

1. Contexte

Il a été récemment rapporté que les modèles d'intelligence artificielle (IA) modernes basés sur les réseaux de neurones profonds (deep neural networks - DNNs) présentent ou même dépassent les performances au niveau humain sur des tâches complexes. Cependant, ces résultats impressionnants ont été obtenus avec de nombreuses contraintes et en particulier les DNNs doivent être déployés dans des environnements (i) fermés et (ii) statiques. Lorsque la première contrainte n'est pas respectée, c'est-à-dire lorsque les DNNs entraînés sont confrontés à de nouveaux exemples provenant de distributions différentes de celles des données d'entraînement, ils se comporteront de manière imprévisible. En effet, la détection d'instances anormales, récemment appelées hors-distribution (out of distribution - OOD), est de plus en plus considérée comme une condition préalable au déploiement de modèles d'IA. Compte tenu de la deuxième condition, les DNNs actuels supposent que toutes les données d'entraînement sont disponibles en même temps ; ils distinguent les processus d'apprentissage des connaissances et d'inférence, et nécessitent de redémarrer le processus d'apprentissage chaque fois que de nouvelles données deviennent disponibles. Dans notre monde ouvert et dynamique, ces pratiques deviennent vite insolubles pour les données non stationnaires. Pour rendre les modèles d'IA plus réalistes, ils doivent être plus fiables, capables de s'adapter en permanence et de continuer à apprendre au fil du temps.

Ce projet considère le scénario d'apprentissage continu (continual learning, CL) où différentes données et tâches sont présentées au modèle de manière séquentielle. Alors que les humains peuvent continuellement apprendre de nouvelles connaissances, il a été démontré que les DNNs oublient de manière catastrophique les connaissances précédemment acquises (oubli catastrophique où catastrophic forgetting, CF). Nous résoudrons le dilemme stabilité-plasticité : les DNNs doivent éviter les CF tout en conservant la capacité d'apprendre de nouvelles connaissances. La détection OOD sera également étudiée puisque les algorithmes CL ont besoin de savoir quand adapter le modèle à de nouvelles tâches.

L'apprentissage auto-supervisé (self-supervised learning, SSL) est un nouveau mécanisme d'apprentissage sans avoir besoin de données annotées, ce qui pourrait conduire à la création d'une IA plus humaine. Dans ce projet, nous suivrons cette tendance SSL, qui a récemment prouvé son efficacité à la fois pour l'apprentissage continu des représentations et la détection d’OOD.

2. Programme

L'apprentissage incrémental. Dans ce projet, nous étudierons le scénario le plus difficile de l'apprentissage incrémental dans un cadre en ligne, «task-free » et incrémental en classe où l'apprentissage et l'évaluation peuvent être effectués à tout moment.

Détection d’OOD. La détection OOD est utile pour CL en ce qui concerne deux étapes (entraîinement et inférence). Premièrement, cela aide les modèles à savoir quand s'adapter à de nouveaux environnements. Deuxièmement, lors d’inférence, si un échantillon de test n'appartient à aucune des classes d'une tâche, il sera rejeté par le modèle de la tâche. Ainsi, seule la tâche à laquelle appartient l'échantillon de test l'acceptera et le classera dans l'une de ses classes. Aucun identifiant de tâche n'est donc nécessaire et les algorithmes CL seront plus efficaces.

Nous avons développé recemment une nouvelle méthode d'apprentissage continu en ligne « task-free » [1] qui s'inspire cognitivement du modèle d'apprentissage conceptuel de l'hippocampe (dans lequel l'apprentissage rapide d'informations épisodiques est effectué) et le néocortex (dans lequel s'effectue l'apprentissage lent de connaissances structurées). En combinant un extracteur de caractéristiques basé sur SSL [2] et le modèle de mémoire proposé, nous avons établi de nouveaux résultats de pointe dans plusieurs bases de données dans une tâche de classification continue. Cependant, dans [1], les représentations sont pré-entraînées de manière auto-supervisée et seul le réseau mémoire des dernières couches est appris dynamiquement. Voici nos principaux objectifs de recherche et la méthodologie utilisée :

- Représentation auto-supervisée continue. Nous envisageons de concevoir des algorithmes capables d'apprendre la représentation en continu avec peu ou même sans données étiquetées [3, 4].

- Réseau prototype/mémoire. Nous envisageons de trouver de nouvelles manières d'utiliser les réseaux mémoires ou de concevoir de nouveaux réseaux de prototypes afin que notre algorithme soit efficace pour diverses tâches d'apprentissage continu comme la régression. Nous envisageons également d'intégrer ces modules de mémoire directement dans l'étape d'apprentissage de la représentation des caractéristiques pour obtenir de meilleures représentations. Nous envisageons également d'explorer des algorithmes qui sont robuste aux données d'étiquettes bruitées.

- Détection d’OOD robuste. Nous développerons des techniques de détection d’OOD afin de rendre les méthodes CL plus efficace.

 

References :

[1] J. Pourcel, N.-S. Vu, R. M. French, “Dynamic Sparse Distributed Memory for Online Task-free Continual Learning”, preprint 2022.

[2] L. Jezequel, N.-S. Vu, J. Beaudet, A. Histace, “Efficient Anomaly Detection Using Self-Supervised Multi-Cue Tasks”, preprint 2022.

[3] H. Cha et al., « Contrastive Continual Learning », ICCV 2021.

[4] E. Fini et al., « Self-Supervised Models are Continual Learners», CVPR 2022.

[5] S. Grossberg, “Adaptive Resonance Theory: How a brain learns to consciously attend, learn, and recognize a changing world”, Neural Networks, 2013