Annonce
PhD position at Orange: AI for Video Coding with adaptation and competition
20 Avril 2023
Catégorie : Doctorant
Une offre de thèse est proposée dans note laboratoire à Orange Innovation sur la compression vidéo basée IA.
Vous trouverez plus de détails sur https://orange.jobs/jobs/v3/offers/124183?lang=fr
Année après année, la quantité de vidéos échangées sur Internet ne cesse d’augmenter. De plus, de nouveaux formats de vidéos émergent régulièrement, offrant toujours d’avantage d’immersion à l’utilisateur. De ce fait, les outils de compression sont amenés à évoluer pour s’adapter à la variété de formats mis en jeux et apporter les outils permettant de les véhiculer sur les réseaux. Ils doivent offrir un débit toujours plus faible, tout en garantissant une bonne qualité à l’utilisateur. En outre, il est nécessaire de compresser des contenus de natures différentes (textures, cartes de profondeur et de géométrie, volumes) et de tirer parti des redondances entre ces éléments.
En 2020, une norme dénommée « Versatile Video Coding » MPEG-I / H.266 a été publiée. Elle consiste en une amélioration incrémentale des précédentes normes (HEVC/H.265 et AVC/H.264) et augmente significativement l’efficacité de compression, aussi bien pour du contenu vidéo 2D « standard » que des contenus immersifs.
En parallèle de l’amélioration de ces algorithmes de compression conventionnels, des algorithmes basés sur les réseaux de neurones ont émergé au cours des dernières années. Il s’agit alors de remplacer l’intégralité de l’ensemble encodeur-décodeur par un réseau de neurones, qui est optimisé pour minimiser le débit vidéo tout en maximisant la qualité obtenue. Dans le cadre de la compression vidéo, ces approches neuronales de bout-en-bout sont déjà en mesure d’offrir des performances supérieures aux algorithmes de compression conventionnels. Il est envisagé qu’une norme soit développée à partir de 2025 pour répercuter ces progrès en compression. C’est dans ce contexte que les approches neuronales étudiées dans cette thèse joueront un rôle important.
L’un des points faibles des approches neuronales existantes est le traitement systématique des données d’entrée, qui ne tient pas compte de la nature du signal à compresser. C’est une différence importante avec les approches conventionnelles (HEVC, VVC) qui offrent une compétition de différents modes de codage, qui sont autant de façon de compresser le signal et de s’adapter à sa nature.
L’objectif de cette thèse est ainsi d’introduire massivement la notion de compétition et d’adaptation au contenu dans une approche de compression neuronale. De cette manière, l’encodeur vidéo est à même de proposer plusieurs alternatives de codage à un décodeur, rendant la compression adaptée au contenu et au débit visés. En conséquence, il devrait être possible de considérablement améliorer les performances de compression des approches neuronales.
Your role is to carry out a thesis work on the design of new AI-based video compression algorithms i.e. based on neural networks.
Year after year, the amount of video content exchanged on the Internet continues to increase. In addition, new video formats emerge regularly, consistently offering more immersion to the user. As a result, compression tools need to evolve such to adapt to the variety of formats and provide the tools in order to convey videos on the networks. They must offer an ever-lower bit rate, while guaranteeing good quality to the end-user. In addition, it is also needed to compress content of different nature (textures, depth and geometry maps) and to take advantage of the redundancies between these elements.
In 2020, a standard called “Versatile Video Coding” MPEG-I/H.266 was released. It consists of an incremental improvement of previous standards (HEVC/H.265 and AVC/H.264) and significantly increases compression efficiency, both for “standard” 2D video and immersive contents.
Along with the improvement of these conventional compression algorithms, algorithms based on neural networks have emerged in recent years. The approach is to replace the entire encoder-decoder chain with a neural network, which is optimized to minimize the video bit rate while maximizing the quality obtained. In an image compression framework, these end-to-end neural approaches are already able to offer performances comparable to the best conventional compression algorithms. Work is underway to transpose this performance into a video compression framework, and it is envisaged that a standard will be developed from 2025 to reflect the progress in compression. It is in this context that the neural approaches studied in this thesis will play an important role.
One of the weakest points of existing neural approaches is the systematic processing of input data: they do not consider the varying nature of the signal to be compressed. This is an important difference with conventional approaches (HEVC, VVC) which offer a competition of different coding modes, which are different ways for compressing the signal and adapting to its nature.
The objective of this thesis is thus to massively introduce the notion of competition and content adaptation in a neural compression approach. In this way, the video encoder will be able to offer several coding alternatives to a decoder, making the compression suitable for the content and the target bit rate. As a result, it should be possible to significantly improve the compression performance of neural approaches.