Thèse compression vidéo basée réseaux de neurones à faible complexité F H

Description de la mission

Votre rôle est d’effectuer un travail de thèse sur la compression vidéo basée réseaux de neurones à basse complexité
Contexte global et problématique du sujet
La quantité de vidéos échangée sur Internet ne cesse d’augmenter et de nouveaux formats de vidéos émergent régulièrement. Les outils de compression évoluent pour véhiculer ces contenus sur les réseaux, offrant un débit toujours plus faible tout en garantissant une bonne qualité.

Depuis plusieurs années, des systèmes de compression basés réseaux de neurones ont émergé. Ils remplacent l’ensemble encodeur-décodeur (codec) par un réseau de neurones (auto-encodeur) générique, appris sur un large ensemble de vidéos afin de faire face à la variété des contenus et formats. Ces auto-encodeurs rivalisent avec les meilleurs codecs conventionnels. Ils présentent cependant une complexité de décodage trop importante, limitant leur utilisation.

Il est possible de remplacer un auto-encodeur générique par un réseau de neurones uniquement (sur-)adapté à l’image à compresser. On apprend alors un petit réseau de neurones lors de la compression de chaque image, qui permettra ensuite de décompresser l’image. Un codec basé sur-adaptation (Cool-chic) est développé par Orange et d’autres acteurs. Il démontre des performances de codage d’image au niveau des auto-encodeurs tout en étant 1000 fois moins complexe. Des premiers travaux ont été entrepris pour étendre Cool-chic à la compression de vidéo.
Objectif scientifique – résultats et verrous à lever
L’objectif de la thèse est d’améliorer l’exploitation des redondances temporelles dans un codec vidéo neuronal basé sur la sur-adaptation.Les codecs basés sur-adaptation rencontrent des difficultés pour exploiter les redondances temporelles. Ils reposent sur une analyse de mouvement puis une prédiction temporelle afin d’identifier les zones redondantes dans les images successives d’une vidéo. Une des pistes envisagées pour la thèse est d’améliorer ce processus, via une meilleure analyse de mouvement permettant une meilleure prédiction temporelle. Également, de nouvelles architectures de réseaux de neurones permettent d’enlever les redondances temporelles sans analyse du mouvement.