Proposition de stage: Aspects statistiques de l'apprentissage de dictionnaire en traitement du signal

Titre: Aspects statistiques de l'apprentissage de dictionnaire pour la modélisation parcimonieuse en traitement du signal

Mots-clés: traitement du signal et de l'image, optimisation convexe et nonconvexe, approximation parcimonieuse, concentration de la mesure.

Les techniques de modélisation parcimonieuse de données de grande dimension permettent de résoudre de façon satisfaisante de nombreux problème tels que la séparation aveugle de signaux sonores (pour extraire le son des instruments à partir des pistes du mélange), le débruitage, le défloutage et l'extrapolation d'images (inpainting), l'amélioration de résolution, etc [1].

Leur principe consiste à exploiter le fait que les données à traiter, bien que de grande dimension, peuvent être décrites de façon concise à l'aide d'un petit jeu de paramètres. Concrètement, les données sont bien approchées par des combinaisons linéaires de quelques vecteurs de base appelés atomes et choisis dans une famille très redondante appelée dictionnaire. On parle d'approximations parcimonieuses.

Ces dernières années, des progrès important ont permis de comprendre les fondements statistiques d'algorithmes qui calculent des approximations parcimonieuses quasi-optimales. Dans des conditions contrôlées, on dispose de garanties de performance pour des algorithmes explicites de complexité limitée, notamment des approches basées sur l'optimisation convexe.

Aujourd'hui, un défi important demeure pour l'application de ces techniques dans la pratique: il faut choisir un dictionnaire qui soit bien adapté à la classe de données à traiter. Un certain nombre d'algorithmes heuristiques ont été proposés [2] depuis une dizaine d'années pour apprendre un dictionnaire à partir d'un ensemble de données d'apprentissage. Nous avons obtenu de premiers résultats théoriques permettant de cerner des conditions garantissant que le jeu de données d'apprentissage permet l'identification du dictionnaire en tant que solution d'un problème (nonconvexe) d'optimisation [3].

L'objectif de ce stage, qui pourra déboucher sur une thèse, est d'étudier le problème de l'apprentissage sous un angle statistique. En s'appuyant sur une expérimentation avec des données synthétiques et réelles (audio), il s'agira de mettre en oeuvre des algorithmes d'optimisation en Matlab et de développer leur analyse théorique en petite dimension. En particulier, dans le cas d'un modèle de données Bernoulli-Gaussien en dimension 2, l'objectif est de caractériser complètement les conditions d'identification de dictionnaire partiellement abordées dans [3].

Bibliographie:

[1] S. Mallat, Wavelet Tour of Signal Processing, 3ème édition: The Sparse Way. Academic Press, 2008.

[2] K. Kreutz-Delgado & al, Dictionary learning algorithms for sparse representation, Neural Comput., 2003, Vol. 15, No. 2, pp. 349--396

[3] K. Schnass & R. Gribonval, Dictionary Identification - Sparse Matrix-Factorisation via L1-Minimisation, arXiv preprint 0904.4774, April 2009.

Contact: Rémi Gribonval