SAVID – Speaker and Audiovisual Interpretable Deepfake Detection

Le recrutement sur ce sujet de thèse est clos.

Descriptif de la thèse :
La prolifération des modèles de synthèse vocale et faciale a entraîné une augmentation significative des attaques par spoofing, où des identités audio-visuelles sont falsifiées. Cette question pose des enjeux majeurs en matière de sécurité et de confiance dans les communications numériques. Les techniques actuelles de détection, fondées sur des modèles neuronaux exploitant des représentations spectrales ou visuelles, présentent des limites en termes d’interprétabilité, ce qui entrave la compréhension des facteurs qui conduisent à l’échec des systèmes de détection et de localisation.

Objectifs :
Cette thèse vise à créer un système de vérification d’identité audiovisuelle efficace qui détectera les deepfakes et localise les segments corrompus, peu importe la langue parlée. Pour atteindre cet objectif, la thèse est composée de trois phases principales :

Phase 1 : Vérification du locuteur et détection de deepfakes multimodales

Cette phase a pour but d’établir une base de référence en testant diverses combinaisons audio/vidéo (authentique/falsifié) afin d’évaluer les performances initiales de l’existant présenter dans [CGA+24]. Elle comprend aussi la qualification des données par l’analyse des erreurs du système, la détection des données mal annotées et l’analyse des facteurs d’erreur associés aux locuteurs et aux types d’attaques.

Phase 2 : Analyse fine des échantillons partiellement corrompus

Il s’agit de segmenter les enregistrements audiovisuels afin de localiser les segments falsifiés. Deux façons de segmentation seront abordées : a) l’utilisation de plongements de locuteur atemporels (x-vecteurs [SGRS+18]) pour une segmentation globale-b) l’utilisation de représentations SSL (WavLM [CWC+22]) pour une segmentation plus fine au niveau de la trame.

Phase 3 : Construction d’un espace latent interprétable et explicable

Pour structurer l’espace latent du système, nous souhaiterions utiliser des méthodes de prototypage [AMO+24] pour encoder des facteurs déterminants (qualité vocale, mouvements des lèvres) et améliorer l’explicabilité du système en identifiant les éléments qui contribuent à la prise de décision.

Les avancées escomptées de cette thèse comprennent :

• Un système de vérification d’identité audiovisuelle robuste et interprétable.
• Une meilleure compréhension des facteurs conduisant à l’échec des systèmes de détection de deepfakes.
• Des techniques de segmentation et de localisation précises des segments falsifiés.
• Un espace latent structuré et explicable, permettant d’identifier les éléments contribuant à la prise de décision.

Cette thèse est une collaboration entre le LIUM au Mans et l''équipe EXPRESSION de l'IRISA à Lannion. Le doctorant sera hébergé au LIUM.

Les candidatures sont à envoyer aux contacts avant le 4 avril 2025. Elles seront examinées au fil de l'eau. L’appel à projets de financement de thèse s’adresse exclusivement aux étudiants ressortissants de l’Union Européenne, du Royaume-Uni ou de la Suisse.