Modulation d'Éléments Prosodiques en Synthèse Vocale

Type de soutenance
Thèse
Date de début
Date de fin
Lieu
IRISA Lannion
Salle
020G - ENSSAT - Lannion
Orateur
Pauline MAS (EXPRESSION)
Département principal
Sujet

Figurant parmi les défis rencontrés en synthèse de parole à partir du texte (Text-to-Speech), l'estimation des propriétés supra-segmentales qui composent la prosodie doit reposer sur des approximations et indices textuels plus ou moins indirects. Dans le cadre des présents travaux, nous nous intéressons à la prédiction et au contrôle de ces aspects prosodiques. En nous reposant sur des corpus de livres audio en français, nous étudions dans un premier temps la prédiction des pauses, la proéminence et les frontières prosodiques à partir du texte. En résultent un modèle de prédiction d'indices prosodiques à partir de plongements textuels de type BERT, ainsi qu'une étude préliminaire sur le placement des pauses. Un second axe de recherche est dédié aux méthodes de contrôle prosodique en synthèse vocale. Nous y développons une proposition de contrôle par un mécanisme de sélection de prompts audio basé sur une distance sémantique, adapté à des contextes multilingues. Nous proposons (et comparons) finalement des méthodes de contrôle basées sur les indices prosodiques.

Composition du jury
Elisabeth DELAIS-ROUSSARIE, Directrice de recherche CNRS, LLING, Université de Nantes (rapporteure)
Nicolas OBIN, Maître de conférences, IRCAM, Sorbonne Université (rapporteur)
Solange ROSSATO, Maître de conférences, LIG, Université Grenoble Alpes (examinatrice)
Thomas HUEBER, Directeur de recherche CNRS, GIPSA-lab, Université Grenoble Alpes (examinateur)
Jonathan CHEVELU, Maître de conférences, IRISA, Université de Rennes (directeur de thèse)
Damien LOLIVE, Professeur des universités, IRISA, Université Bretagne Sud (co-directeur de thèse)