Modulation d'Éléments Prosodiques en Synthèse Vocale

Defense type
Thesis
Starting date
End date
Location
IRISA Lannion
Room
020G - ENSSAT - Lannion
Speaker
Pauline MAS (EXPRESSION)
Theme

Figurant parmi les défis rencontrés en synthèse de parole à partir du texte (Text-to-Speech), l'estimation des propriétés supra-segmentales qui composent la prosodie doit reposer sur des approximations et indices textuels plus ou moins indirects. Dans le cadre des présents travaux, nous nous intéressons à la prédiction et au contrôle de ces aspects prosodiques. En nous reposant sur des corpus de livres audio en français, nous étudions dans un premier temps la prédiction des pauses, la proéminence et les frontières prosodiques à partir du texte. En résultent un modèle de prédiction d'indices prosodiques à partir de plongements textuels de type BERT, ainsi qu'une étude préliminaire sur le placement des pauses. Un second axe de recherche est dédié aux méthodes de contrôle prosodique en synthèse vocale. Nous y développons une proposition de contrôle par un mécanisme de sélection de prompts audio basé sur une distance sémantique, adapté à des contextes multilingues. Nous proposons (et comparons) finalement des méthodes de contrôle basées sur les indices prosodiques.

Composition of the jury
Elisabeth DELAIS-ROUSSARIE, Directrice de recherche CNRS, LLING, Université de Nantes (rapporteure)
Nicolas OBIN, Maître de conférences, IRCAM, Sorbonne Université (rapporteur)
Solange ROSSATO, Maître de conférences, LIG, Université Grenoble Alpes (examinatrice)
Thomas HUEBER, Directeur de recherche CNRS, GIPSA-lab, Université Grenoble Alpes (examinateur)
Jonathan CHEVELU, Maître de conférences, IRISA, Université de Rennes (directeur de thèse)
Damien LOLIVE, Professeur des universités, IRISA, Université Bretagne Sud (co-directeur de thèse)