Les pathologies aphasiques et phonatoires peuvent faire perdre la voix aux patients. C'est un sérieux handicap qui a un impact sur leur vie quotidienne, nuit à leur communication et peut conduire à l'isolement. De plus, la voix est un mode d'expression personnel, qui elle peut être considérée comme faisant partie de l'identité d'une personne. C'est pourquoi une possibilité intéressante pour des patients est d'enregistrer et de sauvegarder leur voix avant de la perdre, puis de l'utiliser plus tard via des outils de synthèse vocale.
Des tentatives de réponses technologiques existent déjà [Leclerc, 2019]. Elles permettent aux patients de cloner leur voix et de la générer à partir du texte. Cependant, ces applications, utilisant de technologies de synthèse de la parole par sélection d’unités acoustiques [Alain et coll., 2018], doivent disposer de plusieurs heures d’enregistrements de haute qualité. La captation, pendant plusieurs heures, de ces enregistrements auprès de patients affaiblis ou ayant déjà une voix altérée représente un défi. De même, les systèmes de synthèse de la parole actuels sont conçu pour traiter des données de qualité professionnelle et ne cherchent pas à corriger des “défauts” d’élocution ou de prononciation.
Ces dernières années, la synthèse utilisant des réseaux de neurones profonds a fortement progressé pour atteindre une qualité particulièrement intéressante (dans certaines conditions) [Oord et coll., 2017]. Ces approches nécessitent en revanche des corpus de plusieurs centaines d’heures de parole mais elles peuvent venir de locuteurs différents. Par contre, il est nécessaire de réaliser un traitement supplémentaire pour obtenir une voix de synthèse d’un locuteur précis s’il n’est pas présent dans le corpus original. Cette étape dite de clonage de voix, ou d’adaptation de voix, fait l’objet de travaux récents prometteurs [Chen et coll., 2019, Arik et coll., 2018]. Ceux-ci semblent indiquer qu’une faible quantité de données du locuteur cible, de quelques secondes à quelques dizaines de minutes de parole, serait suffisante. Ces approches semblent donc lever un premier verrou sur la durée de captation des patients. Mais de nombreuses questions restent à étudier et améliorer.
Dans ce contexte, cette thèse s'intéressera au clonage de voix lorsque les données d’adaptation sont produites sous contraintes. Nous nous intéressons à qualifier quelles contraintes -- durée d’enregistrement, contenu linguistique, contenu prosodique, écarts par rapport aux normes de prononciation, … -- ont un impact, et à quel niveau, sur la qualité finale d’un système de clonage de voix. De plus, nous chercherons à proposer des mécanismes de remédiation afin de pouvoir produire une voix de synthèse qui ne serait pas sensible aux “anomalies” prosodiques ou phonétiques des données initiales.
[Alain et coll., 2018] Alain, P., Lecorvé, G., Lolive, D., and Perquin, A. (2018). The IRISA Text-To-Speech System for the Blizzard Challenge 2018. Blizzard Challenge Workshop.
[Arik et coll., 2018] Arik, S. O., Chen, J., Peng, K., Ping, W., and Zhou, Y. (2018). Neural Voice Cloning with a Few Samples. Advances in Neural Information Processing Systems, pages 10019–10029.
[Chen et coll., 2019] Chen, Y., Assael, Y., Shillingford, B., Budden, D., Reed, S., Zen, H., Wang, Q., Cobo, L. C., Trask, A., Laurie, B., Gulcehre, C., Oord, A. v. d., Vinyals, O., and de Freitas, N. (2019). Sample Efficient Adaptive Text-to-Speech. International Conference on Learning Representations.
[Leclerc, 2019] Leclerc, F. (2019). Ces start-up françaises qui clonent les voix. L’Usine Digitale. url: https://www.usine-digitale.fr/article/ces-start-up-francaises-qui-clone…, Consulté le 14 december 2019.
[Oord et coll., 2017] Oord, A. v. d., Li, Y., Babuschkin, I., Simonyan, K., Vinyals, O., Kavukcuoglu, K., Driessche, G. v. d., Lockhart, E., Cobo, L. C., Stimberg, F., Casagrande, N., Grewe, D., Noury, S., Dieleman, S., Elsen, E., Kalchbrenner, N., Zen, H., Graves, A., King, H., Walters, T., Belov, D., and Hassabis, D. (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis. International Conference on Machine Learning, 80(35):3918–3926.