You are here

SILEnT - Traduction automatique en Langue des Signes Française

Team and supervisors
Department / Team: 
Team Web Site: 
http://www-expression.irisa.fr/
PhD Director
Vincent Barreaud
Co-director(s), co-supervisor(s)
Damien Lolive
Contact(s)
NameEmail addressPhone Number
Vincent Barreaud
vincent.barreaud@irisa.fr
02 96 46 91 52
PhD subject
Abstract

Le projet de thèse sera réalisé au sein de l’équipe Expression de l’IRISA spécialisée dans le traitement du langage humain véhiculé à travers différentes modalités (texte, parole et geste). En particulier, l’équipe Expression possède une grande expérience dans les domaines du traitement automatique des langues et de la parole ainsi qu’une expertise en traitement automatique de la langue des signes française et en Deep Learning.
Plus spécifiquement, ce projet s’inscrit dans la thématique liée à la reconnaissance et la synthèse de gestes en Langue des Signes Française (LSF), en s’appuyant sur la méthodologie utilisée dans le domaine des langues orales. Son objectif est d’accéder et de manipuler des contenus numériques utiles aux personnes pratiquant la langue des signes française (LSF) (personnes sourdes et malentendantes en particulier), en passant par des outils de traduction automatique.
Dans le cadre de cette thèse nous souhaitons donc développer des outils de traduction automatique français-LSF et LSF-français à partir de contenus Internet (vidéos, textes), de façon à procurer aux personnes sourdes la même information que celle que l'on peut lire/entendre sur le Web. Parmi les domaines applicatifs envisagés nous ciblons plus particulièrement : L'accessibilité à la connaissance pour les personnes pratiquant la LSF (Web), l'apprentissage de la LSF et l’éducation en LSF.
L’objectif de la thèse consiste principalement en l'exploration de méthodes de Deep Learning pour la traduction automatique vidéo – texte en français. À partir de vidéos annotées (texte en français ou gloses), il s’agit de produire automatiquement des séquences de gloses suivant la structure syntaxique et sémantique de la LSF, puis l’expression française correspondante. Cette traduction vidéo-texte passe par la représentation 3D du squelette, ce qui permet de reconstruire le mouvement au moyen d’un avatar signant [1-7]. En parallèle, nous envisageons de développer le système permettant la traduction duale texte – signe, en s’appuyant sur la représentation 3D de l’avatar.

Bibliography
  1. [1] Projet Investissement d’Avenir SIGN3D, https://www.youtube.com/watch?v=oRM4nZnokow, 2015.
  2. [2] Projet ANR SignCom: http://www-valoria.univ-ubs.fr/signcom/en/, 2011.
  3. [3] Sylvie Gibet, François Lefebvre-Albaret, Ludovic Hamon, Rémi Brun, and Ahmed Turki. Interactive editing in french sign language dedicated to virtual signers: requirements and challenges. ACM Universal Access in the Information Society, pages 1-15, 2015.
  4. [4] Sylvie Gibet, Nicolas Courty, Kyle Duarte, and Thibaut Le Naour. The SignCom System for Data-Driven Animation of Interactive Virtual Signers: Methodology and Evaluation. In ACM Transactions on Interactive Intelligent Systems TiiS 1(1): 6, 2011.
  5. [5] L. Naert, C. Reverdy, C. Larboulette, S. Gibet. Per Channel Automatic Annotation of Sign Language Motion Capture Data, LREC 2018, Miyazaki, Japon, May 2018.
  6. [6] K. Duarte, S. Gibet. Heterogeneous Data Sources for Signed Language Analysis and Synthesis, The seventh International Conference on Language Resources and Evaluation (LREC 2010), Malta, May 2010.
  7. [7] A. Héloir, N. Courty, S. Gibet, et F. Multon. Temporal alignment of communicative gesture sequences. Computer Animation and Virtual Worlds (selected best papers from CASA'06), 17:347­-357, juillet 2006.
  8. [8] Mark Disizian, Dimitri Metaxas and Carol Neidle. Linguistically-driven FrameWork for Computationally and Scalable Sign Recognition, LREC, 2018.

 

Work start date: 
octobre 2019
Keywords: 
LSF, traduction, deep learning
Place: 
IRISA - Campus universitaire de Beaulieu, Rennes