formation par la recherche / formation doctorale / enseignement, stages / sujets de thèses

Modélisations pour le traitement robuste
des références multimodales

Localisation :IRISA, Lannion

Equipe CORDIAL

Responsable : Jacques Siroux (tél. : 02 96 46 50 30, email : siroux@enssat.fr)

Mots-clés : multimodalité, référence, pragmatique, dialogue oral, acte de langage.

Financement : bourse MNERT (selon classement)

Sujet : Le système de dialogue multimodal GEORAL a pour but de répondre à des questions qui portent sur des informations touristiques et géographiques. L'utilisateur dispose de deux moyens pour formuler ses questions : le geste (écran tactile) et la parole. En sortie, l'information est restituée par l'affichage d'une carte et par synthèse de la parole. Dans un tel environnement, les activités de désignation multimodale (référence) sont nombreuses et essentielles. Elles doivent être prises en compte en fonction de leur caractère contextuel (état de la carte), de la complémentarité et de la redondance présentes sur les médias et enfin de l'incertitude due soit à leur traitement automatique (ex. reconnaissance de la parole) soit à leur réalisation par l'utilisateur. Le sujet de la thèse porte sur les développements à apporter à une ébauche du traitement des références qui est fondé sur des aspects linguistiques et sur une architecture particulière. Il s'agit :

1. de finaliser la modélisation des actes de réfèrence du point de vue linguistique et pragmatique (théorie des actes de langage, aspects perceptifs) ;
2. de mettre en uvre et évaluer différents modes de traitement et architectures au sein du système.

Bibliographie.
[Bret98] G. Breton. Modélisation d'un contexte cartographique et dialogique. Rapport de DEA, IFSIC, 1998.
[Scha97] D. Schang. Représentation et interprétation de connaissances spatiales dans un système de dialogue homme-machine. Thèse, université Nancy 1, 1997.