Modélisations pour le traitement robuste des références
multimodales
Localisation : IRISA, Lannion
Equipe(s) : CORDIAL
Responsable(s) : Jacques Siroux (tél. : 02 96 46
50 30, email : siroux@enssat.fr)
Mots-clés : multimodalité, référence,
pragmatique, dialogue oral, acte de langage.
Financement : bourse MNERT (selon classement)
Le système de dialogue multimodal GEORAL a pour but de répondre
à des questions qui portent sur des
informations touristiques et géographiques. L’utilisateur
dispose de deux moyens pour formuler ses ques-tions
: le geste (écran tactile) et la parole. En sortie, l’information
est restituée par l’affichage d’une carte et
par synthèse de la parole. Dans un tel environnement, les
activités de désignation multimodale (référence)
sont nombreuses et essentielles. Elles doivent être prises
en compte en fonction de leur caractère contextuel
(état de la carte), de la complémentarité et
de la redondance présentes sur les médias et enfin
de l’incertitude
due soit à leur traitement automatique (ex. reconnaissance
de la parole) soit à leur réalisation par l’utilisa-teur.
Le sujet de la thèse porte sur les développements
à apporter à une ébauche du traitement des
références
qui est fondé sur des aspects linguistiques et sur une architecture
particulière. Il s’agit :
- de finaliser la modélisation des actes de réfèrence
du point de vue linguistique et pragmatique (théorie
des actes de langage, aspects perceptifs) ;
- de mettre en oeuvre et évaluer différents modes
de traitement et architectures au sein du système.
Bibliographie.
[Bret98] G. Breton. Modélisation d’un contexte cartographique
et dialogique. Rapport de DEA, IFSIC,
1998.
[Scha97] D. Schang. Représentation et interprétation
de connaissances spatiales dans un système de dialogue
homme-machine. Thèse, université Nancy 1, 1997.
|
