formation par la recherche / formation doctorale / enseignement, stages / sujets de thèses

Méthodologie d'évaluation de systèmes oraux
de dialogue

Localisation :IRISA, Lannion

Equipe CORDIAL

Responsable : Jacques SIROUX (tél. : 02 96 46 50 30, email : siroux@enssat.fr)

Mots-clés : évaluation, communication personne-machine, génération de test.

Financement : bourse MENRT (selon classement)

Sujet : Actuellement la mise au point de nombreux systèmes oraux de dialogue fondés sur des approches très diverses nécessite des évaluations afin d'une part de comparer les approches sous différents aspects et d'autre part de mesurer la qualité globale de l'interaction. La complexité des systèmes, le contexte oral ainsi que le rôle essentiel des utilisateurs font qu'il n'existe pas encore de méthodologie complète d'évaluation. Le sujet de la thèse consiste :

1. à mener une étude sur les propositions émises dans le cadre du traitement de la langue naturelle écrite et dans celui de l'action Dialogue oral de l'Aupelf-Uref (méthode DQR d'autoévaluation) ainsi que sur les travaux du LIMSI et d'AT&T (ces derniers sont fondés sur une approche analyse de données). Cette étude devra prendre en compte notamment la complexité du dialogue et celle de l'application ;
2. à concevoir et mettre en uvre une méthodologie d'évaluation suffisamment souple pour pouvoir s'adapter à des systèmes, des applications et des critères différents et qui doit permettre la possibilité de générer automatiquement des séquences de test.

Bibliographie.
[WALK97]M. Walker, D. Litman, C. Kamm et A. Abella. PARADISE: A Framework for Evaluating Spoken Dialogue Agents. Proceedings of 8th Conference of the European Chapter of the Association for Computational Linguistics, Madrid, 7-12 July 1997, p. 271-280.
[ANT99] J.-Y Antoine, J. Caelen, Pour une évaluation objective, prédictive et générique de la compréhension en CHM orale : le paradigme DCR (Demande, Contrôle, Résultat).Langues, Vol. 2, 2, juin 1999