Le principal objet de cette étude a été la recherche de l’amélioration conjointe des étapes de reconnaissance de la parole et de compréhension dans les systèmes de dialogue oraux. Ces travaux sont partis du postulat que la séquentialité du traitement des tâches dans de tels systèmes, c’est à dire la génération de la transcription basée que sur des informations acoustiques et syntaxique réduite suivie de son analyse en compréhension en était une des ses faiblesses. Nous proposons une méthode permettant de faire coopérer les modules de transcription et compréhension.
Nous avons présenté l’élaboration d’un modèle de langage basé sur le formalisme des transducteurs à états fini encodant des grammaires régulières permettant de faire l’association entre les mots et les concepts utilisés par le module de compréhension. Ce modèle de langage permet d’enrichir l’espace de recherche généré (graphe de mots) par le module de reconnaissance d’informations conceptuelles par une simple opération de composition.
Dans cet espace enrichi, représenté par un transducteur, les entrées correspondent aux mots tandis que les sorties correspondent aux concepts associés. Il est alors aisé de passer du graphe de mots au graphe de concepts en ne considérant que les sorties. Dans ce nouvel espace de recherche, il est possible de tenir compte des prédictions du gestionnaire de dialogue dans la recherche de la transcription. Nous proposons un processus de décodage qui cherche d’abord pour les meilleures interprétations (séquences de concepts) possibles et fournit une liste structurée des N-meilleures hypothèses conceptuelles accompagnées de leur meilleure chaîne de mots la supportant. Cette liste permet d’obtenir un résumé exhaustif et non-redondant du point de vue de la compréhension du graphe de mots.
Nous avons proposé différentes mesures de confiance faisant intervenir des critères linguistiques, acoustiques ou sémantiques pour évaluer la qualité de la transcription à différents niveaux : mot, phrase et concept. Les mesures linguistiques chargées de diagnostiquer la qualité de la transcription au niveau de la phrase sont basées sur le fait que l’utilisation de méthodes de repli dans la construction d’un modèle de langage N-grammes est souvent générateur d’erreurs. Nous avons proposé de raisonner sur des situations de confiance obtenues par des décodages en parallèle effectués avec des modèles de langage augmentés permettant de faire appel aux méthodes de repli le moins souvent possible. Une mesure calculant la fréquence d’utilisation de ces méthodes de repli est également proposée et montre des résultats intéressants. Ont été également développées des mesures de confiance au niveau conceptuel qui utilisent des informations acoustiques ou plus originalement, des classifieurs textuels appris automatiquement.
La dernière partie de ces travaux s’ est attachée à tirer parti des précédentes réalisations : la liste structurée et les mesures de confiance. Nous proposons une stratégie basée sur un arbre de décision ou chaque nœud est une unité de décision qui fait de la validation en fonction de la liste et des mesures de confiance. Nous aboutissons à des situations de fiabilité différentes avec dans certaines une probabilité très forte que l’hypothèse conceptuelle décodée soit correcte et d’autres non. Dans les situations où la probabilité que les hypothèses soient correctes est faible nous proposons différentes méthodes de correction d’erreurs. Cette stratégie permet de donner les moyens au gestionnaire de dialogue de prendre une décision plus optimale sur ses choix à effectuer dans la gestion du dialogue.
Cette thèse s’est attachée à faire coopérer le module de reconnaissance et le module de compréhension avec l’objectif d’améliorer conjointement ces deux modules. L’enrichissement conceptuel d’un graphe de mots que nous avons proposé permet un décodage conceptuel sur l’intégralité du graphe plutôt que sur la ou les meilleure(s) hypothèse(s) de mots. Avec suffisamment de données il serait intéressant de tester l’apport d’un modèle statistique de langage conceptuel lors de l’opération de décodage. Une des perspectives les plus intéressantes est de proposer une coopération plus poussée entre le module de transcription et d’autres modules du système de dialogue, telle que faire intervenir des informations liées au gestionnaire de dialogue : connaissances sur l’historique du dialogue, sur le prompt du système, sur les concepts décodés aux tours précédent, etc. On peut supposer qu’avec ces informations, il soit possible d’améliorer les processus suivants :