Intégration de connaissances explicites à l’apprentissage profond pour la reconnaissance et la segmentation d’écriture manuscrite d’enfants

Notre objectif est de concevoir un système de reconnaissance et de segmentation d'écriture manuscrite d'enfants dans le but d'analyser précisément l'écriture afin de faire des retours orthographiques immédiats à l'enfant. Les contributions de cette thèse reposent sur l'hybridation de modèles d'apprentissage profond avec des modèles utilisant des connaissances expertes explicites. La première contribution consiste à intégrer la dynamique de l'écriture contenue dans le signal en ligne dans un réseau de neurones convolutifs pour faire de la reconnaissance de caractères. La seconde contribution porte sur l'amélioration d'un système existant d'analyse de mots. Ce système utilise un mécanisme de guidage par la consigne ainsi que les mots phonétiquement proches de la consigne pour aiguiller son analyse. Le principe est d'intégrer la prédiction d'un modèle de reconnaissance Seq2Seq dans le système de guidage. L'objectif est de palier les manques du mécanisme de guidage quand les mots d'entrée contiennent des erreurs non-phonétiques. La troisième contribution propose un nouveau système de reconnaissance et de segmentation. Il repose sur la combinaison d'un modèle dédié à la reconnaissance et d'un modèle dédié à la segmentation. Le système intègre également les connaissances contenues dans le signal en ligne afin d'améliorer la précision de la segmentation. Enfin, nous avons développé un mécanisme de rejet dans le but d'améliorer la qualité du retour effectué à l'enfant. Les résultats des expérimentations démontrent l'intérêt et l'efficacité de ces contributions.