Apprentissage profond en faible supervision pour la reconnaissance d’écriture manuscrite

Contexte

Cette thèse se déroulera au sein de l'Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) et plus particulièrement au sein de l’équipe IntuiDoc. L’équipe IntuiDoc focalise ses travaux sur la communication écrite et le traitement du document sous plusieurs aspects : analyse, reconnaissance, composition, interprétation, mais aussi interaction homme document graphique ou gestuelle. Ces recherches considèrent le document sous différentes formes : document manuscrit, formulaire imprimé, interaction gestuelle ou stylet, images, graphes, documents hétérogènes…

Sujet

Cette thèse s’inscrit dans la thématique de la reconnaissance d’écriture manuscrite dans des images. On s’intéressera plus particulièrement à la reconnaissance d’ouvrages particuliers anciens pour lesquels le manque d’exemples supervisés pour l’apprentissage d’un modèle est récurrent. L’objectif est ainsi de faciliter la transcription automatique de documents anciens, dont la langue ancienne, le style d’écriture, la dégradation des ouvrages ou les numérisations de faibles qualités rendent souvent difficile et fastidieux la tâche de transcription d’un ouvrage même pour un expert.

Les systèmes actuels de reconnaissance d’écriture se composent d’un modèle optique et d’un modèle de langues [Soullard et al. 2019]. Dans le cadre de cette thèse, on s’intéressera à la reconnaissance optique consistant à produire une séquence de caractères à partir d’une image contenant du texte. Les modèles traditionnels traitent des images de ligne de texte et sont entraînés à produire la séquence de caractères qui la compose.

Des progrès considérables ont eu lieu ces dernières années en reconnaissance d’écriture grâce à l’essor de méthodes d’apprentissage profond. Les modèles optiques de référence sont des réseaux de neurones associant des couches de convolution et des couches récurrentes, entraînés avec la fonction de coût CTC (classification temporelle connexionniste) [Graves et al. 2006]. Les couches de convolution produisent une analyse spatiale de l’image d’entrée qui est ensuite utilisée par des couches récurrentes (BLSTM) pour apprendre la séquentialité des données. De nouvelles architectures totalement convolutives [Yousef et al. 2020] [Coquenet et al. 2020] ou basées sur des Transformers [Kang et al. 2020] ont récemment émergé dans le domaine avec succès. La construction de telles architectures s’impose comme un axe de recherche majeur afin d’acquérir des architectures toujours plus performantes.

La reconnaissance d’écriture manuscrite dans des ouvrages anciens est rendue complexe par le manque de données étiquetées pour l’apprentissage. Habituellement, de l’apprentissage par transfert combiné à de l’augmentation de données sont utilisés [Soullard et al. 2019, Strauss et al. 2018]. Si ces stratégies aident à la reconnaissance de l’écriture dans un ouvrage particulier, l’adaptation au style d’écriture de l’auteur et à son langage bénéficierait de plus de données spécifiques de l’ouvrage.

Alors que de plus en plus de documents sont scannés, l’obtention d’une transcription associée aux lignes de texte est difficile et coûteuse pour les raisons évoquées précédemment [Leifert et al. 2020]. Ainsi, l’objectif les capacités du modèle par des exemples du style d’écriture de l’auteur ou de son style de langage au sein d’architectures. Différentes pistes peuvent être considérées. Une première piste consiste à explorer de récents travaux sur des méthodes d’apprentissage semi-supervisé comme des extensions de la fonction de coût CTC proposées en reconnaissance de la parole, l’une basée sur de multiples hypothèses [Do et al. 2021] ou une représentation de graphe [Moritz et al. 2021]. Une telle approche permet de tirer profit d’exemples non étiquetés pour l’apprentissage du modèle. Une seconde piste concerne des systèmes multi-tâches qui émergent de plus en plus permettant de tirer profit d’autres tâches par le biais de caractéristiques communes au sein du réseau pour renforcer la tâche voulue [Diaz et al. 2021]  [Wu et al. 2021]. Enfin, un troisième axe de recherche porte sur la génération d’exemples similaires au style d’écriture de l’auteur par le biais de réseaux antagonistes génératifs (GAN) permettant de venir enrichir la base d’apprentissage par des exemples générés [Fogel et al. 2020].

Pré-requis

Formation souhaitée : Apprentissage automatique, réseaux de neurones

Compétences techniques : Python . Une expérience avec un environnement dédié au deep learning (Keras, TensorFlow, PyTorch).