Apprentissage auto-supervisé pour la reconnaissance d’écriture manuscrite

Cette thèse s’inscrit dans la thématique de la reconnaissance d’écriture manuscrite. On s’intéressera plus particulièrement à reconnaître du texte manuscrit présent dans des images de pages de documents. L’objectif est ainsi de faciliter l’accès à la transcription automatique de documents divers, potentiellement anciens. Les documents anciens présentent en effet des difficultés accrues liés à la langue ancienne, le style d’écriture, la dégradation des ouvrages ou les numérisations de faibles qualités qui rendent souvent difficile et fastidieux la tâche de transcription d’un ouvrage même pour un expert.

Les systèmes traditionnels, combinant successivement une tâche d’extraction de lignes de texte, un modèle optique reconnaissant les caractères dans les images, et un modèle de langues venant apporter des corrections linguistiques [Soullard et al., 2019], sont progressivement remplacés par des systèmes dit end-to-end réalisant ces différentes tâches simultanément [Yousef and Bishop, 2020, Coquenet et al., 2022, 2023]. Ces systèmes s’appuient sur des architectures totalement convolutives [Yousef and Bishop, 2020] ou sur des Transformers [Coquenet et al., 2023] qui s’imposent dans de nombreux domaines comme celui de la reconnaissance d’écriture grâce à l’efficacité des mécanismes d’attention qu’elles incluent [Barrere et al., 2024, Kang et al., 2022]. Ces systèmes ont ainsi de grandes capacités à analyser des images et reconnaître du texte. Bien que très performants sur le ou les types de documents sur lesquels ils ont été appris, ces systèmes peuvent néanmoins souffrir d’un manque de capaciter à généraliser à de nouveaux documents. Ceci est notamment lié au manque de données supervisées et variés pouvant être exploitées pour l’entraînement de ces modèles.

L’objectif de cette thèse sera de s’intéresser à de l’apprentissage auto-supervisé afin de pouvoir tirer profit d’exemples non supervisés pour l’apprentissage de ces modèles. Ces dernières années, de nombreux travaux se sont intéressés aux approches auto-supervisées afin de pré-entraîner les réseaux. Partant d’une tâche prétexte ne nécessitant pas d’annotations manuelles, le modèle acquiert tout de même de fortes capacités de modélisation. Ces approches sont à la base de tous les modèles de fondation de la litérature, qu’ils soient basés sur du texte (GPT-3 [Brown et al., 2020]), de l’image (DINO [Caron et al., 2021]) ou les deux (CLIP [Radford et al., 2021]). Les tâches prétextes peuvent être diverses : prédiction du token suivant pour GPT-3, apprentissage contrastif pour CLIP et DINO. Plus récemment, des travaux [He et al., 2022] ont montré des résultats remarquables pour la tâche prétexte de reconstruction d’images partiellement masquée, dans le cadre de réseaux Transformers.

Ainsi, on s’intéressera à réaliser de l’apprentissage auto-supervisé pour une tâche de reconnaissance d’écriture manuscrite dans des images. L’objectif est ici double : a) améliorer les capacités en généralisation d’un système générique entraîné sur de nombreux exemples variés ; b) permettre de spécialiser un système sur un corpus non étiqueté pour renforcer les capacités de transcription de ce corpus. L’apprentissage auto-supervisé devra également permettre de réaliser ces objectifs de généralisation et de spécialisation en minimisant les quantités de données annotées nécessaires.