Réseaux de neurones profonds et mécanismes d’attention pour la reconnaissance d’écriture manuscrite

Contexte

Cette thèse s’inscrit dans la thématique de la reconnaissance d’écriture manuscrite dans des images de documents. Les systèmes actuels de reconnaissance d’écriture se composent d’un modèle optique, produisant une séquence de caractères à partir d’une image de ligne de texte, et d’un modèle de langues, venant apporter des corrections linguistiques à la reconnaissance optique. Dans le cadre de la thèse, on s’intéressera à la reconnaissance optique. 

Des progrès considérables ont eu lieu ces dernières années en reconnaissance d’écriture grâce à l’essor de méthodes d’apprentissage profond. Les modèles optiques de référence sont actuellement des réseaux de neurones associant des couches de convolution et des couches récurrentes [Strauss et al. 2018], entraînés avec la fonction de coût CTC [Graves et al. 2006]. Les couches de convolution produisent une analyse spatiale de l’image d’entrée qui est ensuite utilisée par des couches récurrentes (BLSTM) pour apprendre la séquentialité des données. 

Sujet

Parmis les innovations en deep learning apparues ces dernières années, les mécanismes d’attention [Xu et al. 2015] ont obtenu beaucoup de succès dans le domaine de la vision par ordinateur. Les mécanismes d’attention permettent à un réseau de neurones d’apprendre à focaliser son attention sur des caractéristiques d’intérêt pour la décision. Il existe principalement deux types de mécanisme d’attention. Le premier s’appuie sur des couches récurrentes et construit des poids différents selon les trames d’entrée [Xu et al. 2015]. Le second, plus communément appelé porte d’attention (Gate), est intégré au sein de réseaux convolutifs et consiste à dédier des cartes de caractéristiques à la construction de poids [Wang et al. 2017]. 

Dans le cadre de cette thèse, on souhaite approfondir les mécanismes d’attention pour la reconnaissance d’écriture. Les réseaux de neurones sont parfois vus comme une “boîte noire”, qu’il “suffit d’entraîner”. Il s’agira ici d’approfondir les mécanismes induits au sein des réseaux de neurones, pour proposer de nouvelles architectures innovantes. Les axes de recherche suivant seront explorés : 1) renforcer les capacités des méthodes de reconnaissance d’écriture par le biais de mécanismes d’attention; 2) concevoir un système de reconnaissance d’écriture multi-lignes, vers un système de reconnaissance dit “end-to-end” ayant en entrée des images de documents et produisant les transcriptions lignes à lignes. Ces points sont détaillés ci-dessous. 

Renforcement de la reconnaissance d’écriture avec des mécanismes d’attention

Les mécanismes d’attention ont montré leur apport dans de nombreux domaines tels qu’en génération de légendes [Xu et al. 2015, Sun et al. 2020] et en segmentation sémantique de scènes naturelles [Fu et al. 2019] ou d’images de documents [Soullard et al. 2020]. De premières architectures de réseaux de neurones s’appuyant sur des mécanismes d’attention ont récemment émergé pour des applications en reconnaissance d’écriture [Bluche 2016, Bluche et al. 2017, Yousef et al. 2018, Ingle et al. 2019] avec succès. 

Étant donné leur conception, les mécanismes d’attention semblent naturellement pertinents pour une tâche de reconnaissance d’écriture. D’une part, ils permettent de tendre vers la lecture humaine, en focalisant l’attention du reconnaisseur à des emplacements appropriés pour la décision et en éliminant des caractéristiques de moindre intérêt. D’autre part, ils permettent d’atténuer la présence de bruit dans les images qui pourraient perturber la reconnaissance (rature, souligné, …). Dans ce premier axe de recherche, on souhaite approfondir l’apport des mécanismes d’attention pour la reconnaissance d’écriture. On proposera des architectures de réseaux de neurones originales, s’appuyant sur des mécanismes d’attention, afin de renforcer les capacités des systèmes actuels en reconnaissance d’écriture. 

Système de reconnaissance “end-to-end” basé sur des mécanismes d’attention

Les systèmes actuels de reconnaissance d’écriture traitent des images de ligne de texte. En pratique, des images de documents numérisés et les transcriptions associées sont fournies pour l’apprentissage de modèles. De ce fait, il est nécessaire d’utiliser un premier système pour extraire les lignes de texte dans les images de documents. Les méthodes de référence s’appuient de plus en plus sur des architectures de réseaux de neurones convolutifs avec succès [Renton et al. 2018, Alberti et al. 2019, Grüning et al. 2019]. 

Cependant, de telles approches présentent plusieurs limitations. Tout d’abord, elles nécessitent un étiquetage des blocs constituant les lignes de texte pour l’apprentissage. Ceci est un frein à la conception de systèmes performants dans le cadre d’applications sur des corpus spécifiques, pour lesquels il n’est pas possible d’obtenir des données étiquetées en grande quantité. Par ailleurs, la segmentation en lignes de texte reste un problème difficile dans le cas de lignes qui se chevauchent, ou de documents à structures complexes (tableaux) [Guerry et al. 2019]. Or des erreurs de segmentation en lignes impactent directement l’ensemble de la chaîne de reconnaissance d’écriture. 

Ces dernières années, seuls quelques travaux ont proposé de la reconnaissance de texte dans des paragraphes [Bluche 2016, Bluche et al. 2017], contournant ainsi cette étape de segmentation en lignes. Ces travaux s’appuient sur des LSTM multidimensionnels pour l’analyse de l’image ainsi que pour le mécanisme d’attention. Ils offrent des perspectives très prometteuses pour la construction de systèmes dits “end-to-end” réalisant simultanément l’identification des zones textuelles dans une page et la reconnaissance de l’écriture. Cependant, ils ne sont pas encore parvenus à s’imposer dans le domaine du fait de leur complexité d’apprentissage. Une difficulté supplémentaire qui apparaît est l’aspect multi-échelle des données à traiter : il s’agit d’analyser des images parfois de grande résolution, au niveau ligne de texte et plus finement au niveau des caractères pour la reconnaissance du texte avec l’approche de référence CTC (Classification Temporelle Connexionniste). 

On s’intéressera à proposer des architectures de réseaux de neurones originales s’appuyant sur des mécanismes d’attention et répondant à la fois aux contraintes des systèmes actuels (coût d’apprentissage) et de la reconnaissance d’écriture (analyse multi-échelle). 

Perspectives d’applications

Les travaux proposés pourront être validés sur les corpus existants dans le domaine de la reconnaissance d’écriture dans des images de documents, afin de se comparer aux approches existantes de l’état de l’art.

Par ailleurs, ces travaux offrent de multiples applications interdisciplinaires au sein des humanités numériques, qui présentent un réel intérêt pour l’acquisition de transcription automatique de documents anciens numérisés à des fins d’analyse. 

Enfin, si l’objectif est de s’intéresser ici aux mécanismes d’attention des réseaux de neurones en reconnaissance d’écriture, les architectures proposées pourraient permettre d’améliorer des systèmes d’autres domaines. Les travaux qui seront conduits dans le cadre de cette thèse offriront donc des perspectives d’applications en analyse d’images bien plus larges que l’analyse de document.

Cadre 

L’équipe Intuidoc (https://www.irisa.fr/intuidoc) mène des recherches sur le thème de la reconnaissance d’images de documents. Depuis de nombreuses années, l’équipe s’est spécialisée sur la reconnaissance de la structure de documents, par exemple la segmentation d’images de documents en lignes de texte, préalable à la reconnaissance d’écriture [Guerry et al. 2019]. Ainsi, la mise en place de la méthode générique DMOS-PI a permis l’application de la reconnaissance de structure dans des domaines très variés : documents d’archives [Lemaitre et al. 2018], documents manuscrits abîmés, journaux, partitions musicales, schémas, …

Les travaux de cette thèse permettront d’enrichir les travaux de l’équipe et offriront des connections avec d’autres thèses en cours [Tarride et al. 2019]. 

Par ailleurs, de par les environnements de recherches des différents encadrants (INSA de Rennes, Université Rennes 2), les travaux développés dans le cadre de cette thèse seront l’opportunité d’applications interdisciplinaires en collaboration avec des chercheurs de l’UFR de sciences sociales de l’Université Rennes 2 (géographie, histoire, humanités numériques).