Introduction de capacités de rejet et de modèles de langage externalisés dans des systèmes d’apprentissage profond pour la lecture de texte en conditions difficiles

Thèse CIFRE - ANTAI / IRISA

Contexte

Depuis 2011, l’Agence Nationale des Traitements Automatisés des Infractions (ANTAI) pilote le programme interministériel de traitement automatisé des infractions routières constatées par des radars. Au Centre de Traitement des Amendes (CNT) de Rennes, les photos en provenance de ces radars routiers sont traitées afin de localiser et de reconnaitre la plaque d’immatriculation et le pays d’origine du véhicule en infraction. Cette opération est réalisée par une chaine de traitement qui est capable de traiter la moitié des photos automatiquement (sans intervention humaine). Cette reconnaissance automatique s’appuie sur des moteurs de lecture automatique de plaques (LAP) du marché, dont les hypothèses sont combinées pour produire une immatriculation et un pays d’origine le plus fiable possible.

Les systèmes de LAP se scindent en 2 catégories [2] : ceux qui fonctionnent en deux étapes (segmentation puis reconnaissance des caractères), ceux qui réalisent la segmentation et la reconnaissance conjointement. Dans la première catégorie, la segmentation peut être réalisée par soit des techniques de reconnaissance de forme classiques [1,3,9] ou soit en employant des réseaux de détection d’objets [6,7,8]. La reconnaissance est faite avec des classifieurs de type CNN [9] ou directement en utilisant les prédictions de la détection d’objets [3].
Dans la seconde catégorie, la lecture est réalisée soit par des CNN produisant un vecteur codant l’immatriculation [5] ou soit par des réseaux récurrents (LSTM) appliqués à l’image [4,10] ou à l’image passée dans un CNN [11,12,13].

Les LAP employés aujourd’hui souffrent de deux limites principales. La première limitation vient du fait que les photos prises par les radars sont parfois bruitées ou bien que des éléments viennent se placer entre le capteur et la plaque (par exemple, de la végétation ou une boule d’attelage). Ces évènements dégradent ou rendent illisibles un ou plusieurs caractères de la plaque. Les LAP réagissent mal à ces singularités et peuvent produire des immatriculations erronées avec une confiance élevée. La seconde est due à l’apprentissage biaisé et figé du modèle de langage en raison d’un apprentissage conjoint du modèle graphique de plaques et du modèle de langage : la base d’entrainement ne couvrant évidemment pas toute la grammaire, le modèle de langage appris est biaisé. Lors de la reconnaissance d’une plaque de bonne qualité, son score s’en trouvera abaissé si son immatriculation n’a pas été “vue” lors de l’entrainement. De plus, le parc de véhicule est en constante évolution et la distribution statistique des immatriculations se modifie continuellement. En France, par exemple, les immatriculations débutant par la lettre ‘G’ sont apparues en 2021. Du fait de cette évolution du parc, les LAP voient leur performance diminuer avec le temps et la mise à jour du modèle de bout en bout demeure complexe et couteux.

La problématque de la capacité de rejet et celle du modèle de langage ne sont pas abordées dans la littérature sur les LAP, voire même disqualifiée [7]. À noter que dans la plupart des publications, les bases d’apprentissage sont de taille modeste et la variabilité des syntaxes est faible (plaques d’un seul pays dans la base) [7, 10], ce qui ne permet pas d’étudier ces questions.

Au-delà des LAP, ces limitations soulèvent des questions fondamentales en apprentissage automatique, en premier lieu sur la mesure de la confiance dans la décision (capacité de rejet, explication), en second lieu sur des architectures performantes permettant de découpler la modélisation des différentes composantes (images, caractères, modèle de langue) tout en gardant les bénéfices d’une modélisation globale (end-to-end).

L’objectif général de la thèse est donc de développer de nouvelles approches en apprentissage automatique appliqué à la LAP, permettant de développer des systèmes performants, facilement adaptables et adaptés à l’interaction avec les utilisateurs validant la décision.

Objectifs

Lever les deux limites sus-mentionnées passe par la construction d’une LAP reposant sur un modèle avec les spécificités suivantes :

1. Capacité de rejet. Le modèle devra être capable d’indiquer qu’il ne sait pas décider de la valeur de l’immatriculation ou d’un ou plusieurs de ses caractères. En pratique, la connaissance du caractère ou des caractères à problème permettra d’interroger une base de données et éventuellement de lever l’ambiguÏté. Doter un modèle d’une capacité de rejet soulève plusieurs questions scientifiques autour de la définition du domaine de validité d’un réseau de neurone, de la définition de mesures de confiance sur tout ou partie de la décision, ou encore de l’explicabilité pour faciliter le travail de validation par les annotateurs.

2. Modèle de langage externalisé. Le modèle devra permettre l’entrainement séparé de la partie reconnaissance des caractères et apprentissage des dépendances inter-caractères et de la partie modélisation du langage, en restant cependant aussi proche que possible d’une architecture de bout en bout dont les performances restent meilleure que celle des approches en deux étapes. On s’attachera donc à définir un modèle intermédiaire entre l’approche séparée et l’approche conjointe, où l’interaction entre les deux étapes est forte tout en permettant d’adapter l’une ou l’autre indépendamment.

Méthodologie

Le travail s’appuiera fortement sur les données et l’expertise existante au sein de l’ANTAI, cette dernière disposant de l’ensemble des images prises par les radars routiers depuis le début du programme accompagnées des annotations validées.

Dans un premier temps, on s’intéressera à la problématique du rejet avec une approche bout en bout à l’état de l’art en s’appuyant sur des architectures de type transformer. On étudiera pour cela l’apport du mécanisme d’attention [14,15] et/ou des cartes de saillance [16]. On pourra également s’intéresser à la caractérisation du domaine de validité des données en entrée.

Dans un second temps, on s’intéressera à la problématique de découplage de l’apprentissage du modèle de reconnaissance des caractères et de l’apprentissage du modèle de langage. Une première approche consiste à empiler des modèles appris séparément : un modèle CNN multi-label, transformers ou RCNN pour reconnaître les chiffres/lettres (ou faire des hypothèses) et un modèle de langage type RNN ou transformers par dessus. On s’efforcera ensuite d’introduire un modèle de couplage fort entre les deux de manière à tendre vers une architecture de bout en bout. En particulier, les mécanismes d’attention offre une piste prometteuse, en les couplant à une étape de fine tuning. La génération de données, e.g., à l’aide de la partie décodeur d’un transformer, constitue une autre piste permettant d’anticiper l’évolution du modèle de langage.