Apprentissage semi-supervisé d’un système tutoriel intelligent pour l’e-éducation par la production de dessin/croquis

L’équipe de recherche Shadoc (anciennement IntuiDoc) (https://www-shadoc.irisa.fr/) de l’IRISA travaille sur l’analyse et la reconnaissance de tracés et de gestes manuscrits réalisés sur surfaces 2D : tablettes et écrans tactiles. Nous nous intéressons notamment à la conception de moteur de reconnaissance de formes et aux nouveaux usages autour de l’interaction gestuelle sur des surfaces tactiles. L’équipe travaille sur le développement d’environnements numériques innovants sur tablette stylet pour l’éducation, avec le pilotage de plusieurs travaux récents sur l’apprentissage de l’écriture manuscrite pour les classes de primaire et de maternelle [4], ou sur la production de schémas de géométrie pour les classes de collège [3].

Ce sujet de thèse s’inscrit dans la thématique des enjeux sociétaux autour de l’IA pour l’éducation. Il fait suite aux travaux de recherche effectués sur la conception de Systèmes Tutoriels Intelligents (STI) pour l’aide à l’apprentissage par le dessin. Nos précédents travaux ont notamment porté sur les thématiques pédagogiques de l’aide à l’apprentissage de la géométrie au collège et sur les schémas d’anatomie dans les formations de Santé. Ces travaux reposent sur des études qui ont démontré que l’introduction d’activités de dessin scientifique dans des cours [5, 6] permettait d’améliorer les performances d’apprentissage des étudiants. Les systèmes tutoriels intelligents permettent de développer des stratégies d’apprentissage personnalisées très efficaces en produisant automatiquement des feedbacks correctifs ou de guidage qui sont adaptés.

Les systèmes tutoriels intelligents [7, 8, 9] sont nés du couplage de deux domaines : l’intelligence artificielle et l’e-éducation. Pour les concevoir, le principe est de modéliser la connaissance experte qui permettra au système d’analyser ensuite automatiquement les actions de l’apprenant. L’analyse porte à la fois sur la reconnaissance des tracés manuscrits semi-structurés, et sur l’analyse de la validité de l’action relativement aux contraintes du problème (protocole de résolution de problème, étapes de dessin).

Dans ce travail de recherche, nous explorerons un nouveau challenge qui consiste à travailler sur un module de génération automatisée de règles expertes (mode auteur) pour appréhender la modélisation structurelle (et compositionnelle) semi-supervisée de schémas. L’ambition est de pouvoir prendre en entrée de l’apprentissage du STI pour générer les règles, aussi bien des schémas structurés (comme pour la géométrie) que des schémas semi-structurés, tel que les schémas d’anatomie. En facilitant par l’apprentissage semi-supervisé la création des modèles de connaissances adossés aux STI, on permettra d’étendre leurs champs applicatifs à d’autres disciplines pour appréhender par exemple des schémas décrivant des processus ou encore des schémas scientifiques (chimie, biologie, physique…).

Aujourd’hui, ces connaissances sont définies par des règles explicitées empiriquement par un expert en les formalisant dans une grammaire visuelle bidimensionnelle (GMC-PC) [2]. Il s’agira ici d’étendre le formalisme afin de pouvoir inférer dynamiquement par apprentissage de nouvelles règles à partir d’un schéma de référence. Le défi sera d’inférer de façon dynamique et semi-supervisée des règles de composition grammaticale à partir d’un croquis de référence de l’enseignant en s’appuyant sur une interaction intelligente avec lui. On en déduira ainsi automatiquement les contraintes structurelles et compositionnelles à intégrer dans les règles afin de pouvoir analyser ensuite la composition du schéma par l’apprenant.

Cette connaissance grammaticale structurelle sera combinée avec des systèmes d’IA évolutifs de reconnaissance incrémentale [1] capables d’apprendre des formes manuscrites à partir de peu d’exemples, ce qui permettra de s’adapter à différents styles de composition. Nous étudierons aussi les capacités de modélisation et d’apprentissage du contexte spatial par des paysages flous [10] pour caractériser les positions relatives des éléments du schéma.

Pour les phases d’évaluations de ces systèmes tutoriels intelligents et pour les mesures d’impacts de leur utilisation sur l’apprentissage des élèves et des étudiants, ce travail de thèse sera épaulé par une collaboration avec le laboratoire de Psychologie : Cognition, Comportement, Communication (LP3C) de l’Université de Rennes 2. Nous conduirons donc en parallèle de cette thèse des expérimentations sous la supervision du Professeur Eric Jamet du LP3C, à travers notamment des stages du Master Ergonomie, Psychologie des Facteurs Humains (EPFH).

Soulignons enfin que ces systèmes tutoriels intelligents sont destinés (notamment pour la géométrie et l’anatomie) à être transférés et déployés à moyen terme dans les collèges et Universités.