Vous êtes ici

Interprétation temps réel de la production de schémas « géométriques » pour la génération de e-feedback en « Digital Learning »

Equipe et encadrants
Département / Equipe: 
Site Web Equipe: 
https://www-intuidoc.irisa.fr/
Directeur de thèse
Eric Anquetil
Co-directeur(s), co-encadrant(s)
Nathalie Girard
Contact(s)
NomAdresse e-mailTéléphone
Eric Anquetil
eric.anquetil@irisa.fr
0299847238
Sujet de thèse
Descriptif

L’équipe de recherche IntuiDoc (http://www.irisa.fr/intuidoc/) de l’IRISA travaille sur l’analyse et la reconnaissance de tracés et de gestes manuscrits réalisés sur surface 2D : tablette et écran tactile. IntuiDoc s’intéresse notamment à la conception de moteur de reconnaissance de formes (Almaksour, 2011) et aux nouveaux usages autour de l’interaction gestuelle sur des surfaces tactiles (Li, 2013). L’objectif est notamment de permettre à l’utilisateur de définir et personnaliser ses commandes gestuelles. Pour cela, le système doit être capable de les apprendre et de les modéliser automatiquement à partir de très peu de données d’entrées, pour pouvoir ensuite les reconnaitre « à la volée ».

Cette thèse est liée au nouveau projet « e-fran » dénommé « ACTIF », financé dans le cadre du programme investissement d’avenir du ministère. ACTIF vise à concevoir et expérimenter des outils et méthodes pédagogiques qui facilitent l’apprentissage « actif » et « collaboratif » au collège à partir de tablettes numériques orientées « stylet », en donnant un rôle déterminant au feedback délivré à chaque élève, à l’ensemble de la classe ou à des élèves réunis en équipes. Ce projet s’appuie sur des travaux récents qui examinent les effets de production de schémas à partir d’un texte (« Generative Drawing ») sur l’apprentissage (Leutner & Schmeck, 2014). Les hypothèses sous-jacentes à ces travaux sont que les étudiants amenés à schématiser le contenu d’un texte en cours de lecture seraient (1) encouragés à traiter plus activement ce matériel pédagogique que lorsque le schéma est fourni d’emblée, et (2) incités à mettre en place plus de régulations métacognitives visant à mieux comprendre le texte.

Cette thèse sera focalisée sur l’interprétation temps réel de la production de schémas sur tablette stylet et financée par le projet « ACTIF ». Elle se déroulera dans un écosystème riche puisque le projet « ACTIF », conduit sur 4 ans, intègre plusieurs partenaires académiques dont l’IRISA, le laboratoire du LP3C et des industriels avec plusieurs doctorants, ingénieurs et Post-Doctorants.

Plus précisément, l’objectif est de permettre à un élève, à partir d’une consigne textuelle de l’enseignant, de composer à main levée un schéma ou une figure structurée. Étant donné la complexité de l’analyse en temps réel de schéma manuscrit (Atilola, 2014), (Macé, 2011), (Hammond, 2005), cette action sera focalisée dans un premier temps sur des figures de géométrie. Le système devra donc interpréter automatiquement et au fur et à mesure, les tracés manuscrits afin de fournir à l’élève, en temps réel, un retour visuel de l’interprétation de ses tracés, un feedback correctif si sa réalisation n’est pas conforme au résultat attendu et un guidage sur les prochaines étapes de sa réalisation.

Pour cela, nous envisageons de modéliser les règles de compositions structurelles des schémas produits à main levée à l’aide de grammaires et langages visuels (2D) en s’appuyant notamment sur des grammaires de multi-ensembles avec contraintes (Ghorbel, 2015) (Macé, 2009 et 2011). Ces grammaires permettent de piloter (via un analyseur) la reconnaissance par le contexte. Les classifieurs de formes manuscrites élémentaires seront pilotés par l’analyseur structurel. La conception de ces classifieurs pourra s’appuyer sur les moteurs de reconnaissance déjà développés dans l’équipe à base de Système d’Inférence Floue (Almaksour 2011) ou sur d’autres approches qui pourront être explorée pendant la thèse (réseau de neurone profond…). Les connaissances spécifiques à chaque typologie de schéma sont donc externalisées sous forme de règles alors que l’analyseur restera lui générique quel que soit le schéma considéré. L’approche scientifique envisagée permet donc de s’ouvrir à plusieurs typologies de schémas structurés.

À ces défis scientifiques liés au domaine de la reconnaissance de formes viendront s’ajouter des études pilotées par le LP3C (à travers une autre thèse en psychologie et usages) relatives à l’efficacité pédagogique du dispositif quant à la nature et à la typologie des feedbacks et des guidages qui seront adressés en temps réel à l’élève pendant son activité. Les versions successives de l’outil seront testées dans les collèges pilotes associés au projet.  

En perspective, une fois que nous aurons démontré le bien-fondé de cette approche dans le domaine de la géométrie, nous pourrons étendre sa portée à d’autres typologies de schémas structurés : plans, formules, partition de musique.

Bibliographie
  • O. Atilola, S. Valentine, H.-H. Kim, D. Turner, E. McTigue, T. Hammond and Julie Linsey, « Mechanix: A natural sketch interface tool for teaching truss analysis and free-body diagrams » . Artficial Intelligence for Engineering Design, Analysis and Manufacturing, 28, pp 169-192, 2014.
  • Hammond, T. and Davis, R. « LADDER, A Sketching Language for User Interface Developers. » Computers & Graphics 29, 4(2005), 518-532
  • Leutner, D., & Schmeck, A. (2014). The Generative Drawing Principle in Multimedia Learning. The Cambridge handbook of multimedia learning, 433.
  • Ghorbel, A., Lemaître, A., Anquetil, E, Fleury, S. &. Jamet, E. (2015). Interactive interpretation of structured documents: application to the recognition of handwritten architectural plans. Pattern recognition, 48(8), 2446-2458.
  • Macé, S., & Anquetil.E. (2011). Exploiting on-the-fly interpretation to design technical documents in a mobile context. Journal on Multimodal User Interfaces, 4, 129-145.
  • Macé, S., & Anquetil. E. (2009). Eager interpretation of on-line hand-drawn structured documents: The DALI methodology. Pattern Recognition, New Frontiers in Handwriting Recognition, 42(12), 3202-3214.
  • A. Almaksour and E. Anquetil, “Improving premise structure in evolving Takagi-Sugeno neuro-fuzzy classifiers”, Evolving Systems, vol. 2, no. 1, pp. 25–33, 2011.
  • P. Li, M. Bouillon, E. Anquetil, and G. Richard, “User and System Cross-Learning of Gesture Commands on Pen-Based Devices, in Proceeding of the 14th International Conference on Human-Computer Interaction (INTERACT), 2013, vol. 2, pp. 337–355.
Début des travaux: 
Septembre 2017
Mots clés: 
Digital Learning, Pattern recognition, Reconnaissance de schémas, e-education, tablette numérique, schémas « géométriques », Analyse de tracés manuscrits.
Lieu: 
IRISA - Campus universitaire de Beaulieu, Rennes