La thèse porte sur la conception de modèles de simulation multi-sensoriels, fonctionnant en temps réel, contrôlés par le mouvement du corps humain, et destinés à des applications en art immersif et spectacle vivant. Les systèmes multi-sensoriels actuels reposent majoritairement sur la juxtaposition de modèles indépendants (son, image, haptique), fonctionnant en parallèle, sans prise en compte des interactions entre modalités.
L’objectif de la thèse est de dépasser cette approche en développant des modèles multi-sensoriels unifiés, capables de générer de manière cohérente différentes modalités sensorielles tout en intégrant leurs effets croisés. Plusieurs verrous scientifiques sont abordés : la conception de simulations intrinsèquement multi-sensorielles et l’exploitation des effets croisés, la définition de paramètres de contrôle de haut niveau à la fois intuitifs et expressifs (style et émotions), la garantie d’interactions temps réel, ainsi que la robustesse et l’adaptabilité des algorithmes face à la diversité des utilisateurs.
Les données seront enregistrées par des dispositifs de capture du mouvement et exploitées par les programmes de simulation produisant des sorties visuelles en 2D ou 3D et sonores. Le contrôle de ces simulations se fera via des algorithmes d’apprentissage automatique (intelligence artificielle), et l’évaluation des systèmes à travers des études perceptuelles menées en laboratoire et en contextes réels de performance.
Ce projet s’inscrit dans le cadre du projet Simult’Art (https://pepr-iccare.fr/simulart/), financé par le PEPR ICCARE (France 2030), qui vise à développer des algorithmes innovants pour le contrôle expressif d’animations et de simulations multi-sensorielles pilotées par le mouvement humain. En croisant recherche scientifique, création artistique et participation du public, la thèse contribue à renouveler les pratiques de l’art immersif et du spectacle vivant, en proposant des œuvres interactives, et en rendant les utilisateurs actifs plutôt que passifs.
[LP25] C. Larboulette et L. Pouppeville. Style-Driven Animation of Organic Shapes from the Analysis of Motion Capture Data. En cours d’évaluation pour la revue Graphical Models. Je peux envoyer l'article sur demande.
[BGL20] T. Brizolara da Rosa, S. Gibet and C. Larboulette. Elemental: a Gesturally Controlled System to Perform Meteorological Sounds. In Proceedings of New Interfaces for Musical Expression, Birmingham, United Kingdom, 2020. http://zabador.free.fr/Publications/2020/BGL20/ ; https://hal.science/hal-03005770v1
[LG16] C. Larboulette and S. Gibet. I Am a Tree: Embodiment Using Physically Based Animation Driven by Expressive Descriptors of Motion. In Proceedings of the International Symposium on Movement and Computing, Thessaloniki, Greece, Jul 2016. http://zabador.free.fr/Publications/2016/LG16/ ; https://hal.science/hal-01344746v1
[LG15] C. Larboulette and S. Gibet. A Review of Computable Expressive Descriptors of Human Motion. In Proceedings of the International Workshop on Movement and Computing, Vancouver, Canada, Aug. 2015. http://zabador.free.fr/Publications/2015/LG15/ ; https://hal.science/hal-01196267v1