You are here

Applications Interactives pour Performance Live à partir de Mouvement Humain Capturé

Team and supervisors
Department / Team: 
Team Web Site: 
http://www-expression.irisa.fr/fr/
PhD Director
Sylvie GIBET
Co-director(s), co-supervisor(s)
Caroline LARBOULETTE
Contact(s)
NameEmail addressPhone Number
Caroline LARBOULETTE
caroline.larboulette@univ-ubs.fr
02 97 01 72 08
Sylvie GIBET
sylvie.gibet@univ-ubs.fr
02 97 01 72 43
PhD subject
Abstract

Les interactions entre l'humain et les systèmes informatiques sont au cœur de l'interaction homme-machine (ou IHM). Elles définissent les moyens et outils mis en oeuvre afin qu'un utilisateur puisse contrôler et communiquer avec une machine et l'environnement. Ainsi, les smartphones, tablettes tactiles, consoles de jeux sont autant de dispositifs numériques qui ont envahi notre quotidien, bouleversent nos habitudes et parfois même, en créent de nouvelles. Cependant, si ces nouveaux dispositifs permettent d'interagir plus facilement, ils n'exploitent pas toutes les possibilités d'agir de manière naturelle et intuitive de l'humain. C'est pourquoi nous nous intéressons à de nouvelles interactions qui permettent d'explorer les possibilités de variations sensorielles et motrices du corps humain.
La thèse porte sur l'interaction gestuelle ou corporelle en temps réel pour le contrôle de processus visuels et sonores simulés dans le contexte de performances live. Les gestes et mouvements corporels seront capturés par des dispositifs de capture du mouvement et exploités de manière interactive par des programmes de simulation produisant des sorties visuelles en 2D ou 3D et sonores. On s’intéressera en particulier à la caractérisation expressive des mouvements (descripteurs corporels cinématiques et géométriques calculés en temps réel à partir des données capturées).
Pour ce faire, à partir des données capturées et des descripteurs calculés, il faudra mettre en œuvre des modèles de mapping entre les descripteurs de mouvement et les paramètres de contrôle des systèmes simulés, ces mappings se voulant adaptables à chaque utilisateur grâce à des algorithmes d’apprentissage. Il faudra en outre proposer une méthodologie pour l'évaluation perceptuelle à différents niveaux de la chaîne de synthèse (évaluation des descripteurs expressifs, des modèles de simulation, des effets visuels ou sonores et de l’expérience utilisateur).
Cette thèse sera réalisée en partenariat avec une entreprise du Morbihan et les systèmes développés seront évalués sur sites culturels sous forme de performances live destinées au grand public.

 

Bibliography

[1] I Am a Tree: Embodiment Using Physically Based Animation Driven by Expressive Descriptors of Motion. Caroline Larboulette and Sylvie Gibet. In Proceedings of the International Symposium on Movement and Computing, page 18:1--18:8 - jul 2016

[2] A Review of Computable Expressive Descriptors of Human Motion. Caroline Larboulette and Sylvie Gibet. In Proceedings of the International Symposium on Movement and Computing - Aug.2015

[3] An Expressive Conducting Gesture Dataset for Sound Control. Lei Chen, Sylvie Gibet, Camille Marteau. In 11th edition of the Language Resources and Evaluation Conference, 7-12 May 2018, Miyazaki, 2018

[4] From Expressive End-Effector Trajectories to Expressive Bodily Motions. Pamela Carreno-Medrano, Sylvie Gibet, Pierre-François Marteau. Conference on Computer Animation and Social Agents. CASA 2016: 157-163, 2016.

[5] Quantitative Evaluation of Percussive Gestures by Ranking Trainees versus Teacher. Lei Chen, Sylvie Gibet, Pierre-François Marteau, Fabrice Marandola, Marcelo M. Wanderley. In Proceedings of the International Symposium on Movement and Computing, pp.13 :1-13 :8, July 2016

 

Work start date: 
1er octobre 2018
Keywords: 
interaction gestuelle expressive, capture du mouvement, descripteurs, simulation, 3D, sons, apprentissage automatique, évaluation perceptuelle, performance live
Place: 
IRISA - Campus universitaire de Tohannic, Vannes