Reconstruction de mouvements 3D en situations complexes à partir de vidéo 2D

L'équipe EXPRESSION s'intéresse aux données gestuelles et aux mouvements expressifs. Ces données, par essence multidimensionnelles, peuvent être représentées sous différentes formes, allant des vidéos aux séquences de poses 2D ou 3D.

L'incorporation de telles données dans des applications interactives nécessite de reconnaître et de générer en temps réel tout ou partie des mouvements effectués. Jusqu'à présent les systèmes exploitant ces mouvements, en reconnaissance ou en synthèse, s'appuyaient sur des représentations squeletales en 3D (trajectoires cartésiennes ou angulaires aux articulations du squelette).

Ces dernières années, avec l'avènement des méthodes d'apprentissage automatique profond (deep learning), il devient possible de concevoir des systèmes autonomes de reconnaissance et de synthèse de mouvements en s'appuyant directement sur des données vidéo.

En s'appuyant sur ces techniques de deep learning, cette thèse s’intéresse plus particulièrement à la reconstruction automatique de séquences de mouvements 3D à partir de données vidéo 2D. L'intérêt de développer une telle chaîne de traitement est multiple. Elle rend plus aisée la constitution de bases de données (2D-3D). De plus, la possibilité d'accéder à des informations précises (3D) permet de manipuler ces données à travers des modèles de synthèse et ainsi de générer des animations de personnages virtuels.

Peu d'études ont en revanche abordé la reconstruction d'un mouvement complet sans discontinuité. Dans le cadre de cette thèse nous nous intéressons plus spécifiquement à ce problème, en cherchant à produire des mouvements continus réalistes dans le contexte de situations complexes telles que l'interaction entre agents (avec perte de données ponctuelles), l'interaction forte avec l'environnement (par exemple la reconstruction d'un geste musical, le corps étant en partie caché par l'instrument) ou la reconstruction d'humains animés avec des points de vue complexes (type vue de dessus).

Afin de disposer d'une base d'apprentissage suffisamment conséquente nous nous appuierons sur une approche originale consistant à générer des vidéos 2D à partir de mouvements 3D capturés (mocap + avatar 3D). Une grande variété de mouvements pourra ainsi être considérée, en particulier en modifiant les différents points de vue dans le cadre de la production de vidéos. Nous pourrons également envisager de modifier directement les mouvements de mocap pour enrichir la base de données (introduction de bruit, de variations dans les données en introduisant par exemple des morphologies différentes ou des styles/expressivités différentes).

Dans un premier temps, la question de la méthodologie de la reconstruction devra être posée : (i) estimation directe d'un mouvement complet à partir de l'apprentissage de séquences à séquences, ou (ii) estimation des poses, puis reconstruction des animations avec préservation de la continuité. Cette deuxième approche donnera lieu à un modèle hybride basé à la fois sur l'estimation de différentes poses 3D fiables entre lesquelles une synthèse du mouvement devra être opérée, soit par technique d'animation classique (cinématique inverse, interpolation 3D, etc.), soit à travers une seconde phase basée sur du deep learning. Les différentes méthodes seront implémentées et comparées, soit de manière quantitative en introduisant des métriques qu'il reste à définir, soit de manière qualitative à travers des études perceptuelles.