Vers l'Exploitation de la Charge Mentale de Travail dans les Systèmes de Réalité Virtuelle

Type de soutenance
Thèse
Date de début
Date de fin
Lieu
IRISA Rennes
Salle
Petri-Turing
Orateur
Tiffany Luong (Hybrid - IRT b<>com)
Sujet

English version below

Malgré l’émergence rapide des systèmes automatisés et le développement de l’informatique affective, très peu d’études considèrent la charge mentale de travail dans la conception de scénarios de formation en RV. Cette thèse a pour objectif de contribuer au développement des systèmes adaptatifs en RV, basés sur la charge mentale de travail des utilisateurs.

Nous proposons 3 axes de recherches : induction, reconnaissance, et exploitation de la charge mentale de travail en RV, ainsi qu'une définition de la ``Réalité Virtuelle Affective et Cognitive''. Dans un premier temps, nous étudierons l’impact du port de casque de RV sur l’effort mental des utilisateurs. De plus, l’influence potentielle de la marche et de l’effet d’accommodation en RV seront analysés. Puis, nous proposerons une approche méthodologique pour introduire l’évaluation de la charge mentale de travail dans la conception de scénarios de formation en RV. Cette méthodologie permettra notamment de moduler le niveau de charge mentale de travail des utilisateurs au cours du temps. Des études utilisateurs seront menées dans un simulateur de vol en RV afin d'évaluer cette approche. Finalement, nous proposerons une solution tout-en-un afin d'estimer la charge mentale de travail des utilisateurs en temps-réel en utilisant des capteurs intégrés aux casques de RV. Cette configuration sera comparée aux systèmes plus répandus dans le commerce vis-à-vis des performances de prédiction. Les influences du type de mesures, des capteurs, et des méthodes de normalisation des signaux seront également analysées.

Pour suivre la soutenance, une chaine YouTube a été créée : https://youtu.be/CPIO22M0zzU

-----------------------------------------------

Towards the Exploitation of Mental Workload in Virtual Reality Systems

Despite the rapid emergence of autonomous systems and the development of affective computing, little studies considered mental workload in the design of VR training scenarios. This thesis aims to contribute to the development of adaptive VR systems based on the users' mental workload.

We propose 3 research axes: induction, recognition, and exploitation of mental workload in VR, and a definition of "Affective and Cognitive Virtual Reality”. First, we study the impact of wearing a VR HMD on the users’ mental efforts. In addition, the potential influence of walking and accommodation to VR effect are analysed. Then, we propose a methodological approach to introduce mental workload assessment in the design of VR training scenarios in complex immersive virtual environments. This methodology enables to modulate users' mental workload levels over time. User studies in a VR flight simulator are conducted to evaluate the approach. Finally, we propose an all-in-one solution to recognize users mental workloads in real-time using integrated physiological sensors into a VR HMD. This setup is compared to a commercial-grade system with regards to the mental workload recognition accuracy. The influences of the type of measures, sensors, and signal normalization methods is also investigated.

Composition du jury
Daniel MESTRE, Directeur de Recherche CNRS, Institute of Movement Sciences, France (Rapporteur)
Anthony STEED, Professeur, University College of London, Royaume-Uni (Rapporteur)
Mark BILLINGHURST, Professeur, University of South Australia, Australie (Examinateur)
Catherine PELACHAUD, Directrice de Recherche CNRS, ISIR, France (Examinatrice)
Anatole LECUYER, Directeur de Recherche, Inria Rennes, France (Directeur de thèse)
Guillaume JEGOU, Responsable de Laboratoire, b<>com Rennes, France (Co-directeur de thèse)
Ferran ARGELAGUET, Chargé de Recherche, Inria Rennes, France (Encadrant de thèse)
Nicolas MARTIN, Ingénieur de Recherche, b<>com Rennes, France (Encadrant de thèse)