Advancing Brain-Computer Interfaces by leveraging sensory cues and virtual reality

Abstract: Brain-computer interfaces (BCIs) enable interaction by decoding brain activity. While methods and signal processing have advanced, BCIs still face challenges such as a lack of generalisability in passive systems and high variability in active ones. Sensations offer a promising but underexplored pathway to address these issues. This thesis investigates how sensory processes can be integrated into both passive and active BCIs, and how VR can be leveraged to that end.

We first examine how auditory and tactile stimulations in virtual reality can serve as reliable markers of presence, attention, and workload, improving the monitoring of mental states. We then extend to active BCIs, exploring how sensations can be investigated to improve motor imagery, spanning instructions, tasks and feedbacks. Both for passive and active BCIs, virtual reality provided environments designed to manipulate mental states, deliver controlled stimulations, and design embodied feedback. Together, our findings bring forward sensations as a central mechanism to make BCIs more robust, adaptive, and user-centered.

Résumé : Les interfaces cerveau-ordinateur (BCI) rendent possible des interactions en décodant l’activité cérébrale. Bien que les méthodes et le traitement du signal aient progressés, les BCI font encore face à des défis tels que le manque de généralisabilité dans les systèmes passifs et la forte variabilité dans les systèmes actifs. Les stimulations sensorielles offrent une voie prometteuse mais encore peu explorée pour répondre à ces enjeux. Cette thèse étudie comment les processus sensoriels peuvent être intégrés dans les BCI passives et actives, et comment la réalité virtuelle peut être utilisée pour cela.

Nous examinons d’abord comment des stimulations auditives et tactiles en réalité virtuelle peuvent servir de marqueurs fiables de la présence, de l’attention et de la charge cognitive, améliorant ainsi le suivi des états mentaux. Nous étendons ensuite l’étude aux BCI actives, en explorant comment les sensations peuvent être mobilisées pour améliorer l’imagerie motrice, à travers les consignes, les tâches et les rétroactions. Dans les types de BCI, la réalité virtuelle a fourni des environnements permettant de manipuler les états mentaux, de délivrer des stimulations contrôlées et de concevoir des retours incarnés. Ensemble, nos résultats mettent en lumière le rôle central des sensations pour rendre les BCI plus robustes, adaptatives et centrées sur l’utilisateur.