Titre : Conception et implémentation d'un langage dédié à l'introspection de machine virtuelle - Sécurité, Hyperviseur, Système de Détection d'Intrusion, Rootkit
Title : Design and implementation of a language dedicated to Virtual Machine introspection - Security, Hypervisor, Intrusion Detection Systems, Rootkit
Mots-clés : Sécurité, Hyperviseur, Système de Détection d'Intrusion, Rootkit
Keywords : Security, Hypervisor, Intrusion Detection Systems, Rootkit
Résumé : Les systèmes de détection d'intrusions s'exécutant au niveau des hôtes (HIDS en anglais) constituent des composants essentiels pour détecter les attaques directement au sein des systèmes d'exploitation. Cependant, lorsque ceux-ci s'exécutent dans le système qu'ils supervisent, ils peuvent être désactivés par un attaquant ayant obtenu un niveau de privilège suffisamment élevé. Afin de pallier cette limitation, nous avons choisi d'isoler le système à protéger au sein d'une machine virtuelle (VM) et d'externaliser le HIDS au niveau d'un hyperviseur.
Dans cette configuration, un fossé sémantique apparaît entre le système d’exploitation de la \acrshort{VM} et l'hyperviseur. Nous proposons de le réduire en permettant à la VM de transmettre directement à l'hyperviseur des programmes écrits dans un langage que nous avons conçu (\langname). L'hyperviseur peut alors exécuter ces programmes afin de détecter des rootkits noyau. Pour valider cette approche nous avons développé un interpréteur pour HyperSec s'exécutant directement dans un hyperviseur existant (Xvisor).
Pour tester l'efficacité de notre système de détection, nous avons également conçu des rootkits unitaires, ainsi que les programmes HyperSec permettant de les détecter. Enfin, pour améliorer les performances de notre approche, nous avons remplacé l'interpréteur de programmes \langname par une exécution de code natif, préalablement vérifié par l'hyperviseur grâce à des annotations fournies conjointement aux binaires.
Abstract : Host-Based Intrusion Detection Systems (HIDS) are essential components for detecting attacks directly within operating systems. However, when they run inside the system they are meant to monitor, they can be disabled by an attacker who has obtained sufficiently high privileges. To address this limitation, we isolate the system to be protected within a virtual machine (VM) and externalize the HIDS at the level of the hypervisor hosting the VM.
In this configuration, a semantic gap arises between the guest operating system and the hypervisor. We propose to reduce this gap by allowing the VM to directly transmit programs, written in a language we designed (HyperSec), to the hypervisor. The hypervisor can then execute these programs to detect kernel rootkits. To validate this approach, we developed an interpreter for \langname that runs directly within an existing hypervisor (Xvisor).
To evaluate the effectiveness of our detection system, we also designed unit rootkits, along with HyperSec programs capable of detecting them. Finally, to improve the performance of our approach, we replaced the interpretation of \langname programs with native code execution, which is verified by the hypervisor using annotations provided alongside the binaries.
Mme LAWALL Julia, Directrice de recherche, Centre Inria de Paris, Rapporteur
M. THOMAS Gaël, Directeur de recherche, Centre Inria de Saclay, Examinateur
M. SALAÜN Mickaël, System engineer, Cloudflare, Examinateur
M. TRONEL Frédéric, Maître de conférences, CentraleSupélec, Co-encadrant
M. WILKE Pierre, Maître de conférences, CentraleSupélec, Co-encadrant
M. PREVOTET Christophe, Professeur des universités, INSA Rennes, Co-encadrant
M. HIET Guillaume, Professeur, CentraleSupélec, Directeur de thèse