Scalable Dual-Level AI-Based Host Intrusion Detection for Provenance Graph Analysis, Fair Evaluation and Corrected Dataset

Résumé :

Les cyberattaques deviennent très sophistiquées, rendant leur détection difficile. Cette thèse étudie les systèmes de détection d’intrusions basés sur les graphes de provenance (PIDS), en se concentrant sur la qualité des jeux de données, les méthodologies d’évaluation, les performances de détection et le passage à l’échelle. Notre analyse de l’impact de la correction du jeu de données DARPA OpTC montre que l’étiquetage influence fortement les performances de détection, tandis que la correction des données facilite surtout leur interprétation. Nous étudions ensuite les méthodologies d’évaluation des PIDS, proposons des ajustements pour réduire les biais identifiés, accompagnés d’une implémentation open source. Nous montrons notamment que les PIDS sont sensibles aux seuils de décision et que ceux-ci ne se généralisent pas entre systèmes. Enfin, nous introduisons GRAAL (GRAph-based Analysis of Logs), un nouveau PIDS non-supervisé, combinant une nouvelle stratégie d’extraction de caractéristiques centrée sur les nœuds acteurs avec deux niveaux de détection étroitement couplés. Les expérimentations montrent que GRAAL peut être entraîné rapidement tout en passant à l’échelle et en obtenant de meilleures performances de détection que les autres PIDS de l’état de l’art.

Abstract :

Cyber attacks are becoming increasingly sophisticated, making detection particularly difficult. This thesis investigates provenance-based intrusion detection systems (PIDS) challenges, focusing on dataset quality, evaluation methodologies, detection performance, and scalability. Our analysis of the impact of correcting the widely used DARPA OpTC dataset shows that labeling strongly influences detection performance, while data corrections mainly facilitate result interpretation. We then investigate PIDS evaluation methodologies and propose adjustments to mitigate identified biases, along with an open-source implementation. In particular, we show that PIDS are sensitive to decision thresholds, that do not generalize across systems. Finally, we introduce GRAAL (GRAph- based Analysis of Logs), a novel unsupervised anomaly-based PIDS that combines a new feature extraction strategy focused on actor nodes with two closely interacting detection levels. Experiments show that GRAAL can be trained quickly while remaining scalable and achieving better detection performance than other state-of-the-art PIDS.