Characterization and Mitigation of Adversarial Risk in AI Systems

Résumé :

Les systèmes d'apprentissage automatique sont de plus en plus déployés dans des applications critiques pour la sécurité. Ces systèmes traitent souvent des données discrètes de grande dimension : attributs catégoriels, flux réseau, code source. Ce type de données reste peu étudié du point de vue de la robustesse adversariale. Cette habilitation caractérise ce risque et propose des moyens de l'atténuer. La première partie porte sur les fondements théoriques. Elle établit des bornes sur la vulnérabilité des modèles aux attaques par évasion sur données catégorielles. Elle propose ensuite des attaques efficaces et indépendantes du domaine. Elle introduit enfin une défense par lissage des attributions, qui désensibilise le modèle aux variations de ses entrées. La seconde partie évalue ce risque dans des applications de cybersécurité. Elle propose un cadre d'évaluation de la robustesse pour des applications critiques. Elle présente une attaque boîte noire par injection de flux contre les systèmes de détection d'intrusion fondés sur les réseaux de neurones sur graphes. Elle présente aussi une attaque transférable et économe en requêtes contre les détecteurs de vulnérabilités fondés sur des modèles de langage. Le manuscrit se termine par un projet de recherche sur la sécurité des systèmes d'IA avancés, notamment les agents fondés sur les grands modèles de langage.

Abstract :

Machine learning systems are increasingly deployed in security-critical applications. These systems often process high-dimensional discrete data, such as categorical attributes, network flows and source code. The adversarial robustness of models on such data remains poorly understood. This habilitation characterizes this risk and proposes ways to mitigate it. The first part addresses theoretical foundations. It derives bounds on the vulnerability of models to evasion attacks on categorical data. It then proposes efficient and domain-agnostic attacks. Finally, it introduces an attribution-smoothing defense that desensitizes models to input perturbations. The second part assesses this risk in cyber-security applications. It proposes a framework for robustness assessment in security-critical settings. It presents a hard-label black-box flow-injection attack against GNN-based network intrusion detection systems. It also presents a transfer-aware and query-efficient attack against language-model-based code vulnerability detectors. The manuscript concludes with a research project on the security of advanced AI systems, including agents built on large language models.