Apprentissage Décentralisé Efficace et Privé avec Bruit Corrélé

Titre : Apprentissage Décentralisé Efficace et Privé avec Bruit Corrélé

Résumé : L'apprentissage décentralisé (DL) entraîne un modèle commun entre plusieurs participants sans serveur central, chaque nœud échangeant puis moyennant son modèle avec ses voisins sur un graphe pair-à-pair. Bien que souvent perçu comme respectueux de la vie privée, les mises à jour échangées continuent de révéler des informations, comme le montrent les attaques par inférence d'appartenance et par inversion de gradient. La confidentialité différentielle (DP) borne cette fuite, et corréler le bruit ajouté entre les nœuds—plutôt que de l'ajouter indépendamment—est essentiel pour préserver la précision, mais les schémas existants sont coûteux et leurs preuves de confidentialité sont établies au cas par cas, sans cadre général permettant de les réutiliser ou de les resserrer.

Cette thèse développe une approche rigoureuse de la confidentialité différentielle en apprentissage décentralisé : en formulant les algorithmes de DL privés comme des calculs matriciels, nous établissons des outils d'analyse généraux et resserrés qui retrouvent comme cas particuliers et resserrent les garanties de schémas existants sous plusieurs modèles de menace. Cette approche donne naissance à deux algorithmes qui améliorent le compromis confidentialité-utilité : Zip-DL, qui utilise un bruit corrélé à somme nulle, et Mafalda-SGD, qui exploite un motif de corrélation optimal.

---

Title: Efficient and Private Decentralized Learning with Correlated Noise

Abstract: Decentralized Learning (DL) trains a shared model across participants without a central server, each node exchanging and averaging its model with neighbors over a peer-to-peer graph. Although often seen as privacy-friendly, the exchanged updates still leak information, as membership-inference and gradient-inversion attacks show. Differential Privacy (DP) bounds this leakage, and correlating the added noise across nodes—rather than independently—is key to preserving accuracy, but existing schemes are costly and their privacy proofs are derived case by case, with no general framework to reuse or tighten them.

This thesis develops a principled approach to differential privacy in decentralized learning: casting private DL algorithms as matrix computations, we derive general, tight analysis tools that recover as special cases and tighten the guarantees of existing schemes across multiple threat models. This yields two algorithms that improve the privacy–utility tradeoff: Zip-DL, that uses zero-sum correlated noise, and Mafalda-SGD, which exploits an optimal correlation pattern.