Retour à la page de
François Le Gland
ou de l'équipe ASPI
Filtrage bayésien optimal et approximation particulaire
ENSTA
(portail des enseignants
vacataires
),
cycle ingénieur 3ème année, cours
B7-1
ce cours fait partie du module B7,
Commande
des systèmes, proposé dans les trois filières
Optimisation,
recherche opérationnelle et commande,
Finance
quantitative et
Modélisation
des systèmes
Objectifs :
En toute généralité,
le filtrage consiste à estimer de façon récursive
un état caché au vu d'observations. Le domaine d'application
principal est la localisation, la navigation et la poursuite de mobiles,
dans le domaine militaire, mais aussi en robotique mobile, en vision par
ordinateur, en communications sans-fil (GSM en extérieur, WiFi en
indoor), où il s'agit de combiner : un modèle a
priori de déplacement du mobile, des mesures issues de capteurs,
et éventuellement une base de mesures de références,
disponibles par exemples sous la forme d'une carte numérique
(modèle numérique de terrain, carte de couverture, etc.).
Dans le cas particulier des systèmes linéaires gaussiens,
le problème de filtrage possède une solution explicite,
appelée filtre de Kalman. Dans le cas plus
général des modèles de Markov cachés,
des méthodes de simulation Monte Carlo très efficaces
sont apparues récemment, sous le nom de filtres particulaires.
De manière intuitive, chaque particule représente ici un
état caché possible, explore l'espace d'état en suivant
le modèle a priori de déplacement, et est
répliquée ou au contraire éliminée à
la génération suivante au vu de sa cohérence avec
l'observation courante, quantifiée par la fonction de vraisemblance.
Ce mécanisme de mutation / sélection a pour effet de
concentrer automatiquement les particules (i.e. la puissance de calcul
disponible) dans les régions d'intérêt de l'espace
d'état.
Plus généralement, les algorithmes particulaires
permettent d'approcher des distributions de Feynman-Kac au moyen
de la distribution de probabilité empirique pondérée
associée à un système de particules en interaction,
avec des applications qui vont bien au-delà du filtrage :
simulation d'évènements rares, optimisation globale,
simulation moléculaire, etc.
L'objectif de ce cours est
- de présenter différents algorithmes particulaires,
- de les mettre en œuvre dans le cadre de travaux pratiques en MATLAB,
- et de démontrer quelques résultats de convergence en
utilisant le cadre général de l'approximation particulaire
des distributions de Feynman-Kac.
Programmation détaillée :
- Introduction au filtrage : estimation récursive
d'un état caché au vu d'observations, importance du
modèle a priori, estimation bayésienne, borne
de Cramér-Rao a posteriori
Filtrage particulaire pour les systèmes non linéaires
à bruits non gaussiens : algorithme SIS, algorithme SIR
Exemples en localisation, navigation et poursuite
- recalage altimétrique de navigation inertielle
- suivi visuel par histogramme de couleur
- poursuite d'une cible furtive (track-before-detect)
- prise en compte de contraintes et d'occultations
Filtrage de Kalman pour les systèmes linéaires gaussiens
- Méthodes de Monte Carlo :
simulation selon une distribution de Gibbs-Boltzmann
- acceptation / rejet
- échantillonnage pondéré, changement de
probabilité «optimal» (variance nulle)
- simulation séquentielle (contrôle de la taille de
l'échantillon)
- réduction de variance par conditionnement (Rao-Blackwell)
Méthodes de Monte Carlo :
simulation selon un mélange fini
- échantillonnage multinomial, algorithme de Malmquist
- stratification et échantillonnage résiduel
- stratification et randomisation
- Dérivation du filtre bayésien optimal :
représentation probabiliste vs. équation récurrente
- systèmes non linéaires à bruits non gaussiens
- modèles de Markov cachés
- chaînes de Markov partiellement observées
Distribution de Feynman-Kac :
représentation probabiliste vs. équation récurrente
Approximation particulaire : algorithme SIS, algorithme SIR,
formulation trajectorielle, redistribution adaptative
- Méthodes de population Monte Carlo :
échantillonnage selon une distribution de Gibbs-Boltzmann
- v.a. conditionnées ou contraintes
- évaluation d'une probabilité de
dépassement de niveau (cas statique)
- recuit
Méthodes de branchement multi-niveaux pour la simulation
d'évènements rares : taux de branchement fixe
vs. taille d'échantillon fixe, sélection des niveaux (fonction
d'importance optimale, seuils)
- Rappels : inégalité de Marcinkiewicz-Zygmund,
théorème central limite «récursif»
Théorèmes limites pour les approximations particulaires :
convergence dans Lp, théorème central limite
Supports de cours et TD :
- Support de cours 11/12 :
polycopié (version du 13 septembre)
- Travaux dirigés 11/12 :
- Recalage altimétrique de navigation inertielle :
énoncé,
complément (redistribution multinomiale)
- Suivi visuel par histogramme de couleur (proposé par Élise
Arnaud, site) :
énoncé
- Options européennes dans le modèle de Black-Scholes :
énoncé
- Navigation en environnement intérieur :
énoncé
Archives (supports de cours et TD) :
- Support de cours 10/11 :
polycopié (version du 29 août),
errata
- Travaux dirigés 10/11 :
- Recalage altimétrique de navigation inertielle :
énoncé,
complément (redistribution multinomiale)
- Suivi visuel par histogramme de couleur (proposé par Élise
Arnaud, site) :
énoncé
- Poursuite d'une cible furtive (track-before-detect) :
énoncé
- Options européennes dans le modèle de Black-Scholes :
énoncé
- Support de cours 09/10 :
polycopié (version du 6 septembre)
- Travaux dirigés 09/10 :
- Recalage altimétrique de navigation inertielle :
énoncé,
complément (redistribution multinomiale)
- Suivi visuel par histogramme de couleur :
proposé par Élise Arnaud,
site
- Poursuite d'une cible furtive (track-before-detect) :
énoncé
- Options européennes dans le modèle de Black-Scholes :
énoncé
- Support de cours 08/09 :
polycopié (version du 7 septembre)
- Travaux dirigés 08/09 :
- Recalage altimétrique de navigation inertielle :
énoncé
- Suivi visuel par histogramme de couleur :
proposé par Élise Arnaud,
site
- Options européennes dans le modèle de Black-Scholes :
énoncé
- Support de cours 07/08 :
polycopié (version du 10 septembre)
- Travaux dirigés 07/08 :
- Recalage altimétrique de navigation inertielle :
énoncé
- Assimilation de données pour le modèle de Lorenz :
énoncé
- Options européennes dans le modèle de Black-Scholes :
énoncé
- Navigation d'un robot mobile :
énoncé
- (en guise d'examen final) Options européennes dans le modèle
de Black-Scholes (suite) :
énoncé
Archives (sujets d'examen) :
- Examen 10/11 :
énoncé,
corrigé
Filtre bayésien pour les systèmes non-linéaires
non-gaussiens avec bruits non-nécessairement indépendants.
Algorithme de rejet controlé.
- Examen 09/10 :
énoncé,
corrigé
Filtre bayésien pour les chaînes de Markov cachées
avec bruit d'observation représenté par un modèle
ARMA.
Lisseur bayésien pour les chaînes de Markov cachées.
- Examen 07/08 :
énoncé,
corrigé
Filtre particulaire généralisé,
ou ABC (pour approximate Bayesian computation).
Approximation particulaire combinant deux types de poids, pour la
redistribution ou simplement pour la pondération.
- Examen 06/07 :
énoncé,
corrigé partiel
Distribution
de Boltzmann-Gibbs : simulation d'un
échantillon et calcul de la fonction de partition.
Filtre bayésien pour une classe de
systèmes conditionnellement linéaires gaussiens,
flot paramétré, flot hybride et approximation
particulaire.
- Examen 05/06 :
énoncé,
corrigé
Simulation d'une chaîne de Markov conditionnée.
Optimisation globale.
Références bibliographiques :
ouvrages de référence
- Nathalie Bartoli et Pierre Del Moral,
Simulation et Algorithmes Stochastiques,
Cépaduès, Toulouse, 2001.
- Olivier Cappé, Éric Moulines and Tobias Ryden,
Inference in Hidden Markov Models,
Springer Series in Statistics, Springer, New York, 2005.
- Pierre Del Moral,
Feynman-Kac Formulae.
Genealogical and Interacting Particle Systems
with Applications,
Probability and its Applications, Springer, New York, 2004.
- Arnaud Doucet, Nando de Freitas and Neil Gordon, editors,
Sequential Monte Carlo Methods in Practice,
Statistics for Engineering and Information Science, Springer, New York, 2001.
articles téléchargeables (format PDF) :
méthodologie
- Neil J. Gordon, David J. Salmond and Adrian F. M. Smith,
Novel
approach to nonlinear / non-Gaussian Bayesian state estimation,
IEE Proceedings, Part F, Radar, Sonar and Navigation,
140, 2, 107-113, April 1993.
- Arnaud Doucet, Simon J. Godsill and Christophe Andrieu,
On
sequential Monte Carlo sampling methods for Bayesian filtering,
Statistics and Computing,
10, 3, 197-208, July 2000.
- Sanjeev M. Arulampalam, Simon Maskell, Neil J. Gordon
and Tim C. Clapp,
A
tutorial on particle filters for online nonlinear / non-Gaussian
Bayesian tracking,
IEEE Transactions on Signal Processing,
SP-50, 2 (special issue on
Monte Carlo Methods for Statistical Signal Processing),
174-188, February 2002.
- Olivier Cappé, Simon J. Godsill and Éric Moulines,
An overview
of existing methods and recent advances in sequential Monte Carlo,
Proceedings of the IEEE,
95, 5, 899-924, May 2007.
articles téléchargeables (format PDF) :
applications
- Dinh-Tuan Pham,
Stochastic
methods for sequential data assimilation in strongly nonlinear systems,
Monthly Weather Review,
129, 5, 1194-1207, May 2001.
- David J. Salmond and H. Birch,
A particle filter for track-before-detect,
American Control Conference (ACC'01), Arlington, June 2001,
3755-3760, IEEE-CSS, 2001.
- Patrick Pérez, Carine Hue, Jako Vermaak and Marc Gangnet,
Color-based
probabilistic tracking,
European Conference on Computer Vision (ECCV'02),
Copenhagen, June 2002,
Lecture Notes in Computer Science 2350, 661-675,
Springer, Berlin, 2002.
- Dieter Fox, Jeffery Hightower, Lin Liao, Dirk Schulz
and Gaetano Borriello,
Bayesian
filtering for location estimation,
IEEE Pervasive Computing,
2, 3, 24-33, July / September 2003.
- Fredrik Gustafsson, Fredrik Gunnarsson, Niclas Bergman,
Urban Forssell, Jonas Jansson, Rickard Karlsson and Per-Johan Nordlund,
Particle
filters for positioning, navigation, and tracking,
IEEE Transactions on Signal Processing,
SP-50, 2 (special issue on
Monte Carlo Methods for Statistical Signal Processing),
425-437, February 2002.
Retour à la page de
François Le Gland