INTRODUCTION AUX MÉTHODES DE MONTE CARLO PAR

S´eminaire MTDE
22 mai 2003
INTRODUCTION AUX
M´ ETHODES DE MONTE CARLO
PAR CHA
ˆ
INES DE MARKOV
Vincent Mazet
CRAN – CNRS UMR 7039,
Universit´e Henri Poincar´e,
54506 Vandœuvre-l`es-Nancy Cedex
10 juillet 2003

Sommaire
1. Introduction
2. ` A quoi ¸ca sert ?
– G´en´eration de variables al´eatoires
– Int´egration
– Optimisation
3. M´ethodes non MCMC
– Inversion de la fonction de r´epartition
– G´en´eration de VA uniformes
– G´en´eration de VA non uniformes
4. Chaˆınes de Markov
5. Algorithmes de Metropolis–Hastings
6. ´ Echantillonnage de Gibbs
7. M´ethodes hybrides
8. Conclusion
9. Bibliographie
2/29

Introduction
MCMC = Markov Chain Monte Carlo
Les m´ethodes MCMC cr´eent une longue chaˆıne de Markov {xi}dont les
´echantillons sont distribu´es asymptotiquement selon la distribution requise π(x),
on dispose ainsi de VA distribu´ees suivant π.
0 50 100 150 200
0
1
2
3
4
5
6
7
8
9
10
PSfrag replacements
π=Ga(3,1)
chaˆıne de Markov : xine d´epend que de xi−1
p(xi|xi−1, ..., x0) = p(xi|xi−1)
3/29

Introduction
Historique
Les m´ethodes MCMC sont apparues il y a 50 ans pour la physique statistique
[Metropolis et al. 1953].
1970 : article pr´ecurseur de Hastings.
1984 : ´echantillonneur de Gibbs [Geman & Geman 1984].
1990 : apparition des m´ethodes MCMC dans la litt´erature statistique et
d’analyse du signal [Gelfand & Smith 1990] grˆace aux progr`es de l’informatique.
4/29

Utilit´e des m´ethodes MCMC
1. ´ Echantillonnage de variables al´eatoires
x∼π(x)
I´echantillonnage de variables al´eatoires, calcul d’int´egrales, optimisation de
fonctions,...
Iutilisation de m´ethodes usuelles (si πest relativement simple) ou MCMC (s’il
n’est pas possible d’utiliser les m´ethodes usuelles).
5/29