Université de Montréal Étude de la performance d`un algorithme
Université de Montréal
Étude de la performance d’un algorithme Metropolis-Hastings avec ajustement
directionnel
par
Matei Mireuta
Département de mathématiques et de statistique
Faculté des arts et des sciences
Mémoire présenté à la Faculté des études supérieures
en vue de l’obtention du grade de Maître ès sciences (M.Sc.)
en mathématiques
août, 2011
c
Matei Mireuta, 2011.
Université de Montréal
Faculté des études supérieures
Ce mémoire intitulé:
Étude de la performance d’un algorithme Metropolis-Hastings avec ajustement
directionnel
présenté par:
Matei Mireuta
a été évalué par un jury composé des personnes suivantes:
Pierre Lafaye de Micheaux, président-rapporteur
Mylène Bédard, directrice de recherche
Jean-François Angers, membre du jury
Mémoireacceptéle: ..........................
RÉSUMÉ
Les méthodes de Monte Carlo par chaîne de Markov (MCMC) sont des outils très popu-
laires pour l’échantillonnage de lois de probabilité complexes et/ou en grandes dimen-
sions. Étant donné leur facilité d’application, ces méthodes sont largement répandues
dans plusieurs communautés scientifiques et bien certainement en statistique, particuliè-
rement en analyse bayésienne. Depuis l’apparition de la première méthode MCMC en
1953, le nombre de ces algorithmes a considérablement augmenté et ce sujet continue
d’être une aire de recherche active.
Un nouvel algorithme MCMC avec ajustement directionnel a été récemment déve-
loppé par Bédard et al. (IJSS, 9 :2008) et certaines de ses propriétés restent partiellement
méconnues. L’objectif de ce mémoire est de tenter d’établir l’impact d’un paramètre clé
de cette méthode sur la performance globale de l’approche. Un second objectif est de
comparer cet algorithme à d’autres méthodes MCMC plus versatiles afin de juger de sa
performance de façon relative.
Mots clés: échantillonneur indépendant, algorithme Metropolis-Hastings de type
marche aléatoire, taux de convergence, algorithme Metropolis adaptatif, candidats
multiples, diagnostics de convergence.
ABSTRACT
Markov Chain Monte Carlo algorithms (MCMC) have become popular tools for sam-
pling from complex and/or high dimensional probability distributions. Given their rel-
ative ease of implementation, these methods are frequently used in various scientific
areas, particularly in Statistics and Bayesian analysis. The volume of such methods has
risen considerably since the first MCMC algorithm described in 1953 and this area of
research remains extremely active.
A new MCMC algorithm using a directional adjustment has recently been described
by Bédard et al. (IJSS, 9:2008) and some of its properties remain unknown. The objec-
tive of this thesis is to attempt determining the impact of a key parameter on the global
performance of the algorithm. Moreover, another aim is to compare this new method to
existing MCMC algorithms in order to evaluate its performance in a relative fashion.
Keywords: independent sampler, random walk Metropolis-Hastings algorithms,
convergence rate, adaptive Metropolis algorithm, multiple proposals, convergence
diagnostics.
TABLE DES MATIÈRES
RÉSUMÉ ..................................... iii
ABSTRACT .................................... iv
TABLE DES MATIÈRES ............................ v
LISTE DES TABLEAUX ............................. vii
LISTE DES FIGURES ..............................viii
LISTE DES ANNEXES ............................. x
DÉDICACE .................................... xi
REMERCIEMENTS ............................... xii
INTRODUCTION ................................xiii
CHAPITRE 1 : INTRODUCTION AUX ALGORITHMES MCMC . . . . 1
1.1 Construction des algorithmes MCMC . . . . . . . . . . . . . . . . . . 1
1.2 Algorithmes MCMC élémentaires . . . . . . . . . . . . . . . . . . . . 4
1.3 Convergence des algorithmes MCMC . . . . . . . . . . . . . . . . . . 7
1.4 Taux de convergence des algorithmes MCMC . . . . . . . . . . . . . . 9
1.5 Théorème central limite des algorithmes MCMC . . . . . . . . . . . . 11
1.6 Diagnostics de convergence . . . . . . . . . . . . . . . . . . . . . . . . 15
1.6.1 Graphique de la trace d’un paramètre d’intérêt . . . . . . . . . 15
1.6.2 Densité (histogramme) de valeurs générées et chaînes parallèles 16
1.6.3 Taux d’acceptation . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6.4 Autocorrélation et distance de saut carrée moyenne . . . . . . . 17
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
1
/
101
100%
