E. Pardoux_493

Processus de Markov et applications
Algorithmes, Réseaux, Génome et Finance
É. Pardoux
11 septembre 2006

2

Table des matières
1 Monte Carlo 11
1.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Théorèmes de convergence . . . . . . . . . . . . . . . . . . . . 13
1.3 Simulation de variables aléatoires . . . . . . . . . . . . . . . . 18
1.4 Méthodes de réduction de variance . . . . . . . . . . . . . . . 22
1.5 Exercices.............................. 26
2 Chaînes de Markov 33
2.1 Définition et propriétés élémentaires. . . . . . . . . . . . . . . 34
2.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2.1 Marche aléatoire sur E=Zd. . . . . . . . . . . . . . . 37
2.2.2 Processus de Galton–Watson . . . . . . . . . . . . . . . 38
2.2.3 File d’attente en temps discret . . . . . . . . . . . . . . 38
2.3 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . 39
2.4 Etats récurrents et transitoires . . . . . . . . . . . . . . . . . . 41
2.5 Le cas récurrent irréductible . . . . . . . . . . . . . . . . . . . 44
2.6 Le cas apériodique . . . . . . . . . . . . . . . . . . . . . . . . 52
2.7 Chaîne de Markov réversible . . . . . . . . . . . . . . . . . . . 58
2.8 Statistique des chaînes de Markov . . . . . . . . . . . . . . . . 60
2.9 Exercices.............................. 61
2.10 Problèmes corrigés . . . . . . . . . . . . . . . . . . . . . . . . 68
2.10.1 Enoncés . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2.10.2 Corrigés . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3 Algorithmes stochastiques 85
3.1 Méthode MCCM . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.1.1 Un cadre d’application . . . . . . . . . . . . . . . . . . 88
3.1.2 Le modèle d’Ising . . . . . . . . . . . . . . . . . . . . . 90
3

4TABLE DES MATIÈRES
3.1.3 Analyse bayésienne d’images . . . . . . . . . . . . . . . 92
3.1.4 Chaînes chauffées . . . . . . . . . . . . . . . . . . . . . 93
3.2 Simulation de la probabilité invariante . . . . . . . . . . . . . 94
3.2.1 Simulation parfaite . . . . . . . . . . . . . . . . . . . . 95
3.2.2 Couplage depuis le passé . . . . . . . . . . . . . . . . . 99
3.3 Vitese de convergence . . . . . . . . . . . . . . . . . . . . . . . 101
3.4 Le recuit simulé . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 Chaînes de Markov et génome 111
4.1 Comment lire l’ADN ? . . . . . . . . . . . . . . . . . . . . . . 111
4.1.1 Les ilôts cpg . . . . . . . . . . . . . . . . . . . . . . . . 112
4.1.2 Recherche de gènes . . . . . . . . . . . . . . . . . . . . 113
4.2 Le modèle i.i.d . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.3 Le modèle de Markov . . . . . . . . . . . . . . . . . . . . . . . 115
4.3.1 Application aux ilôts cpg . . . . . . . . . . . . . . . . . 115
4.3.2 Recherche de gènes . . . . . . . . . . . . . . . . . . . . 116
4.3.3 Statistique des chaînes de Markov Mk . . . . . . . . . 117
4.3.4 Chaîne de Markov phasée . . . . . . . . . . . . . . . . 118
4.3.5 Chaîne de Markov localement homogène . . . . . . . . 118
4.4 Chaîne de Markov cachée . . . . . . . . . . . . . . . . . . . . . 119
4.4.1 Calcul de la vraisemblance . . . . . . . . . . . . . . . . 121
4.4.2 L’algorithme de Viterbi . . . . . . . . . . . . . . . . . . 122
4.4.3 Estimation des paramètres . . . . . . . . . . . . . . . . 123
4.5 Modèle semi–markovien caché . . . . . . . . . . . . . . . . . . 129
4.5.1 Les limites du modèle de Markov caché . . . . . . . . . 129
4.5.2 Chaîne semi–markovienne . . . . . . . . . . . . . . . . 130
4.5.3 Le modèle semi–markovien caché . . . . . . . . . . . . 131
4.5.4 Viterbi semi–markovien . . . . . . . . . . . . . . . . . 132
4.5.5 Recherche de gènes . . . . . . . . . . . . . . . . . . . . 133
4.6 Alignement de deux séquences . . . . . . . . . . . . . . . . . . 136
4.6.1 Algorithme de Needleman–Wunsch . . . . . . . . . . . 137
4.6.2 Chaîne de Markov cachée . . . . . . . . . . . . . . . . 138
4.6.3 Loi a posteriori de l’alignement . . . . . . . . . . . . . 142
4.6.4 Probabilité a posteriori . . . . . . . . . . . . . . . . . . 144
4.7 Un algorithme d’alignement multiple . . . . . . . . . . . . . . 146
4.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

TABLE DES MATIÈRES 5
5 Contrôle et filtrage 149
5.1 Contrôle optimal déterministe . . . . . . . . . . . . . . . . . . 149
5.2 Contrôle des chaînes de Markov . . . . . . . . . . . . . . . . . 151
5.3 Contrôle optimal linéaire quadratique . . . . . . . . . . . . . . 152
5.4 Filtrage des chaînes de Markov . . . . . . . . . . . . . . . . . 154
5.5 Le filtre de Kalman–Bucy . . . . . . . . . . . . . . . . . . . . 156
5.5.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.5.2 Solution du problème . . . . . . . . . . . . . . . . . . . 158
5.6 Contrôle avec observation partielle . . . . . . . . . . . . . . . 161
5.7 Exercices..............................163
6 Le processus de Poisson 165
6.1 Processus ponctuels et f.a. de comptage . . . . . . . . . . . . . 165
6.2 Le processus de Poisson . . . . . . . . . . . . . . . . . . . . . 166
6.3 Propriété de Markov . . . . . . . . . . . . . . . . . . . . . . . 170
6.4 Comportement asymptotique . . . . . . . . . . . . . . . . . . 174
6.5 Exercices..............................176
7 Processus markoviens de saut 181
7.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
7.2 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . 186
7.3 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . 189
7.4 Chaîne de Markov incluse . . . . . . . . . . . . . . . . . . . . 192
7.5 Classification des états . . . . . . . . . . . . . . . . . . . . . . 195
7.6 Le cas irréductible récurrent . . . . . . . . . . . . . . . . . . . 197
7.7 Réversibilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.8 Phylogénie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.8.1 Modèles d’évolution . . . . . . . . . . . . . . . . . . . . 206
7.8.2 Vraisemblance en phylogénie . . . . . . . . . . . . . . . 212
7.8.3 L’approche bayésienne en phylogénie . . . . . . . . . . 216
7.9 Application aux EDP discrétisées . . . . . . . . . . . . . . . . 219
7.10 Le recuit simulé (suite) . . . . . . . . . . . . . . . . . . . . . . 221
7.11 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.12 Probèmes corrigés . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.12.1 Enoncés . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.12.2 Corrigés . . . . . . . . . . . . . . . . . . . . . . . . . . 234