3. Chaîne de Markov

0
Chaînes de Markov
1. Processus aléatoire : définition. ......................................................................... 1
2. Les probabilités de transition ............................................................................ 2
3. Chaîne de Markov ............................................................................................. 3
4. Matrice de transition .......................................................................................... 4
5. Probabilité pour que le système soit dans un état donné à une époque donnée 5
6. Probabilité pour qu'un système passe d'un état donné à un autre en n étapes. . 6
7. Démonstration du théorème 1 ........................................................................... 7
8. Les matrices 22 ............................................................................................... 8
9. Le théorème fondamental .................................................................................. 9
10. Suites numériques utilisées pour les chaînes de Markov de dimension 2 .... 10
11. Application à l’expression de la puissance d’une matrice en dimension 2... 11
12. Matrice de Markov en dimension 2............................................................... 12
13. La puissance nième d’une matrice de transition. .......................................... 13
Solutions des exercices ........................................................................................ 14
Cliquer sur le paragraphe désiré, pour revenir ici cliquer sur Haut du document
pour revenir ici.

1
1. Processus aléatoire : définition.
Un système physique peut se trouver dans les états suivants :
N
E,....,
2
E,
1
E
,……..
A chaque valeur entière de n on fait correspondre une variable aléatoire
n
X
.
Les valeurs possibles de
n
X
sont les entiers
.,.....N.....,,2,1
L’événement
i
n
X
se lit : « le système S est dans l’état
j
E
à l’instant n ».
La probabilité que le système se trouve dans l’état
j
E
à l’instant n est:
j
n
XP 
.
On note
)n(
j
p
cette probabilité.
j
n
XP)n(
j
p
On définit donc les variables aléatoires :
,.......
1n
X,
n
X,.....,
2
X,
1
X,
0
X
Définition
La donnée des variables aléatoires
,...
1n
X,
n
X,.....,
2
X,
1
X,
0
X
est un
processus aléatoire.
Exercice 1
Je possède 1, 2 ou 3 Euros pour participer au jeu suivant:
On lance un dé si celui-ci tombe sur la face 1 ou 6 on gagne 2 Euros sinon rien.
Le droit de participation à chaque lancer est 1 Euro. J'ai décidé de vous donner
1 Euro si ma fortune s’élève à 4 Euros et je continuerai à jouer mais si je suis
ruiné vous me donnerez 1 Euro pour pouvoir continuer à jouer.
1) Quels sont les états possibles de ma fortune? 2) Sachant que ma fortune est 1
Euro à un moment donné, quelle est la probabilité qu'elle soit augmentée après
ma prochaine participation au jeu? Quelle est la probabilité qu’elle reste à 1
Euro ? Sachant que ma fortune est 3 quelle est la probabilité qu’elle reste à 3 ?
Quelle est la probabilité qu'elle soit diminuée ?
3) On désigne par
n
X
l'état de ma fortune après avoir participé n fois au jeu.
Pour quels sont les couples d'entiers (i, j) pour lesquels
.0i
n
Xj
1n
XP 
Donner dans chaque cas cette probabilité.
Haut du document

2
2. Les probabilités de transition
Pour n’importe quel entier n la probabilité conditionnelle :
i
n
Xj
1n
XP 
1se lit : « la probabilité que le système soit dans l’état
j
E
à l’instant n+1 sachant
qu’il était dans l’état
i
E
à l’instant n.
Cette probabilité ne dépend pas de l’instant n mais uniquement des états
numérotés i et j, elle se note :
j,i;n
p
Attention à l’ordre inversé des indices i et j.
La probabilité de passer à l’état numéro j à un instant n+1 sachant qu’il était à
l’état numéro i à l’instant précédent n est
j,i;n
p:
j,i;n
pi
n
Xj
1n
XP 
Exercice 2
Dans le cadre de l'exercice 1:
a)donner les valeurs de
)3
1
X(P,)2
1
X(P),1
1
X(P: 
si je possède 1Euro au
départ, puis si je possède 2 Euros, puis 3.
b) donner les valeurs de
j,i;1
p
qui sont non nulles.
c) donner les valeurs possibles de la variable aléatoire
2
X
ainsi que sa
distribution de probabilités, son espérance mathématique, sa variance et son
écart type si je possède 1 Euro au départ.
Haut du document

3
3. Chaîne de Markov
Situation
On se donne le processus
,.......
1n
X,
n
X,.....,
2
X,
1
X,
0
X
.
On suppose que la probabilité conditionnelle
i
n
Xj
1n
XP: 
ne dépend
pas de l’instant n mais uniquement des états numérotés i et j, elle se note :
j,i
p
Un tel processus s'appelle "chaîne de Markov".
.
ue.stochastiq calcul
du originel' à Markov chaînes lespoint au mis a Il g.Petersbour-Saint
de universitél' à Tchebychev de élève Razian, à né russeien Mathématic
1922)juillet 20-1856juin Markov(2 Andreevich Andrei
En quelque sorte: "le Futur ne dépend pas du Passé".(voir plus loin)
Définition
Le processus
,.......
1n
X,
n
X,.....,
2
X,
1
X,
0
X
est une chaîne de Markov veut
dire:
j,i
pi
n
Xj
1n
XP
j,i;n
p
Exercice 3
Le jeu de l'exercice 1 définit-il une chaîne de Markov?
Haut du document

4
4. Matrice de transition
Un système physique peut se trouver dans nombre N fini d'états :
N
E,....,
2
E,
1
E
Il lui correspond le processus
,.......
1n
X,
n
X,.....
2
X,
1
X,
0
X
Pour n’importe quel entier n:
i
n
Xj
1n
XP 
est la probabilité que le
système soit dans l’état
j
E
à l’instant n+1 sachant qu’il était dans l’état
i
E
à
l’instant n i et j étant des entiers de l'intervalle
.N,1
Pour chaque valeur de l'entier n on définit la matrice de transition:
N
n
XN
1n
XP..N
n
Xj
1n
XP...N
n
X1
1n
XP
.
i
n
XN
1n
XP...i
n
Xj
1n
XP...i
n
X1
1n
XP
.
1
n
XN
1n
XP....1
n
Xj
1n
XP....1
n
X1
1n
XP
n
T
Lorsque
,.......
1n
X,
n
X,.....
2
X,
1
X,
0
X
est une chaîne de Markov la matrice de
transition ne dépend pas de n et elle s'écrit avec les notations du paragraphe 3:
NN
p...........
Nj
p...........
1N
p
.
iN
p..............
ij
p...........
1i
p
.
N1
p.............
j1
p........
11
p
P
Exercice 4
Quelle est la somme des termes de chaque ligne de la matrice de transition?
Construire la matrice de transition de la chaîne de Markov définie dans
l'exercice 1.
Haut du document