3. Chaîne de Markov

0
Chaînes de Markov
1. Processus aléatoire : définition. ......................................................................... 1
2. Les probabilités de transition ............................................................................ 2
3. Chaîne de Markov ............................................................................................. 3
4. Matrice de transition .......................................................................................... 4
5. Probabilité pour que le système soit dans un état donné à une époque donnée 5
6. Probabilité pour qu'un système passe d'un état donné à un autre en n étapes. . 6
7. Démonstration du théorème 1 ........................................................................... 7
8. Les matrices 22 ............................................................................................... 8
9. Le théorème fondamental .................................................................................. 9
10. Suites numériques utilisées pour les chaînes de Markov de dimension 2 .... 10
11. Application à l’expression de la puissance d’une matrice en dimension 2... 11
12. Matrice de Markov en dimension 2............................................................... 12
13. La puissance nième d’une matrice de transition. .......................................... 13
Solutions des exercices ........................................................................................ 14
Cliquer sur le paragraphe désiré, pour revenir ici cliquer sur Haut du document
pour revenir ici.
1
1. Processus aléatoire : définition.
Un système physique peut se trouver dans les états suivants :
E1, E 2 ,....,E N ,……..
A chaque valeur entière de n on fait correspondre une variable aléatoire X n .
Les valeurs possibles de X n sont les entiers 1, 2, ....., N,......
L’événement X n  i  se lit : « le système S est dans l’état E j à l’instant n ».
La probabilité que le système se trouve dans l’état E j à l’instant n est:
PX n  j .
On note p j ( n ) cette probabilité.
p j (n )  PX n  j
On définit donc les variables aléatoires :
X 0 , X1, X 2 ,.....,X n , X n 1,.......
Définition
La donnée des variables aléatoires X 0 , X1, X 2 ,.....,X n , X n 1,... est un
processus aléatoire.
Exercice 1
Je possède 1, 2 ou 3 Euros pour participer au jeu suivant:
On lance un dé si celui-ci tombe sur la face 1 ou 6 on gagne 2 Euros sinon rien.
Le droit de participation à chaque lancer est 1 Euro. J'ai décidé de vous donner
1 Euro si ma fortune s’élève à 4 Euros et je continuerai à jouer mais si je suis
ruiné vous me donnerez 1 Euro pour pouvoir continuer à jouer.
1) Quels sont les états possibles de ma fortune? 2) Sachant que ma fortune est 1
Euro à un moment donné, quelle est la probabilité qu'elle soit augmentée après
ma prochaine participation au jeu? Quelle est la probabilité qu’elle reste à 1
Euro ? Sachant que ma fortune est 3 quelle est la probabilité qu’elle reste à 3 ?
Quelle est la probabilité qu'elle soit diminuée ?
3) On désigne par X n l'état de ma fortune après avoir participé n fois au jeu.
Pour quels sont les couples d'entiers (i, j) pour lesquels
PX n 1  j X n  i   0.
Donner dans chaque cas cette probabilité.
Haut du document
2
2. Les probabilités de transition
Pour n’importe quel entier n la probabilité conditionnelle :
PX n 1  j X n  i 
1se lit : « la probabilité que le système soit dans l’état E j à l’instant n+1 sachant
qu’il était dans l’état E i à l’instant n.
Cette probabilité ne dépend pas de l’instant n mais uniquement des états
numérotés i et j, elle se note : p n;i, j
Attention à l’ordre inversé des indices i et j.
La probabilité de passer à l’état numéro j à un instant n+1 sachant qu’il était à
l’état numéro i à l’instant précédent n est : p n;i, j
PX n 1  j X n  i   p n; i, j
Exercice 2
Dans le cadre de l'exercice 1:
a)donner les valeurs de : P(X1  1), P(X1  2) , P(X1  3) si je possède 1Euro au
départ, puis si je possède 2 Euros, puis 3.
b) donner les valeurs de p1;i, j qui sont non nulles.
c) donner les valeurs possibles de la variable aléatoire X 2 ainsi que sa
distribution de probabilités, son espérance mathématique, sa variance et son
écart type si je possède 1 Euro au départ.
Haut du document
3
3. Chaîne de Markov
Situation
On se donne le processus X 0 , X1, X 2 ,.....,X n , X n 1,........
On suppose que la probabilité conditionnelle : PX n 1  j X n  i  ne dépend
pas de l’instant n mais uniquement des états numérotés i et j, elle se note : p i, j
Un tel processus s'appelle "chaîne de Markov".
Andrei Andreevich Markov(2 juin 1856 - 20 juillet 1922)
Mathématic ien russe né à Razian, élève de Tchebychev à l' université de
.
Saint - Petersbourg. Il a mis au point les chaînes Markov à l' origine du
calcul stochastique.
En quelque sorte: "le Futur ne dépend pas du Passé".(voir plus loin)
Définition
Le processus X 0 , X1, X 2 ,.....,X n , X n 1,.......est une chaîne de Markov veut
dire:
p n;i, j  PX n 1  j X n  i   pi, j
Exercice 3
Le jeu de l'exercice 1 définit-il une chaîne de Markov?
Haut du document
4
4. Matrice de transition
Un système physique peut se trouver dans nombre N fini d'états :
E1, E 2 ,....,E N
Il lui correspond le processus X 0 , X1, X 2 ,.....X n , X n 1,.......
Pour n’importe quel entier n: PX n 1  j X n  i  est la probabilité que le
système soit dans l’état E j à l’instant n+1 sachant qu’il était dans l’état E i à
l’instant n i et j étant des entiers de l'intervalle 1, N .
Pour chaque valeur de l'entier n on définit la matrice de transition:
 PX n 1  1 X n  1....PX n 1  j X n  1....PX n 1  N  X n  1 


.


Tn  PX n 1  1 X n  i ...PX n 1  j X n  i ... PX n 1  N  X n  i  


.

 PX


n 1  1 X n  N ...PX n 1  j X n  N ..PX n 1  N  X n  N 
Lorsque X 0 , X1, X 2 ,.....X n , X n 1,.......est une chaîne de Markov la matrice de
transition ne dépend pas de n et elle s'écrit avec les notations du paragraphe 3:
 p11 ........p1 j.............p1N 


.



P   pi1...........pij ..............piN 


.

 p N1...........p Nj ...........p NN 


Exercice 4
Quelle est la somme des termes de chaque ligne de la matrice de transition?
Construire la matrice de transition de la chaîne de Markov définie dans
l'exercice 1.
Haut du document
5
5. Probabilité pour que le système soit dans un état donné à une époque donnée
On se place dans le cas système physique peut se trouver dans nombre N fini
d'états :
E1, E 2 ,....,E N
Il lui correspond le processus X 0 , X1, X 2 ,.....X n , X n 1,.......
Pour tout j  1,2,..., N  :
N
PX n  j 
PX n  j X n 1  k   PX n 1  k 
k 1
On note p j ()  P X   j



N
p j (n ) 
 p k (n  1)  p k, j
k 1
On a utilisé la Formule des Probabilités Totales.
Exercice 5
Utiliser la matrice de transition pour donner les distributions de probabilités des
variables aléatoires X1, X 2 , X 3 de la chaîne de Markov de l'exercice 1.
Haut du document
6
6. Probabilité pour qu'un système passe d'un état donné à un autre en n étapes.
On s'intéresse à la probabilité PX n  j X 0  i  : le passage de l'état i à l'état j
en n étapes.
On est dans le cas d’une chaîne de Markov
Cette probabilité est notée: p i, j (n )
pi, j (n )  PX n  j X 0  i 
Remarque
1 si i  j
PX 0  j X 0  i   
0 si i  j
Notation
 p 1,1 (n ) p 1,2 (n )......p 1, N (n ) 


 p (n ) p
(n ).......p
(n ) 
2
,
1
2
,
2
2
,
N


P( n ) 
 .................



 p N,1(n ) p N,2 (n ) .......p N, N (n ) 


Propriété
P(0)  I, P(1)  P, P(2)  P(1)  P
Théorème 1
P(n )  P n
Exercice 6
Dans le cadre de l’exercice 1, calculer P (2) puis P (3) en utilisant le théorème.
Haut du document
7
7. Démonstration du théorème 1
Il faut montrer que pour tout n : P(n )  P n où P est la matrice de transition de la
chaîne de Markov.
1 si i  j
PX 0  j X 0  i   
0 si i  j
s'écrit :
1 si i  j
pi, j (0)  
0 si i  j
donc : P(0)  I.
pi, j (1)  P(X1  j / X 0  i)  pi, j
donc : P(1)  P  P1
Supposons: P(n )  P n et montrons que P(n  1)  P n 1.
On a :
N
pi, j (n  1) 
p i, k ( n ) p k , j
k 1

Exercice 7
La matrice de transition d’une chaîne de Markov est :
 0,40 0,60 


 0,70 0,30 
Calculer P (2), P (4), P (8).
Haut du document
8
8. Les matrices 22
Une matrice 22 est un objet qui possède 4 attributs significatifs
a b 

A  
c d
Les attributs de A
La trace de A : T(A)  a  d
Le déterminant de A D(A)  ad  bc
Le polynôme caractéristique de A : PA ()  2  T(A)  D(A)
Le spectre de A : Sp(A)  Ensemble de racines de PA ( ).
Exemple
 4  2

A  
5  3 
La trace de A : T(A)  1
Le déterminant de A D(A)  2
Le polynôme caractéristique de A : PA ()  2    2
Le spectre de A : Sp (A)   1; 2 
Exercice 8
4
Donner tous les attributs de la matrice A  
3
Haut du document
 7

 5 
9
9. Le théorème fondamental
Pour la matrice A on a toujours:
A 2  T(A).A  D(A).I  O
avec :
1 0 
0 0
 O  

I  
0
1
0
0




Conséquence
A 2  T(A).A  D(A).I
A 3  T(A).A 2  D(A).A
A 4  T(A).A 3  D(A).A 2
............................................................
A n 1  T(A).A n  D(A).A n 1
............................................................
Exemple
 4  2

A  
5

3


 4  2  4  2  6  2
  
  

A 2  
 5  3   5  3   5  1
A 2  T(A).A  D(A).I 
6

5
 2  4

 1   5
 2  1
  2
 3   0
0  6  4  2

1  5  5
 2  2  0

 1  3  2   0
0

0 
 4  2  1 0   6  2 
  2
  

A 2  
 5  3   0 1  5  1 
Exercice 9
Que se passe t’il si D (A)=0 ? Si T (A)=1 et D (A)=0 ?
Calculer à l’aide de la procédure précédente
n
 4  2
n
 pour n  3 et 4.
A  
5  3 
début
10
10. Suites numériques utilisées pour les chaînes de Markov de dimension 2
Suite des coefficients de la puissance n en dimension 2
b 
a
a b 
 A n   n n 
A  
c d
 cn d n 
Le théorème fondamental donne
A n 1  T  A n  D  A n 1 :
b 
b
 a n 1 b n 1 
a
a


  T   n n   D   n 1 n 1  avec T(A)  T, D(A)  D.
 c n 1 d n 1 
 cn d n 
 c n 1 d n 1 
On obtient 4 suites numériques :
a n 1  Ta n  Da n 1

c n 1  Tc n  Dc n 1
Ces suites sont du type
b n 1  Tb n  Db n 1

d n 1  Td n  Dd n 1
v n 1  pv n  qv n 1
On peut exprimer v n en fonction de n.
Méthode
Si Av n 1  Bv n  Cv n 1  0
L’équation caractéristique est (EC) Ar 2  Br  C  0 .
1) L’équation admet deux solutions distinctes r1 et r2 : la suite numérique est de la
forme : v n  r1n  r2 n où  et  sont des constantes à déterminer .
2) L’équation admet une seule solution r0 : la suite numérique est de la forme :
v n  r0 n (n  ) où  et  sont des constantes à déterminer .
Détermination des constantes α et β
Si v0 et v1 sont donnés on trouve  et  :
  v 0
    v 0
ou
bien


r1  r2  v1
r0 (  )  v1
Exercice 10
Que se passe-t-il si les deux racines de (EC) sont 1 et 0 ?
u n 1  u n  u n 1 avec u 0  u1  1 exprimer u n .
Haut du document
11
11. Application à l’expression de la puissance d’une matrice en dimension 2
Exemple
 4  2

A  
5

3


La trace de A : T(A)  1
Le déterminant de A D(A)  2
Le polynôme caractéristique de A : PA ()  2    2
Le spectre de A : Sp (A)   1; 2 
On obtient les quatre suites :
a n 1  a n  2a n 1
b n 1  b n  2b n 1


c n 1  c n  2c n 1
d n 1  Td n  2d n 1
Pour chacune de ces suites l’équation caractéristique est la même et admet pour
solutions −1 et 2. Chacune de ces suites est de la forme :
v n  (1) n    2 n
Rappel
1 0  1
 A  A
A 0  I  
0
1


    1
    0
Pour a n : 
Pour b n : 
   2  4
   2  2
5
2
2


3
3
3
    0
    1
Pour c n : 
Pour d n : 
   2  5
   2  3
5
5
5
2




3
3
3
3
 2
n 5 n 2  (1) n  2  2 n 
   (1)   2

3
3
3
 3

n

A 


  5  (1) n  5  2 n 5  (1) n  2  2 n 
3
3
3
 3

Exercice 11
n
1 1 
Exprimer 
 en fonction de n.
1 0 
Haut du document

2
3

12
12. Matrice de Markov en dimension 2
Soit X 0 , X1, ....,X n , X n 1,.....processus de Markov à deux états E1, E 2  .
Par exemple :
E1 " ll fait beau le 31 décembre"E 2 " ll ne fait pas beau le 31 décembre"
P(X n  1) " ll fait beau le 31 décembre de l' année n"
P(X n  2) " ll ne fait pas beau le 31 décembre de l' année n".
Matrice de transition
P(X n 1  2 / X n  1)  p12 
 P(X n 1  1 / X n  1)  p11

P  
P
(
X

1
/
X

2
)

p
P
(
X

2
/
X

2
)

p

n 1
n
21
n 1
n
22 
On sait :
 P(X n  1 / X 0  1)  p11 (n ) P(X n  2 / X 0  1)  p12 (n ) 

P n  
 P(X n  1 / X 0  2)  p 21 (n ) P(X n  2 / X 0  2)  p 22 (n ) 
Il faudra élever la matrice P à la puissance n.
Pour simplifier l’écriture :
a b

P  
c
d


Pour que P soit la matrice de transition il faut et il suffit que les conditions
suivantes soient satisfaites :
a , b, c, d sont des réels de l' intervalle 0, 1
a  b 1
c  d 1
donc :a  b  c  d  2.
Les attributs de P
La trace: T  a  d . Le déterminan t : D  T  1.
Le polynôme caractéristique : 2  T  T  1.
Le Spectre :Sp  1, T  1.
Remarque
Ces résultats appartiennent à des calculs élémentaires.
Exercice 12 Vérifier les résultats donnant les attributs d’une matrice de
transition en dimension 2.
A l’aide des résultats, donner les attributs de la matrice de transition
 0,40 0,60 

P  
 0,30 0,70 
Haut du document
13
13. La puissance nième d’une matrice de transition.
a
P  
c
b

d 
a , b, c, d sont des réels de l' intervalle 0, 1
a  b  1 c  d  1 donc :a  b  c  d  2.
La trace: T  a  d . Le déterminan t : D  T  1.
Le polynôme caractéristique : 2  T  T  1.
Le Spectre :Sp  1, T  1.
On suppose T≠1
b
b
a

a b 
a

P n   n 1 n 1   T   n n   (T  1)   n 1 n 1  .
 c n 1 d n 1 
 cn d n 
 c n 1 d n 1 
On obtient 4 suites numériques :
a n 1  Ta n  (T  1)a n 1  0
b n 1  Tb n  (T  1)b n 1  0


c n 1  Tcn  (T  1)c n 1  0
d n 1  Td n  (T  1)d n 1  0
Ces suites sont du type de la suite v n telle que : v n 1  Tv n  (T  1) v n 1  0 .
L’équation caractéristique r 2  Tr  T  1  0 admet 1 et T  1 pour solutions.
Donc :
v n    (T  1) n
Les conditions initiales imposées sont :
a 0  1, a1  a . b 0  0, b1  b . c 0  0, c1  c . d 0  1, d1  d .
Avec ces conditions initiales on trouve chaque suite et la matrice P n .
 c  b(T  1) n

b  b(T  1) n


1 
n

P 

c  b
n
 c  c(T  1) n

b  c(T  1)


Exercice 13 Vérifier le résultat obtenu et appliquer ce résultat à la matrice de
transition :
n
 0,40 0,60 
 0,40 0,60 
 .
 .
P  
Donner : 
 0,30 0,70 
 0,40 0,60 
Haut du document
14
Solutions des exercices
Exercice 1
Je possède 1ou 2 ou 3 Euros pour participer au jeu suivant:
On lance un dé si celui-ci tombe sur la face 1 ou 6 on gagne 2 Euros sinon rien.
Le droit de participation à chaque lancer est 1 Euro. J'ai décidé de vous donner
1 Euro si ma fortune s’élève à 4 Euros et je continuerai à jouer mais si je suis
ruiné vous me donnerez 1 Euro pour pouvoir continuer à jouer.
1) Quels sont les états possibles de ma fortune? 2) Sachant que ma fortune est 1
Euro à un moment donné, quelle est la probabilité qu'elle soit augmentée après
ma prochaine participation au jeu? Quelle est la probabilité qu’elle reste à 1
Euro ? Sachant que ma fortune est 3 quelle est la probabilité qu’elle reste à 3 ?
Quelle est la probabilité qu'elle soit diminuée ?
3) On désigne par X n l'état de ma fortune après avoir participé n fois au jeu.
Pour quels sont les couples d'entiers (i, j) pour lesquels
PX n 1  j X n  i   0.
Donner dans chaque cas cette probabilité.
Solution
1) E1  1, E 2  2, E 3  3
1 2 1 2
2) , ; , .
3 3 3 3
3)
j 1
i 1 2
3
i2 2
3
i3 0
j 2 j3
0
1
3
0
1
3
1
2
3
3
Haut du document
15
Exercice 2
1) Dans le cadre de l'exercice 1:
a)donner les valeurs de : P(X1  1), P(X1  2) , P(X1  3) si je possède 1Euro au
départ, puis si je possède 2 Euros, puis 3.
b) donner les valeurs de p1;i, j qui sont non nulles.
c) donner les valeurs possibles de la variable aléatoire X 2 ainsi que sa
distribution de probabilités, son espérance mathématique, sa variance et son
écart type si je possède 1 Euro au départ.
Solution
a)
2
1
Si je possède 1 Euro : P(X1  1)  , P(X1  2)  , P(X1  3)  0 .
3
3
2
1
Si je possède 2 Euros : P(X1  1)  , P(X1  2)  0 , P(X1  3) 
3
3
2
1
Si je possède 3 Euros : P(X1  1)  0, P(X1  2)  , P(X1  3) 
3
3
b)
j 1 j  2 j  3
0
1
i 1 2
3
3
0
1
i2 2
3
3
i3 0
1
2
3
3
c)
6
P(X 2  1)  P(X 2  1 / X1  1)P(X1  1)  P(X 2  1 / X1  2)P(X1  2) 
9
2
P(X 2  2)  P(X 2  2 / X1  1)P(X1  1)  P(X 2  2 / X1  2)P(X1  2) 
9
1
P(X 2  3)  P(X 2  3 / X1  1)P(X1  1)  P(X 2  3 / X1  2)P(X1  2) 
9
13
207
207
E(X)  , V(X) 
, ( X ) 
9
81
81
Haut du document