Distribution stationnaire et distribution asymptotique

Distribution stationnaire et distribution
asymptotique
M. Petitot
13 février 2009
Introduction
Soit π(t) le vecteur stochastique à l’instant t ∈ N (autrement dit, πk (t) est la probabilité que le système dynamique soit dans l’état no k à l’instant t) et P la matrice de
transition (autrement dit, Pi,j est la probabilité que le système dynamique transite de
l’état no i vers l’état no j entre les instants t et t + 1). On sait que l’on a, pour tout
entier n ∈ N
π(t + n) = π(t) P n
(1)
et en particulier π(n) = π(0) P n .
La distribution asymptotique π(∞) est la limite (si elle existe) du vecteur stochastique
π(n) lorsque le temps n → ∞. Cette distribution est importante car elle indique la
probabilité que le système soit dans l’état no k au bout d’un temps trés (infiniement)
long. En général, cette distribution asymptotique existe et ne dépend pas du vecteur
stochastique inititial π(0) mais ceci n’est pas vrai dans certains cas particuliers.
Une distribution π ∗ := π ∗ (t) est dite stationnaire ssi elle est constante lorsque le
temps t s’écoule, autrement dit, on a forcément π ∗ (t + 1) = π ∗ (t) pour tout instant t,
ce qui entraine π ∗ = π ∗ P . Pour une chaine de Markov ayant un nombre fini d’états,
cette distribution stationnaire existe. Elle est unique quand la chaine est irréductible (le
graphe qui représente la chaine est fortement connexe), autrement dit, lorsqu’on peut
transiter avec une probabilité non nulle de n’importe quel état vers n’importe quel état.
En général, la distribution asymptotique et la distribution stationnaire coincident.
Le but du TP est d’étudier deux cas de chaines de Markov, l’une est irréductible et
l’autre non.
Pour effectuer les calculs, il faut disposer de procédures permettant de calculer les
produits (vecteur matrice), (matrice matrice) ainsi que le calcul rapide de la puissance
n-ieme d’une matrice quand n est un entier grand. Vous pouvez faire les calculs
– en java en utilisant un paquetage d’algèbre linéaire, par exemple jama que l’on
peut télécharger à l’adresse
1
http://math.nist.gov/javanumerics/jama/
– en python en utilisant le paquetage de calcul numérique numpy. Le langage python fait l’objet de développements trés rapides dans des domaines extrèmement
variés. Il est trés pratique car on peut travailler en mode interpêté, ce qui dispense
d’effectuer des compilations et donc raccourcit le temps passé pour résoudre des
problèmes. On a aussi sous la main des outils pour faire des représentations graphiques dans le style gnuplot. Je vous fournis un fichier exemple.py que l’on
peut exécuter en tapant
python exemple.py
Un astuce consiste à rendre le script python exécutable depuis un shell unix,
par la commande unix chmod. La première ligne du script contient l’appel à l’inteprêteur python, à savoir # !/usr/bin/env python.
Attention, dans les programmes python, les blocs sont délimités par l’indentation
du texte. Je vous conseille donc d’utiliser comme éditeur de texte gedit en configurant la tabulation sur 4 caractères et en demandant que lors d’une sauvegarde,
les caractères de tabulation soient remplacés par 4 espaces.
– en matlab qui est un logiciel trés complet de calcul numérique, mais qui a l’inconvénient d’étre cher à l’achat.
– en maple en utilisant la librairie LinearAlgebra.
L’avantage de maple est que l’on peut tout faire : calculs symboliques, calculs
numériques et représentations graphiques. C’est un logiciel assez long à maitriser
qui coute cher à l’achat, mais l’USTL dispose d’une licence.
1
La ruine du joueur
Pierre joue 1 Euro à chaque partie (avec la probabilité p de gagner la partie et la
probabité 1 − p de la perdre. Il s’arrête lorsqu’il possède 3 Euros. Le graphe de la chaine
est donc
p
1
0
1
q
p
2
3
1
q
Fig. 1 – Le problème de la ruine du joueur
en supposant que q := 1 − p.
Pour les simulations, on essayera plusieurs valeurs de p. Le jeu est équilibré si la
moyenne des gains est nulle (E(G) = 0), ce qui se produit lorsque p = 1/2.
Q 1.1 – Cette chaine est–elle irréductible ?.
2
Q 1.2 – Calculer la matrice P n pour n assez grand. Commenter.
Q 1.3 – Calculer la distribution asymptotique suivant que somme initiale possédée
par le joueur est 0, 1, 2 ou 3. Cette distribution asymptotique dépend–elle de la somme
initiale possédée par le joueur ?
Q 1.4 – Y–a t’il une ou plusieurs distributions stationnaires stationnaires ?
2
Installation d’ascenceurs
Cette exercice du poly (1.12) a été traité en TD. La chaine de Markov est
p̄q̄
π0
p̄q̄
0
q
π2
pq̄
p̄q̄
1
B1
B2
q
q
π1
π3
A
pq̄
pq̄
Fig. 2 – Installation d’ascenceurs
La matrice de transition est

p̄q̄
 p̄q̄
P =
 0
p̄q̄
pq̄
pq̄
0
pq̄
q
q
0
q

0
0

1
0
en posant p̄ := 1 − p et q̄ := 1 − q. En principe p := 0.5 et q := 0.6.
Q 2.5 – Cette chaine est–elle irréductible ?.
Q 2.6 – Calculer la matrice P n pour n assez grand. Commenter.
Q 2.7 – Calculer la distribution asymptotique suivant que l’état initial est 0, A, B1
ou B2. Cette distribution asymptotique dépend–elle du vecteur stochastique initial ?
Q 2.8 – Y–a t’il une ou plusieurs distributions stationnaires ?
3