Distribution stationnaire et distribution asymptotique

Distribution stationnaire et distribution
asymptotique
M. Petitot
13 f´evrier 2009
Introduction
Soit π(t) le vecteur stochastique `a l’instant t∈N(autrement dit, πk(t) est la proba-
bilit´e que le syst`eme dynamique soit dans l’´etat no k`a l’instant t) et Pla matrice de
transition (autrement dit, Pi,j est la probabilit´e que le syst`eme dynamique transite de
l’´etat no ivers l’´etat no jentre les instants tet t+ 1). On sait que l’on a, pour tout
entier n∈N
π(t+n) = π(t)Pn(1)
et en particulier π(n) = π(0) Pn.
La distribution asymptotique π(∞) est la limite (si elle existe) du vecteur stochastique
π(n) lorsque le temps n→ ∞. Cette distribution est importante car elle indique la
probabilit´e que le syst`eme soit dans l’´etat no kau bout d’un temps tr´es (infiniement)
long. En g´en´eral, cette distribution asymptotique existe et ne d´epend pas du vecteur
stochastique inititial π(0) mais ceci n’est pas vrai dans certains cas particuliers.
Une distribution π∗:= π∗(t) est dite stationnaire ssi elle est constante lorsque le
temps ts’´ecoule, autrement dit, on a forc´ement π∗(t+ 1) = π∗(t) pour tout instant t,
ce qui entraine π∗=π∗P. Pour une chaine de Markov ayant un nombre fini d’´etats,
cette distribution stationnaire existe. Elle est unique quand la chaine est irr´eductible (le
graphe qui repr´esente la chaine est fortement connexe), autrement dit, lorsqu’on peut
transiter avec une probabilit´e non nulle de n’importe quel ´etat vers n’importe quel ´etat.
En g´en´eral, la distribution asymptotique et la distribution stationnaire coincident.
Le but du TP est d’´etudier deux cas de chaines de Markov, l’une est irr´eductible et
l’autre non.
Pour effectuer les calculs, il faut disposer de proc´edures permettant de calculer les
produits (vecteur matrice), (matrice matrice) ainsi que le calcul rapide de la puissance
n-ieme d’une matrice quand nest un entier grand. Vous pouvez faire les calculs
– en java en utilisant un paquetage d’alg`ebre lin´eaire, par exemple jama que l’on
peut t´el´echarger `a l’adresse
1

http://math.nist.gov/javanumerics/jama/
– en python en utilisant le paquetage de calcul num´erique numpy. Le langage py-
thon fait l’objet de d´eveloppements tr´es rapides dans des domaines extr`emement
vari´es. Il est tr´es pratique car on peut travailler en mode interpˆet´e, ce qui dispense
d’effectuer des compilations et donc raccourcit le temps pass´e pour r´esoudre des
probl`emes. On a aussi sous la main des outils pour faire des repr´esentations gra-
phiques dans le style gnuplot. Je vous fournis un fichier exemple.py que l’on
peut ex´ecuter en tapant
python exemple.py
Un astuce consiste `a rendre le script python ex´ecutable depuis un shell unix,
par la commande unix chmod. La premi`ere ligne du script contient l’appel `a l’in-
teprˆeteur python, `a savoir # !/usr/bin/env python.
Attention, dans les programmes python, les blocs sont d´elimit´es par l’indentation
du texte. Je vous conseille donc d’utiliser comme ´editeur de texte gedit en confi-
gurant la tabulation sur 4 caract`eres et en demandant que lors d’une sauvegarde,
les caract`eres de tabulation soient remplac´es par 4 espaces.
– en matlab qui est un logiciel tr´es complet de calcul num´erique, mais qui a l’in-
conv´enient d’´etre cher `a l’achat.
– en maple en utilisant la librairie LinearAlgebra.
L’avantage de maple est que l’on peut tout faire : calculs symboliques, calculs
num´eriques et repr´esentations graphiques. C’est un logiciel assez long `a maitriser
qui coute cher `a l’achat, mais l’USTL dispose d’une licence.
1 La ruine du joueur
Pierre joue 1 Euro `a chaque partie (avec la probabilit´e pde gagner la partie et la
probabit´e 1−pde la perdre. Il s’arrˆete lorsqu’il poss`ede 3 Euros. Le graphe de la chaine
est donc
q
1
q
pp
11 2 30
Fig. 1 – Le probl`eme de la ruine du joueur
en supposant que q:= 1 −p.
Pour les simulations, on essayera plusieurs valeurs de p. Le jeu est ´equilibr´e si la
moyenne des gains est nulle (E(G) = 0), ce qui se produit lorsque p= 1/2.
Q 1.1 – Cette chaine est–elle irr´eductible ?.
2

Q 1.2 – Calculer la matrice Pnpour nassez grand. Commenter.
Q 1.3 – Calculer la distribution asymptotique suivant que somme initiale poss´ed´ee
par le joueur est 0, 1, 2 ou 3. Cette distribution asymptotique d´epend–elle de la somme
initiale poss´ed´ee par le joueur ?
Q 1.4 – Y–a t’il une ou plusieurs distributions stationnaires stationnaires ?
2 Installation d’ascenceurs
Cette exercice du poly (1.12) a ´et´e trait´e en TD. La chaine de Markov est
0
B1 B2
A
q
qq
1
¯p¯q
p¯q¯p¯q
p¯q
¯p¯q
π1
π0
π2
π3
p¯q
Fig. 2 – Installation d’ascenceurs
La matrice de transition est
P=
¯p¯q p¯q q 0
¯p¯q p¯q q 0
0 0 0 1
¯p¯q p¯q q 0
en posant ¯p:= 1 −pet ¯q:= 1 −q. En principe p:= 0.5 et q:= 0.6.
Q 2.5 – Cette chaine est–elle irr´eductible ?.
Q 2.6 – Calculer la matrice Pnpour nassez grand. Commenter.
Q 2.7 – Calculer la distribution asymptotique suivant que l’´etat initial est 0, A, B1
ou B2. Cette distribution asymptotique d´epend–elle du vecteur stochastique initial ?
Q 2.8 – Y–a t’il une ou plusieurs distributions stationnaires ?
3