chaine de Markov

B.A. Ferrif
2-Chaînes de Markov
24/07/01
52
B.A. Ferrif
53
I-Introduction
La structure de chaîne de Markov modélise un type particulier de processus
stochastiques : les processus "sans mémoire" et pour lesquels les changements
d'état se produisent à des instants déterminés. Dans certaines situations où la
mémoire du passé intervient, le concept de processus de Markov sera étendu et
précisera le niveau de mémoire nécessaire.
La découverte en est due à Markov, qui l’a dégagée d’une étude statistique sur la
dépendance entre certaines lettres d’un texte littéraire [étude de l’alternance des
voyelles et des consonnes dans "Eugène Oneguine" de Pouchkine], considéré
pour l’occasion comme suite de symboles. Il est intéressant de penser qu’un
siècle plus tard, le modèle et la problématique sous-jacente sont utilisés avec
succès aussi bien dans des projets de haute technologie que dans la gestion des
organisations.
Cette structure se retrouve fréquemment comme modèle de phénomènes
naturels et les modèles markoviens se révèlent très efficaces dans de multiples
secteurs; en particulier :
∑
dans les systèmes assimilables à des réseaux de files d’attente, par exemple
dans le domaine des télécommunications avec les réseaux à commutation de
paquets ;
∑
dans les organisations de gestion : affectation de personnel, systèmes de
maintenance ;
∑
en démographie, pour étudier l’évolution de la taille d’une population ;
∑
en vie artificielle, pour étudier l’évolution d’une population sous l’influence des
facteurs de mutation et de sélection ;
24/07/01
B.A. Ferrif
∑
en physique, pour étudier les mouvements de particules sur les réseaux ;
∑
dans les systèmes de reconnaissance des formes ;
∑
…….
54
Le concept de chaîne de Markov cachée que nous introduirons en conclusion est,
quand à lui, à la base de nombreux algorithmes dans un grand nombre de
domaines (par exemple dans la reconnaissance du langage naturel ou encore
dans le séquençage du génome).
II-Prérequis et Objectifs
Ce que vous devez au minimum maîtriser pour aborder de ce chapitre :
∑
Probabilités : Concepts d’espace probabilisé, de variable aléatoire, de
dépendance et d’indépendance (en théorie des probabilités); la formule de
Bayes.
∑
Algèbre : Algèbre matricielle.
Ce que vous devez maîtriser pour tirer pleinement profit de ce chapitre :
∑
Probabilités : Concepts d’espace probabilisé, de variable aléatoire, de
dépendance et d’indépendance (en théorie des probabilités); la formule de
Bayes.
∑
Algèbre : l’algèbre matricielle, les notions de base de la théorie des graphes.
∑
Informatique: des éléments de programmation et des éléments de
programmation sous Mathematica
24/07/01
B.A. Ferrif
Ce que vous devez savoir faire à la fin de cette leçon :
∑
Savoir reconnaître un modèle markovien,
∑
Savoir en déterminer les principales caractéristiques,
∑
Savoir le modéliser et le simuler.
Ce qui vous est proposé dans ce chapitre :
∑
Apprendre les concepts fondamentaux,
∑
Apprendre à modéliser et à simuler des processus markoviens,
∑
S’exercer sur des applications immédiates,
∑
Réfléchir sur des problèmes concrets et de synthèse,
∑
S’évaluer par tests de connaissance et de savoir-faire.
24/07/01
55
56
B.A. Ferrif
1-Processus et Chaînes de Markov
1-1-Définition des Processus de Markov
Un processus aléatoire ( X t n ) t n ŒI est un processus de Markov (on dit parfois
processus de Markov d'ordre 1 ou de mémoire 1) s'il vérifie l'axiome suivant
fréquemment appelé propriété de Markov :
"( t0 , t1,..., tn -1, tn ) ΠI n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) ΠE n +1,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,
(
) (
)
P X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 = P X t n = x t n X t n-1 = x t n-1 .
Autrement dit :
La propriété de Markov exprime que l'état futur X t n ne dépend pas des états
passés X t i , i Œ {0,1, 2,.., n - 2} , mais seulement de l'état présent X t n -1 . Ainsi cette
propriété précise l'absence de mémoire du processus.
Chaîne et processus de Markov
1-Un processus de Markov tel que I=N et E dénombrable s'appelle une chaîne de
Markov à temps discret.
2-Un processus de Markov tel que I=N et E diffus s'appelle un processus de
Markov à temps discret.
3-Un processus de Markov tel que I=R et E dénombrable s'appelle une chaîne de
Markov à temps continu.
4-Un processus de Markov tel que I=R et E diffus s'appelle un processus de
Markov à temps continu.
24/07/01
57
B.A. Ferrif
1-2-Analogie déterministe
L'analogue déterministe d'un processus de Markov ( X t n ) t n ŒI est un processus
d'évolution ( x t , t Œ N ) qui est décrit par une équation de récurrence du premier
ordre de la forme
x t +1 = f ( x t , t) plutôt que par une relation du type
x t +1 = F ( x t , x t -1,..., x 0 , t) . Lorsque le phénomène est aléatoire les fonctions
x t +1 = f ( x t , t) et x t +1 = F ( x t , x t -1,..., x 0 , t) sont remplacées par les lois de probabilité
conditionnelle de la condition de Markov.
1- 3 – Exemple de chaîne de Markov : Marche aléatoire entre deux bornes
On considère un signal dont l’amplitude est comprise entre 0 et 5A et qui ne peut
prendre que des valeurs qui sont des multiples de A.
À tout instant n, si le signal vaut A, 2A, 3A ou 4A, il peut soit rester constant, soit
augmenter de A, soit diminuer de A avec équiprobabilité.
À tout instant n, si le signal vaut 0, il peut soit rester constant, soit augmenter de
A, avec équiprobabilité.
À tout instant n, si le signal vaut 5A, il peut soit rester constant, soit diminuer de
A avec équiprobabilité.
1 – 4 – Simulation
Ecrire un programme permettant de simuler une marche aléatoire entre 2 bornes.
1 – 5 – Exemple de chaîne de Markov : Marche aléatoire avec absorption
On considère un signal dont l’amplitude est comprise entre 0 et 5A et qui ne peut
prendre que des valeurs qui sont des multiples de A.
24/07/01
B.A. Ferrif
58
À tout instant n, si le signal vaut A, 2A, 3A ou 4A, il peut soit rester constant, soit
augmenter de A, soit diminuer de A avec équiprobabilité.
À tout instant n, si le signal vaut 0, il conserve la valeur 0.
À tout instant n, si le signal vaut 5A, il conserve la valeur 5A.
1 – 6 – Simulation
Ecrire un programme permettant de simuler une marche aléatoire avec
absorption.
1- 7 - Homogénéité d'un processus de Markov
Un processus de Markov est dit homogène s'il vérifie la propriété suivante :
Propriété d'homogénéité
"( s, t) ΠI 2 , "( x, y ) ΠE 2 , P ( X s = y X t = x ) = P ( X s- t = y X 0 = x )
Autrement dit :
La propriété d'homogénéité ou de stationnarité temporelle des transitions précise
que la probabilité de transition d'un état à un autre ne dépend que du temps
écoulé entre ces 2 états, ici (s - t), et non des instants de transition.
Tous les processus de Markov qui seront considérés dans ce cours seront
désormais homogènes sauf mention explicite du contraire.
1- 8 - Probabilité de transition de l'état x à l'état y pour un processus
homogène
La probabilité de transition de l'état x à l'état y, entre les instants n et n+1 est
indépendante de n. Plus précisément :
24/07/01
59
B.A. Ferrif
" ( m, n ) ΠN 2 , " ( x, y ) ΠE 2 , P ( X n +1 = y X n = x ) = P ( X m +1 = y X m = x ) .
Cette probabilité sera notée pxy ; c'est donc la probabilité de passer de l'état x à
l'état y en une seule transition, c'est-à-dire en une seule étape.
Critère : pour démontrer la propriété d'homogénéité d'une chaîne il est suffisant
de démontrer que :
" ( x, y ) ΠE 2 , pxy = P ( X n +1 = y X n = x )
est indépendante de n.
1- 9 - Matrice de transition d'une chaîne de Markov homogène
Lorsque x et y décrivent E les pxy décrivent une matrice que l'on appelle la
matrice de transitions ou matrice de la chaîne de Markov, elle sera notée
( )
P = pxy
x , y ŒE
.
On a :
- " ( x, y ) Œ E 2 , pxy = P ( X n +1 = y X n = x ) ≥ 0
- "x Œ E ,  pxy = 1 .
y ŒE
1- 10 - Exemples de matrice de transition :
Les matrices suivantes sont les matrices de transition d'un processus de Markov
∑
dont l'espace d'état E = {1, 2, 3} possède 3 éléments :
Ê
0
Á
Á1
Á
Á 12
Á
Ë2
24/07/01
1
2
0
1
2
1ˆ
2˜
1˜
˜
2˜
0˜
¯
60
B.A. Ferrif
∑
dont l'espace d’état E = {1, 2, 3, 4} possède 4 éléments :
Ê1
Á2
Á
Á0
Á1
Á
Á2
Á1
Á
Ë2
∑
1
2
1
2
1
2
0
0
1
2
0
0
ˆ
˜
˜
0˜
1 ˜˜
2˜
˜
0˜
¯
0
dont l'espace d’état E = {1, 2, 3, 4, 5, 6, 7, 8, 9,10} possède 10 éléments
Ê
0
Á
Á0
Á
Á0
Á0
Á1
Á
Á2
Á0
Á0
Á
Á0
Á
Á0
Á
Á0
Ë
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
0
0
0
0
3
0
5
0
1
4
0
0
0
1
6
0
3
4
0
0
0
1
3
1
3
0
0
0
0
0
0
0
0
0
0
1
1
5
0
3
4
0
0
0
1
3
0
1
4
0
0
1
3
ˆ
0
˜
0 0 0˜
˜
1 0 0˜
0 0 0˜
˜
0 0 0˜
˜
0 0 0˜
0 0 0˜
˜
0 0 0˜
1 ˜
0
0
5 ˜
˜
0 0 0˜
¯
0
0
1 - 11 - Exercice :
Ecrire les matrices de transition des exemples (1-3) et (1-5)
1 - 12 - Préparation des simulations
La matrice de la chaîne de Markov permet de simuler, par exemple sous
Mathematica qui sera le logiciel pris en exemple dans cet enseignement, un
24/07/01
B.A. Ferrif
61
grand nombre de problèmes. Pour entrer la matrice vous pouvez utiliser la palette
"basic input" du sous-menu "palette" du menu "File" ;
∑
pour ajouter une colonne taper simultanément [ctrl]+[,] ;
∑
pour ajouter une ligne taper simultanément [ctrl]+[Return].
1- 13- Graphe d'une chaîne de Markov homogène
Lorsque l'espace d'états est fini, on peut associer à la chaîne de Markov, donc à
la matrice de transition, un graphe orienté dont les sommets représentent les
états et les flèches les probabilités non nulles de transition entre états;
généralement l'arête orientée de l'état x vers l'état y portera l'indication de la
probabilité pxy . (cf. Appendice Graphes)
Les graphes de transition des chaînes de Markov correspondant aux deux
premières chaînes de Markov des exemples (1 –10) sont donnés par les figures
suivantes :
24/07/01
62
B.A. Ferrif
1/2
1/2
1
1/2
2
1/2
3
1/2
4
1/2
1/2
1/2
Graphe du processus
1- 14 - Exercice
Dessiner le graphe de la troisième chaîne.
1- 15 - Simulation
Simulation
Ecrire un programme permettant de visualiser le graphe correspondant à des
matrices de dimensions raisonnables.
Ecrire un programme qui associe à la matrice de la chaîne de Markov, la matrice
d'adjacence du graphe de cette chaîne. Appliquer à la matrice de l’exemple 1).
1- 16 - Exercice
Ecrire les matrices de transition des exemples (1-3) et (1-5).
24/07/01
63
B.A. Ferrif
2- Transition d'ordre supérieur
2-1 – Notations et définitions
(n )
la probabilité de transition de l'état x à l'état y en n
Nous désignerons par pxy
étapes.
( 0)
On pose par définition pxy
= d xy (=1 si x=y , 0 sinon).
(n )
est la probabilité conditionnelle d'atteindre y après n étapes
Autrement dit: pxy
partant de l'état x.
Autrement dit : Cette probabilité est la probabilité de l'ensemble de tous les
chemins possibles d'origine x d'extrémité y et de longueur n dans l'espace des
états.
2-2-Equations de Chapman-Kolmogorov
Proposition : Soit une chaîne de Markov homogène à temps et états discrets.
(
(n )
1- On a : "m, n ΠN , "x, y ΠE , pxy
= P Xm +n = y Xm = x
)
En d'autres termes la puissance n-ième Pn de la matrice de transition P, est la
(n )
est situé à la ligne x et à la
matrice de transition en n étapes. L’élément pxy
colonne y.
2- Si on pose :
( )
( )
(n )
(m )
P n = pxy
, P m = pxy
, on a les équations de Chapman-
Kolmogorov
(p
(m +n )
xz
Ê
) = ÁË Â p
(m )
xy
y ŒE
ˆ
. pyz( n )˜
¯
en d’autres termes P m + n = P m .P n .
En effet la règle de Bayes séquentielle donne
24/07/01
64
B.A. Ferrif
"m, n ΠN , "x, y ΠE ,
(
)
(n )
pxy
= P Xm +n = y Xm = x =
Â
x1 , x 2 ,.., x n-1
pxx1 .. px n-1 y
On a
"m, n ΠN , "x, z ΠE ,
(m ) (n )
pxz( m + n ) = Â pxy
pyz
y ŒE
(m ) (n )
où pxy
pyz est la probabilité que, partant de l’état x, la processus atteigne l’état z en
m+n transitions par un chemin qui passe par l’état y à la mème transition.
On en déduit la relation matricielle : P m + n = P m P n
Ê
ˆ
(m ) (n )
P m + n = ( pxz( m + n ) ) = Á Â pxy
pxz ˜ et en particulier on a
Ë y ŒE
¯
( )
( )
(n )
(m )
P n = pxy
, P m = pxy
où
et
( n ) (1)
pxz( n +1) = Â pxy
pyz ☺
y ŒE
2-3- Exercice
Pour chacun des processus de Markov définis ci-dessous, donner "i, j Œ E , Pij( 3 )
∑
Processus dont l'espace d'état E = {1, 2, 3} possède 3 éléments et de matrice
de transition :
Ê
0
Á
Á1
Á
Á 12
Á
Ë2
∑
1
2
0
1
2
1ˆ
2˜
1˜
˜
2˜
0˜
¯
Processus dont l'espace d’état E = {1, 2, 3, 4} possède 4 éléments et de matrice
de transition :
4/07/02
65
B.A. Ferrif
Ê1
Á2
Á
Á0
Á1
Á
Á2
Á1
Á
Ë2
1
2
1
2
1
2
0
0
1
2
0
0
ˆ
˜
˜
0˜
1 ˜˜
2˜
˜
0˜
¯
0
2-4- Simulation
Ecrire un programme permettant d'obtenir les puissances successives, sous forme
booléenne, de la matrice d'adjacence de la matrice P d'une chaîne de Markov . La
puissance n-ième de la matrice d'adjacence est-elle égale à la matrice d'adjacence
de la puissance n-ième de P ?
2-5- Loi initiale de la chaîne de Markov.
La loi de la variable aléatoire Xo s'appelle la loi initiale. (Cette loi, connue dans les
applications, est définie, rappelons-le, par "x Œ E , P ( X 0 = x ) = px .
C'est une loi de probabilité sur l'espace des états.
2-6 - Loi de probabilité de X n .
Le théorème suivant va nous permettre de trouver la loi PX n de X n pour tout entier
positif n . Il est connu sous le nom de théorème de Markov.
Théorème : A tout instant n la loi de probabilité PX n de X n est donnée par :
PX n+1 = PX n .P , PX n = PX 0 .P n
4/07/02
66
B.A. Ferrif
Posons px( n ) = P ( X n = x ) = PX n ( x ) ; on a :
py( n ) = P ( X n = y ) = PX n ( y ) =
 p .p
x
(n )
xy
x ŒN
avec "x ΠE , px = P ( X 0 = x ) .
La formule précédente s'obtient par simple application de la règle de Bayes
( )
séquentielle; il est alors clair que la matrice de transition P = pxy
initiale ( P ( X 0 = x ) = px( 0 ) ) x ŒE
x , y ŒE
et la loi
déterminent PX n pour tout n . ☺
La loi PX n de Xn , notée parfois PX n = Pn , est donc une loi marginale au sens
habituel du terme.
2-7- Une caractérisation d'une chaîne de Markov homogène
Tout processus aléatoire à temps et à états discrets vérifiant :
(
)
"n ΠN , " x t 0 , x t1 , ..., x t n ΠE n +1 , P ( X t n = x t n , X t n-1 = x t n-1 ,..., X t 0 = x t 0 ) = P ( X t 0 = x t 0 ). px t x t . px t x t ... px t x t .
0 1
1 2
n-1 n
( )
est une chaîne de Markov de loi initiale PX 0 et de matrice P = pxy
x , y ŒE
..
3- Relations de communication entre états dans l'espace
des états d'une chaîne de Markov homogène.
3-1 - Relation de communication sur l'espace d'états E.
3-1-1 - On dit que l'état x conduit à l'état y (ou que y est atteignable à partir de x)
(n )
si et seulement si: $n ΠN , pxy
>0 .
24/07/01
67
B.A. Ferrif
3-1-2 - On dit que x et y communiquent si et seulement si l'état x conduit à y et
l'état y conduit à x.
(m )
Autrement dit si et seulement s'il existe des entiers m et n tels que pxy
> 0 et
(n )
> 0.
pyx
3-2 - La relation de communication est une relation d'équivalence.
Il s'ensuit que la donnée d'une chaîne de Markov définit sur son espace d'états E
une partition en classes d'équivalence qui sont (donc) des classes de
communication disjointes.
Une chaîne à une seule classe sera dite irréductible.
3-3- Test
Les chaînes suivantes sont-elle irréductibles ?
i)
Ê
0
Á
Á1
Á
Á 12
Á
Ë2
1
2
0
1
2
1ˆ
2˜
1˜
˜
2˜
0˜
¯
ii)
Ê1
Á2
Á
Á0
Á1
Á
Á2
Á1
Á
Ë2
iii)
24/07/01
1
2
1
2
1
2
0
0
1
2
0
0
ˆ
˜
˜
0˜
1 ˜˜
2˜
˜
0˜
¯
0
68
B.A. Ferrif
Ê
0
Á
Á0
Á
Á0
Á0
Á1
Á
Á2
Á0
Á0
Á
Á0
Á
Á0
Á
Á0
Ë
0 0
0
1 0
0 0
0 0
0
0
1
0 0
0
0 1
0
0 0
0
0 0
3
0
5
0
1
4
0
0
0
1
6
0
3
4
0
0
0
1
3
1
3
0 0
0
0
0
0
0
0
0
1
1
5
0
3
4
0
0
0
1
3
0
1
4
0
ˆ
0 0 0
˜
0 0 0˜
˜
1 0 0˜
0 0 0˜
˜
0 0 0˜
˜
0 0 0˜
0 0 0˜
˜
0 0 0˜
1 ˜
0
0 0
5 ˜
˜
1
0 0 0˜
¯
3
3-4- Simulation
Pour réaliser automatiquement une partition de l'espace des états en classes de
communication, on peut utiliser la fermeture transitive du graphe correspondant à
la matrice d'adjacence. Ecrire un programme permettant de réaliser cette
opération.
3-5- Remarque
La classification des états à l’aide des propriétés des graphes n’est strictement
équivalente à la classification probabiliste que dans le cas des chaînes de Markov
à espace d’états fini.
3-6- Parties fermées et parties absorbantes.
3-6-1-Définitions:
1- Une partie C de l'espace des états sera dite fermée si et seulement si
(
)
P X n +1 ΠC X n ΠC = 1.
24/07/01
69
B.A. Ferrif
2- Une partie C de l'espace des états sera dite absorbante si et seulement si
(
)
pour tout x Px (t C < +•) = P t C < +• X 0 = x = 1 où t C = inf {n Œ N , X n Œ C}
3- Pour une partie arbitraire C de l'espace des états, la plus petite partie
fermée contenant C est appelée la fermeture de C.
4- Un état k d'une chaîne de Markov est dit absorbant si le processus ne peut
plus quitter cet état une fois qu'il y est entré; en d'autre termes si pkk = 1
3-6-2-Chaînes de Markov homogènes absorbantes.
Définition: Une chaîne de Markov est dite absorbante si elle possède au moins un
état absorbant et si l'on peut passer de n'importe quel état à un état absorbant.
3-6-3-Délais d'absorption et probabilités d'absorption
Lorsqu'une chaîne de Markov est absorbante, on se pose naturellement les
questions suivantes:
Combien de temps faudra-t-il pour que le processus soit absorbé, étant donné
son état initial?
S'il existe plusieurs états absorbants, quelle est la probabilité pour un
processus d'être absorbé par un état donné?
Pour répondre à ces questions nous allons introduire les quantités suivantes:
∑
Ni = nombre de transitions jusqu'à l'absorption en partant de l'état i (Ni est
une variable aléatoire discrète),
ni = E (Ni) = temps moyen jusqu'à l'absorption en partant de i,
4/07/02
70
B.A. Ferrif
∑
bij = probabilité que le processus soit absorbé dans j si son état initial est i.
Pour les deux dernières quantités, on a immédiatement :
∑
ni = 0 si i est absorbant,
∑
bii = 1 si i est absorbant,
∑
bij = 0 si i est absorbant et j π i.
Considérons maintenant des chaînes de Markov comprenant plusieurs états
absorbants. Le théorème suivant permet alors de calculer la probabilité que le
processus soit absorbé par un état donné.
3-6-4 - Théorème - Les nombres ni sont les solutions du système d'équations
n i = 1 + Â pik .n k
k ŒS ©
où i est un état non absorbant et S' l'ensemble de tous les états non absorbants.
Supposons que la chaîne a un état absorbant j, désignons par i l'état initial (i
différend de j) et par Ak l'évènement : le processus passe de i à k lors de la
première
(
transition.
)
[
]
On
a
:
E ( N i ) = Â E N i Ak P ( Ak ) = Â E ( N k ) + 1 . pik = 1 + Â E ( N k ). pik ☺
k ŒS
k ŒS
k ŒS ©
3-6-5 - Théorème - Soit j un état absorbant et S' l'ensemble de tous les états non
absorbants. Alors les probabilités bij (i Œ S ©
) sont les solutions du système
d'équations :
bij = pij + Â pik .bkj
k ŒS ©
24/07/01
71
B.A. Ferrif
Cela résulte directement du théorème des probabilités totales. En effet si A
désigne l'ensemble des états absorbants, on a :
bij = Â pik .bkj =
k ŒS
Âp
ik
k ŒS ©
.bkj + Â pik .bkj =
k ŒA
Âp
ik
.bkj + pij .1 ☺
k ŒS ©
Plus généralement :
3-7- Temps d'atteinte et probabilités d'atteinte
3-7-1-Théorème du temps d'atteinte : Soit
( )
homogène de matrice de transition P = pij
( X n )nŒN
i, j ŒE
une chaîne de
Markov
. Désignons par C un sous-
ensemble de l’espace des états E, par B le complémentaire de C dans E, et par
t C = inf {n ΠN , X n ΠC}
( t C = +• si le processus n’atteint jamais C). Posons,
(
)
pour tout i dans E, n i = E t C X n = i .
On a :
∑
pour tout i dans B , n i = 1 + Â pik .n k ;
k ŒB
∑
pour tout i dans C , n i = 0 .
3-7-2-Théorème de la probabilité d'atteinte : Soit
( )
Markov homogène de matrice de transition P = pij
deux
i, j ŒE
(
)
Posons u(i) = Pi (t A < t B ) = Pi t A < t B X 0 = i , alors on a
u(i) =
 p .u( j ) ;
ij
j ŒE
∑
u(i) = 1 si i ΠA et u(i) = 0 si i ΠB .
24/07/01
une chaîne de
. Désignons par A et B
sous-ensembles fermés et disjoints de l'espace des états E, et
supposons A U B absorbant .
∑
( X n )nŒN
72
B.A. Ferrif
3-7-3- Test
Un jeu!
Trois enfants sont placés chacun à un sommet d’un triangle équilatéral. Toutes
les dix secondes (prises comme unité de temps), chacun, indépendamment des
deux autres, choisit de se rendre en l’un des deux autres sommets (avec
équiprobabilité). Au bout de combien d’unités de temps en moyenne les trois
enfants se retrouveront-ils au même sommet ?
4- Périodicité des états d'une chaîne de Markov à temps
et états discrets.
Nous allons classer les états d'une chaîne de Markov homogène en états
persistants et états transitoires ainsi qu'en états périodiques et apériodiques afin
de pouvoir préciser les réponses aux questions suivantes :
∑
La chaîne peut-elle repasser par un état i ?
∑
Si oui, ce nouveau passage s'effectue-t-il dans un temps moyen fini ou infini ?
4-1- Notations et définitions
Notons T j[ i ] le temps mis par la chaîne de Markov pour retourner une jème fois à
son état initial i.
On montre que pour tout j, les T j[+i ]1 - T j[ i ] sont de même loi, dépendant de i.
Désignons par T [ i ] la variable aléatoire de loi commune aux T j[+i ]1 - T j[ i ] .
{
}
Posons Tij = Min n , X n = j X 0 = i , Tij est le temps de premier passage en j en
n ŒN
partant de i.
24/07/01
73
B.A. Ferrif
Notons f ij( n ) = P ( X n = j, X n -1 π j,.., X1 π j X 0 = i) la probabilité d'être pour la première
fois en l'état j au temps n, étant parti de l'état i au temps 0.
(
Il est clair que f ij( n ) = P Tij = n
)
Posons :
∑
f ij( 0 ) = 0 ,
∑
Fij( n ) = Â f ij( k )
n
k =1
∑
+•
Ê +•
ˆ
f ij = Â f ij( n ) = Fij( +• ) = Fij = P Á U [ X n = j ] X 0 = i˜
Ë n =1
¯
n =1
+•
∑
m j = Â n . f jj( n ) .
n =1
Il est clair que f kj est la probabilité que, partant de l’état k, le système atteigne l’état j.
Il s'ensuit que fkj £ 1.
Quand fkj = 1, la suite
{f }
(n )
kj
est une suite de probabilités dite distribution de premier
passage pour ek.
En particulier
{ f } représente la distribution des temps de premier passage pour
(n )
jj
l’état j, autrement dit la distribution de probabilités du temps de premier retour en j.
La probabilité pour que, partant de l'état i, on retourne toujours dans l'état i est
donnée par fii.
4-2 – Définition de la Périodicité d'un état
On dira d'un état x qu'il a la périodicité p( x )si et seulement s'il existe un entier
{
}
(n )
>0 .
p( x ) > 1 où p( x ) = PGCD n pxx
4/07/02
74
B.A. Ferrif
Dans le cas contraire l'état sera dit apériodique.
(n )
= 0 pour
Un état x dans lequel aucun retour n'est possible (i.e pour lequel pxx
tout n>0) sera considéré comme apériodique.
Un état x tel que pxx >0 est de période 1. Il est apériodique, le système pouvant
rester en x indéfiniment
4-3- Remarque
La périodicité est un phénomène assez rare dans la pratique, et généralement
lorsque c’est le cas il apparaît de manière évidente.
4-4 –Périodicité et atteignabilité
Proposition
∑
Si l'état ei a la période p(i), alors il existe un entier e dépendant de i tel que,
pour tout entier n ≥ e, pii( n . p ( i )) > 0. Autrement dit, un retour dans l'état i peut se
produire pour tout multiple suffisamment grand de la période.
∑
Si p(jim ) > 0, alors p(jim + n . p ( i )) > 0 pour tout n ΠN suffisamment grand.
4-5- Périodicité et irréductibilité
Proposition : Tous les états d'une chaîne irréductible ont la même période.
Si x,y,z,u sont des états de E et m,p,q des entiers naturels strictement positifs,on
a
(m + p +q )
( p ) (q )
pxy
puy .
≥ pxz( m ) pzu
En effet le chemin
X 0 = x , X m = z , X m + p = u , X m + p + q = y représente une
manière d’aller de x à y. Si les états x et y communiquent, il existe des entiers
24/07/01
75
B.A. Ferrif
naturels
m
et
n
tels
que
(n )
(m )
pxy
> 0 , pyx
>0
.
Ainsi
on
a :
(m + p +q )
≥ pxz( m ) . pzz( p ) . pzx( q ) = a . pzz( m ) , (a > 0)
pxx
Prenant p=0, il apparaît que m+q est nécessairement multiple de la période p(x)
de x , ce qui entraîne la nullité du terme de gauche pour tout p non multiple de
p(x); cela entraîne que la période p(y) de y est telle que p( y ) ≥ p( x ) . Par symétrie
on conclut à l'égalité de p(y) et p(x).☺
4-6- Exercice
Etudier la périodicité des états de la chaîne définie dans l'exemple 1 :
4-7- Exercice
Etudier la périodicité des états de la chaîne définie par la matrice de transition :
Ê 0 1 0ˆ
Á 0 0 1˜
Á
˜
Ë 1 0 0¯
24/07/01
76
B.A. Ferrif
4-8- Partition de l’espace des états en classes cycliques
Proposition : Si ( X n ) n ŒN est une chaîne de Markov irréductible de période d il
existe une partition de l'espace des états en d classes (les classes cycliques C0 ,
( n)
= 0 sauf si n = k + a .d (0 £ k < d ) .
C1 ,…, Cd-1 ) telles que "x Œ Ck , pxy
4-9- Exercice
Expliciter les classes périodiques de la chaîne (4-7).
5- Etat persistant et état transitoire.
5-1 - Définitions :
∑
L'état i est persistant ( ou récurrent) si et seulement si fii = 1.
∑
L'état i est transitoire si et seulement si fii < 1.
∑
Un état i persistant est dit nul si et seulement si m i = +•.
∑
Un état i persistant est dit positif si et seulement si m i < +• .
5-2- Equivalences des définitions
Théorème :
1-Les conditions suivantes sont équivalentes :
i)
L’ état i est persistant,
+•
ii)
Âp
(n )
ii
= +• ,
n =1
iii)
(
)
P X n = i i.o X 0 = i = 1
i.o signifie infiniment souvent.
2-Les conditions suivantes sont équivalentes :
24/07/01
77
B.A. Ferrif
i)
L’ état i est transitoire ,
+•
ii)
Âp
(n )
ii
< +• ,
n =1
iii)
(
)
P X n = i i.o X 0 = i = 0
i.o signifie infiniment souvent.
5-3- Remarques
a. Les états transitoires sont donc à rechercher parmi les états i qui
possèdent la propriété : Lim pii( n ) = 0 .
n Æ+•
+•
b. Si l'état i est transitoire alors "j Œ E ,  p(jin ) < +• .
n =1
+•
c. L'état i est persistant nul si et seulement si
"i Œ E ,  pii( n ) = +• et
n =1
Lim pii( n ) = 0 . Alors "j ΠE , Lim p(jin ) = 0 .
n Æ•
n Æ+•
5-4- Exercices :
1-Montrer que les définitions (5-1) sont équivalentes à:
(
)
i)
Un état i est persistant si P T [ i ] < +• = 1 ;
ii)
un état persistant sera dit persistant nul si E (T [ i ] ) = +• et persistant positif
si E (T [ i ] ) < +• ;
iii)
un état non persistant est dit transitoire ; il s’agit donc d’un état i qui
(
)
satisfait à P T [ i ] = +• > 0
2- Justifier les remarques (5-3).
24/07/01
78
B.A. Ferrif
5-5- Remarque
L'importance des théorèmes précédents réside principalement dans leurs aspects
sémantiques. Ils sont en effet assez malaisés à utiliser comme critères de
classification dans les applications. Nous donnerons ultérieurement quelques
critères d'utilisation plus aisés; malheureusement il n'en existe pas de simples et
universels.
5-6- Martingale
Une chaîne de Markov de matrice de transition
(p )
ij i, j ŒN
est appelée une
{ }
martingale si et seulement si pour tout i l'espérance de la loi pij
Autrement dit si et seulement si
 j .p
ij
j ŒN
est égale à i.
=i .
j ŒN
5-7- Exercice
Supposons donnée une chaîne de Markov finie dont l'ensemble des états est
{0,1, 2,...,n} ; afin d'éviter des trivialités, nous supposerons que cette chaîne ne
possède pas plus de deux sous-ensembles persistants. Supposons que cette
chaîne est une martingale.
Etudier les états 0 et n .
Calculer Lim pi(0k) et Lim pin( k) et interpréter ces limites.
k Æ+•
24/07/01
k Æ+•
79
B.A. Ferrif
5-8- Une caractéristique des états d'une même classe
Proposition : Soit ( X n ) n ŒN une chaîne de Markov homogène. Les états d'une
même classe sont tous
o ou persistants positifs,
o ou persistants nuls,
o ou transitoires.
5-9- Exercice :
Nature des états de la chaîne :
ir
0
0
0
k0
p
r
0
0
0
0
p
r
0
0
e
e
e
1
0
0y
0
p
0
1{
5-10 – Durées et probabilités de séjour dans l’ensemble des états
transitoires
Notons :
+•
∑
N i = Â1{ X n = i} le nombre de fois où la chaîne se trouve dans l'état i durant son
n =1
évolution ;
∑
N ij le nombre de passages en j, partant de l’état i, avant absorption ;
∑
Fij la probabilité de passage en j, partant de l’état i, avant l’absorption ;
24/07/01
80
B.A. Ferrif
∑
Ti la durée du séjour dans l’ensemble des états transitoires en partant de l’état
i.
On a, bien évidemment : Ti = Â N ij où t désigne l’ensemble des états transitoires.
j Œt
Un raisonnement élémentaire nous montre que si i est persistant la chaîne visite
l'état i une infinité de fois presque sûrement .
Posons
A={Le système passe au moins n fois par l'état j},
B={Le système atteint l'état j} , on a :
(
)
(
)
∑
gij( n ) = P A X 0 = i
∑
gij(1) = P B X 0 = i = Fij
On a :
∑
gij( 2) = Fij ¥ g(jj1)
Pour que le système passe au moins deux fois par l’état j, il doit dans un premier
temps atteindre
l’état j, puis ensuite repasser par ce dernier. Il s’ensuit par
récurrence :
∑
gij( n ) = Fij ¥ g(jjn -1) = Fij ¥ F jjn -1
gii( n ) = Fiin
On a :
P ( N ii = n ) = gii( n -1) - gii( n )
P ( N ii = n ) = (1 - Fii ) ¥ Fiin -1
4/07/02
81
B.A. Ferrif
Il s’ensuit que N ii suit une loi de Pascal de paramètre (1- Fii ) .
5-10-1- Loi des N ij et nombre moyen de passages.
On a :
(
P (N
P (N
)
= m) = F ¥ ( F - F )
= m) = F ¥ (1 - F ) ¥ F
P N ij = m = gij( m ) - gij( m +1)
∑
ij
ij
ij
m -1
jj
ij
m
jj
jj
m -1
jj
Il s’ensuit que :
1
.
1 - Fii
∑
Le nombre moyen de retours en i en partant de i est E ( N ii ) =
∑
Le nombre moyen de passages en j en partant de i est E N ij =
( )
Fij
.
1 - F jj
En résumé on a :
Proposition : On a
(
P (N
)
( )
= i) = 1 - f = 1 - F si
(
)
P N j = r X 0 = i = f ij . f jjr -1 1 - f jj = Fij .F jjr -1 1 - F jj si r > 0 , et
∑
j
= r X0
ij
ij
r=0
Théorème : L'espérance du nombre de passages par l'état j, conditionnée par Xo
= i, est égale à :
(
)
+•
E N j X 0 = i = Â n =1 pij( n )
5-10-2- Calcul des Fij pour i, j Œt
Notons :
24/07/01
82
B.A. Ferrif
∑
t l’ensemble des états transitoires,
∑
c l’ensemble des états récurrents,
∑
T les probabilités de passage entre états transitoires de t ,
∑
C les probabilités de passage entre états récurrents de c ,
∑
R les probabilités de passage entre un état transitoire de t et un
état récurrent de c .
On peut décomposer la matrice P de la manière suivante :
ÊT
P=Á
Ë0
t c
t T R
c 0 C
Rˆ
˜
C¯
On a :
(
)
Fij = Â pik ¥ P passage en j X 0 = k , où
k ŒE
Ï0 si k Œ c
Ô
P passage en j X1 = k = Ì 1 si k = j
ÔF si k π j
Ó kj
(
)
Soit :
"i, j Œt , Fij = pij +
Â
pik Fkj ; si parmi les n états de l’espace des états, m sont
k π j , k Œt
récurrents, on a
F jj =
∑
(n - m) 2 équations à (n - m) 2 inconnues. On en déduit :
1
(I - T ) -jj1
(I - T ) -ij1
Fij =
(I - T ) -jj1
5-10-3- Durée moyenne du séjour dans les états transitoires.
Nous avons :
24/07/01
83
B.A. Ferrif
Ti = Â N ij ; il s’ensuit :
j Œt
( )
E (Ti ) = Â E N ij = Â ( I - T ) ij = ( I - T ) i .U où :
j Œt
-1
-1
j Œt
∑
U est la matrice colonne à n-m composantes égales à 1 et
∑
(I - T ) -1i est la i-ème ligne de la matrice (I - T ) -1
Si E (T ) est le vecteur colonne {E (Ti )}iŒt
-1
alors E (T ) = ( I - T ) .U .
5-11- Matrice fondamentale :
Compte tenu du rôle tenu par la matrice ( I - T ) elle porte souvent le nom de
matrice fondamentale de la chaîne de Markov.
5-12 - Problème :
Soit
( X n )nŒN
une chaîne de Markov homogène irréductible dont l’espace des
( )
états est fini ou dénombrable et de matrice de transition P = pij
i, j ŒE
.
On pose
∑
f ij( n ) = P ( X n = j, X n -1 π j,.., X1 π j X 0 = i) la probabilité d'être pour la première fois
en l'état j au temps n, étant parti de l'état i au temps 0,
+•
∑
f kj = Â f kj( n ) ,
n =1
∑
(
)
gij( n ) = P Le système passe au moins n fois par j X 0 = i .
1- Montrer que :
∑
"i, j Œ E , "n Œ N * , f ij( n +1) =  pik . f kj( n )
kπ j
∑ "i, j Œ E , "n Œ N * , gij( n +1) = f ij .gij( n )
24/07/01
84
B.A. Ferrif
2- Montrer que la chaîne ( X n ) n ŒN est récurrente si et seulement si Lim gii( n ) = 1.
n Æ•
Que peut-on en déduire si l’espace des états est fini ?
(
)
3- Supposons i π j , posons a ij = P $n Œ N * , X n = j , X k π i ,1 £ k £ n X 0 = i ; montrer
(
)
que f ii £ 1 - a ij 1 - f ji . En déduire la valeur de f ji lorsque la chaîne est
récurrente.
•
4- Posons m ij = Â n . f ij( n ) , m ij représente le temps moyen de premier passage en j
n =1
sachant qu’à l’instant 0 le système était en i ; montrer que si la chaîne ( X n ) n ŒN est
récurrente, alors "i, j Œ E , m ij =  pik .m kj + 1.
kπ j
Que peut-on dire de m ij si f ij < 1 ?
6-Ergodicité
Nous avons précisé, au paragraphe 2, la notion de transition d’ordre supérieur
pour une chaîne de Markov
( X n )nŒN
et mis en évidence que la probabilité
d’atteindre l’état x à partir de l’état y en n étapes était donné par la matrice
( )
(n )
P n = pxy
puissance nème de la matrice de transition P.
6-1- Définition :
Nous dirons qu’une chaîne de Markov est ergodique si et seulement si la
(n )
limite "x, y ΠE , Lim pxy
existe et est indépendante de l’état initial x . Comme cette
n Æ•
(n )
limite ne dépend que de l’état final y , nous la noterons Lim pxy
= py.
n Æ•
24/07/01
85
B.A. Ferrif
Ainsi une chaîne de Markov ergodique atteint après un grand nombre d’étapes
une situation d’équilibre statistique au sens suivant :
nous avons vu que la loi marginale PX n est définie pour tout y Œ E par
(n )
py( n ) = P ( X n = y ) = PX n ( y ) = Â px . pxy
;
x ŒE
il s’ensuit alors que
(n )
(n )
(n )
= Lim pxy
. px = Lim pxy
= py
Lim py( n ) = Lim P ( X n = y ) = Lim PX n ( y ) = Lim  px . pxy
n Æ•
n Æ•
n Æ•
n Æ•
x ŒE
n Æ•
x ŒE
n Æ•
car  px =1.
x ŒE
Un problème important de la théorie des chaînes de Markov est donc de
déterminer sous quelles conditions une chaîne de Markov est ergodique.
Nous reviendrons plus généralement sur la question des limites et sur les critères
d’ergodicité au paragraphe 8.
6-2- Remarques
∑
(n )
Lorsque "y ΠE , Lim pxy
= p y > 0 on précise parfois que la chaîne de Markov
n Æ•
est fortement ergodique.
∑
(n )
Lorsque "y ΠE , Lim pxy
= p y = 0 on précise parfois que la chaîne de Markov
n Æ•
est faiblement ergodique.
6-3- Théorème et définition
Un état y apériodique, persistant, est ergodique si et seulement si m y < +• . Alors
(n )
"y ΠE , Lim pxy
= f xy m y-1 .
n Æ•
24/07/01
86
B.A. Ferrif
6-4- Remarque
Il résulte de ce qui précède que si l'état y est apériodique alors
soit
(n )
(n )
Lim pxy
= f xy m y-1 soit Lim pxy
= 0.
n Æ•
n Æ•
7- Chaîne irréductible, décomposition des chaînes.
7-1 – Partie irréductible fermée
Théorème : Si i est un état persistant, il existe une unique partie irréductible
fermée C contenant i et telle que pour tout couple (j,k) d'états dans C, on ait
f ik = 1 , f kj = 1 .
Autrement dit partant d'un état arbitraire i dans C, le système est certain de
passer par tous les autres états de C; par définition de la fermeture, aucune sortie
de C n'est réalisable.
7-2 – Décomposition d'une chaîne de Markov
Théorème : L'espace des états d'une chaîne de Markov se décompose en une
partition d'ensembles T, C1 , C2 ,… tels que :
∑
T est l'ensemble de tous les états transitoires.
∑
Si j est dans Cn alors fjk = 1 pour tout k dans Cn et f jk = 0 pour tout k extérieur
à Cn.
24/07/01
87
B.A. Ferrif
7-3- Probabilité d'absorption par une classe récurrente
Considérons une chaîne de Markov ( X i ) dont l'espace des états E a pour cardinal
n. Supposons que cette chaîne possède un ensemble d'états transitoires T de
cardinal n-m, où m désigne le cardinal de l'ensemble C des états récurrents.
Supposons enfin que cette chaîne possède r classes récurrentes C 1 , C2 , ... , Cr
(dont la réunion est C).
Nous allons déterminer l'ensemble
{b }
ip
des probabilités d'absorption du
processus par la classe récurrente C p pour p Œ {1,..., r} et i Œ T .
On a :
(
)
b ip = Â pij .P Absorption par C p X1 = j avec
j ŒE
(
)
(
)
∑
P Absorption par C p X1 = j = 0 si j ΠC - C p
∑
P Absorption par C p X1 = j = 1 si j ΠC p
∑
b jp si j ΠT
Il s'ensuit :
b ip =
 p +  p .b
ij
j ŒC p
ij
jp
,
j ŒT
d'où l'on déduit l'équation vectorielle
24/07/01
B.A. Ferrif
88
ˆ
Ê
Á Â p1 j ˜
Ê b1 p ˆ
˜
Á j ŒC p
˜
Á
Á b ˜
Á Â p2 j ˜ = ( I - T ).Á 2 p ˜ (en numérotant les éléments de T de 1 à (n-m) )
˜
Á j ŒC p
Á ... ˜
...
˜
Á
˜
Áb
Ë (n -m ) p ¯
˜
Á
Á Â p( n - m ) j ˜
¯
Ë j ŒC p
et la solution
Ê b1 p ˆ
Á b p ˜
Á 2 ˜
Á ... ˜
˜
Áb
Ë (n -m ) p ¯
ˆ
Ê
Á Â p1 j ˜
˜
Á j ŒC p
˜
Á
-1
p2 j ˜
= ( I - T ) .Á jÂ
˜
Á ŒC p
...
˜
Á
˜
Á
Á Â p( n - m ) j ˜
¯
Ë j ŒC p
Remarque : Une démonstration rigoureuse se déduit du théorème de
Gerschgörin.
7-4 – Caractérisation de la nature des états (1)
Théorème : Dans une chaîne finie il n'existe pas d'état nul et il n'est pas possible
que tous les états soient transitoires.
Autrement dit :
7-5 - Caractérisation de la nature des états (2)
Théorème : Avec une probabilité égale à 1, un état transitoire ne peut être visité
qu'un nombre fini de fois. Il s'ensuit que dans une chaîne de Markov à nombre fini
d'états, tous les états ne peuvent pas être transitoires; au moins l'un d'eux est
persistant.
24/07/01
89
B.A. Ferrif
7-6 - Caractérisation de la nature des états (3)
Théorème : Si une chaîne de Markov est absorbante, tout état non absorbant est
un état transitoire.
7-7- Caractérisation de la nature des états (4)
Théorème : Une chaîne de Markov homogène irréductible ( X n ) n ŒN est transitoire
si et seulement si pour un état quelconque k le système linéaire :
x i = Â pij .x j
, i π k et j π k
,
j
0 £ xi £ 1 , i π k
admet une solution non identiquement nulle.
Résultat équivalent à :
7-8- Caractérisation de la nature des états (5)
Théorème : Une chaîne de Markov homogène irréductible ( X n ) n ŒN est persistante
si et seulement si pour un état quelconque k le système linéaire :
x i = Â pij .x j
, i π k et j π k
,
j
0 £ xi £ 1 , i π k ,
n'admet aucune solution autre que xi = 0 pour tout i.
7-9- Exercice
Caractériser les états de la chaîne de Markov définie par la matrice de transition :
24/07/01
90
B.A. Ferrif
Ê
0
Á
Á1
M=Á
Á 12
Á
Ë2
1
2
0
1
2
1ˆ
2˜
1˜
˜
2˜
0˜
¯
7-10-Test
Caractériser les états de la chaîne de Markov définie par la matrice de transition :
0.7
0
0
0
0
0
0
0.3
0 y
i 0
0.8
0
0.2
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0.4
0
0.05
.0
0.25 0.05 0.25
0
0
0
0
0
0.2
0.8
0
0
0
P=
0
0
0
0
0.1 0.2
0.7
0
0
0
0
0
0
0
0.7 0.3
0
0
0
0
0
0
0
0.35
0
0.15 0.1
0
0
0.4
1
0
0
0
0
0
0
0
0
0
0
0
0.5
0
0
0.05 0.05
0
0.4 {
k 0
Réécrire cette matrice sous la forme :
ÊT
Á
Ë0
Rˆ
˜.
C¯
8- Distributions stationnaires et lois limites.
8-1- Distribution stationnaire.
Une chaîne de Markov homogène d'espace d'états fini ou non est dite posséder une
distribution stationnaire
p = (p 0 ,p1,..,p n ,...) (où
"i Œ N , p i ≥ 0 et
Âp
n
seulement si p satisfait l'équation p = p .P .
Autrement dit : la loi de Xn est invariante dans le temps.
4/07/02
n
= 1) si et
91
B.A. Ferrif
8-2- Lois limites
Une chaîne de Markov homogène est dite posséder une loi limite
p = (p 0 ,p1,..,p n ,...)
si et seulement si Limn Æ+•p (jn ) = Limn Æ+• P ( X n = j ) = p j pour j=
0, 1, 2, ... .
8-3- Lois limites et lois stationnaires des chaînes de Markov homogènes
irréductibles et apériodiques.
Théorème :
( X n )nŒN
une chaîne de Markov homogène irréductible apériodique,
La loi limite
( Limn Æ+•p (jn ) = Limn Æ+• P ( X n = j ) = p j ) j ŒN existe toujours et est
1. Soit
indépendante de la loi initiale.
2. Si tous les états ne sont pas persistants positifs (donc sont soit transitoires,
soit persistants nuls) alors p j = 0 pour tout j et aucune distribution stationnaire
n'existe.
3. Si tous les états de ( X n ) n ŒN sont persistants positifs alors p j > 0
p = (p 0 ,p1,..,p n ,...) forme une distribution stationnaire avec
Auquel cas la limite est l'unique solution de l'équation :
Âp
i
=1
iŒN
p j = Â p i . pij
j = 0, 1, 2, ..
iŒN
8-4- Loi stationnaire pour une chaîne arbitraire
Le critère suivant s'applique à une chaîne arbitraire :
24/07/01
pj =
pour tout j et
1
mj
.
92
B.A. Ferrif
Théorème : Si une chaîne de Markov possède une loi stationnaire
p = (p 0 ,p1,..,p n ,...) alors p n = 0 pour tout n correspondant à un état transitoire ou à
un état persistant nul.
Autrement dit p n > 0entraîne que l'état n correspondant est persistant et a un
temps de récurrence fini (en revanche l'état n peut être périodique).
Dire que p = (p 0 ,p1,..,p n ,...) est une loi stationnaire entraîne que p n = Â p i . pin( k) .
iŒN
Si l'état n est transitoire ou persistant nul, on a pour tout i
Lim pin( k) = 0 ce qui
k Æ•
entraîne p n = 0 .
☺
8-5- Remarques :
∑
Dans le cas (3) d'une chaîne de Markov fortement ergodique, la loi
stationnaire et la loi limite coïncident. De telles distributions sont dites
distributions d'équilibres.
∑
Ces distributions sont fondamentales pour traiter des files d'attente. Cela
indique aussi pourquoi il est important de posséder des critères permettant de
savoir si une chaîne de Markov est ou non ergodique.
∑
Il importe de noter qu'une distribution limite est aussi une distribution
stationnaire mais que l'inverse n'est pas exact.
Le théorème suivant montre que le comportement d'une chaîne de Markov dont le
nombre d'états est fini est plus simple que celle dont le nombre d'états est infini:
24/07/01
93
B.A. Ferrif
8-6- Ergodicité des chaînes à espace d’états fini
Théorème : Une chaîne de Markov ( X n ) n ŒN dont le nombre d'états est fini et qui
est irréductible et apériodique est (fortement) ergodique.
En effet, d’après (7-3) la chaîne est persistente et d’après (8-3-3) elle est
fortement ergodique. ☺
8-7- Exercice :
Loi stationnaire et loi limite de la chaîne de Markov :
Ê
0
Á
Á1
Á
Á 12
Á
Ë2
1
2
0
1
2
1ˆ
2˜
1˜
˜
2˜
0˜
¯
8-8- Test
Le siège d'une entreprise est assimilable à un polygone ayant N s sommets. À
chaque sommet est situé un accès au bâtiment. Une partie de la sécurité du
bâtiment est assurée par un vigile. Il est décidé qu'il se déplacera d’un accès à
l'autre de telle sorte que, s'il quitte un sommet, il y a une probabilité p qu’il décide
d’aller au sommet adjacent dans le sens des aiguilles d’une montre et une
probabilité (1-p) qu'il aille à l’autre sommet adjacent.
1 –Analyser la situation lorsque N s = 5 et N s = 6.
24/07/01
94
B.A. Ferrif
1
1
2
3
2
4
6
3
5
5
4
2 – On se place dans le cas du pentagone, N s = 5. Imaginons pour fixer les idées
que le vigile commence sa surveillance à l'accès n°1, que p=1/3, que le vigile
met 1’30’’ pour passer d’un accès à un autre et demeure 30’’ à chaque accès. On
souhaite connaître l'accès le plus vulnérable au sens suivant : celui pour lequel le
temps moyen de premier passage est le plus élevé.
9- Extension:
9-1- Matrices de transition d'une chaîne de Markov non-homogène.
Lorsque la chaîne de Markov n'est pas homogène, la probabilité de transition de
l'état x à l'état y dépend de l'indice n. On a donc une famille de matrices de
transition satisfaisant à :
(
)
∑
"n ΠN , "x, y ΠE , pxy ( n ) = P X n +1 = y X n = x > 0,
∑
"n Œ N , "x Œ E ,  pxy ( n ) = 1 .
y ŒE
9-2-Processus de Markov d'ordre supérieur.
La définition des processus de Markov d’ordre 1 s'avère parfois insuffisante. Il est
en effet des situations dans lesquelles l'état futur ne dépend pas seulement de
24/07/01
95
B.A. Ferrif
l'état présent mais également de l'état antérieur à l'état présent; la définition
précédente est alors modifiée en:
9-2-1-Définition:
Un processus aléatoire est un processus de Markov d'ordre 2 s'il vérifie l'axiome
suivant, que nous appellerons propriété de Markov à l'ordre 2 :
"( t0 , t1,..., tn -1, tn ) ΠI n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) ΠE n +1,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 ) = P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ) .
Autrement dit :
La propriété de Markov exprime que l'état futur X t n dépend seulement de l’état
passé immédiatement antérieur à l’état présent X t n-2 et de l’état présent X t n-1 .
Plus généralement :
9-2-2-Processus de Markov d’ordre a i
Un processus aléatoire ( X t ) t ŒI est un processus de Markov d’ordre a i s'il vérifie
l'axiome suivant, fréquemment appellé propriété de Markov :
"( t0 , t1,..., tn -1, tn ) ΠI n +1 , t0 < t1 < ... < tn -1 < tn , "( x 0 , x1,..., x n -1, x n ) ΠE n +1, "a i Π{1,.., n} ,
P ( X t n-1 = x t n-1 ,..., X t1 = x t1 , X t 0 = x t 0 ) > 0 ,
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,..., X t 0 = x t 0 ) =
P ( X t n = x t n X t n-1 = x t n-1 , X t n-2 = x t n-2 ,.., X t n-a = x t n-a ) .
i
Autrement dit :
24/07/01
i
96
B.A. Ferrif
La propriété de Markov exprime que l'état futur X t n ne dépend pas de l’ensemble
des
états
passés
X t i , i Œ {0,1, 2,.., n - 2} , mais seulement des l'états
X t n-1 , X t n-2 ,.., X t n-a i .
Cette propriété précise le niveau de mémoire du processus.
9-3-Modèles de Markov cachés.
La notion de chaîne de Markov d’ordre a i nous a permis de préciser plus avant le
niveau de mémoire. Cette généralisation ouvre la possibilité de présenter un
concept émergent dans un grand nombre d’applications (informatique, traitement
du signal, reconnaissance des formes, ingénierie de la connaissance…) : les
Modèles de Markov Cachés (HMM pour : Hidden Markov Models). L’ingénierie
linguistique, qui vise une mise en œuvre de l’ensemble des techniques
permettant une compréhension plus ou moins large du langage naturel par une
machine, en fait un usage particulier ainsi que nous le constaterons. Ce domaine
(l’ingénierie linguistique) fait partie, soulignons-le, des domaines répertoriés dans
les technologies clefs du développement industriel avec une progression
prévisible du marché importante et une intensité de la concurrence faible.
Insuffisance du modèle markovien.
Imaginons un espace réel qui nous est caché (par exemple le temps qu’il fait
dehors alors que nous sommes enfermés dans une pièce aveugle ; réduisons
pour fixer les idées le temps à 3 états : pluvieux, nuageux, ensoleillé) ; supposons
en revanche que nous disposons d’un baromètre : une grenouille qui occupe sur
24/07/01
97
B.A. Ferrif
son échelle la position basse si le temps et ensoleillé (avec une certaine
probabilité), la position haute s’il est pluvieux (avec une certaine probabilité) et
intermédiaire s’il est incertain (avec une certaine probabilité). Nous souhaitons
pouvoir prédire le temps sans le voir directement, éventuellement enregistrer une
séquence de prévision et en induire si l’on est en été ou en hiver.
Nous sommes donc en présence de deux ensembles d’états : l’ensemble des
états observables (celui des positions de la grenouille) et l’ensemble des états
cachés (les états du temps). Par ailleurs nous savons que l’évolution du temps
obéit à un modèle markovien. La prévision du temps qu’il fait serait grandement
améliorée si nous pouvions combiner l’observation du temps qu’il faisait
réellement hier avec la position de la grenouille.
La description d’un modèle markovien caché se fait donc à l’aide d’un modèle
markovien sur l’espace des états cachés, d’un ensemble d’états observables et
d’une distribution de probabilité conditionnelle qui lie la réalité du temps à la
nature de l’observation.
Plus formellement (nous nous limiterons aux modèles d’espaces d’états finis), se
donner un modèle de Markov caché s’est se donner :
∑
l’ensemble E des états « cachés » ;
∑
l’ensemble M des états « observables » de cardinal m (éventuellement
différent du cardinal n de E) ;
∑
( )
la matrice de transition P = pij
1£ i, j £ n
sur E, avec
" (i, j ) ΠE 2 , pij = P ( X n +1 = j X n = i) ;
∑
( )
la matrice B = bkj
1£ k £ m ,1£ j £ n
telle que " j Œ E , " k Œ M , bkj = P (On = ok X n = i) où
ok désigne le symbole qui représente le résultat de l’observation ;
24/07/01
98
B.A. Ferrif
∑
la loi initiale PX 0 de X 0 sur E.
Se donner un modèle de Markov caché c’est donc plus brièvement se donner un
( )
triplet ÊË P = pij
24/07/01
1£ i, j £ n
( )
, B = bkj
1£ k £ m ,1£ j £ n
, PX 0 ˆ¯ .
99
B.A. Ferrif
APPENDICE A :
Formule de Bayes
A-1-Formule de Bayes : rappel et compléments.
Si ( E , F , P ) est un espace probabilisé et A un événement tel que P(A) > 0,
alors l'application de F à valeurs dans R définie par
" B Œ F , P (- A ) : B Æ P ( B A ) =
P ( A « B)
P ( A)
définit sur F une loi de probabilité qui s'appelle la probabilité de B sachant A .
Si
( E , F , P ) est un espace probabilisé, si A1 , A 2, ... , A n est une famille
d'évènements de E telle que : Ai « A j = ∆ si
iπ j
Ê n ˆ
et P Á U Ai ˜ = 1, alors
Ë i =1 ¯
n
pour tout évènement B Œ F on a : P ( B) =  P ( B « Ai ) .
i =1
Cette dernière relation porte souvent le nom de "principe des probabilités totales".
Si ( E , F , P ) est un espace probabilisé et si A1, A2 , ... , A n est une famille
d'évènements de E telle que :
24/07/01
Ai « A j = ∆ si
Ê n ˆ
i π j et P Á U Ai ˜ = 1, alors
Ë i =1 ¯
100
B.A. Ferrif
pour tout évènement B Œ F on a : P ( Ai B) =
P ( B Ai ) ¥ P ( Ai )
n
 P (B A ) ¥ P ( A )
j
pour i = 1 , 2 , ...
j
j =1
,n .
Si ( E , F , P ) est un espace probabilisé et si A1, A2 , ... , A n est une famille
d'évènements de E, on a :
P ( A1 « A2 « .. « An ) = P ( A1 ) ¥ P ( A2 A1 ) ¥ P ( A3 A1 « A2 ) ¥ .. ¥ P ( An A1 « .... « An -1 )
à condition que le second membre ait un sens (une condition suffisante est que le
premier membre soit strictement positif).
Comme les événements A et B sont parfaitement définis par leurs fonctions
indicatrices, on a :
P ( B A ) = P ({1B = 1} {1A = 1}) =
P ({1A = 1} « {1B = 1})
P ({1A = 1})
=
P ({(1A , 1B ) = (11
, )} )
P ({1A = 1})
Si X est une variable aléatoire définie sur l'espace probabilisé
( E, F, P) à
valeurs dans l'espace probabilisable ( E1, F1 ) et de loi PX , alors
pour toute variable aléatoire Y : E Æ R n , on appelle loi conditionnelle de Y en X la
famille des lois de probabilité sur Rn indexées par les valeurs x de X (de
probabilité > 0) et définies par :
PYX = x ( B) := P (Y ΠB X = x ) =
P ({Y ΠB, X = x )}
P ({Y Œ B} « {X = x})
=
.
P ({X = x})
P ({X = x})
Si ( X i ) i =1,..,n est une famille de variables aléatoires discrètes définie sur l'espace
probabilisé ( E , F , P ) on a, bien entendu :
24/07/01
101
B.A. Ferrif
P ( X1 , X 2 , .. , X n ) = P ( X1 ) ¥ P ( X 2 X1 ) ¥ P ( X 3 X1 , X 2 ) ¥ .. ¥ P ( X n X1 , ...., X n -1 ) .
Par substitution, on déduit le résultat utile suivant : si ( X i ) i =1,..,n est une famille
de variables aléatoires discrètes et si U est une variable aléatoire discrète
définies sur l'espace probabilisé ( E , F , P ) on a:
P ( X1 , X 2 , .. , X n U ) = P ( X1 U ) ¥ P ( X 2 X1,U ) ¥ P ( X 3 X1 , X 2 ,U ) ¥ .. ¥ P ( X n X1 , ...., X n -1,U )
A-2 Formule de Bayes généralisée.
Nous avons vu précédemment que si l’on prend des variables aléatoires discrètes
on a : P (Y X ) =
P (Y , X )
.
P( X )
De manière analogue on a pour quatre variables aléatoires discrètes :
(
P (W ,Y )
24/07/01
( X , Z )) =
(
)
P ((W ,Y )) P ( X , Z )(W ,Y )
P ((W ,Y ), ( X , Z ))
=
.
P (( X , Z ))
P (( X , Z ))
102
B.A. Ferrif
Appendice B :
Graphes
Cet appendice regroupe quelques résultats de théorie des graphes auxquels il est
fait référence dans le cours de systèmes stochastiques.
B-1-Définitions
Définition des graphes : Un graphe G est un couple (E,V) où E est l’ensemble
des sommets et V l’ensemble des arcs , l’ensemble des arcs étant un sousensemble de l’ensemble ExE.
figure 1
Si (x,y) est un arc de V , x est le prédécesseur de y et y le successeur de x.
24/07/01
103
B.A. Ferrif
Soit G=(E,R) un graphe où E est l’espace des sommets (dans ce cours l’espace
des états) et R l’ensemble des arcs (dans ce cours les transitions).
∑
Un arc du sommet x vers le sommet y est souvent noté (x,y).
(m,l) , (m,k) , (m,m) , (k,l) , (k,j) , (i,j) , (i,m) , (j,k) sont les arcs de la
figure 1 .
∑
Un arc (x,x) s’appelle une boucle.
(m,m) est une boucle dans l’exemple de la figure 1
∑
Deux sommets reliés par un arc sont dits adjacents.
Les sommets adjacents de l’exemple 1 sont décrits ci-dessus.
∑
Deux arcs sont dits adjacents s’ils ont une extrémité commune.
Sur la figure 1 les arcs (j,k) et (k,l) sont adjacents, il en est de même
des arcs (m,m) et (m,l) etc….
∑
Un arc qui a son extrémité terminale (resp. initiale) en un sommet est dit
incident vers l’intérieur (resp. vers l’extérieur) à ce sommet.
L’arc (k,j) est incident vers l’intérieur à j, l’arc (k,j) est incident vers
l’extérieur à k.
∑
On appelle demi-degré intérieur et l’on note d -(x) le nombre d’arcs incidents
vers l’intérieur à x. On appelle demi-degré extérieur et l’on note d+ (x) le
nombre d’arcs incidents vers l’extérieur à x.
Exemple : d+(I)=2, d-(I)=0, d+(m)=3, d-(m)=2, d+(j)=1, d-(j)=2,..
24/07/01
104
B.A. Ferrif
Définition d’une arborescence : Une arborescence de racine r est un graphe
G(E,V) tel que r est un élément de E et que, pour tout sommet x de E, il existe un
chemin unique de r vers x.
figure 2
Une arborescence est donc sans cycle et le demi-degré intérieur de chaque
nœud est égal à 1 sauf pour la racine. Les sommets de demi-degré extérieur nul
sont appelés les feuilles de l’arborescence.
Dans l’exemple de la figure 2 les feuilles sont f1 ,f2 ,f3 .
En informatique les arborescences se prêtent bien à une définition récursive.
Un graphe est dit simple si et seulement si :
1- Il n’a pas de boucle ;
2- Il y a au plus un arc entre deux sommets.
24/07/01
105
B.A. Ferrif
figure 3
Un graphe est toujours orienté. On est parfois amené à ignorer cette orientation si
le problème posé est de nature non orientée. Un arc s’appelle alors une arête,
notée [x,y], et l’on a [x,y]=[y,x].
On désigne parfois sous le nom de multigraphe un graphe G sans son orientation.
Inversement, à partir d’un multigraphe G, on construit un graphe orienté en
orientant chaque arête dans les 2 sens.
Exemple de multigraphe : (multigraphe associé au graphe simple de la figure 3)
figure 4
24/07/01
106
B.A. Ferrif
Un graphe est dit complet si et seulement si l’on a :
( x, y ) œ E fi ( y, x ) Œ E
U n chemin c = (v1, v 2 ,...v n ) est une suite d’arcs telle que pour chaque arc
v i = ( x i , x i +1 )
( i < n ) de la suite l’extrémité terminale x i +1 de v i coïncide avec
l’extrémité initiale de v i+1 .
Autrement dit, un chemin de x à y est une suite de sommets ( x1, x 2 ,...x n ) telle que
x 0 = x , x n = y et "i Œ N p -1 ( x1 , x i +1 ) ŒV . On dit alors parfois que y est descendant
d’ordre n de x.
Si l’on fait abstraction de l’orientation, le chemin s’appelle une chaîne. Une chaîne
est donc une séquence d’arêtes pouvant être parcourues de manière que
l’extrémité terminale de l’arête que l’on quitte soit l’extrémité initiale de l’arête que
l’on va parcourir.
Un chemin est dit élémentaire s’il ne rencontre pas deux fois le même sommet.
Lemme : Etant donnés deux sommets x et y de G, s’il existe un chemin de x à y
dans G alors il existe un chemin élémentaire de x à y (ce chemin sera de
longueur inférieure ou égale au cardinal de l’ensemble des sommets).
Un chemin est dit simple s’il n’utilise pas deux fois le même arc.
Un circuit (resp. un cycle) est un chemin (resp. une chaîne) qui se referme sur luimême (resp. sur elle-même)
24/07/01
B.A. Ferrif
107
La longueur d’un chemin (resp. d’une chaîne) est égale au nombre d’arcs (resp.
d’arêtes) qui le constituent.
La suite de sommets (1,2,4,1,5,3,6,2,4) est un chemin de longueur 8 reliant 1 à 4
.
La suite de sommets (1,2,4) est un chemin élémentaire de longueur 2 reliant 1 à
4.
La suite de sommets (1,2,4,1) est un chemin circuit de longueur 3.
Un chemin qui passe une seule fois par tous les sommets d’un graphe est appelé
chemin hamiltonien.
B-2-Connexité
B-2-1-Graphe connexe.
Un graphe connexe est un graphe tel que pour toute paire x, y de sommets
distincts, il existe un chemin qui les relie.
24/07/01
B.A. Ferrif
108
B-2-2-Composante connexe d’un graphe
Soient x et y deux sommets d’un graphe. La relation « x = y ou x π y et il existe
un chemin reliant x et y » est une relation d’équivalence. Les classes
d’équivalence forment une partition de E et sont appelées composantes connexes
de G.
B-2-3-Graphe fortement connexe
Soit G=(E,V) un graphe connexe et soit R la relation sur E définie par :
R(x,y) si et seulement si il existe un chemin de x vers y et un chemin de y vers x ;
un chemin de longueur 0 est un chemin réduit à x.
Cette relation d équivalence induit une partition de l’ensemble E dont les
éléments sont les composantes fortement connexes de G.
Un graphe est fortement connexe si et seulement s’il n’admet qu’une composante
connexe.
Autrement dit si et seulement si pour tout couple de sommets x et y il existe un
chemin de x vers y et un chemin de y vers x.
B-3-Matrice d’adjacence associée à un graphe
Etant donné un graphe G = (E,V) , on associe à G une matrice, appelée matrice
d’adjacence, de type (Card(E),Card(E)), telle que tout élément situé à
l’intersection de la ligne a Œ E et de la colonne b Œ E est égal à 1 si (a , b ) ŒV et
à 0 sinon.
24/07/01
109
B.A. Ferrif
La matrice d’adjacence M associée au graphe précédent est donc
Ê0
Á0
Á
Á0
M=Á
0
Á
Á0
Á
Ë0
1
0
1
0
0
0
0
1
0
0
1
0
0
0
1
0
1
0
1
0
0
0
1
0
0ˆ
0˜
˜
0˜
0˜
˜
0˜
˜
0¯
i
i 0
j 0
avec k 0
l 0
m 0
n 0
j
1
0
1
0
0
0
k
0
1
0
0
1
0
l m n
0 1 0
0 0 0
1 0 0
0 0 0
1 1 0
0 0 0
Le carré, le cube ,… la puissance d’ordre n de la matrice d’adjacence calculés
avec les règles habituelles donnent le nombre de chemins quelconques de
longueur 2, 3,…,n existant entre les éléments de tout couple de sommets du
graphe.
Ce qui est clair sur la définition du produit matriciel. En effet le terme situé à
n
l’intersection de la i-ème ligne et à de la j-ème colonne s’écrit
Âa
ik
.akj ; il s’ensuit
k =1
que si l’un des produits aih .ahj est égal à 0, on a aih = 0 ou ahj = 0 , autrement dit il
n’existe pas d’arc (i, h ) ou d’arc ( h, j ) ; si le produit aih .ahj est différent de 0, on a
aih = 1 et ahj = 1 , autrement dit il existe un d’arc (i, h ) et un arc ( h, j ) . La somme
n
Âa
ik
.akj donne donc le nombre de chemins de longueur 2 entre i et j.
k =1
24/07/01
110
B.A. Ferrif
B-4-Fermeture transitive d’un sommet du graphe.
Désignons par F(x) l’ensemble des sommets du graphe G liés à x par un arc
d’origine x :
F(i)={j,m} , F(j)={k} , F(k)={j,i}, F(m)={m,i,k} , F(l)={ }= = ∆ , F(n)={ } = ∆ .
On appelle fermeture transitive du sommet x d’un graphe G l’ensemble :
F ( x ) = {x} » F ( x ) » ... » F n ( x ) » ....
où F n ( x ) = F ( F n -1 ( x ))
Autrement dit la fermeture transitive de x représente l’ensemble des sommets
reliés à x par un chemin (on dit parfois que ce sont les sommets descendants de
x).
Calcul de la fermeture transitive
A la fermeture transitive d’un graphe correspond la matrice :
M (G) = I + M 1 + M 2 + ... + M n + ... (Addition booléenne)
Rappel du théorème du binôme :
booléennes).
24/07/01
(I + M ) k = I + M 1 + M 2 + ... + M k (Opérations
111
B.A. Ferrif
Il est clair qu’il n’est pas utile de considérer les puissances de M supérieures à n1 (n étant le nombre de sommets du graphe). En pratique on peut s’arrêter dès
que M p +1 = M p .
Si r est le nombre des sommets du graphe, c’est-à-dire le nombre d’évènements
de l’espace des états, et si r est fini, le chemin élémentaire de longueur maximale
dans le graphe comprend au plus r-1 arcs. On obtient la fermeture transitive en
calculant ( I + M )
( r -1)
où M est la matrice d’adjacence du graphe et I la matrice
identité. [La matrice M est une matrice booléenne]. Les opérations sur les
constituants de M et de I+M s’obtiennent en utilisant comme lois de composition
le produit et la somme logique.
. 0 1
Table du produit logique : 0 0 0
1 0 1
Ainsi il suffit de calculer ( I + M )
(2 p )
+ 0 1
Table de la somme logique : 0 0 1
1 1 1
jusqu’à ce que ( I + M )
(2 p )
= (I + M )
( 2 p +1 )
pour
obtenir la fermeture transitive du graphe .
La présence d’un 1 à la i-ème ligne et à la j-ème colonne de M p signifie qu’il
existe au moins un chemin de longueur p entre les sommets i et j.
B-5-Valeurs propres des matrices stochastiques
B-5-1-Valeurs propres et classes récurrentes
L’ordre de multiplicité de la valeur propre 1 de la matrice M est égal au nombre de
classes récurrentes pour une matrice stochastique finie.
24/07/01
B.A. Ferrif
112
B-5-2-Valeurs propres et classes périodiques
Si M est la matrice de transition d’une chaîne de Markov finie irréductible et
périodique de période d, alors les racines d-ièmes de l’unité sont des valeurs
propres de M, chacune de multiplicité 1 et il n’existe pas d’autre valeur propre de
module 1.
Si M est la matrice de transition d’une chaîne de Markov finie, toute valeur propre
de M de module 1 est racine de l’unité. Les racines d-ièmes de l’unité sont des
valeurs propres de M si et seulement si M contient une classe récurrente de
période d. La multiplicité de chaque d-ème racine de l’unité est exactement le
nombre de classes récurrentes de période d.
Remarque : La classification des états à l’aide des propriétés des graphes n’est
strictement équivalente à la classification probabiliste que dans le cas des
chaînes de Markov à espace d’états fini.
24/07/01
113
B.A. Ferrif
Problèmes de synthèse
Thème d'étude 1 : Etude du cursus d’un élève dans une
grande école
Ce thème d'étude servira de fil rouge tout au long de ce chapitre. Nous
résoudrons les questions qui se pose
Dans certaines grandes écoles les études durent trois ans ; à l’issue de chaque
année, chaque élève a une certaine probabilité
de passer dans l’année
supérieure (ou d’obtenir le diplôme s’il est en troisième année); une certaine
probabilité de redoubler, et une certaine probabilité d’être renvoyé. Pour certains
établissements, disons les établissements de type A, le nombre de
redoublements n'est pas limité; pour d'autres, appelons-les de type B, il n'est pas
possible d'une part de faire les deux premières années en plus de 3 ans (un élève
en échec qui a déjà accompli deux années est exclu) et d'autre part de faire la
troisième année 3 fois (un élève en échec qui a déjà accompli deux troisièmes
années est exclu).
Nous traiterons dans un premier temps le cas des établissements de type A, les
établissements de type B pourrons faire l'objet d'une étude de synthèse à la fin du
chapitre 3.
1.Quel est le modèle du cursus d’un élève dans un établissement de type A .
2. Quelle est la probabilité pour qu’un élève obtienne son diplôme de fin d’études
selon son état présent dans le cursus dans un établissement de type A.
3.Quel est le temps moyen pour qu’un élève obtienne son diplôme, selon son
état présent dans le cursus, dans un établissement de type A
24/07/01
B.A. Ferrif
114
4. Quelle est la durée moyenne des études dans un établissement de type A.
5. Quel est le temps moyen avant renvoi dans un établissement de type A.
6. Que doit penser un élève qui entre dans le système en première année ?
Comment peut-il augmenter ses chances de succès ?
Remarque: L'ensemble de ces questions sera repris pour un établissement de
type B à la fin du chapitre 2.
24/07/01