le polycopié complet

Chaînes de Markov et Processus
markoviens de sauts.
Applications aux files d’attente.
Sébastien Loustau
Ecole Centrale de Marseille, Année 2008-2009.

TABLE DES MATIÈRES 3
Table des matières
1 Chaînes de Markov 1
1.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Récurrence, transcience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Chaînes récurrentes irréductibles . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Chaîne apériodique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.6 Chaîne réversible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2 Processus de Poisson 15
2.1 Processus ponctuels et f.a. de comptage . . . . . . . . . . . . . . . . . . . . 15
2.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3 Processus markoviens de sauts 21
3.1 Définition et premières propriétés . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.4 La chaîne incluse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.5 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.6 Cas irréductible récurrent . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Travaux Dirigés, Devoir Maison, Travaux Pratiques, Examen. 30

1
Chapitre 1
Chaînes de Markov
Introduction
On considère la marche aléatoire suivante sur le réseau Zd: on part du point 0Zd=
(0, . . . ,0) et on se dirige avec même probabilité dans chaque direction. Cela signifie qu’avec
probabilité p=1
2d, on choisit une direction. Les questions relatives à une telle marche sont
nombreuses et largement étudiées en théorie des probabilités. On peut se demander :
•Quelle est la probabilité de revenir en l’origine?
•Et en tout autre point?
•Où finit-on par aller?
•Quelle est la forme de la trajectoire?
Pour répondre à ces questions, on modélisera cette marche aléatoire par une chaîne de
Markov. Formellement, une chaîne de Markov vérifie la propriété de Markov, à savoir :
"Sachant le présent, le futur est indépendant du passé".
Une façon très simple de construire une chaîne de Markov (Xn)n≥0est de se donner une
suite de variables aléatoires Yn, n ≥1indépendantes, et indépendantes de X0, et de poser :
Xn=f(Xn−1,Yn,n), n ≥1.(1.1)
Autrement dit, c’est le modèle le plus simple de variables aléatoires dépendantes. Dans
ce chapitre, on va étudier les chaînes de Markov homogènes. Cela revient à choisir f
indépendante de ndans la relation (1.2). Si on revient à la marche aléatoire sur Zd, on a
bien :
Xn=f(Xn−1,Yn),
où f(Xn−1,Yn) = Xn−1+Ynavec Yndonnée par
Yn=ei, i = 1 . . . d avec probabilité 1
2d
−ei, i = 1 . . . d avec probabilité 1
2d,
où ei, i = 1 . . . d est la base canonique de Zd.