Chaînes de Markov discrètes

Chaînes de Markov discrètes
Dr Stephan Robert
3 mars 2016
1 / 1

2 / 1

Chaînes de Markov dicrètes
3 / 1

Introduction
I{Xn}: suite de variables aléatoires prenant des valeurs dans
E={0,1,2,...,m},Edénombrable.
IPropriété de Markov :
P(Xn+1=j|Xn=i,Xn−1=in−1, ..., X0=i0) =
P(Xn+1=j|Xn=i)
INotation : Xn=i,i∈ E
IDéfinition : Probabilité de transition :
P(Xn+1=j|Xn=i)
4 / 1

Exemple
Somme de variables aléatoires Xi,i∈N, iid :
ISn=X1+X2+. . . +Xn
ISn=Sn−1+Xn
Avec S0=0 nous remarquons que le processus est Markovien.
5 / 1