___________________________________________________________________
x Page 5 18/04/2017
II. Exercices
PROCESSUS STOCHASTIQUES
I. INTRODUCTION
On appelle processus stochastique tout problème qui dépend du hasard.
1.1) Historique
La première idée de la théorie des processus se trouve chez Einstein en 1905 dans l'étude
du mouvement brownien. Puis, vers 1910, Markov décrit l'alternance des voyelles et des
consonnes dans "Eugène Ouéguine" de Pouchkine à l'aide d'une chaîne de Markov.
En 1910, le danois Erlang crée la théorie des files d'attente pour l'aider à résoudre des
problèmes de dimensionnement de standards téléphoniques. En 1933, Kolmogorov rédige la
formalisation des processus stochastiques. Depuis, Kendall, Levy, Khintchine, Feller, Dood
ont développé cette théorie.
1.2) Définition d'un Processus Stochastique
Un processus stochastique est une famille de variables aléatoire Xt, t T (T représentant
le plus souvent le temps). La variable Xt représente l'état du processus au temps t et
l'ensemble de toutes les valeurs possibles pour cette variable s'appelle espace des états du
processus. Elle est noté .
Si T = IR+ , temps continu, on parle de processus stochastique
Si T = IN , temps discret, on parle de suite stochastique
Si Xt prend des valeurs finies ou dénombrables, on dit que le processus est à espace d'états
discret, sinon, on parle de processus à espace d'états continu.
Si est fini ou dénombrables, on parle de chaîne.
Un processus est Markovien s'il est sans mémoire (c'est à dire qu'il ne dépend pas de ce
qui s'est passé avant). A tous instants u et t avec t>u , la probabilité que Xt = y ne dépend pas
de Xs pour s<u et de Xu mais seulement de Xu:
P (Xt = y / Xs pour s<u et Xu=x) = P (Xt = y / Xu = x)
Les Chaînes de Markov à espace d'états discret
En recherche opérationnelle, les processus étudies sont homogènes. P (Xt+u = s / Xt =x) ne
dépend pas de t mais seulement de u (et de x et s…).
Soit une chaîne de Markov à espace d'états discret
T = { t0, t1, … , tn, …} (souvent confondu avec IN)
= { E1, E2, … , En, …}