Rappels sur les probabilités, les processus aléatoires et les chaînes

Rappels sur les probabilités, les processus aléatoires et
les chaînes de Markov
Amélie Lambert
Cnam
MPRO 2016-2017
Amélie Lambert (Cnam)
MPRO 2016-2017
1 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
2 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
3 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
4 / 91
Quelques rappels
Lors d’une expérience aléatoire, c’est-à-dire soumise au hasard, on définit :
L’univers Ω qui est l’ensemble de tous les résultats possibles de
l’expérience aléatoire.
Un événement E qui est un ensemble de résultats possibles à
l’intérieur de l’univers.
Le dénombrement d’un événement qui est le calcul du nombre de
cas où l’événement considéré peut se produire.
La probabilité d’un évènement P qui correspond à la fréquence
d’un événement par rapport à l’ensemble des cas possibles.
(nombre de cas où l’évènement considéré peut se produire sur le
nombre total de cas)
Amélie Lambert (Cnam)
MPRO 2016-2017
5 / 91
Quelques exemples
Amélie Lambert (Cnam)
MPRO 2016-2017
6 / 91
Exemple 1
Soit une classe composée de 2 groupes :
Filles
Garçons
Total
Groupe 1
3
25
28
Groupe 2
10
19
29
Total
13
44
57
Expérience aléatoire : Tirer au hasard 2 étudiants.
Question : Quelle est la probabilité de l’évènement E : { tirages avec 1
étudiant (e) de chaque genre et 1 étudiant (e) de chaque groupe } ?
Amélie Lambert (Cnam)
MPRO 2016-2017
7 / 91
Exemple 1 : solution
E = H ∪ I , où H ={la fille tirée est du groupe 1 } et I ={la fille tirée est
du groupe 2 }
Amélie Lambert (Cnam)
MPRO 2016-2017
8 / 91
Exemple 1 : solution
E = H ∪ I , où H ={la fille tirée est du groupe 1 } et I ={la fille tirée est
du groupe 2 }
Il y a deux ordres possibles (fille en premier ou garçon en premier) :
Ordre 1 : Le nombre d’évènements qui commencent avec la fille en
premier est 3 ∗ 19 = 357 dans H et 10 ∗ 25 = 250 dans I .
Ordre 2 : Le nombre d’évènements qui commencent avec le garçon en
premier est 19 ∗ 3 = 357 dans H et 25 ∗ 10 = 250 dans I .
Amélie Lambert (Cnam)
MPRO 2016-2017
8 / 91
Exemple 1 : solution
E = H ∪ I , où H ={la fille tirée est du groupe 1 } et I ={la fille tirée est
du groupe 2 }
Il y a deux ordres possibles (fille en premier ou garçon en premier) :
Ordre 1 : Le nombre d’évènements qui commencent avec la fille en
premier est 3 ∗ 19 = 357 dans H et 10 ∗ 25 = 250 dans I .
Ordre 2 : Le nombre d’évènements qui commencent avec le garçon en
premier est 19 ∗ 3 = 357 dans H et 25 ∗ 10 = 250 dans I .
cardE = cardH + cardI = 2 ∗ 357 + 2 ∗ 250 = 1214
P(E ) =
Amélie Lambert (Cnam)
nombres de cas favorables
nombres de cas possibles
=
1214
56∗57
=
1214
3192
= 0.38
MPRO 2016-2017
8 / 91
Exemple 2
Filles
Garçons
Total
Groupe 1
3
25
28
Groupe 2
10
19
29
Total
13
44
57
Expérience aléatoire : Tirer au hasard 3 étudiants.
Question : Quelle est la probabilité de l’évènement E = { tirages avec
exactement 1 fille et exactement 1 étudiant(e) du groupe 1 } ?
Amélie Lambert (Cnam)
MPRO 2016-2017
9 / 91
Exemple 2 : solution (1/3)
Soient :
E = { tirages avec exactement 1 fille et exactement 1 étudiant(e) du
groupe 1 }
H est le sous-ensemble de E formé des tirages dans lesquels la fille est
du groupe 1.
I est le sous-ensemble de E formé des tirages dans lesquels la fille est
du groupe 2.
Amélie Lambert (Cnam)
MPRO 2016-2017
10 / 91
Exemple 2 : solution (2/3)
Former un élément de H : sous-ensemble de E formé des
tirages dans lesquels la fille est du groupe 1.
1
2
3
4
Choisir d’abord la fille dans le groupe 1
Choisir un garçon dans le groupe 2
Choisir un autre garçon (distinct du premier) dans le groupe 2
Choisir l’ordre dans lequel ils vont sortir (il y en a autant que de
permutations de 3 personnes, soit 6)
Amélie Lambert (Cnam)
MPRO 2016-2017
11 / 91
Exemple 2 : solution (2/3)
Former un élément de H : sous-ensemble de E formé des
tirages dans lesquels la fille est du groupe 1.
1
2
3
4
Choisir d’abord la fille dans le groupe 1
Choisir un garçon dans le groupe 2
Choisir un autre garçon (distinct du premier) dans le groupe 2
Choisir l’ordre dans lequel ils vont sortir (il y en a autant que de
permutations de 3 personnes, soit 6)
Former un élément de I : sous-ensemble de E formé des tirages
dans lesquels la fille est du groupe 2.
1
2
3
4
Choisir d’abord la fille dans le groupe 2
Choisir un garçon dans le groupe 1
Choisir un garçon dans le groupe 2
Choisir l’ordre dans lequel ils vont sortir (il y en a autant que de
permutations de 3 personnes, soit 6)
Amélie Lambert (Cnam)
MPRO 2016-2017
11 / 91
Exemple 2 : solution (3/3)
Donc
cardH = 3 ∗ 19 ∗ 18 ∗ 6 = 6156
cardI = 10 ∗ 25 ∗ 19 ∗ 6 = 28500
Amélie Lambert (Cnam)
MPRO 2016-2017
12 / 91
Exemple 2 : solution (3/3)
Donc
cardH = 3 ∗ 19 ∗ 18 ∗ 6 = 6156
cardI = 10 ∗ 25 ∗ 19 ∗ 6 = 28500
Comme H et I sont disjoints et E = H ∪ I ,
cardE = cardH + cardI = 6156 + 28500 = 34656
Amélie Lambert (Cnam)
MPRO 2016-2017
12 / 91
Exemple 2 : solution (3/3)
Donc
cardH = 3 ∗ 19 ∗ 18 ∗ 6 = 6156
cardI = 10 ∗ 25 ∗ 19 ∗ 6 = 28500
Comme H et I sont disjoints et E = H ∪ I ,
cardE = cardH + cardI = 6156 + 28500 = 34656
D’où
P(E ) =
nombres de cas favorables
34656
34656
=
=
= 0.197
nombres de cas possibles
57 ∗ 56 ∗ 55
175560
Amélie Lambert (Cnam)
MPRO 2016-2017
12 / 91
Techniques de dénombrement
Amélie Lambert (Cnam)
MPRO 2016-2017
13 / 91
Les arbres
Exemple : On considère une urne qui contient deux boules rouges, deux
noires et une verte. On tire deux boules sans remise.
Expérience à deux étapes où les différentes possibilités qui peuvent survenir
sont représentées par un arbre horizontal :
Problème : trop complexe si trop de possibilités !
Amélie Lambert (Cnam)
MPRO 2016-2017
14 / 91
Les arrangements
Définition : Une disposition ordonnée de r objets distincts pris parmi n est
appelée arrangement de r objets pris parmi n (on a obligatoirement r ≤ n).
Considérons les r positions comme fixées. Pour la première étape, on a n
choix possibles, pour la deuxième, n − 1 choix possibles, . . ., pour la r ème ,
n − r + 1 choix possibles.
Proposition : Un arrangement de r objets pris parmi n, noté Anr est :
Anr = n(n − 1)(n − 2) . . . (n − r + 1) =
Amélie Lambert (Cnam)
n!
(n − r )!
MPRO 2016-2017
15 / 91
Les permutations
Définition : Une permutation de n éléments est une disposition ordonnée
de ces n éléments.
Proposition : Les permutations de n éléments sont au nombre de Ann = n!
Amélie Lambert (Cnam)
MPRO 2016-2017
16 / 91
Les combinaisons
Définition : Un choix de r objets distincts pris parmi n sans tenir compte
de leur ordre est appelé combinaison de r objets pris parmi n.
Exemple : Si on prend l’ensemble des combinaisons de 2 lettres parmi 4
lettres {a, b, c, d } :
La combinaison {a, b} qui est la même que la combinaison {b, a}
L’arrangement {a, b} est différent de l’arrangement {b, a}.
Amélie Lambert (Cnam)
MPRO 2016-2017
17 / 91
Les combinaisons
Le nombre total de combinaisons de r objets pris parmi n est noté Crn .
Pour trouver l’expression de Crn , comparons le nombre d’arrangements et
de combinaisons possibles de r objets pris parmi n.
Dans un arrangement on choisit r objets, puis on tient compte de leur
ordre.
Dans une combinaison seul le choix des r objets compte. Comme le
nombre de façons d’ordonner les r objets choisis est r !, on conclut
qu’à chaque combinaison de r objets pris parmi n, on peut associer r !
arrangements et donc qu’il y a r ! fois plus d’arrangements que de
combinaisons.
Proposition : Une combinaison de r objets pris parmi n est :
Crn =
Anr
n(n − 1)(n − 2) . . . (n − r + 1)
n!
=
=
r!
r!
r !(n − r )!
Amélie Lambert (Cnam)
MPRO 2016-2017
18 / 91
Exemple 1 (rappel)
Soit une classe composée de 2 groupes :
Filles
Garçons
Total
Groupe 1
3
25
28
Groupe 2
10
19
29
Total
13
44
57
Expérience aléatoire : Tirer au hasard 2 étudiants.
Question : Quelle est la probabilité de l’évènement E : { tirages avec 1
étudiant (e) de chaque genre et 1 étudiant (e) de chaque groupe } ?
Amélie Lambert (Cnam)
MPRO 2016-2017
19 / 91
Solution de l’exemple 1 par les arrangements (1/2)
Les arrangements cherchés sont de la forme A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1) avec :
Amélie Lambert (Cnam)
MPRO 2016-2017
20 / 91
Solution de l’exemple 1 par les arrangements (1/2)
Les arrangements cherchés sont de la forme A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1) avec :
cardA = A31 A19
1 = 3 ∗ 19 = 357
Amélie Lambert (Cnam)
MPRO 2016-2017
20 / 91
Solution de l’exemple 1 par les arrangements (1/2)
Les arrangements cherchés sont de la forme A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1) avec :
cardA = A31 A19
1 = 3 ∗ 19 = 357
25
cardB = A10
1 A1 = 10 ∗ 25 = 250
Amélie Lambert (Cnam)
MPRO 2016-2017
20 / 91
Solution de l’exemple 1 par les arrangements (1/2)
Les arrangements cherchés sont de la forme A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1) avec :
cardA = A31 A19
1 = 3 ∗ 19 = 357
25
cardB = A10
1 A1 = 10 ∗ 25 = 250
10
cardC = A25
1 A1 = 25 ∗ 10 = 250
Amélie Lambert (Cnam)
MPRO 2016-2017
20 / 91
Solution de l’exemple 1 par les arrangements (1/2)
Les arrangements cherchés sont de la forme A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1) avec :
cardA = A31 A19
1 = 3 ∗ 19 = 357
25
cardB = A10
1 A1 = 10 ∗ 25 = 250
10
cardC = A25
1 A1 = 25 ∗ 10 = 250
3
cardD = A19
1 A1 = 19 ∗ 3 = 357
Amélie Lambert (Cnam)
MPRO 2016-2017
20 / 91
Solution de l’exemple 1 par les arrangements (2/2)
On a E = A ∪ B ∪ C ∪ D
Amélie Lambert (Cnam)
MPRO 2016-2017
21 / 91
Solution de l’exemple 1 par les arrangements (2/2)
On a E = A ∪ B ∪ C ∪ D
D’où
cardE = cardA + cardB + cardC + cardD = 357 + 250 + 250 + 357 = 1214
Amélie Lambert (Cnam)
MPRO 2016-2017
21 / 91
Solution de l’exemple 1 par les arrangements (2/2)
On a E = A ∪ B ∪ C ∪ D
D’où
cardE = cardA + cardB + cardC + cardD = 357 + 250 + 250 + 357 = 1214
La probabilité de tirer 1 étudiant (e) de chaque genre et 1 étudiant (e) de
chaque groupe vaut :
P(E ) =
Amélie Lambert (Cnam)
nombres de cas favorables
1214
=
= 0.38
nombres de cas possibles
3192
MPRO 2016-2017
21 / 91
Probabilités sur un ensemble fini
Amélie Lambert (Cnam)
MPRO 2016-2017
22 / 91
Probabilités sur un ensemble fini
Définition : Si l’univers Ω est constitué de n événements élémentaires {ei }
(événements n’ayant qu’un élément), une mesure de probabilité P sur Ω
consiste à se donner n nombres P(ei ) = pi ∈ [0, 1], les probabilités des
événements élémentaires, tels que :
n
X
pi = 1
i=1
Si l’événement A est la réunion disjointe de k événements élémentaires
{ei }, avec 0 < k < n, la probabilité de A vaut, par définition :
P(A) = P(∪ki=1 ei ) =
k
k
X
X
P(ei ) =
pi
i=1
Amélie Lambert (Cnam)
i=1
MPRO 2016-2017
23 / 91
Probabilité uniforme
Définition : Il y a probabilité uniforme ou équiprobabilité lorsque tous les
pi valent n1 .
La probabilité d’un sous-ensemble A de k éléments vaut alors :
P(A) =
Amélie Lambert (Cnam)
card(A)
k
=
n
card(Ω)
MPRO 2016-2017
24 / 91
Propriétés des probabilités d’un événement aléatoire
Propriété 1 : On appelle ∅ l’événement impossible, puisqu’il n’est jamais
réalisé. Sa probabilité P(∅) vaut 0.
Amélie Lambert (Cnam)
MPRO 2016-2017
25 / 91
Propriétés des probabilités d’un événement aléatoire
Propriété 1 : On appelle ∅ l’événement impossible, puisqu’il n’est jamais
réalisé. Sa probabilité P(∅) vaut 0.
Propriété 2 : On note Ā l’événement contraire de A. C’est le
complémentaire de A dans Ω. Sa probabilité vaut P(Ā) = 1 − P(A).
Amélie Lambert (Cnam)
MPRO 2016-2017
25 / 91
Propriétés des probabilités d’un événement aléatoire
Propriété 1 : On appelle ∅ l’événement impossible, puisqu’il n’est jamais
réalisé. Sa probabilité P(∅) vaut 0.
Propriété 2 : On note Ā l’événement contraire de A. C’est le
complémentaire de A dans Ω. Sa probabilité vaut P(Ā) = 1 − P(A).
Propriété 3 : Si B est un sous-ensemble de A (i.e. B ⊆ A), on a :
P(B) ≤ P(A)
Amélie Lambert (Cnam)
MPRO 2016-2017
25 / 91
Propriétés des probabilités d’un événement aléatoire
Propriété 1 : On appelle ∅ l’événement impossible, puisqu’il n’est jamais
réalisé. Sa probabilité P(∅) vaut 0.
Propriété 2 : On note Ā l’événement contraire de A. C’est le
complémentaire de A dans Ω. Sa probabilité vaut P(Ā) = 1 − P(A).
Propriété 3 : Si B est un sous-ensemble de A (i.e. B ⊆ A), on a :
P(B) ≤ P(A)
Propriété 4 (Théorème des probabilités totales :) Si A et B sont deux
sous-ensembles de Ω, on a :
P(A ∪ B) = P(A) + P(B) − P(A ∩ B)
Ainsi, si A et B sont disjoints, i.e., si leur intersection A ∩ B est vide, alors
P(A ∪ B) = P(A) + P(B).
Amélie Lambert (Cnam)
MPRO 2016-2017
25 / 91
Événements indépendants
Définition : Deux événements A et B sont indépendants si la probabilité
sur l’événement A n’est pas affectée par la probabilité de B.
Amélie Lambert (Cnam)
MPRO 2016-2017
26 / 91
Événements indépendants
Définition : Deux événements A et B sont indépendants si la probabilité
sur l’événement A n’est pas affectée par la probabilité de B.
Propriété : Si deux événements sont indépendants, la probabilité qu’ils se
réalisent tous les deux est égale au produit de leurs probabilités respectives.
On peut donc écrire :
P(A ∩ B) = P(A) ∗ P(B)
Amélie Lambert (Cnam)
MPRO 2016-2017
26 / 91
Événements indépendants
Définition : Deux événements A et B sont indépendants si la probabilité
sur l’événement A n’est pas affectée par la probabilité de B.
Propriété : Si deux événements sont indépendants, la probabilité qu’ils se
réalisent tous les deux est égale au produit de leurs probabilités respectives.
On peut donc écrire :
P(A ∩ B) = P(A) ∗ P(B)
Exemple : Les tirages avec remise sont des événements indépendants.
Amélie Lambert (Cnam)
MPRO 2016-2017
26 / 91
Evènements dépendants, probabilités conditionnelles
Définition : Deux événements A et B sont dépendants si la probabilité sur
l’événement A est affectée par la probabilité de B.
Amélie Lambert (Cnam)
MPRO 2016-2017
27 / 91
Evènements dépendants, probabilités conditionnelles
Définition : Deux événements A et B sont dépendants si la probabilité sur
l’événement A est affectée par la probabilité de B.
Définition : Soient A et B deux événements, A étant supposé de
probabilité non nulle. On appelle probabilité conditionnelle de B par
rapport à A, la probabilité de réalisation de l’événement B sachant que A
est réalisé. On la note
P(A ∩ B)
P(B|A) =
P(A)
Amélie Lambert (Cnam)
MPRO 2016-2017
27 / 91
Evènements dépendants, probabilités conditionnelles
Définition : Deux événements A et B sont dépendants si la probabilité sur
l’événement A est affectée par la probabilité de B.
Définition : Soient A et B deux événements, A étant supposé de
probabilité non nulle. On appelle probabilité conditionnelle de B par
rapport à A, la probabilité de réalisation de l’événement B sachant que A
est réalisé. On la note
P(A ∩ B)
P(B|A) =
P(A)
Théorème (probabilité composées ou règle de la multiplication) :
P(A ∩ B) = P(B|A)P(A) = P(A|B)P(B)
Amélie Lambert (Cnam)
MPRO 2016-2017
27 / 91
Evènements dépendants, probabilités conditionnelles
Définition : Deux événements A et B sont dépendants si la probabilité sur
l’événement A est affectée par la probabilité de B.
Définition : Soient A et B deux événements, A étant supposé de
probabilité non nulle. On appelle probabilité conditionnelle de B par
rapport à A, la probabilité de réalisation de l’événement B sachant que A
est réalisé. On la note
P(A ∩ B)
P(B|A) =
P(A)
Théorème (probabilité composées ou règle de la multiplication) :
P(A ∩ B) = P(B|A)P(A) = P(A|B)P(B)
Exemple : Les tirages sans remise sont des événements dépendants.
Amélie Lambert (Cnam)
MPRO 2016-2017
27 / 91
Exemple 1 (rappel)
Soit une classe composée de 2 groupes :
Filles
Garçons
Total
Groupe 1
3
25
28
Groupe 2
10
19
29
Total
13
44
57
Expérience aléatoire : Tirer au hasard 2 étudiants.
Question : Quelle est la probabilité de l’évènement E : { tirages avec 1
étudiant (e) de chaque genre et 1 étudiant (e) de chaque groupe } ?
Amélie Lambert (Cnam)
MPRO 2016-2017
28 / 91
Solution de l’exemple 1 par probabilités conditionnelles (1/2)
Soient les évènements suivants : A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1).
Amélie Lambert (Cnam)
MPRO 2016-2017
29 / 91
Solution de l’exemple 1 par probabilités conditionnelles (1/2)
Soient les évènements suivants : A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1).
La probabilité de l’événement A, c’est la probabilité de tirer en premier une
3
), multipliée par la probabilité, sachant qu’on a déjà
fille du groupe 1, ( 57
tiré une fille du groupe 1, de tirer un garçon du groupe 2, soit :
P(A) = P(F 1) ∗ P(G 2|F 1) =
Amélie Lambert (Cnam)
3
∗ P(G 2|F 1)
57
MPRO 2016-2017
29 / 91
Solution de l’exemple 1 par probabilités conditionnelles (1/2)
Soient les évènements suivants : A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1).
La probabilité de l’événement A, c’est la probabilité de tirer en premier une
3
), multipliée par la probabilité, sachant qu’on a déjà
fille du groupe 1, ( 57
tiré une fille du groupe 1, de tirer un garçon du groupe 2, soit :
P(A) = P(F 1) ∗ P(G 2|F 1) =
3
∗ P(G 2|F 1)
57
Une fois qu’on a tiré une fille du groupe 1, il reste à tirer un étudiant dans
un paquet de 56 qui compte 19 garçons du groupe 2, donc P(G 2|F 1) = 19
56 .
Il vient :
P(A) =
Amélie Lambert (Cnam)
3 19
357
∗
=
57 56
3192
MPRO 2016-2017
29 / 91
Solution de l’exemple 1 par probabilités conditionnelles (2/2)
Soient les évènements suivants : A = (F 1, G 2), B = (F 2, G 1),
C = (G 1, F 2), et D = (G 2, F 1).
Idem pour B, C et D, donc :
P(E ) =
Amélie Lambert (Cnam)
357
250
250
357
1214
+
+
+
=
= 0.38
3192 3192 3192 3192
3192
MPRO 2016-2017
30 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
31 / 91
Définition
Amélie Lambert (Cnam)
MPRO 2016-2017
32 / 91
Variables aléatoires
Exemple 3 : On jette deux fois une pièce de monnaie non truquée, et on
s’intéresse au nombre de fois que le côté "face" a été obtenu.
Pour calculer les probabilités des divers résultats, on introduira une variable
aléatoire X qui désignera le nombre de fois où le côté "face" est obtenu.
Ici, X peut prendre les valeurs 0, 1, 2.
Définition : Soit un univers Ω associé à une expérience aléatoire, sur
lequel on a défini une mesure de probabilité P et des évènements E . Une
variable aléatoire X est l’application :
(Ω, E , P) → R
ω → X (ω)
Amélie Lambert (Cnam)
MPRO 2016-2017
33 / 91
Variables aléatoires discrètes (1/2)
Définition : Une variable aléatoire discrète est une variable aléatoire qui ne
prend que des valeurs entières, en nombre fini ou dénombrable :
(Ω, E , P) → N
ω → X (ω)
On note X (Ω) = {xi , i ∈ I } l’ensemble des valeurs ordonnées prises par X .
Amélie Lambert (Cnam)
MPRO 2016-2017
34 / 91
Variables aléatoires discrètes (2/2)
On associe à chacune des valeurs possibles de la variable aléatoire la
probabilité qui lui correspond. Pour calculer la probabilité que la variable X
soit égale a xi , on cherche tous les événements élémentaires ej pour
lesquels X (ej ) = xi , et on a :
P(X = xi ) =
k
X
P({ej }) si X = xi sur les évts élémentaires e1 , . . . , ek
j=1
On appelle fonction de densité discrète f la fonction de R dans [0, 1],
qui à tout nombre
X réel xi associe f (xi ) = P(X = xi ).
On a bien sûr
f (xi ) = 1.
i
Amélie Lambert (Cnam)
MPRO 2016-2017
35 / 91
Exemple (suite)
Exemple 3 (rappel) : On jette deux fois une pièce de monnaie non
truquée, et on s’intéresse au nombre de fois que le côté "face" a été
obtenu. Pour calculer les probabilités des divers résultats, on introduira une
variable X qui désignera le nombre de "face" obtenu. X peut prendre les
valeurs 0, 1, 2.
La variable X = nombre de côtés "face" peut prendre les valeurs 0, 1, 2.
1
4
P((pile, face)) = 12
P((face, face)) = 41
f (0) = P(X = 0) = P((pile, pile)) =
f (1) = P(X = 1) =
f (2) = P(X = 2) =
f (x) = 0 si x ∈
/ {0, 1, 2}
x
f (x) = P(X = x)
Amélie Lambert (Cnam)
0
1
2
1
4
1
2
1
4
total
1
MPRO 2016-2017
36 / 91
Variables aléatoires continues
Définition : Une variable aléatoire est dite continue si elle peut prendre
toutes les valeurs dans un intervalle donné (borné ou non borné). En règle
générale, toutes les variables qui résultent d’une mesure sont de type
continu.
Remarque : Pour une variable aléatoire continue, la probabilité associée à
l’évènement {X = a} est nulle, car il est impossible d’observer exactement
cette valeur. On considère alors la probabilité que la variable aléatoire X
prenne des valeurs comprises dans un intervalle [a, b] tel que P(a ≤ X ≤ b).
Amélie Lambert (Cnam)
MPRO 2016-2017
37 / 91
Fonction de répartition
Définition : La fonction de répartition d’une variable aléatoire X indique
pour chaque valeur réelle x la probabilité que X prenne une valeur au plus
égale à x. C’est la somme des probabilités des valeurs de X jusqu’à x. On
la note F :
X
∀x ∈ R, F (x) = P(X ≤ x) =
P(X = xi )
xi ≤x
La fonction de répartition est toujours croissante et comprise entre 0 et 1.
Amélie Lambert (Cnam)
MPRO 2016-2017
38 / 91
Espérance mathématique
Amélie Lambert (Cnam)
MPRO 2016-2017
39 / 91
Espérance mathématique d’une distribution de probabilité
Idée générale : Si l’on s’imagine que le nombre d’observations croît
indéfiniment, les fréquences observées vont tendre vers les probabilités
théoriques et on admet que la moyenne calculée sur un échantillon de taille
n va tendre vers une valeur limite qui sera la moyenne de l’ensemble des
valeurs de la population entière.
On appelle cette moyenne espérance mathématique de la variable
aléatoire X . C’est intuitivement la valeur que l’on s’attend à trouver, en
moyenne, si l’on répète un grand nombre de fois la même expérience
aléatoire.
Amélie Lambert (Cnam)
MPRO 2016-2017
40 / 91
Définition : Espérance mathématique (1/2)
Cas d’une variable discrète :
Soit X une variable aléatoire discrète qui prend un nombre fini de
valeurs x1 , x2 , . . . , xn et dont la loi de probabilité est
f : f (xi ) = P(X = xi ). L’espérance mathématique de X est :
E(X ) =
n
X
xi f (xi )
i=1
Si la variable aléatoire X prend un nombre dénombrable de valeurs
x1 , x2 , . . . , xn , . . ., son espérance mathématique est :
E(X ) =
∞
X
xi f (xi ) ( à condition que la série converge)
i=1
Amélie Lambert (Cnam)
MPRO 2016-2017
41 / 91
Définition : Espérance mathématique (2/2)
Cas d’une variable continue :
Si la variable aléatoire X est continue et a pour fonction de densité de
probabilité f , son espérance mathématique est :
Z
E(X ) = xf (x)dx (si la fonction x → xf (x) est intégrable sur R)
R
Amélie Lambert (Cnam)
MPRO 2016-2017
42 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Propriété 1 E(X + Y ) = E(X ) + E(Y )
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Propriété 1 E(X + Y ) = E(X ) + E(Y )
Propriété 2 ∀a ∈ R, on a E(aX ) = aE(X )
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Propriété 1 E(X + Y ) = E(X ) + E(Y )
Propriété 2 ∀a ∈ R, on a E(aX ) = aE(X )
Propriété 3 Si X ≥ 0, alors E(X ) ≥ 0
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Propriété 1 E(X + Y ) = E(X ) + E(Y )
Propriété 2 ∀a ∈ R, on a E(aX ) = aE(X )
Propriété 3 Si X ≥ 0, alors E(X ) ≥ 0
Propriété 4 Si la variable aléatoire est constante : ∀ω, X (ω) = k,
alors E(X ) = k
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Propriétés de l’espérance mathématique
Les propriétés de l’espérance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω,
admettant une espérance E, alors :
Propriété 1 E(X + Y ) = E(X ) + E(Y )
Propriété 2 ∀a ∈ R, on a E(aX ) = aE(X )
Propriété 3 Si X ≥ 0, alors E(X ) ≥ 0
Propriété 4 Si la variable aléatoire est constante : ∀ω, X (ω) = k,
alors E(X ) = k
Propriété 5 Si X et Y indépendantes, alors E(XY ) = E(X )E(Y )
Amélie Lambert (Cnam)
MPRO 2016-2017
43 / 91
Variance, écart-type et covariance
Amélie Lambert (Cnam)
MPRO 2016-2017
44 / 91
Variance d’une distribution de probabilité
Idée générale : c’est une mesure servant à caractériser la dispersion d’une
distribution. Elle indique de quelle manière la variable aléatoire se disperse
autour de sa moyenne (son espérance).
Une variance de zéro signale que toutes les valeurs sont identiques. Une
petite variance est signe que les valeurs sont proches les unes des autres
alors qu’une variance élevée est signe que celles-ci sont très écartées.
Amélie Lambert (Cnam)
MPRO 2016-2017
45 / 91
Variance d’une distribution de probabilité
Le calcul de la variance peut s’effectuer en utilisant l’expression :
Var(X ) = E((X − E(X ))2 ) = E(X 2 ) − (E(X )2 )
1
Cas d’une variable discrète finie :
Var(X ) =
n
X
(xi − E(X ))2 f (xi )
i=1
n
X
Var(X ) = ( xi2 )f (xi ) − E(X )2
i=1
2
Cas d’une variable continue :
Z
(x − E(X ))2 f (x)dx
Var(X ) =
R
Z
Var(X ) = ( x 2 f (x)dx) − E(X )2
R
Amélie Lambert (Cnam)
MPRO 2016-2017
46 / 91
Propriétés de la variance
Les propriétés de la variance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω :
Amélie Lambert (Cnam)
MPRO 2016-2017
47 / 91
Propriétés de la variance
Les propriétés de la variance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω :
Propriété 1 ∀a ∈ R, on a Var(aX ) = a2 Var(X )
Amélie Lambert (Cnam)
MPRO 2016-2017
47 / 91
Propriétés de la variance
Les propriétés de la variance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω :
Propriété 1 ∀a ∈ R, on a Var(aX ) = a2 Var(X )
Propriété 2 ∀(a, b) ∈ R2 , on a Var(aX + b) = a2 Var(X )
Amélie Lambert (Cnam)
MPRO 2016-2017
47 / 91
Propriétés de la variance
Les propriétés de la variance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω :
Propriété 1 ∀a ∈ R, on a Var(aX ) = a2 Var(X )
Propriété 2 ∀(a, b) ∈ R2 , on a Var(aX + b) = a2 Var(X )
Propriété 3 Si X et Y ind., alors Var(X + Y ) = Var(X ) + Var(Y )
Amélie Lambert (Cnam)
MPRO 2016-2017
47 / 91
Propriétés de la variance
Les propriétés de la variance valent aussi bien pour une variable aléatoire
discrète ou une variable aléatoire absolument continue.
Si X et Y sont deux variables aléatoires définies sur un même univers Ω :
Propriété 1 ∀a ∈ R, on a Var(aX ) = a2 Var(X )
Propriété 2 ∀(a, b) ∈ R2 , on a Var(aX + b) = a2 Var(X )
Propriété 3 Si X et Y ind., alors Var(X + Y ) = Var(X ) + Var(Y )
Propriété 4 Si X et Y ind., alors Var(X − Y ) = Var(X ) + Var(Y )
Amélie Lambert (Cnam)
MPRO 2016-2017
47 / 91
Écart-type
Définition : On appelle écart-type de la variable aléatoire X la racine
carrée de sa variance :
p
θ(X ) = Var(X )
Amélie Lambert (Cnam)
MPRO 2016-2017
48 / 91
Covariance de deux variables aléatoires (1/2)
Lorsque deux variables aléatoires ne sont pas indépendantes, il existe une
caractéristique qui permet de déterminer l’intensité de leur dépendance.
C’est la covariance.
Définition : La covariance de deux variables aléatoires X et Y est définie
par :
Cov(X , Y )
Cov(X , Y )
Cov(X , Y )
Cov(X , Y )
=
=
=
=
Amélie Lambert (Cnam)
E((X − E(X )(Y − E(Y ))
E(XY − X E(Y ) − Y E(X ) + E(X )E(Y ))
E(XY ) − E(X )E(Y ) − E(Y )E(X ) + E(X )E(Y )
E(XY ) − E(X )E(Y )
MPRO 2016-2017
49 / 91
Covariance de deux variables aléatoires (2/2)
Proposition 1 Si deux variables aléatoires sont indépendantes, leur
covariance est nulle.
Attention : La réciproque n’est pas vraie. Deux variables de
covariance nulle ne sont pas obligatoirement indépendantes.
Amélie Lambert (Cnam)
MPRO 2016-2017
50 / 91
Covariance de deux variables aléatoires (2/2)
Proposition 1 Si deux variables aléatoires sont indépendantes, leur
covariance est nulle.
Attention : La réciproque n’est pas vraie. Deux variables de
covariance nulle ne sont pas obligatoirement indépendantes.
Proposition 2 Si deux variables aléatoires sont dépendantes :
E(XY ) = E(X )E(Y ) + Cov(X , Y )
Var(X + Y ) = Var(X ) + Var(Y ) + 2Cov(X , Y )
Amélie Lambert (Cnam)
MPRO 2016-2017
50 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
51 / 91
Définition générale
Un processus aléatoire est un ensemble de variables aléatoires, toutes
définies sur le même espace de probabilité, et indexées par un paramètre
réel t. On note un tel processus { X (t) ; t ∈ C }.
Amélie Lambert (Cnam)
MPRO 2016-2017
52 / 91
Définition générale
Un processus aléatoire est un ensemble de variables aléatoires, toutes
définies sur le même espace de probabilité, et indexées par un paramètre
réel t. On note un tel processus { X (t) ; t ∈ C }.
t est le paramètre du processus,
Amélie Lambert (Cnam)
MPRO 2016-2017
52 / 91
Définition générale
Un processus aléatoire est un ensemble de variables aléatoires, toutes
définies sur le même espace de probabilité, et indexées par un paramètre
réel t. On note un tel processus { X (t) ; t ∈ C }.
t est le paramètre du processus,
C est l’ensemble des paramètres. Si C fini ou infini dénombrable C
est discret (par exemple C = {0, 1, 2, . . .}), sinon C est continu (par
exemple C = [0, +∞[). Quand C est un ensemble d’entier, on note
les variables aléatoires Xn .
Amélie Lambert (Cnam)
MPRO 2016-2017
52 / 91
Définition générale
Un processus aléatoire est un ensemble de variables aléatoires, toutes
définies sur le même espace de probabilité, et indexées par un paramètre
réel t. On note un tel processus { X (t) ; t ∈ C }.
t est le paramètre du processus,
C est l’ensemble des paramètres. Si C fini ou infini dénombrable C
est discret (par exemple C = {0, 1, 2, . . .}), sinon C est continu (par
exemple C = [0, +∞[). Quand C est un ensemble d’entier, on note
les variables aléatoires Xn .
S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S fini
ou infini dénombrable, S est discret, sinon S est continu.
Amélie Lambert (Cnam)
MPRO 2016-2017
52 / 91
Définition générale
Un processus aléatoire est un ensemble de variables aléatoires, toutes
définies sur le même espace de probabilité, et indexées par un paramètre
réel t. On note un tel processus { X (t) ; t ∈ C }.
t est le paramètre du processus,
C est l’ensemble des paramètres. Si C fini ou infini dénombrable C
est discret (par exemple C = {0, 1, 2, . . .}), sinon C est continu (par
exemple C = [0, +∞[). Quand C est un ensemble d’entier, on note
les variables aléatoires Xn .
S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S fini
ou infini dénombrable, S est discret, sinon S est continu.
Exemple : t peut être interprété comme le temps et C comme les instants
à considérer, X (t) est alors la valeur du processus à l’instant t.
Amélie Lambert (Cnam)
MPRO 2016-2017
52 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
53 / 91
Les processus markoviens
Dans un processus markovien, le futur dépend seulement de l’état présent.
Définition 1 Le processus aléatoire { X (t) ; t ∈ C } est un processus de
Markov si pour tout entier n, pour tout t1 < t2 < . . . < tn < tn+1 ∈ C , et
pour tout ensemble d’états S :
P{X (tn+1 ) ∈ S|X (t1 ), . . . , X (tn )} = P{X (tn+1 ) ∈ S|X (tn )}
Amélie Lambert (Cnam)
MPRO 2016-2017
54 / 91
Les processus markoviens
Dans un processus markovien, le futur dépend seulement de l’état présent.
Définition 1 Le processus aléatoire { X (t) ; t ∈ C } est un processus de
Markov si pour tout entier n, pour tout t1 < t2 < . . . < tn < tn+1 ∈ C , et
pour tout ensemble d’états S :
P{X (tn+1 ) ∈ S|X (t1 ), . . . , X (tn )} = P{X (tn+1 ) ∈ S|X (tn )}
Définition 2 Un processus de Markov est dit homogène si
P{X (t + s) ∈ S|X (tn )} = P{X (s) ∈ S|X (0)}
i.e. P{X (t + s) ∈ S|X (tn )} ne dépend pas de t.
Amélie Lambert (Cnam)
MPRO 2016-2017
54 / 91
Les processus markoviens
Dans un processus markovien, le futur dépend seulement de l’état présent.
Définition 1 Le processus aléatoire { X (t) ; t ∈ C } est un processus de
Markov si pour tout entier n, pour tout t1 < t2 < . . . < tn < tn+1 ∈ C , et
pour tout ensemble d’états S :
P{X (tn+1 ) ∈ S|X (t1 ), . . . , X (tn )} = P{X (tn+1 ) ∈ S|X (tn )}
Définition 2 Un processus de Markov est dit homogène si
P{X (t + s) ∈ S|X (tn )} = P{X (s) ∈ S|X (0)}
i.e. P{X (t + s) ∈ S|X (tn )} ne dépend pas de t.
Application : en physique quand l’état futur peut être déduit du passé avec
un historique assez faible.
Amélie Lambert (Cnam)
MPRO 2016-2017
54 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
55 / 91
Les processus stationnaires
Définition : Le processus aléatoire { X (t) ; t ∈ C } est un processus
stationnaire si : ti ∈ C , ti + s ∈ C , i = 1, 2, . . . , n (n est un entier
quelconque), alors :
P{X (t1 ) < x1 , . . . , X (tn ) < xn } = P{X (t1 +s) < x1 , . . . , X (tn +s) < xn } ∀s
Ils sont utilisés dans les modèles de Recherche Opérationnelle pour décrire
les processus qui ont évolué pendant un long moment.
Amélie Lambert (Cnam)
MPRO 2016-2017
56 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
57 / 91
Les processus de poisson
Définition : Un processus de Poisson est un processus de Markov
homogène, dont l’espace des états est discret S = {1, 2, . . .}, et l’ensemble
des paramètre est continu {X (t) ; t ∈ [0, +∞]}.
En d’autres termes : des événements se produisent aléatoirement à partir
de l’instant t = 0, et X (t) = nombre d’événements qui se sont produits
entre les instants 0 et t.
Amélie Lambert (Cnam)
MPRO 2016-2017
58 / 91
Les processus de poisson
Les postulats définissant un processus de Poisson sont :
1
La probabilité qu’au moins 1 événement se produise pendant un
intervalle de tps de longueur h est :
P(h) = λh + o(h) , (λ > 0)
(o(h) : toute fonction définie au voisinage de 0 et telle que
quand h → 0+ )
2
o(h)
h
→0
La probabilité que 2 événements ou plus se produisent pendant
l’intervalle de temps h est o(h). (Ce postulat revient à exclure la
possibilité de la réalisation simultanée de 2 événements ou plus).
Amélie Lambert (Cnam)
MPRO 2016-2017
59 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
60 / 91
Les processus de naissance
Une généralisation naturelle du processus de Poisson consiste à faire
dépendre la probabilité de réalisation d’un événement à un instant donné
du nombre d’événements déjà réalisés.
Définition : Soient {λk } une suite de nombres positifs, X (t) le nombre
de naissances dans l’intervalle [0, t]. Un processus de naissance est un
processus de Markov satisfaisant les postulats :
1
P{X (t + h) − X (t) = 1|X (t) = k} = λk h + o(h)
2
P{X (t + h) − X (t) = 0|X (t) = k} = 1 − λk h + o(h)
3
P{X (t + h) − X (t) < 0|X (t) = k} = 0
Les membres de gauche de 1 et 2 peuvent s’écrire Pk,k+1 (h) et Pk,k (h).
Il s’agit d’un processus homogène puisque λk ne dépend pas de t.
Amélie Lambert (Cnam)
MPRO 2016-2017
61 / 91
Graphe associé à un processus de naissance
Amélie Lambert (Cnam)
MPRO 2016-2017
62 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
63 / 91
Les processus de naissance et de mort
Une des généralisation du processus de naissance consiste à permettre à
X (t) de décroître aussi bien que de croître, on obtient alors un processus
de naissance et de mort.
Définition Un processus de naissance et de mort est un processus de
Markov homogène sur les états 0, 1, 2, . . ., avec ses probabilités de
transition qui vérifient : ∀s, Pij (t) = P{X (t + s) = j|X (s) = i}.
De plus, les Pij (t) satisfont :
1
Pi,i+1 (h) = λi h + o(h),
i ≥0
2
Pi,i−1 (h) = µi h + o(h),
i ≥1
3
Pi,i (h) = 1 − (λi + µi )h + o(h),
i ≥0
Avec λi > 0, ∀i et µi > 0, ∀i 6= 0, µ0 = 0.
Amélie Lambert (Cnam)
MPRO 2016-2017
64 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
65 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
66 / 91
Les chaînes de Markov
Définition : Une chaîne de Markov est un processus stochastique à
ensemble d’indices discrets T et espace d’états discrets S.
Soit {Xn ; n = 0, 1, 2 . . .} une famille de variables aléatoires, c’est une
chaîne de Markov si :
P{Xn = jn |Xo = j0 , . . . , Xn−1 = jn−1 } = P{Xn = jn |Xn−1 = jn−1 }
avec n ≥ 1 et jk ∈ S (0 ≤ k ≤ n)
Amélie Lambert (Cnam)
MPRO 2016-2017
67 / 91
Les chaînes de Markov
Définition : Une chaîne de Markov est un processus stochastique à
ensemble d’indices discrets T et espace d’états discrets S.
Soit {Xn ; n = 0, 1, 2 . . .} une famille de variables aléatoires, c’est une
chaîne de Markov si :
P{Xn = jn |Xo = j0 , . . . , Xn−1 = jn−1 } = P{Xn = jn |Xn−1 = jn−1 }
avec n ≥ 1 et jk ∈ S (0 ≤ k ≤ n)
On note la probabilité de transition
∀(i ∈ S, j ∈ S) pij = P{Xn = j|Xn−1 = i}
Une chaîne est dite homogène (dans le temps) si P{Xn = j|Xn−1 = i} ne
dépend pas de n.
Amélie Lambert (Cnam)
MPRO 2016-2017
67 / 91
Contexte
Dans la suite, nous ne considérerons que des chaînes de Markov
homogènes avec un espace d’état S = {s1 , s2 , . . . , sr }.
Le processus démarre dans un de ces états et évolue d’un état à un
autre.
Chaque mouvement est appelé "pas".
Si la chaîne est dans l’état si , elle se trouve alors dans l’état sj avec la
probabilité pij .
Le processus peut rester dans l’état où il se trouve avec la probabilité
pii .
Amélie Lambert (Cnam)
MPRO 2016-2017
68 / 91
Exemple 4 : la ruine du joueur
2 joueurs A et B tirent à "pile ou face". Si A gagne (pile), il reçoit 1
euro de B, s’il perd (face) il donne 1 euro à B. La partie se termine
lorsque l’un des deux joueurs est ruiné.
Au début de la partie l’avoir de A est a euros et l’avoir de B est b
euros. Posons s = a + b.
Ensemble des états : S = 0, 1, 2, . . . , s − 1, s avoir de A.
Les probabilités de transmissions sont :

Proba "pile" = p si j = i + 1 , i 6= 0



Proba "face" = q si j = i − 1 , i 6= s
pij
1 si i = j = 0 ou i = j = s



0 dans les autres cas
Amélie Lambert (Cnam)
MPRO 2016-2017
69 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
70 / 91
Matrice associée à une chaîne de Markov
On peut regrouper les probabilités de transition pour former une
matrice carrée d’ordre r , où r = |S| désigne le nombre d’états.
Le processus étant dans l’état i à l’instant n, il sera dans un des états
j = 1, 2, . . . , r à l’instant n + 1, on a donc
r
X
pij = 1,
i = 1, 2, . . . , r
j=1




P=


Amélie Lambert (Cnam)
p11 p12
p21 p22
..
..
.
.
pi1 pi2
pr 1 pr 2
. . . p1r
. . . p2r
..
..
.
.
. . . pir
. . . prr







MPRO 2016-2017
71 / 91
Exemple 4 : la ruine du joueur (suite)
2 joueurs A et B tirent à "pile ou face". Si A gagne (pile), il reçoit 1
euro de B, s’il perd (face) il donne 1 euro à B. La partie se termine
lorsque l’un des deux joueurs est ruiné.
Au début de la partie l’avoir de A est a euros et l’avoir de B est b
euros. Posons s = a + b.
Ensemble des états : S = 0, 1, 2, . . . , s − 1, s avoir de A.
La matrice associée est :





P=



1
q
0
0
..
.
0
0
q
0
..
.
0
p
0
q
..
.
0
0
p
0
..
.
...
...
...
...
..
.
0
0
0
0
..
.









0 0 0 0 ... 1
Amélie Lambert (Cnam)
MPRO 2016-2017
72 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
73 / 91
Matrice stochastique
On appelle matrice stochastique une matrice carrée P, dont les éléments
vérifient :
1
2
0 ≤ pij ≤ 1, ∀(i, j) ∈ {1, . . . , r }2
r
X
pij = 1, ∀i ∈ {1, . . . , r }
j=1
Amélie Lambert (Cnam)
MPRO 2016-2017
74 / 91
Théorème
Soit P la matrice des probabilités de transition d’une chaîne de Markov. Le
(n)
terme (i, j) de la matrice P n (noté pij ) donne la probabilité que la chaîne
de Markov, partant de l’état i se trouve dans l’état j après n pas. On a :
X
(2)
1 p
=
pik pkj
ij
k
2
(n)
pij
X
(n−1)
=
pik pkj
k
3
et de façon plus générale (Équation de Chapman-Kolmogorov)
X (m) (n)
(m+n)
pij
=
pik pkj
k
Amélie Lambert (Cnam)
MPRO 2016-2017
75 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
76 / 91
Graphe associé à une chaîne de Markov
G = (S, U)
Sommets : ensemble des états S = {s1 , s2 , . . . , sr }
Arcs : probabilité de transition non nulle (si , sj ) ∈ U ⇔ pij > 0
Exemple : Considérons la chaîne de Markov à 5 états dont la matrice
des probabilités de transition est la suivante :
s1
s2
s3
s4
s5
s1
s2
s3
s4
s5
1/3 0 1/3 0 1/3
0 1/2 0 1/2 0
1/2 0 1/4 0 1/4
0 1/3 0 2/3 0
1
0
0
0
0
Amélie Lambert (Cnam)
MPRO 2016-2017
77 / 91
Classification des états dans une chaîne de Markov
Considérons la relation d’équivalence définie sur les états de la chaîne
E1 , E2 , . . . , E r :
(n)
(m)
Ei R Ej ⇔ ∃n tq pij > 0 et ∃m tq pji
>0
En terme de graphe :
Ei R Ej ⇔ il existe un chemin de Ei à Ej et de Ej à Ei
Amélie Lambert (Cnam)
MPRO 2016-2017
78 / 91
Classification des états dans une chaîne de Markov
On dit que Ei et Ej sont deux états communiquants ssi Ei R Ej . On
peut donc faire une partition des états en classes d’états
communiquants. (Rque : ce sont les composantes fortement connexes
du graphe associé à la chaîne).
C est un ensemble fermé d’états si :
∀ Ei ∈ C
pij = 0
∀ Ej ∈
/C
Un ensemble fermé d’états à 1 seul élément Ei (pii = 1) est un état
absorbant.
Amélie Lambert (Cnam)
MPRO 2016-2017
79 / 91
Chaîne de Markov irréductible
Définition Une chaîne de Markov est irréductible si elle ne contient
aucun sous-ensemble fermé (autre que celui de tous ces états).
Théorème : Dans une chaîne irréductible tous les états sont
communiquants.
Propriété : Une chaîne est irréductible ssi le graphe associé est
fortement connexe.
Amélie Lambert (Cnam)
MPRO 2016-2017
80 / 91
Premier temps d’atteinte d’un état (1/2)
Soit Tij la variable aléatoire du temps de premier passage :
Tij = min{k|Xk = j , Xo = i}
k
(n)
Propriété : Probabilité de premier passage : fij = P{Tij = n}
(probabilité de passer pour la première fois en j au bout de n pas
étant parti de i)

si n = 1
 p
ij
X
(n)
(n−1)
fij =
pik fkj
si n > 1

k6=j
Amélie Lambert (Cnam)
MPRO 2016-2017
81 / 91
Premier temps d’atteinte d’un état (2/2)
Probabilité de passer pour la première fois en j, partant de i, avant la
transition n + 1 :
n
X
(n)
(k)
Fij =
fij
k=1
Probabilité que partant de i, le système atteigne un jour l’état j :
(n)
Fij = lim Fij
n→∞
Amélie Lambert (Cnam)
MPRO 2016-2017
82 / 91
Les états transitoires et persistants
Définition 1 : On dit que Ei est un état transitoire ssi Fii < 1 (le système
partant de i peut ne pas revenir en i).
Définition 2 : On dit Ei est un état persistant (ou récurrent) (le système
partant de Ei , repassera à coup sûr par Ei ). Informellement, si une
trajectoire typique du système passe infiniment souvent par cet état.
Amélie Lambert (Cnam)
MPRO 2016-2017
83 / 91
Périodicité des états persistants
Définition 1 : Un état Ei persistant est un état périodique de période di si
(n)
di = PGCD (n|pii > 0) est > 1.
(n)
(PGCD entre tous les n tels que pii > 0 i.e. di est le PGCD de la
longueur des circuits passant par Ei , la probabilité de passage de i à i en n
transitions est nulle sauf si n est un multiple de di )
Amélie Lambert (Cnam)
MPRO 2016-2017
84 / 91
Périodicité des états persistants
Définition 1 : Un état Ei persistant est un état périodique de période di si
(n)
di = PGCD (n|pii > 0) est > 1.
(n)
(PGCD entre tous les n tels que pii > 0 i.e. di est le PGCD de la
longueur des circuits passant par Ei , la probabilité de passage de i à i en n
transitions est nulle sauf si n est un multiple de di )
Définition 2 : Si di = 1, on dit que l’état Ei est apériodique ou non
périodique.
Une condition suffisante de non périodicité de l’état Ei est que le graphe
possède une boucle au sommet Ei . Cette condition n’est pas nécessaire.
Amélie Lambert (Cnam)
MPRO 2016-2017
84 / 91
Périodicité des états persistants
Définition 1 : Un état Ei persistant est un état périodique de période di si
(n)
di = PGCD (n|pii > 0) est > 1.
(n)
(PGCD entre tous les n tels que pii > 0 i.e. di est le PGCD de la
longueur des circuits passant par Ei , la probabilité de passage de i à i en n
transitions est nulle sauf si n est un multiple de di )
Définition 2 : Si di = 1, on dit que l’état Ei est apériodique ou non
périodique.
Une condition suffisante de non périodicité de l’état Ei est que le graphe
possède une boucle au sommet Ei . Cette condition n’est pas nécessaire.
Théorème : Tous les états d’une classe d’états persistants ont la même
période (résultat concernant la longueur des circuits dans une composante
fortement connexe).
Amélie Lambert (Cnam)
MPRO 2016-2017
84 / 91
1
Rappels de probabilité d’une expérience aléatoire
Le dénombrement
Les variables aléatoires
2
Les processus aléatoires
Les processus markoviens
Les processus stationnaires
Les processus de poisson
Les processus de naissance
Les processus de naissance et de mort
3
Les chaînes de Markov
Définition
Matrice associée à une chaîne de Markov
Matrice stochastique
Graphe associé à une chaîne de Markov
Distribution limite dans une chaîne de Markov
Amélie Lambert (Cnam)
MPRO 2016-2017
85 / 91
Quelques définitions
Définition 1 : Une chaîne de Markov est ergodique ou irréductible s’il est
possible d’aller de tout état à tout état (pas nécessairement en 1 pas).
Amélie Lambert (Cnam)
MPRO 2016-2017
86 / 91
Quelques définitions
Définition 1 : Une chaîne de Markov est ergodique ou irréductible s’il est
possible d’aller de tout état à tout état (pas nécessairement en 1 pas).
Définition 2 : Une chaîne de Markov est régulière s’il existe une puissance
de la matrice des probabilités de transition dont tous les éléments sont
strictement positifs.
La particularité des chaînes régulières est qu’on peut aller de n’importe
quel état vers n’importe quel autre en un nombre fixé de pas k, où k est
indépendant de l’état de départ.
Amélie Lambert (Cnam)
MPRO 2016-2017
86 / 91
Quelques définitions
Définition 1 : Une chaîne de Markov est ergodique ou irréductible s’il est
possible d’aller de tout état à tout état (pas nécessairement en 1 pas).
Définition 2 : Une chaîne de Markov est régulière s’il existe une puissance
de la matrice des probabilités de transition dont tous les éléments sont
strictement positifs.
La particularité des chaînes régulières est qu’on peut aller de n’importe
quel état vers n’importe quel autre en un nombre fixé de pas k, où k est
indépendant de l’état de départ.
Exemple :
0 1
P=
1 0
La chaîne est ergodique mais non régulière
Amélie Lambert (Cnam)
MPRO 2016-2017
86 / 91
Vecteur de distribution des probabilités
Soit le vecteur Q(n) = [q1 (n), q2 (n), . . . , qr (n)] où qi (n) désigne la
probabilité que la chaîne soit dans l’état Ei à l’instant n.
Amélie Lambert (Cnam)
MPRO 2016-2017
87 / 91
Vecteur de distribution des probabilités
Soit le vecteur Q(n) = [q1 (n), q2 (n), . . . , qr (n)] où qi (n) désigne la
probabilité que la chaîne soit dans l’état Ei à l’instant n.
On a
r
X
qi (n) = 1
i=1
Amélie Lambert (Cnam)
MPRO 2016-2017
87 / 91
Vecteur de distribution des probabilités
Soit le vecteur Q(n) = [q1 (n), q2 (n), . . . , qr (n)] où qi (n) désigne la
probabilité que la chaîne soit dans l’état Ei à l’instant n.
On a
r
X
qi (n) = 1
i=1
On a qi (n + 1) =
r
X
qk (n)pki , ∀i.
k=1
Amélie Lambert (Cnam)
MPRO 2016-2017
87 / 91
Vecteur de distribution des probabilités
Soit le vecteur Q(n) = [q1 (n), q2 (n), . . . , qr (n)] où qi (n) désigne la
probabilité que la chaîne soit dans l’état Ei à l’instant n.
On a
r
X
qi (n) = 1
i=1
On a qi (n + 1) =
r
X
qk (n)pki , ∀i.
k=1
Ou encore matriciellement Q(n + 1) = Q(n) ∗ P (où P est la matrice
des probabilités de transition)
Amélie Lambert (Cnam)
MPRO 2016-2017
87 / 91
Vecteur de distribution des probabilités
Soit le vecteur Q(n) = [q1 (n), q2 (n), . . . , qr (n)] où qi (n) désigne la
probabilité que la chaîne soit dans l’état Ei à l’instant n.
On a
r
X
qi (n) = 1
i=1
On a qi (n + 1) =
r
X
qk (n)pki , ∀i.
k=1
Ou encore matriciellement Q(n + 1) = Q(n) ∗ P (où P est la matrice
des probabilités de transition)
Il en résulte que Q(n) = Q(0) ∗ P n
Amélie Lambert (Cnam)
MPRO 2016-2017
87 / 91
Distribution limite dans une chaîne de Markov
Notation : Q(n) = [q1 (n), q2 (n), . . . , qr (n)] avec qi (n) : la probabilité
d’être dans l’état Ei à l’étape n.
Rappelons que : Q(n + 1) = Q(n) ∗ P et Q(n) = Q(0) ∗ P n
Définition : Une chaîne de Markov est régulière ssi elle possède une
distribution limite Q ∗ indépendante de l’état initial Q(0) :
lim Q(n) = Q ∗
n→∞
Amélie Lambert (Cnam)
MPRO 2016-2017
88 / 91
Théorème
Théorème : Une chaîne de Markov est régulière ssi la matrice des
probabilités de transition P admet une limite P ∗ dont toutes les lignes sont
identiques.
Preuve :
1
2
Soit une chaîne régulière, Q ∗ existe et ne dépend pas de Q(0), on a
Q ∗ = Q(0) ∗ P ∗ .
Supposons que l’état initial soit Ei , on a Q(0) = (0, . . . , 0, 1, 0, . . . , 0),
comme Q ∗ = Q(0) ∗ P ∗ , on a bien que Q ∗ est la i eme ligne de P ∗ ,
=⇒ toutes les lignes de P ∗ sont identiques et valent Q ∗
Supposons toutes les lignes de P ∗ identiques (α1 , α2 , . . . , αr ).
r
X
Q ∗ = Q(0) ∗ P ∗ =⇒ qi∗ = αi
qk (0) = αi =⇒
k=1
Q ∗ = (α1 , α2 , . . . , αr ) et ne dépend donc pas de l’état initial.
Amélie Lambert (Cnam)
MPRO 2016-2017
89 / 91
Exemple de chaîne régulière (1/2)


1/2 1/2 0
0
 0
0 2/3 1/3 

P=
 1/2 1/2 0
0 
0
0
1
0
Existence d’une boucle =⇒ non périodicité
Graphe fortement connexe =⇒ 1 seule classe finale d’états communs
Amélie Lambert (Cnam)
MPRO 2016-2017
90 / 91
Exemple de chaîne régulière (2/2)
La distribution limite est déterminée par Q ∗ = Q ∗ P et
4
X
qi∗ = 1
i=1
1
2
1
2
 0
Soit (q1∗ , q2∗ , q3∗ , q4∗ ) = (q1∗ , q2∗ , q3∗ , q4∗ ) 
 1
2
0
0

I
I
I
I
q1∗
q2∗
q3∗
q4∗
=
=
=
=
1 ∗
2 q1
1 ∗
2 q1
2 ∗
3 q2
1 ∗
3 q2
1
2
0
0
0
2
3
1
3
0
1



0 
0
+ 21 q3∗
+ 21 q3∗
+ q4∗
I
q1∗ + q2∗ + q3∗ + q4∗ = 1 =⇒ q1∗ + q1∗ + q1∗ + 1/3q1∗ = 1
I
3
3
3
1
=⇒ Q ∗ = ( 10
, 10
, 10
, 10
)
Amélie Lambert (Cnam)
MPRO 2016-2017
91 / 91