Chapitre 5 : Matrices et chaines de Markov

ECE2 : Année 2016-2017
Chapitre 5 : Algèbre linéaire et chaîne de Markov
1. Les matrices : Rappels et compléments
1.1 Définir une matrice
Pour définir une matrice, on peut donner la liste de ses coefficients entre crochets, avec ',' entre deux
coefficients et ';' pour changer de ligne.
Ex : A = 
-1 2
4 0
zeros(m, n) définit une matrice de taille m n ne contenant que des 0
ones(m, n) définit une matrice de taille m n ne contenant que des 1
eye(m,n) définit une matrice de taille m n contenant des 1 sur la première diagonale, 0 ailleurs.
Ex I3 = 
1 0 0
0 1 0
0 0 1 .
Extraire une ligne ou une colonne :
Si A est une matrice, et i un entier A(i, :) est la i-ème ligne de A, A(:,i) est la i-ème colonne de A.
Ex : Avec A = 
-1 2
4 0 A(1, :) donne : A(:,2) donne :
1.2 Opérations sur les matrices
Opérations matricielles et opérations pointées :
_ Si A et B sont deux matrices,  un réel, et n un entier naturel on peut définir (si les tailles sont cohérentes)
:
A + B A – B *A A*B A^n
_ opérations pointées (=opérations coefficients par coefficients) :
A .* B A.^n
Exemple :
Avec A = 
-1 2
4 0
A .^2 donne : A^2 donne :
Appliquer une fonction à une matrice : si A est une matrice et f une fonction, f(A) est la matrice qui contient
l'image par f de chaque coefficient.
Suite de l'exemple précédent : exp(A) vaut :

ECE2 : Année 2016-2017
1.3 Inverse et système
Si A est une matrice carrée inversible, 
 inv(A)
A^(-1) renvoient l'inverse de A.
Résolution d'un système :
Soit A Mn(IR) inversible et B Mn,q(IR).
La solution de l'équation AX = B est la matrice X = A \ B ("on divise à gauche par A')
Remarque : X = A^(-1) B est aussi possible.
Exemple : Résoudre le système : 
 2x – y = 4
-x + 5y = 7
1.4 Autres fonctions sur les matrices
Soit A une matrice.
Rang : rank(A)
Transposée : A'
Taille (nombre de coefficients) : length(A)
Find : find(condition sur A) donne la liste des coefficients qui vérifient la condition donnée.
Valeurs propres :
Soit A une matrice carrée. spec(A) donne la liste des valeurs propres de A.
Ex : Soit A = 
1 2 -1
0 1 1
0 0 2 . spec(A) donne :

ECE2 : Année 2016-2017
2. Chaines de Markov
2.1 Chaines de Markov et matrices de transition
On considère un système qui peut avoir p états distincts, et qui est à chaque instant dans un et un seul de ces
états. On étudie son évolution à temps discret (instant 0, instant 1, …).
On suppose que son évolution ne dépend que de son état présent, et non de ses états passés, ni du temps déjà
écoulé. Mathématiquement, cela signifie que la loi de Xn+1 sachant X0, …, Xn ne dépend que de Xn, et ne
dépend pas de n (chaine de Markov homogène).
Notons par exemple Xn la variable aléatoire égale au numéro de son état à l'instant n.
Pour tout n IN, (Xn = 1), …., (Xn = p) forment un système complet d'événements, donc d'après la formule
des probabilités totales :
(1) j {1, …, p} P(Xn+1= j) = 
i=1
p P(Xn= i)P(Xn= i)(Xn+1 = j).
D'après les hypothèses, P(Xn= i)(Xn+1 = j) ne dépend pas de n. Posons ai,j = P(Xn= j)(Xn+1 = i).
Xn+1 = 1 Xn+1 = p
Posons Yn = ( )
P(Xn= 1) … P(Xn= p) et A = 
a1,1 … a1,p
… …
ap,1 … ap,p
= 
… …
… …
Xn = 1
…
Xn = p
Alors (1) se traduit matriciellement par : Yn+1 = Yn A.
La matrice A est appelée matrice de transition.
On peut alors montrer par récurrence que : n IN, Yn = Y0 An.
Remarques :
_ les coefficients de Yn sont tous positifs et la somme est égale à 1 : on dit que Yn est un vecteur
stochastique.
_ les coefficients de la matrice A sont tous positifs et la somme des coefficients de chaque ligne est égale à 1
: c'est une matrice stochastique.
On peut montrer qu'une matrice stochastique a toujours 1 comme valeur propre, et que toutes ses valeurs
propres sont comprises entre -1 et 1.
_ si on pose en colonne Zn = tYn = 
P(Xn = 1)
…
P(Xn = p) l'égalité matricielle devient Zn+1 = BZn
avec B = tA.
Diagramme de transition :
On peut représenter la chaine de Markov par un graphe orienté, dont les sommets sont les états possibles, et
dont les flèches d'un sommet à l'autre sont pondérées par les probabilités conditionnelles.
Etat absorbant : Un état qu'on ne peut plus quitter est appelé état absorbant.
Mathématiquement : P(Xn = i)(Xn+1 = i) = 1

ECE2 : Année 2016-2017
Loi stationnaire :
On appelle loi stationnaire tout vecteur stochastique Y* tel que Y* = Y*A.
Si Y0 = Z, alors il est évident que n IN, Yn = Y*.
En Scilab :
Si A est une matrice de transition, i la position de départ, et n un entier naturel,
grand(n,'markov',A,i)
simule la chaine de Markov, et renvoie la matrice à n colonnes, qui contient les positions pour les n
premières étapes de la chaine de Markov. (On peut remplacer i par une matrice.)
Exemple :
Un mobile se déplace entre trois points A, B, C de la manière suivante :
Au départ, il est en A.
_ S'il est en A, il reste en A ou va en B avec la même probabilité.
_ S'il est en B, il va aléatoirement en A, B ou C.
_ S'il est en C, il reste en C ou va en B avec la même probabilité.
Notons An, Bn, Cn les événements "il est en A (en B, en C) après n étapes".
Notons Xn = ( )
P(An) P(Bn) P(Cn)
Diagramme de transition :
Formule des probabilités totales :
Matrice de transition :
Utilisation de Scilab :
1) Matrice de transition :
2) Calcul des probabilités jusqu'à l'instant 10 :
x=
for i=1:10 x=
disp(x)
end
3) Simulation avec grand :