Série-N3-PDM

Master d’Informatique Décisionnelle (2011-2012) Faculté des Sciences et Techniques
Module : Processus de Décision de Markov Université Sultan Moulay Slimane
1
Chapitre 3 : Processus de Décision de Markov
Série N°3
Exercice 1 : Soit Xn un processus de Bernoulli d’espace d’état E= {0,1} : A(0)= A(1)= {1,2}.
On définit un PDM par les récompenses: pour i=0 (2
4) , pour i=1 (−1 1) ;
La matrice de transition associée à l'action 1 est la suivante : (0.5 0.5
1 0 ) ;
La matrice de transition associée à l'action 2 est la suivante : (0 1
0.5 0.5).
1. Déterminer l’ensemble de toutes les stratégies déterministes (FD).
2. Déterminer une stratégie stationnaire puis l’ensemble de toutes les stratégies
stationnaires (FS).
3. Soit la stratégie stationnaire f telle que f(0, 1):= 1 ; f(1, 2):= 0 . Calculer la fonction
coût Vα( f ) avec un facteur α = 0.5.
4. Soit la stratégie pure f1 telle que f1(0,2):= 0 ; f1(1, 1):=1. Calculer la fonction coût
(f1).
Exercice 2 :
Appliquer l’Algorithme classique de la stratégie améliorée, au PDM défini par la figure
suivante avec E ={1 , 2 , 3}.
( 2 , 1 )
12 (4 , 1 )
( 1 , 1) ( 6 , 1 )
( 9 , 1 )
( 3 , 1) ( 8 , 1 ) ( 5 , 1 )
3
( 7 , 1 )

Master d’Informatique Décisionnelle (2011-2012) Faculté des Sciences et Techniques
Module : Processus de Décision de Markov Université Sultan Moulay Slimane
2
Problème: Soit un PDM avec espace d’états 𝐸 = {1,2} . La matrice de transition P et les
gains au niveau de chaque état sont définis par:
Etat i=1 :
- R(état<1>,a1) = 1 ) --> 0,5 0.5
- R(état<1>,a2) = 2 ) --> 0.4 0.6
Etat i=2 :
- R(état<2>,a1) = 2) --> 1 0
- R(état<2>,a2) = 4 ) --> 0 1
I. On considère le critère d’actualisation avec un facteur α = 0.5.
1. Déterminer l’ensemble des stratégies pures.
2. Déterminer la forme des stratégies stationnaires.
3. Soit la stratégie stationnaire f telle que f(1, 1):= 0.5 ; f(2, 2):= 1 . Calculer la fonction
coût Vα( f ).
4. Déterminer une stratégie optimale en utilisant l’algorithme de la stratégie améliorée
(Donner les résultats de chaque itération).
II. On considère le critère de la moyenne.
Soit la stratégie pure f1 telle que f1(1,2):= 0 ; f1(2, 1):= 1.
1. Calculer la fonction coût (f1) et le vecteur u(f1) en résolvant un système linéaire.
2. Calculer une stratégie à gain moyen optimale en utilisant l’algorithme de la stratégie
améliorée (partant de f1).