Processus décisionnels de Markov : des récompenses

Processus décisionnels de Markov : des
récompenses ordinales au multicritère
Paul Weng
LIP6, UPMC
104, avenue du Président Kennedy
75016 Paris
[email protected]
RÉSUMÉ. Le modèle des processus décisionnels de Markov (MDP) offre un cadre général pour
la résolution de problèmes de décision séquentielle dans l’incertain. Son exploitation suppose
une connaissance précise des valeurs des paramètres (probabilités et récompenses). Dans ce
papier, les récompenses sont qualitatives ou ne sont connues que de manière imparfaite. Seul
un ordre est supposé connu. Un MDP à récompenses ordinales (OMDP) peut être vu comme un
MDP à récompenses numériques vectorielles dans lequel les fonctions de valeur se transfor-
ment en distributions de probabilité. Nous listons alors quelques critères d’optimalité provenant
d’ordres sur les distributions de probabilité, notamment la dominance probabiliste à points de
référence. Les OMDP exploitant cette dominance sont équivalents à des MDP multicritères avec
une priorité définie sur les critères. Pour ces derniers, à l’horizon infini un nouvel algorithme
de résolution est proposé quand la priorité sur les critères est un préordre complet.
ABSTRACT. The model of Markov decision processes (MDP) is a general framework for solv-
ing sequential decision-making problems under uncertainty. Its exploitation assumes a perfect
knowledge of the parameter values (probabilities and rewards). In this paper, rewards are either
qualitative or only known imperfectly. Only an order is assumed to be known. An MDP with
ordinal rewards (OMDP) can be viewed as an MDP with vectorial numeric rewards in which
value functions can be transformed into probability distributions. We then list several optimality
criteria coming from orders over probability distributions, notably the probabilistic dominance
with reference points. OMDPs exploiting this dominance are equivalent to multicriteria MDPs
with a priority defined on criteria. For such multicriteria MDPs, we propose for the infinite
horizon a new solving algorithm when the priority over criteria is a total preorder.
MOTS-CLÉS : processus décisionnel de Markov, récompense qualitative, MDP multicritère.
KEYWORDS: Markov decision process, qualitative reward, multicriteria MDP.
RSTI - RIA – 24/2010. Formalismes et modèles en PDA, pages 505 à 524

506 RSTI - RIA – 24/2010. Formalismes et modèles en PDA
1. Introduction
Le modèle des processus décisionnels de Markov (MDP) est un modèle très étudié
en intelligence artificielle (Sigaud et al., 2008). Il offre un formalisme pour modéliser
et résoudre des problèmes de planification dans l’incertain.
Son exploitation peut parfois poser problème dans la mesure où il nécessite la con-
naissance précise de ses paramètres (probabilités de transition et récompenses). Dans
de nombreuses situations réelles, ceux-ci ne sont connus que de manière imprécise car
il peut être difficile ou coûteux, voire impossible, de les déterminer de manière exacte.
Les solutions d’un MDP pouvant bien entendu être très sensibles à ces paramètres,
souvent il est délicat de fixer ses valeurs.
Ce constat a motivé des travaux récents sur les MDP robustes (Givan et al., 2000,
Bagnell et al., 2001, Nilim et al., 2003, Trevizan et al., 2007). Dans ces travaux, les
probabilités seules ou les probabilités avec les récompenses sont supposées connues de
manière incertaine. Les paramètres peuvent alors être représentés par des intervalles au
lieu de valeurs précises par exemple. Mais généralement, cette direction de recherche
s’est focalisée principalement sur la méconnaissance des probabilités.
Les MDP possibilistes (Sabbadin, 1998) permettent de prendre en compte les si-
tuations où les récompenses sont qualitatives. Toutefois, la représentation de l’incer-
tain est alors forcément possibiliste, ce qui peut être inadapté quand les probabilités
de transition sont connues. À notre connaissance, il n’existe pas d’extension des MDP
permettant à la fois une représentation probabiliste de l’incertain et une représentation
qualitative ou ordinale des récompenses.
Dans ce papier, nous nous intéressons au cas où seules les récompenses sont qua-
litatives ou mal connues. Ainsi nous supposons qu’il est possible de déterminer les
valeurs des probabilités. Nous pensons que ce cas est relativement courant. En effet,
s’il existe généralement des moyens pour évaluer les probabilités de transition d’un
système (expérimentation et estimation statistique par exemple), les préférences im-
posées par les valeurs de récompense sont souvent plus délicates à définir. Sur quelles
bases théoriques choisirait-on de fixer une récompense à telle valeur plutôt qu’à telle
autre ? Les travaux en théorie du mesurage (Krantz et al., 1971) suggèrent que cette
tâche est difficile. C’est pourquoi nous supposons dans notre cadre de travail que seul
un ordre est connu sur les différentes récompenses possibles.
Nous montrons dans ce papier qu’un tel MDP avec des récompenses ordinales peut
être interprété comme un MDP particulier avec des récompenses numériques vecto-
rielles (VMDP). Dans ce VMDP, les fonctions de valeur peuvent alors être identifiées
à des distributions de probabilité sur l’ensemble des récompenses ordinales. Il est alors
naturel d’importer dans notre cadre des relations d’ordre connues sur les distributions
de probabilité – nous présenterons entre autres la dominance stochastique du premier
ordre (Shaked et al., 1994) et la dominance probabiliste à points de référence (Castag-
noli et al., 1996) – pour définir la notion de «bonne» politique. Nous nous intéressons
plus particulièrement à la dominance probabiliste avec plusieurs points de référence

MDP et récompenses ordinales 507
(où une priorité est définie sur les points de référence). Avec cette relation, un MDP
ordinal est équivalent à un nouvel MDP multicritère où à un critère correspond un
point de référence. À l’horizon fini, nous rappelons qu’un algorithme d’induction ar-
rière permet de déterminer les politiques préférées. À l’horizon infini, nous proposons
un nouvel algorithme de résolution, fondé sur la programmation linéaire multiobjectif
dans le cas où la priorité sur les critères est un préordre 1complet.
Dans la section suivante, nous rappelons brièvement le modèle des processus dé-
cisionnels de Markov. Nous montrons qu’à partir de trois récompenses différentes
possibles, la détermination de leurs valeurs peut devenir problématique. Dans cette
section, nous introduisons également les MDP à récompenses ordinales et les VMDP
associées. Nous montrons dans quelle mesure les fonctions de valeur d’un tel VMDP
peuvent être identifiées à des distributions de probabilité sur les récompenses. Dans
la section 3, nous passons en revue quelques ordres qui pourraient être envisageables
sur ces distributions de probabilité. Nous présentons notamment la dominance proba-
biliste à points de référence. Dans la section 4, nous proposons les méthodes de réso-
lution associées.
2. Cadre de travail
2.1. Processus décisionnels de Markov
Le modèle des processus décisionnels de Markov (MDP) se définit généralement
par la donnée d’un quadruplet (S, A, p, r)(Sigaud et al., 2008) :
–Sun ensemble d’états,
–Aun ensemble d’actions,
–p:S×A→ P(S)une fonction de transition où P(S)est l’ensemble des distri-
butions de probabilité sur S,
–r:S×A→X⊂IR une fonction de récompense.
Dans notre cadre de travail, l’ensemble des états Set l’ensemble des actions Asont
supposés finis. La fonction de transition fournit les probabilités d’occurrence des états
futurs après l’exécution d’une action dans un état. Suivant la coutume, nous noterons
p(s, a, s0) = p(s, a)(s0)la probabilité d’atteindre l’état s0après l’exécution de l’action
adans l’état s. La fonction de récompense donne la récompense immédiate que reçoit
l’agent après avoir exécuté une action dans un état. L’ensemble X– ensemble fini car
Set Asont finis – représente l’ensemble de toutes les récompenses possibles.
Une règle de décision δindique quelle action choisir dans chaque état à une étape
donnée. Elle peut être pure :δ:S→Aest alors une fonction de l’ensemble des états
Sdans l’ensemble des actions A. Elle peut être également dite mixte :δ:S→ P(A)
est alors une fonction de l’ensemble des états Sdans l’ensemble des distributions de
1. Un préordre est une relation binaire symétrique et transitive.

508 RSTI - RIA – 24/2010. Formalismes et modèles en PDA
probabilité sur les actions A. Le choix de l’action à effectuer dans un état est donc
choisi aléatoirement selon la distribution de probabilité. Remarquons qu’une règle de
décision pure est une règle mixte dont les distributions de probabilité sont dégénérées
(une seule action ayant une probabilité de 1pour chaque état). Une politique πà un
horizon hest une séquence de hrègles de décision, notée π= (δ1, . . . , δh)où chaque
δiest une règle de décision. Elle est dite pure quand elle ne contient que des règles
de décision pures et mixte autrement. L’ensemble des politiques pures (resp. mixtes) à
l’horizon hsera noté ΠP
h(resp. ΠM h). À l’horizon infini, une politique est simplement
une séquence infinie de règles de décision. L’ensemble de ces politiques pures (resp.
mixtes) sera noté ΠP
∞(resp. ΠM ∞). Une politique est dite stationnaire si à chaque étape
de décision, la même règle de décision est utilisée.
Une relation de préférence %, qui est simplement une relation binaire, est supposée
définie sur les politiques. Une politique πdomine ou est dite préférée à une autre poli-
tique π0quand π%π0. On écrira ππ0(resp. π∼π0) quand π%π0et non π0%π
(resp. π%π0et π0%π). Une politique πest dite non dominée ou préférée quand
il n’existe aucune politique π0telle que π0π. Elle est dite optimale quand elle est
préférée à toute autre politique. Remarquons qu’une politique optimale n’existe pas
forcément car la relation de préférence pouvant n’être que partielle dans le cas général,
certaines politiques peuvent être incomparables. La résolution d’un MDP consiste à
déterminer une politique préférée pour un certain système de préférence. Nous présen-
tons maintenant comment ces préférences sont définies dans le cadre classique.
La trace de l’exécution d’une politique est appelée historique. Les historiques,
qui peuvent être de longueur finie ou infinie, débutant de l’état s0∈Scorrespon-
dent aux séquences suivantes : (s0, a1, s1, a2, s2, . . .)où ∀i∈IN,(ai, si)∈A×S.
La valeur d’un historique γ= (s0, a1, s1, a2, s2, . . . , ah, sh)peut être définie de
plusieurs manières. On peut simplement sommer les récompenses obtenues tout au
long de l’historique :
rt(γ) =
h−1
X
i=0
r(si, ai+1)
On peut également faire la somme actualisée des récompenses :
rβ(γ) =
h−1
X
i=0
βir(si, ai+1)
où β∈[0,1[ est le facteur d’actualisation. Enfin, il est possible de considérer la
moyenne des récompenses :
rm(γ) = 1
h
h−1
X
i=0
r(si, ai+1)
Ces valeurs peuvent s’étendre quand l’historique est de longueur infinie. Pour la
somme des récompenses (sans facteur d’actualisation), il peut y avoir des problèmes
de convergence. La somme actualisée est bien définie grâce au facteur d’actualisation.

MDP et récompenses ordinales 509
Pour la moyenne des récompenses, la valeur de l’historique est définie comme une
limite quand elle existe :
rm(γ) = lim
h→∞
1
h
h−1
X
i=0
r(si, ai+1)
Une règle de décision δdepuis un état initial sinduit une distribution de proba-
bilité sur les historiques (de longueur 1). Comme on peut associer une valeur à tout
historique, elle induit également une loterie (i.e. une distribution de probabilité) sur
l’ensemble Xdes récompenses possibles. Cette loterie est égale à p(s, δ(s)). Par in-
duction, à une politique πdans un état initial sdonné, on peut associer une distribution
de probabilité sur les historiques. Ainsi, une politique induit également une loterie sur
les valeurs des historiques. Par conséquent, il est possible de définir l’espérance des
récompenses que peut générer une politique πdans un état s.
La fonction vπ:S→IR qui associe à chaque état sl’espérance des récompenses
que peut obtenir une politique πest appelée la fonction de valeur de π:
vπ(s) = Eπ
s(r∗(Γ))
où ∗∈{t, β, m}et Γest une variable aléatoire sur les historiques. Une politique π
sera dite préférée à une autre politique π0si et seulement si :
π%π0⇔ ∀s∈S, vπ(s)≥vπ0(s)
Dans ce cadre classique, la relation de préférence ainsi définie garantit l’existence
d’une politique stationnaire pure optimale.
Selon qu’on utilise la somme, la somme actualisée ou la moyenne des récom-
penses, on dit que la fonction de valeur repose sur le critère total, le critère total
pondéré ou le critère moyen. Ces trois critères sont fondés sur l’espérance, la dif-
férence résidant dans la manière dont sont valuées les historiques. En fait, ces critères
sont des instances d’utilités espérées (Bouyssou et al., 2000) où les valeurs des his-
toriques jouent le rôle des utilités. Ainsi, ce sont des utilités espérées pour lesquelles
on suppose que ces utilités sont additivement décomposables.
Pour rester simple, par la suite, nous ne considérerons que le critère total pondéré
pour éviter tout problème à l’horizon infini. Notre approche pourrait bien entendu être
étendue aux deux autres critères.
2.2. Motivations de notre travail
L’approche classique n’est pas discutable quand tous les paramètres du modèle
sont numériques et connus avec précision. Toutefois quand on ne peut qu’ordonner
les récompenses, il peut être problématique de fixer arbitrairement leurs valeurs car les
politiques préférées peuvent avoir une grande sensibilité à ces valeurs. Le problème