Théorie Bayesienne de la décision

Théorie Bayesienne de la décision
Alain Rakotomamonjy - Gilles Gasso
.
INSA Rouen -Département ASI
Laboratoire LITIS
Théorie Bayesienne de la décision – p. 1/17
Introduction par l’exemple
On cherche à savoir si un pixel vient de la zone 1 (sombre) ou de la zone 2 (clair)
avec le moins d’erreur possible.
• Que faire sans information ?
• Que faire si on a l’information de luminance d’un point ?
Si on a aucune information a priori,
affecter un pixel à la zone 1 permet de
minimiser l’erreur.
50
100
150
200
250
50
100
150
200
250
Théorie Bayesienne de la décision – p. 2/17
Introduction par l’exemple
• On a l’information de luminance x. v.a de loi pX (x)
• Probabilité conditionnelle de x : p(x/C1 ) et p(x/C2 )
• Probabilité a priori de la classe Ck : Pr(Ck )
• On affecte x à la classe de plus forte probabilité a posteriori Pr(Ck /x).
Densité de probabilité conditionnelle de la luminance en fonction de la source
Densité de probabilité a posteriori de la source en fonction de la luminance
0.03
1
p(x|C )
1
p(x|C )
p(C |x)
1
p(C2|x)
0.9
2
0.025
0.8
p(x)
0.7
0.02
0.6
0.015
0.5
0.4
0.01
0.3
0.2
0.005
0.1
0
0
50
100
150
200
250
0
0
50
100
150
200
250
pX (x) = p(x/C1 )Pr(C1 ) + p(x/C2 )Pr(C2 )
Théorie Bayesienne de la décision – p. 3/17
Objectifs
• On observe un ensemble de caractéristiques décrivant une entité
• On suppose qu’une entité provient d’une source (ou classe) donnée
• On réalise une action en fonction de l’observation des caractéristiques
• Sachant que chaque action a un certain coût en fonction de la source émettant la
caractéristique observée, l’objectif est de :
Trouver une règle qui minimise un coût moyen, définissant quelle action effectuer
en fonction de l’entité observée
Théorie Bayesienne de la décision – p. 4/17
Définitions et Notations
• Ensemble des classes {C1 , · · · , CK } de loi a priori pour chaque classe Pr(Ck )
• Espace des caractéristiques X , typiquement X = Rd
• Loi a posteriori Pr(C = Ck /X = x)
• Probabilité conditionnelle de x en fonction d’une classe Ck : p(x/CK )
• Probabilité inconditionnelle de x : pX (x) = PK
k=1 p(x/Ck )Pr(Ck )
• Ensemble des actions A = {a1 , · · · , am }
Typiquement, les actions consistent à affecter une classe à une observation
donnée et donc le nombre d’actions est égal au nombre de classes.
• Coût ℓjk = ℓ(aj , Ck ) associé à l’action aj sachant que l’observation est issue de
Ck .
Théorie Bayesienne de la décision – p. 5/17
Formalisation du problème
On cherche une règle de décision D
D:
X
x
−→
7−→
A
aj
optimale au sens d’un risque moyen défini comme suit.
• Risque conditionnel associé à l’action aj après l’observation de x
R(aj |x) =
K
X
ℓjk Pr(Ck /x)
k=1
• Risque moyen
Rmoy =
Z
R(D(x)|x)pX (x)dx
Théorie Bayesienne de la décision – p. 6/17
Formalisation du problème (2)
La règle de Bayes est la règle de décision qui minimise le risque moyen :
DBayes (x) = argminD Rmoy
En fait, la règle de Bayes est celle qui minimise les risques conditionnels :
DBayes (x) = argminj=1···m R(aj |x)
Ainsi, cette règle consiste à choisir l’action ar si
K
X
k=1
ℓrk Pr(Ck /x) <
K
X
ℓjk Pr(Ck /x)
∀j
(∀ action aj )
k=1
Le risque minimum R∗ associé à la règle de Bayes est appelé risque de Bayes et
est la meilleure performance possible.
Théorie Bayesienne de la décision – p. 7/17
Cas de la discrimination 2 classes
Les observations sont émises par 2 classes C1 et C2 et les actions consistent à
affecter une observation x à C1 ou C2 (respectivement action a1 et a2 ).
La règle de Bayes consiste à choisir l’action a1 si
ℓ11 Pr(C1 /x) + ℓ12 Pr(C2 /x)
<
ℓ21 Pr(C1 /x) + ℓ22 Pr(C2 /x)
(ℓ11 − ℓ21 )p(x/C1 )Pr(C1 )
<
(ℓ22 − ℓ12 )p(x/C2 )Pr(C2 )
soit :
D(x) =
avec L(x) =
p(x/C1 )
p(x/C2 )
et η =
(
a1
a2
si
si
(ℓ12 −ℓ22 )Pr(C2 )
(ℓ21 −ℓ11 )Pr(C1 )
L(x) ≥ η
L(x) < η
et ℓ21 > ℓ11
• Remarque : il est normal que le coût ℓjk (j 6= k) lié à une erreur soit supérieur
au coût lié à une bonne décision ℓjj
• L est appelé rapport de vraisemblance
Théorie Bayesienne de la décision – p. 8/17
Classifieur binaire à minimum d’erreur
Dans ce cadre, on fixe les coûts à :
ℓjk :
(
0
1
si
si
j=k
j 6= k
(bonne décision)
(mauvaise décision)
Ainsi, le risque conditionnel lié à aj est :
R(aj |x)
=
K
X
ℓjk Pr(Ck /x)
k=1
=
X
ℓjk Pr(Ck /x)
j6=k
=
1 − Pr(Ck /x)
car
K
X
Pr(Ck /x) = 1
k=1
Le risque minimal est donc obtenu par maximisation de la probabilité a posteriori
Théorie Bayesienne de la décision – p. 9/17
Classifieur binaire à minimum d’erreur
En supposant que les classes sont codées en {0, 1} et que les lois a priori suivent
une loi de Bernouilli, la probabilité a posteriori d’une classe est r(x) = Pr(C1 /x),
alors la règle de Bayes devient :
DBayes (x) :
(
1
p(x|C1)
p(x|C )
2
p(C1|x)
p(C2|x)
0.9
0.8
0
1
si
si
r(x) >
sinon
1
2
La figure décrit les probabilités conditionnelles et les lois a posteriori pour
un coût 0-1.
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
50
100
150
200
250
Théorie Bayesienne de la décision – p. 10/17
Rejet d’ambiguité(1)
Si l’observation est ambigue, au lieu d’affecter cette observation à une classe ou
une autre, on réalise une action appelée rejet qui consiste donc à ne pas décider
entre les classes. Dans le cas binaire, on a les risques conditionnels suivants :
R(a1 |x)
=
ℓ11 Pr(C1 /x) + ℓ12 Pr(C2 /x)
R(a2 |x)
=
ℓ21 Pr(C1 /x) + ℓ22 Pr(C2 /x)
R(a3 |x)
=
ℓ31 Pr(C1 /x) + ℓ32 Pr(C2 /x)
(a3 est l’action de rejet)
Dans un cas à coût 0-1 et coût de rejet α, les risques et la règle de decision
deviennent :
R(a1 |x)
=
Pr(C2 /x)
R(a2 |x)
=
Pr(C1 /x)
R(a3 |x)
=
α
Théorie Bayesienne de la décision – p. 11/17
Rejet d’ambiguité(2)
La règle de Bayes devient :


 a1
DBayes (x) :
a2

 a
3
si
si
sinon
Pr(C1 /x) > Pr(C2 /x) et Pr(C1 /x) > 1 − α
Pr(C2 /x) > Pr(C1 /x) et Pr(C2 /x) > 1 − α
Densité de probabilité et seuil de decision dans le cas de rejet
1
p(x|C1)
p(x|C )
2
p(C1|x)
p(C2|x)
0.9
0.8
0.7
0.6
0.5
La figure décrit les probabilités conditionnelles et les lois a posteriori pour
un coût 0-1. Les droites vertes verticales indiquent le seuil de luminance
pour les classes et les zones de rejet
Comportement du rejet :
0.4
α = 0 −→ 100% rejet
0.3
α = 1/2 −→ 0% rejet
0.2
0.1
0
0
50
100
150
200
250
Théorie Bayesienne de la décision – p. 12/17
Etude du cas de classes gaussiennes
Pour un coût 0 − 1, la fonction de discrimination affecte x à la classe Cj si
Pr(Cj /x) ≥ Pr(Ck /x) ∀k 6= j
Dans le cas gaussien, étudier gj (x) = ln Pr(Cj /x)pX (x) = ln p(x/Cj )Pr(Cj )
permet de simplifier les calculs.
gj (x)
=
ln p(x/Cj ) + ln Pr(Cj )
=
1
d
1
− (x − µj )t Σ−1
(x
−
µ
)
−
ln
2π
−
ln|Σj |) + ln Pr(Cj )
j
j
2
2
2
Analyse linéaire discriminante (LDA)
Si on suppose que les matrices de covariance Σj sont identiques et valent Σ, on
peut simplifier gj (x) grâce aux termes constants en fonction de j
gj (x) = wj⊤ x + wjo + Cte
−1
µj + ln Pr(Cj )
avec w = Σ−1 µj et wjo = 12 µ⊤
j Σ
Théorie Bayesienne de la décision – p. 13/17
Etude du cas de classes gaussiennes
Analyse linéaire discriminante (LDA)
La règle de décision devient donc : x est affecté à la classe Cj si
gj (x) = wj⊤ x + wjo ≥ gk (x) = wk⊤ x + wko
∀k 6= j
Ainsi, la frontière de décision dans un problème à deux classes est un hyperplan
d’équation :
w⊤ (x − x0 ) = 0
avec w = Σ−1 (µj − µk ) et x0 = 21 (µj + µk ) −
ln[Pr(Cj )/Pr(Ck )]
(µ
(µj −µk )⊤ Σ−1 (µj −µk ) j
Exemple de 2 classes gaussiennes et la frontière de Décision
Exemple de 2 classes gaussiennes et la frontière de Décision
8
8
6
6
4
4
2
2
0
0
−2
−2
−4
−4
−6
−6
−8
−4
−3
−2
−1
0
1
2
3
4
− µk )
5
6
−8
−8
−6
−4
−2
0
2
4
6
8
Théorie Bayesienne de la décision – p. 14/17
Etude du cas de classes gaussiennes
Analyse discriminante quadratique (QDA)
Dans le cas général où Σ est différent pour chaque classe, on a :
gj (x) = x⊤ Wj x + wj⊤ x + wjo
−1
1 ⊤ −1
µ
et
w
=
,
w
=
Σ
avec Wj = 21 Σ−1
j
jo
j
j
j
2 µj Σj µj −
1
2
ln |Σj | + ln Pr(Cj )
Pour un problème à 2 classes, la fonction de décision est une hyperquadrique et
elle peut prendre différentes formes : hyperplan, hyperspheres, hyperellipsoide...
Exemple de 2 classes gaussiennes et la frontière de Décision
Exemple de 2 classes gaussiennes et la frontière de Décision
6
6
4
4
2
2
0
0
−2
−2
−4
−4
−6
−6
−4
−2
0
2
4
6
−6
−6
−4
−2
0
2
4
6
Théorie Bayesienne de la décision – p. 15/17
Stratégies d’estimation
La théorie bayesienne de la décision propose un cadre formel pour la
discrimination et propose un classifieur minimisant un risque.
Mise en oeuvre pratique
• Estimer les probabilités conditionnelles p(x/Ck ) et les probabilités a priori
Pr(Ck ) pour k = 1, · · · , K
• Estimer directement les probabilités a posteriori Pr(Ck /x)
• Estimer la règle de décision souvent comme étant le signe d’une fonction de
discrimination g
Théorie Bayesienne de la décision – p. 16/17
Stratégies d’estimation
Cas de classes gaussiennes
• Cas LDA : les paramètres de chaque classe Ck et la matrice Σ sont estimés de la
façon suivante
µk
=
Pr(Ck )
=
Σ
=
PN
i∈Ck
xi
Nk
Nk
N
PK
k=1
avec Nk = card(Ck )
PN
⊤
(x
−
µ
)(x
−
µ
)
i
i
k
k
i∈Ck
N −K
• Cas QDA : on estime la matrice de variance-covariance pour chaque Ck par
Σk
=
PN
i∈Ck (xi
− µk )(xi − µk )⊤
N −1
L’estimation de la probabilité a priori et de µk est similaire au cas précédent
Théorie Bayesienne de la décision – p. 17/17