TD Théorie Bayesienne de la décision 1 El classico 2 Bayes en log

TD Théorie Bayesienne
de la décision 4ème année
G. Gasso
1 El classico
Soit un problème de classification à K= 2 classes. Chaque classe Ckest caractérisée par une
probabilité a priori P(Ck)et une densité conditionnelle
p(x|Ck) = 1
(2π)d/2σd
k
exp−kx−µkk2
2σ2
k, x, µk∈Rd, σk∈R(1)
1. Soit n(x(k)
i, y(k) i=k)onk
i=1 les données (supposées i.i.d.) de la classe Ck. On cherche à esti-
mer les paramètres σket µkpar maximum de vraisemblance.
(a) Donner l’expression de la log-vraisemblance.
(b) En déduire leur estimation au sens du maximum de vraisemblance.
On veut réaliser une classification des données. Le coût d’une bonne décision est 0et une
mauvaise décision coûte λs. On décide d’utiliser l’approche bayésienne. On note ak, l’action
de décider la classe Ck.
2. Donner l’expression des risques conditionnels R(ak/x).
3. En déduire que le risque minimum est obtenu en décidant aksi P(Ck|x)> P (C`|x)∀`6=k.
4. Expliciter les fonctions de décision dans le cas suivant : K= 2, P (Ck)=1/K et p(x|Ck)
donnée par l’équation (1).
5. On considère maintenant le rejet avec un coût λr.
Montrer qu’on affectera une observation xà la classe Cksi
P(Ck|x)> P (C`|x)∀k6=`et P(Ck|x)>1−λr
λs
Que se passe-t-il si λr= 0 ? Même question si λr> λs.
2 Bayes en log-normal majeur
Soit un problème de classification à Cclasses. Chaque classe ωkest caractérisée par une pro-
babilité a priori P(ωk)et une densité conditionnelle p(x|ωk). On suppose que les données de
chaque classe ωksuivent une loi log-normale avec x∈R+− {0}
p(x|ωk) = 1
xσk√2πexp −(ln(x)−µk)2
2σ2
k(2)
Répondre aux mêmes questions qu’à l’exercice 1 avec cette loi conditionnelle.
p.1/2

ASI4 DM
3 La loi des réseaux
Soit K= 3 réseaux (informatiques) Ck, k = 1,··· , K qu’on souhaite classifier automatique-
ment à partir de leurs caractéristiques. Chaque classe Ckest caractérisée par une probabilité a
priori P(Ck)et une densité conditionnelle p(x|Ck). Les données (représentant ici les dates d’ap-
parition d’évènements) de chaque classe Cksuivent une loi d’Erlang
p(x|Ck) = θ2
kx e−x θkΓ(x)(3)
où Γ(x)est la fonction qui vaut 1 si x > 0et 0 autrement.
1. On dispose de données d’apprentissage {(xi, yi)}N
i=1. Pour une classe donnée, on cherche à
estimer le paramètre θkpar maximum de vraisemblance.
(a) Donner l’expression de la log-vraisemblance.
(b) En déduire l’estimation de θkau sens du maximum de vraisemblance.
2. On veut réaliser une classification des données par la règle de Bayes. Le coût d’une bonne
décision est 0et une mauvaise décision coûte α.
Expliciter les fonctions de décision si les classes Cksont équiprobables.
4 Petit galop de Bayes
Considérons le problème de classification binaire avec les probabilités conditionnelles sui-
vantes :
p(x|C1) = 1
2e−|x|
p(x|C2) = e−2|x|
avec les coûts suivants : `11 = 0,`22 = 0,`12 = 2 et `21 = 1
1. Déterminer la règle de décision de Bayes et le risque associé si la probabilité a priori de
C1est P(C1) = 2
3.
2. Refaire le calcul pour P(C1) = 1
2.
p.2/2