analyse discriminante

Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/ 1
Une approche pour rendre calculable P(Y/X)
Ricco RAKOTOMALALA

Théorème de Bayes
Probabilité conditionnelle
( )
(
)
(
)
( )
( ) ( )
( ) ( )
∑
==×=
=×=
=
=
×
=
==
K
kkk
kk
kk
k
yYXPyYP
yYXPyYP
XP yYXPyYP
XyYP
1/
/
/
/
Estimer la probabilité conditionnelle
Déterminer la conclusion = déterminer le max.
Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/ 2
Déterminer la conclusion = déterminer le max.
(
)
( ) ( )
kk
k
k
k
k
k
yYXPyYPy
XyYPy
=×==
⇔
=
=
/maxarg
/maxarg
*
*
Comment estimer P(X/Y=yk)
Probabilité a priori
Estimé facilement par nk/n
Impossibilité à estimer avec des fréquences
Le tableau croisé serait trop grand et rempli de zéros

(X1) pet_length vs. (X2) pet_w idth by (Y) type
2
3
µ
[1] Hypothèse de normalité
La normalité de la probabilité conditionnelle P(X/Y)
)'()(
)det(2 1
,,
1
2
1
11
)(
kkk
k
k
JJ
XX
y
vXvX
eP
µµ
π
−Σ−−
Σ
==
−
=
K
Loi normale multidimensionnelle
Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/ 3
Iris-setosa Iris-versicolor Iris-virginica
654321
2
1
1
µ
2
µ
3
µ
k
µ
Centre de gravité conditionnelle
k
Σ
Matrice de variance co-variance
conditionnelle

[2] Homoscédasticité
Égalité des matrices de variance co-variance conditionnelles
Kk
k
,,1, K
=
Σ
=
Σ
(X1) pet_length vs. (X2) pet_w idth by (Y ) type
2
2
µ
3
µ
Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/ 4
Iris-setosa Iris-versicolor Iris-virginica
654321
1
1
µ
2
µ

Fonction linéaire discriminante
Simplification des formules sous [1] et [2]
)'()()(ln
1
2
1kk
y
X
XXP
k
µµ −Σ−−∝
−
Avec les estimations sur l’échantillon de taille n, K classes et J descripteurs
=
k
x
1,
ˆ
M
µ
Moyennes conditionnelles
La probabilité conditionnelle est donc proportionnelle à
Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/ 5
=
Jk
k
x
,
ˆ
M
µ
Moyennes conditionnelles
∑
=
Σ×
−
=Σ
K
kkk
n
Kn
1
ˆ
1
ˆ
Matrice de variance co-variance
intra-classes