pres - Université de Bordeaux

Analyse discriminante linéaire et quadratique
Bayésien naïf
Régression logistique
Chapitre II
Approches basées sur un modèle
M2 MAS - Université de Bordeaux
2016-2017
Chapitre 2 Apprentissage supervisé 1/32

Analyse discriminante linéaire et quadratique
Bayésien naïf
Régression logistique
Introduction
Deux approches possibles pour constuire une règle de classification g.
Approche basée sur un modèle.
Apprentissage de Loi(Y|X)puis déduction de g
Exemples : analyse discriminante linéaire, bayésien naïf, régression
logistique, etc.
Approche de type prototype.
Apprentissage direct de la règle classification g
Exemples : k-plus proches voisins, arbres de classification, forêts
aléatoires, etc.
Règle de classification de Bayes :
g(x) = arg min
`∈{1,...,K}
K
X
k=1
Ck`P(Y=k|X=x)
=arg max
`∈{1,...,K}
P(Y=`|X=x)(coût 0-1)
Chapitre 2 Apprentissage supervisé 2/32

Analyse discriminante linéaire et quadratique
Bayésien naïf
Régression logistique
Dans les approches basées sur un modèle, on distingue :
l’approche directe comme en régression logistique :
P[Y=1|X=x]=exp(XTβ)
1+exp(XTβ)
Estimation du paramètre βà partir des données d’apprentissage.
l’approche indirecte comme en analyse discriminante linéaire ou en
bayésien naïf. Cette approche utilise la formule de Bayes :
P(Y=k|X=x)=f(x|Y=k)P(Y=k)
PK
j=1f(x|Y=j)P(Y=j)
L’approche indirect nécessite donc l’estimation de fk(x) = f(x|Y=k)et
de πk=P(Y=k).
-fk(x)prend une forme paramétrique (e.g. gaussienne, etc.) de
paramètre θk:
-Estimation des paramètres {θ1,...,θK, π1,...,πK}à partir des
données d’apprentissage
Chapitre 2 Apprentissage supervisé 3/32

Analyse discriminante linéaire et quadratique
Bayésien naïf
Régression logistique
Plan
1Analyse discriminante linéaire et quadratique
2Bayésien naïf
3Régression logistique
Chapitre 2 Apprentissage supervisé 4/32

Analyse discriminante linéaire et quadratique
Bayésien naïf
Régression logistique
Analyse discriminante linéaire et quadratique
X∈Rpet Y∈ {1,...,K}
Ensemble d’apprentissage (Xi,Yi),i=1,...,n
Hypothèse paramétrique gaussienne X∼ N (µk,Σk)dans chaque groupe
ki.e.
fk(x) = 1
(2π)p/2|Σk|1/2exp(−1
2(x−µk)TΣ−1
k(x−µk))
Paramètres inconnus θk={µk,Σk}et πk
Chapitre 2 Apprentissage supervisé 5/32