Algorithme de Kohonen : classification et analyse exploratoire des

1
Page 1
Algorithme de Kohonen :
classification et
analyse exploratoire des données
Marie Cottrell et Patrick Letremy
Université Paris 1- Sorbonne
Analyse de données : introduction
Algorithme de Kohonen
Kohonen et classification : KACP
Accélération de la classification
Traitements des variables qualitatives
Données manquantes
Conclusion

2
Page 2
Analyse de données : introduction
Algorithme de Kohonen
Kohonen et classification : KACP
Accélération de la classification
Traitements des variables qualitatives
Données manquantes
Conclusion
Analyse de données
1
N
Observations
Variables Comment extraire
de l’information ?
N et p sont grands
1p

3
Page 3
Extraction d’individus types :
Quantification Vectorielle
4ΚΚ : espace des données, dimension p
4f : densité des données
4x1, x2, …, xN, : les données
4n : nombre de classes
4C1, C2, …, Cn : quantifieurs ou vecteurs codes ou centres
4G1, G2, …, Gn : classes
BUT : Minimiser la distorsion quadratique (l’erreur)
(= Somme des carrés intra)
(1)
Estimée par (2)
2
1
21
1
2
21
1∑ ∑
∑∫
=∈
=
−=
−=
n
iGxijnO
n
iGinO
ij
i
Cx
N
CCCfD
dxxfCxCCCfD
),,,,(
ˆ
)(),,,,(
L
L
Algorithme Déterministe : Centres
mobiles (FORGY, LLOYDS, LBG)
4A chaque étape, les classes sont définies (par les plus proches
voisins), et les vecteurs codes sont re-calculés comme les
centres de gravité des classes, etc.
4(On part de vecteurs codes aléatoires, on détermine les
classes, puis les centres, puis les classes, etc.)

4
Page 4
Algorithme Probabiliste associé (SCL)
4On déplace seulement le gagnant
4Avec l’algorithme de Kohonen, on déplace le vecteur code
gagnant, mais aussi ses voisins.
Donnée tirée
au hasard
x(t+1)
Centre
gagnant qi*(t)
Centre
mis à jour ))()()(()()( *** tCtxttCtCiii −++=+ 11 ε
Algorithme SCL (0 voisin)
4L’algorithme SCL est la version stochastique de l’algorithme de
Forgy
4L’algorithme de Forgy minimise la distorsion et converge vers
un minimum local
4L’algorithme SCL converge en moyenne vers un minimum
local
4La solution dépend de l’initialisation

5
Page 5
Analyse de données : introduction
Algorithme de Kohonen
Kohonen et classification : KACP
Accélération de la classification
Traitements des variables qualitatives
Données manquantes
Conclusion
Algorithme de Kohonen (SOM)
4Apprentissage non supervisé
4Les réponses associées à des entrées voisines sont
voisines
4On parle d'auto-organisation, de respect de la topologie
4Les associations
–rétine - cortex visuel
–fréquences des sons - cortex auditif
–peau - cortex sensoriel
respectent la notion de voisinage
4Nombreuses applications en représentation de données
de grande dimension sur des réseaux de dimension 1 ou
2, ou classification où la notion de classes voisines a un
sens