Apprentisage non supervise

Universit´e Sidi Mohamed Ben Abdellah Master: BDSaS.
Facult´e des Sciences Dhar Mahraz Ann´ee Acad´emique: 2016-2017
Resp. : Chakir Loqman
M´ethode de classification non supervis´ee
1 Classification hi´erarchique ascendante
La distance entre deux classes contenant plus d’un individu est d´etermin´ee suivant l’un des crit`eres
d’agr´egation explicit´es ci-dessous :
1. Crit`ere du saut minimal (Single linkage clustering):
•c’est la plus petite distance s´eparant un individu de la premi`ere classe et un individu de la
deuxi`eme classe :
D(C1, C2) = Min
xi∈C1,xif ∈C2
d(xi, xif )
2. Crit`ere du saut maximal (Complete linkage clustering):
•c’est la plus grande distance s´eparant un individu de la premi`ere classe et un in dividu de la
deuxi`eme classe :
D(C1, C2) = Max
xi∈C1,xif ∈C2
d(xi, xif )
3. Crit`ere de la moyenne (Average linkage clustering):
•c’est la moyenne des distances entre tous les individus de la premi`ere classe et tous les individus
de la deuxi`eme classe :
D(C1, C2) = 1
|C1||C2|X
xi∈C1
X
xif ∈C2
d(xi, xif )
•Ou |C|d´esigne l’effectif de la classe C
4. Crit`ere de Ward (Ward, 1963) :
•Ce crit`ere impose l’utilisation du carr´e de la distance euclidienne.:
D(C1, C2) = |C1||C2|
|C1|+|C2|d2
2(G1, G2)
•Ou |C|d´esigne l’effectif de la classe Cet G1le centre de gravit´e de la premi`ere classe et G2le
centre de gravit´e de la deuxi`eme classe.
•On d´efinit la distance euclidienne entre les seux vecteurs d’observation xiet xil:
d2(xi, xil) = v
u
u
t
p
X
j=1
(xj
i−xj
il)2
•On d´efinit le centre de gravit´e de la classe Ckpar:
Gk=Pxi∈Ckxi
|Ck|
C. LOQMAN 1 Master BDSaS

Algorithme: Classification hi´erarchique ascendante
Entr´ee :
•X:La matrice des individus;
•K:Le nombre de classes d´esir´e, sinon K vaut 1;
Sortie :
•P:Les partitions emboˆıt´ees
D´ebut
Initialisation :
-t←0t:Iteration courante
-nbClasses ←n Le nombre de classes est egal a celui des individus
-Mettre chaque individu dans une classe:
- Pour i de 1`a nfaire
Ci←xi{Mettre chaque individu dans une classe};
Fin Pour
-P[t] = P[0] = {C1, C2, ....., Cn}P artition initiale
Agr´egations:
Tant que (nbClasses > K)faire
t←t+ 1;
Calculer les distances entre les classes :
D(Ck, Cl)∀k∈ {1, ...nbClasses}et l ∈ {1, ...nbClasses}
Trouver les deux classes les plus proches au sens d’un crit`ere d’agr´egation :
D(Cq, C0)←Min D(Ck, Cl)∀k∈ {1, ...nbClasses}et l ∈ {1, ...nbClasses}
Copier les individus de la classe C0dans Cq:
Cq←xi∀xi∈C0
Supprimer la classe C0
nbClasses ←nbClasses −1
P[t]←P[t−1] − {C0}
Fait
Retourner P
Fin
2 Centres-mobiles
Contrairement aux m´ethodes hi´erarchiques qui produisent diff´erentes partitions emboˆıt´ees, les algorithmes
de classification par partition r´epartissent les individus en classes dans le but d’obtenir une seule parti-
tion optimale. Une partition fixe sur l’ensemble Ω est constitu´ee de Kclasses tel que chaque individu
appartienne `a une seule classe. Le nombre des classes doit ˆetre fourni `a l’algorithme.
Le but de la m´ethode des centres-mobiles est de parvenir, en un nombre d’it´erations limit´e, `a partitionner
C. LOQMAN 2 Master BDSaS

les n individus en Kclasses homog´enes en minimisant le crit`ere suivant :
Gcm =
K
X
k=1 X
xi∈Ck
d2
2(xi, wk)
Ou wkest le repr´esentant de la classe Ckqui est aussi son centre de gravit´e d´efini par: wk=Pxi∈Ckxi
|Ck|
Algorithme: Centres-mobiles
Entr´ee :
•X:La matrice des individus;
•K:Le nombre de classes d´esir´e;
Sortie :
•Pf← {C1, C2, ..., CK}partition finale
D´ebut
Initialisation :
-t←0t:Iteration courante
- Choix al´eatoire de la partition initiale:
•Pour i de 1`a nfaire
l←alea(1, ...K)Choisir une valeur al´eatoire entre 1 et K;
Cl←xi;
Fin Pour
-P[t] = P[0] = {C1, C2, ....., CK}P artition initiale
Partionnement:
R´ep´eter
-t←t+ 1;
-Etape repr´esentation :
-Calculer le centre de chaque classe Ck:
- Pour kde 1`a Kfaire
wk←Pxi∈Ckxi
|Ck|
Fin Pour
-Etape affectation :
-g´en´erer une nouvelle partition:
- Pour ide 1`a nfaire
d(wl, xi)←Min
k∈{1,...,K}d(wk, xi)
Cl←xi;
Fin Pour
jusqu’`a ce que (Pt6=Pt−1)
Retourner Pf=Pt
Fin
C. LOQMAN 3 Master BDSaS

Algorithme: Centres-mobiles s´equentiel
Entr´ee :
•X:La matrice des individus;
•K:Le nombre de classes d´esir´e;
Sortie :
•Pf← {C1, C2, ..., CK}partition finale
D´ebut
Initialisation :
-t←0t:Iteration courante
- Choix al´eatoire repr´esentants des classes: {wk, k ∈ {1, ...K}}
- Initialiser les effectifs des classes `a 0:|C1|=|C2|=... =|CK|= 0
Partionnement:
R´ep´eter
-t←t+ 1;
-Etape affectation :
-acqu´erir une observation xiet l’affecter `a la classe la plus proche:
- Pour kde 1`a Kfaire
d2
2(wl, xi)←Min
k∈{1,...,K}d2
2(wk, xi)
Cl←xi;
Fin Pour
-Etape repr´esentation :
-calcul du nouveau centre de gravit´e de la classe Cl:
-nl←nl+ 1
-wl←wl+xi−wl
nl
jusqu’`a ce que (Plus d’observations disponibles)
Retourner Pf=Pt
Fin
C. LOQMAN 4 Master BDSaS