M1 IAD UE RFIDEC TD N 10

M1 IAD UE RFIDEC
TD N◦10
19 janvier 2006
Exercice 1
M´ethode des kplus proches voisins (k−PPV)
Les objets `a classer sont de dimension d= 2 : x= (x1, x2). Il y a deux classes, C1et C2et on
connait les classes de 4 objets : x1= (2,1), x2= (1,3) ∈C1;x3= (2,5), x4= (4,3) ∈C2.
1◦) Apprentissage supervis´e par la m´ethode k−PPV avec k= 1 `a partir de la base form´ee par
ces 4 objets :
D´eterminer graphiquement pour chacun d’eux la r´egion du plan o`u il est l’objet le plus proche
parmi les 4 (pour la distance euclidienne). En d´eduire les r´egions et fronti`eres de d´ecision.
2◦) Apprentissage supervis´e par la m´ethode k−PPV avec k= 3 `a partir de la base form´ee par
ces 4 objets :
D´eterminer graphiquement pour chacun d’eux la r´egion du plan o`u il est l’objet le plus ´eloign´e
parmi les 4 (pour la distance euclidienne). En d´eduire les r´egions et fronti`eres de d´ecision.
3◦) Apprentissage it´eratif non-supervis´e par l’algorithme k−PPV avec k= 3 `a partir de la base
form´ee par ces 4 objets :
Algorithme des k-PPV
Entr´ee :xj, j = 1,··· ,n +M.
Initialisation Dictionnaire D1={x1,··· ,xn},m←1
Tant que m≤MR´ep´eter
D´eterminer les kplus proches voisins de xn+mdans Dm;
attribuer `a xn+mla classe majoritaire
m←m+ 1
Sortie : classification des xj, j =n+ 1,··· ,n +M
i) Comment sont class´es les objets x5= (2,2) et x6= (2,4) s’ils sont pris dans cet ordre?
ii) Comment sont-ils class´es s’ils sont pris dans l’ordre oppos´e? Conclusion?
1

Exercice 2
Quantification vectorielle
On veut regrouper en classes poss´edant chacune un prototype des objets de dimension d= 2 :
x= (x1, x2) ; ce sont : (1,3),(−2,2),(−1,2),(−3,2),(1,5),(1,4),(2,5),(2,6).
1◦) Le nombre de classes, K, n’est pas impos´e a priori. Utiliser l’algorithme `a seuil suivant pour
s´electionner un dictionnaire de prototypes initiaux dont la taille sera elle-mˆeme une sortie de
l’algorithme.
d(x,y) est la distance euclidienne. On prendra θ= 2
Algorithme `a seuil
Entr´ee :X={xj, j = 1,··· ,n}. Seuil θ > 0
Initialisation Dictionnaire D1={x1},j←2
Tant que j≤nR´ep´eter
Si ∃y∈Dj−1, d(xj,y)≤θ
Alors Dj←Dj−1
Sinon Dj←Dj−1∪ {xj}
Sortie : un dictionnaire de prototypes D=Dnde taille K=|D|
2◦) i) Faire ´evoluer les prototypes du dictionnaire trouv´e au 1◦) `a l’aide de l’algorithme de
K-moyennes suivant :
Algorithme de K-moyennes
Entr´ee :Kprototypes D={y1,··· ,yK};X={xj, j = 1,··· ,n}.
Initialisation j←1 , nk=←1 (∀1≤k≤K)
Tant que j≤nR´ep´eter
k←arg min1≤l≤Kd(xj,yl)
Affecter xj`a la classe Ck(r`egle de s´election)
yk←nk.yk+xj
nk+1 (r`egle d’adaptation)
nk←nk+ 1
Sortie : un regroupement en Kclasses et les prototypes de chaque classe (leurs centres de
gravit´e), D.
N.B. Cet algorithme est aussi connu sous d’autres noms, dont algorithme d’agr´egation autour
de centres mobiles.
ii) Ici, on peut retirer Dde l’ensemble d’apprentissage Xavant d’appliquer l’algorithme. Le
r´esultat final en d´epend-il? Faut-il retirer D?
iii) Que se passe-t-il si l’on continue `a faire tourner l’algorithme `a partir des nouveaux proto-
types?
Quel crit`ere d’arrˆet pr´econisez-vous?
2

3◦) i) Faire ´evoluer les prototypes du dictionnaire trouv´e au 2◦)ii) `a l’aide de l’algorithme de
Linde-Buzo-Gray (LBG) suivant :
Algorithme LBG
Entr´ee :Kprototypes D={y1,··· ,yK}, centres de gravit´e des Kensembles de la partition
de X={xj, j = 1,··· ,n}. Un vecteur z
Tant que crit`ere d’arrˆet non-satisfait R´ep´eter
Doubler le nombre de prototypes en rempla¸cant chaque prototype ypar deux autre y+zet
y−z
Affecter chaque exemple xj`a la classe du nouveau prototype dont il est le plus proche
Adapter les prototypes en les rempla¸cant par les centres de gravit´e de leurs classes.
Sortie : un regroupement en Krclasses et les prototypes de chaque classe (leurs centres de
gravit´e).
On prendra r= 2 et z= (1,1)
ii) Comment peut-on utiliser des m´ethodes de QV pour r´ealiser des tˆaches de discrimination?
3