Apprentissage supervisé Les k plus proches voisins •Principe

1
1/13/2003 1
Apprentissage supervisé
Les k plus proches voisins
Reconnaissance des formes
G. Coray & H. Ghorbel
1/13/2003 2
•Principe
•L ’algorithme des k plus proches voisins (kppv) fait partie
des méthodes d ’apprentissage supervisé.
•Pour un point x de R
m
, il s ’agit de déterminer la classe de
chacun des k points les plus proches de x parmi les
échantillons d ’apprentissage. Puis retenir la classe la plus
représentée.
•Si k=1 cas simple de recherche d'un voisin
•Sinon fixer des seuils pour la décision (exemple K/2< s
≤k)
•Méthode risque d ’être lente -> accélération par
structuration

2
1/13/2003 3
L ’algorithme de Delannoy
•Fondé sur l ’idée du pavage
•Soit R
m
l ’espace d ’apprentissage.
•Prétraitement:
•définir le plus petit hypercube H délimitant R
m
•diviser H en H
i
partitionné en intervale de taille λ
i
(i=1..m).
•Pour chaque cellule H
i
établir les points qui lui appartient
•Définitions
•C
o
x
: la cellule contenant le point x;
•C
i
x
:le domaine formé par l ’union de C
i-1
x
et des autres cellules
de l ’espace qui lui sont contiguës. C
i
x
contient (2i+1)
m
cellules.
•d(x, C
i
x
): la plus petite distance entre x et la frontière de C
i
x
1/13/2003 4
Recherche du ppv
•Algorithme
1. Déterminer C
o
x
; i<-- 0
2. Chercher un point dans C
i
x
•non trouvé i<-- i + 1 aller à 2.
•Trouvé aller à 3
3. Recherche de y
0
le ppv de x dans C
i
x
4. Si d(x,y
0
)<d(x, C
i
x
) alors fin,
•sinon i<-- i + 1 aller à 2
. y
0
. x.

3
1/13/2003 5
Application
•Reprendre la série 8 avec m=2, λ
1
=4 , λ
2
=3.
1/13/2003 6
Algorithme de Kim et Park
•Fondé sur le tri suivant les axes
•Prétraitement:
•ordonner et partitionner les n échantillons sous forme
d ’un arbre avec un p(i) facteur de partition et ceci
pour chaque axe i
•chaque niveau de l'arbre correspond à un axe
•les nœuds non terminaux de l ’arbre sont des
intervalles [a
i
,b
i
] qui correspondent au sous-ensemble
de points { x
1
,x
2
,…x
m
/ a
i
<x
i
≤b
i
}
•les nœuds terminaux sont des points fixes.

4
1/13/2003 7
Recherche du ppv (1)
Recherche(nœud,l)
•Si l=m (dernier niveau de l'arbre) alors
•mise à jour de l ’ensemble des kppv en intégrant le point
désigné par le nœud terminal courant
•mise à jour de la distance d
k
du k ème ppv au point test
•sinon
•calcul de distance r
l
2
=
•r
l-1
2
+ min[(x
l
–a
l
)
2
[(x
l
–a
l
)
2
]Si l≠m
•r
m-1
2
+ (x
m
–a
m
)
2 Si l=m
•r0=0
1/13/2003 8
Recherche du ppv (2)
•recherche du nœud fils s contenant le (l+1) ème
cordonnée
•tant que d(s,X)<d
k
calculé au niveau l+1
•Recherche(s,l+1)
•Fin tanque
•Fin si

5
1/13/2003 9
Exemple
•Considérons n=12; m=3; p(1)=p(2)=3 et
E={(1,2,5);(3,8,7);(9,10,8);(12,9,2);(8,7,20);(6,6,23);(
0,3,27);(2,13,9);(11,11,15);(14,17,13);(7,4,12);(10,12,
3)}
•Dessinons l ’arbre hiérarchique des points
•Cherchons les 2 proches voisins de (10,10,10) et de
(5,14,4).
•Référence:
•Reconnaissance des formes - Méthodes et application,
Abdel Belaïd, Yolande Belaïd, 1992 InterEditions Paris.