Exercice sur l`algorithme des k plus proches voisins Exercice jouet

J.-Y. Audibert CERTIS–ENPC 1
Exercice sur l’algorithme des kplus proches voisins
Nous considérons le problème de classification binaire où l’espace des entrées est X= [0; 1] et
l’espace des sorties est {0; 1}.
1. La base d’apprentissage est (X1= 0,8 ; Y1= 1),(X2= 0,4 ; Y2= 0),(X3= 0,7 ; Y3= 1).
Donner la valeur prédite pour toute nouvelle entrée x∈ X
(a) par l’algorithme des 3-p.p.v.
(b) par l’algorithme du p.p.v.
2. Dans cette question, nous supposons que la loi Pgénérant le couple entrée-sortie (X, Y )est
la suivante : Xsuit une loi uniforme sur [0; 1] et Y= 1 si X≥0.5, et Y= 0 sinon.
(a) Donner P(Y= 1|X=x)pour tout x∈ X .
(b) En déduire le prédicteur cible. Quel est son risque ?
(c) Soit (X1, Y1),...,(Xn, Yn)une base d’apprentissage. (Elle est constituée de nréalisa-
tions i.i.d. de la loi P.) Soit El’événement : "tous les Yisont de même signe". Calculer
P(E).Sur le complémentaire de E, comment se comporte l’algorithme du plus proche
voisin ? Deviner (pas de démonstration requise) l’ordre de grandeur de son risque ?
3. Dans cette question, la loi Pgénérant les données est la suivante : Xsuit une loi uniforme
sur [0; 1] et P(Y= 1|X=x) = 2/3 = 1 −P(Y= 0|X=x).
(a) Quel est le risque du prédicteur cible ?
(b) Pour tout 0≤a≤b≤1, calculer P(X∈[a;b]; Y= 1).
(c) Deviner (pas de démonstration requise ; un raisonnement heuristique suffit) la valeur
approximative du risque de l’algorithme du plus proche voisin ? Que peut-on en déduire
sur la consistance de l’algorithme du plus proche voisin ?
Exercice jouet : un algorithme randomisé stupide
Nous considérons le problème de classification binaire : l’espace des entrées est noté X. L’espace
des sorties est {0; 1}et la fonction de perte est l: (y, y0)7→ 1y6=y0. Soit ˆgun algorithme qui pour
un ensemble d’apprentissage produit une fonction de prédiction aléatoire construite de la manière
suivante : pour tout x∈ X , cette fonction de prédiction renvoie un nombre tiré suivant la loi
uniforme sur {0; 1}de façon indépendante des nombres tirés pour les autres entrées et indépendante
de l’ensemble d’apprentissage. Cette fonction de prédiction est donc (hautement) aléatoire, et
l’algorithme ˆgest dit randomisé car la fonction de prédiction qu’il produit n’est pas une fonction
déterministe de l’ensemble d’apprentissage.
En termes moins mathématiques, utiliser cet algorithme revient à lancer une pièce pour chaque
entrée et à prédire 0ou 1suivant que la pièce tombe sur pile ou face.
1) Pour un ensemble d’apprentissage donné, que vaut ER(ˆg), où l’espérance est prise par rapport
à la loi de la fonction de prédiction tirée par l’algorithme randomisé ?
2) En déduire la valeur de ER(ˆg), où l’espérance est prise par rapport à toutes les sources d’aléa.
Problème : autour du théorème de Stone
Nous considérons le problème de régression quadratique suivant. L’espace des entrées est Rd.
Celui des sorties est R. La fonction de perte est l: (y, y0)7→ (y−y0)2. On considère les algorithmes

J.-Y. Audibert CERTIS–ENPC 2
par moyennage qui pour une entrée xprédisent la sortie
ˆη(x) =
n
X
i=1
Wi(x)Yi,
où les poids Wi(x)sont des quantités réelles dépendant de n, x, X1, . . . , Xn. Nous considérons la
version suivante (légèrement différente de celle du cours) du théorème de Stone.
Théorème (Stone, 1977). Supposons que pour toute probabilité sur Rdgénérant Xles poids Wi
satisfont
(i) ∃n0∈N∃c > 0∀n≥n0∀f:Rd→Rpositive et intégrable
E½Pn
i=1 |Wi(X)|f(Xi)¾≤cEf(X).
(ii) ∃D > 0tel que presque sûrement Pn
i=1 |Wi(X)| ≤ D.
(iii) ∀a > 0,lim
n→+∞
E©Pn
i=1 |Wi(X)|1kXi−Xk>aª= 0.
(iv) Pn
i=1 Wi(X)converge vers 1en probabilité
(v) lim
n→+∞
E©Pn
i=1[Wi(X)]2ª= 0.
Alors l’algorithme ˆηest consistant par rapport à toute probabilité du couple (X, Y )vérifiant EY2<
+∞.
1) On rappelle que la limite supérieure d’une suite (un)n∈Nest sa plus grande valeur d’adhé-
rence. C’est également la limite de la suite décroissante (vn)n∈Ndéfinie par vn= supk≥nuk.
Montrer que si
∃c > 0∀f:Rd→Rpositive et intégrable
lim sup
n→+∞
E½Pn
i=1 |Wi(X)|f(Xi)¾≤cEf(X),
alors la condition (i) est vérifiée. On pourra raisonner par contradiction en supposant que (i)
n’est pas vérifiée, et construire une suite de fonctions (fk)d’espérance (2−k)et considérer la
fonction f=Pkfk.
Le but de cet exercice est de montrer que lorsque les poids Wisont positifs, les conditions (i)
et (v) du théorème de Stone précédent sont des conditions nécessaires pour avoir la consistance
universelle. Nous supposons donc dans la suite que les poids Wisont positifs et tels que la conclusion
du théorème Stone est vérifiée.
2) Montrer qu’alors (i) est nécessairement vraie. On pourra
a) considérer les probabilités sur (X, Y )où Yest une fonction déterministe de X, i.e. les
probabilités telles que les lois de Ysachant Xsont des mesures de Dirac
b) se servir de l’expression simplifiée de l’excès de risque dans le cas de la régression qua-
dratique
c) montrer pour toute fonction fpositive intégrable
µE½Pn
i=1 |Wi(X)|f(Xi)¾−Ef(X)¶2
−→
n→+∞0
d) utiliser la question 1).
3) a) Montrer que (v) est nécessairement vraie.
b) Que peut-on en conclure sur l’algorithme du plus proche voisin.