Exercice jouet : un algorithme randomisé stupide Problème : autour

J.-Y. Audibert
CERTIS–ENPC
1
Exercice jouet : un algorithme randomisé stupide
Nous considérons le problème de classification binaire : l’espace des entrées est noté
X . L’espace des sorties est {0; 1} et la fonction de perte est l : (y, y 0 ) 7→ 1y6=y0 . Soit ĝ
un algorithme qui pour un ensemble d’apprentissage produit une fonction de prédiction
aléatoire construite de la manière suivante : pour tout x ∈ X , cette fonction de prédiction renvoie un nombre tiré suivant la loi uniforme sur {0; 1} de façon indépendante des
nombres tirés pour les autres entrées et indépendante de l’ensemble d’apprentissage. Cette
fonction de prédiction est donc (hautement) aléatoire, et l’algorithme ĝ est dit randomisé
car la fonction de prédiction qu’il produit n’est pas une fonction déterministe de l’ensemble
d’apprentissage.
En termes moins mathématiques, utiliser cet algorithme revient à lancer une pièce pour
chaque entrée et à prédire 0 ou 1 suivant que la pièce tombe sur pile ou face.
1) Pour un ensemble d’apprentissage donné, que vaut ER(ĝ), où l’espérance est prise
par rapport à la loi de la fonction de prédiction tirée par l’algorithme randomisé ?
2) En déduire la valeur de ER(ĝ), où l’espérance est prise par rapport à toutes les sources
d’aléa.
Problème : autour du théorème de Stone
Nous considérons le problème de régression quadratique suivant. L’espace des entrées
est Rd . Celui des sorties est R. La fonction de perte est l : (y, y 0 ) 7→ (y − y 0 )2 . On considère
les algorithmes par moyennage qui pour une entrée x prédisent la sortie
η̂(x) =
n
X
Wi (x)Yi ,
i=1
où les poids Wi (x) sont des quantités réelles dépendant de n, x, X1 , . . . , Xn . Nous considérons la version suivante (légèrement différente de celle du cours) du théorème de Stone.
Théorème (Stone, 1977). Supposons que pour toute probabilité sur Rd générant X les
poids Wi satisfont
(i) ∃n0 ∈ N
∃c > 0
∀f : Rd → R positive et intégrable
∀n ≥ n0
½
¾
Pn
E
i=1 |Wi (X)|f (Xi ) ≤ c Ef (X).
P
(ii) ∃D > 0 tel que presque sûrement ni=1 |Wi (X)| ≤ D.
©Pn
ª
(iii) ∀a > 0, lim E
|Wi (X)|1kXi −Xk>a = 0.
i=1
n→+∞
Pn
W
(iv)
i (X) converge vers 1 en probabilité
i=1
ª
©Pn
2 = 0.
(v) lim E
i=1 [Wi (X)]
n→+∞
Alors l’algorithme η̂ est consistant par rapport à toute probabilité du couple (X, Y ) vérifiant
EY 2 < +∞.
J.-Y. Audibert
CERTIS–ENPC
2
1) On rappelle que la limite supérieure d’une suite (un )n∈N est sa plus grande valeur
d’adhérence. C’est également la limite de la suite décroissante (vn )n∈N définie par
vn = supk≥n uk . Montrer que si
∃c > 0
∀f : Rd → R positive et intégrable
½
¾
Pn
lim sup E
|W
(X)|f
(X
)
≤ c Ef (X),
i
i
i=1
n→+∞
alors la condition (i) est vérifiée. On pourra raisonner par contradiction en supposant
que (i) n’est pas vérifiée, et construire une suite de fonctions (fk ) d’espérance (2−k )
P
et considérer la fonction f = k fk .
Le but de cet exercice est de montrer que lorsque les poids Wi sont positifs, les conditions
(i) et (v) du théorème de Stone précédent sont des conditions nécessaires pour avoir la
consistance universelle. Nous supposons donc dans la suite que les poids Wi sont positifs
et tels que la conclusion du théorème Stone est vérifiée.
2) Montrer qu’alors (i) est nécessairement vraie. On pourra
a) considérer les probabilités sur (X, Y ) où Y est une fonction déterministe de X,
i.e. les probabilités telles que les lois de Y sachant X sont des mesures de Dirac
b) se servir de l’expression simplifiée de l’excès de risque dans le cas de la régression
quadratique
c) montrer pour toute fonction f positive intégrable
µ ½
¾
¶2
Pn
E
−→
i=1 |Wi (X)|f (Xi ) − Ef (X)
n→+∞
0
d) utiliser la question 1).
3) a) Montrer que (v) est nécessairement vraie.
b) Que peut-on en conclure sur l’algorithme du plus proche voisin.