J.-Y. Audibert CERTIS–ENPC 1 Exercice jouet : un algorithme randomisé stupide Nous considérons le problème de classification binaire : l’espace des entrées est noté X . L’espace des sorties est {0; 1} et la fonction de perte est l : (y, y 0 ) 7→ 1y6=y0 . Soit ĝ un algorithme qui pour un ensemble d’apprentissage produit une fonction de prédiction aléatoire construite de la manière suivante : pour tout x ∈ X , cette fonction de prédiction renvoie un nombre tiré suivant la loi uniforme sur {0; 1} de façon indépendante des nombres tirés pour les autres entrées et indépendante de l’ensemble d’apprentissage. Cette fonction de prédiction est donc (hautement) aléatoire, et l’algorithme ĝ est dit randomisé car la fonction de prédiction qu’il produit n’est pas une fonction déterministe de l’ensemble d’apprentissage. En termes moins mathématiques, utiliser cet algorithme revient à lancer une pièce pour chaque entrée et à prédire 0 ou 1 suivant que la pièce tombe sur pile ou face. 1) Pour un ensemble d’apprentissage donné, que vaut ER(ĝ), où l’espérance est prise par rapport à la loi de la fonction de prédiction tirée par l’algorithme randomisé ? 2) En déduire la valeur de ER(ĝ), où l’espérance est prise par rapport à toutes les sources d’aléa. Problème : autour du théorème de Stone Nous considérons le problème de régression quadratique suivant. L’espace des entrées est Rd . Celui des sorties est R. La fonction de perte est l : (y, y 0 ) 7→ (y − y 0 )2 . On considère les algorithmes par moyennage qui pour une entrée x prédisent la sortie η̂(x) = n X Wi (x)Yi , i=1 où les poids Wi (x) sont des quantités réelles dépendant de n, x, X1 , . . . , Xn . Nous considérons la version suivante (légèrement différente de celle du cours) du théorème de Stone. Théorème (Stone, 1977). Supposons que pour toute probabilité sur Rd générant X les poids Wi satisfont (i) ∃n0 ∈ N ∃c > 0 ∀f : Rd → R positive et intégrable ∀n ≥ n0 ½ ¾ Pn E i=1 |Wi (X)|f (Xi ) ≤ c Ef (X). P (ii) ∃D > 0 tel que presque sûrement ni=1 |Wi (X)| ≤ D. ©Pn ª (iii) ∀a > 0, lim E |Wi (X)|1kXi −Xk>a = 0. i=1 n→+∞ Pn W (iv) i (X) converge vers 1 en probabilité i=1 ª ©Pn 2 = 0. (v) lim E i=1 [Wi (X)] n→+∞ Alors l’algorithme η̂ est consistant par rapport à toute probabilité du couple (X, Y ) vérifiant EY 2 < +∞. J.-Y. Audibert CERTIS–ENPC 2 1) On rappelle que la limite supérieure d’une suite (un )n∈N est sa plus grande valeur d’adhérence. C’est également la limite de la suite décroissante (vn )n∈N définie par vn = supk≥n uk . Montrer que si ∃c > 0 ∀f : Rd → R positive et intégrable ½ ¾ Pn lim sup E |W (X)|f (X ) ≤ c Ef (X), i i i=1 n→+∞ alors la condition (i) est vérifiée. On pourra raisonner par contradiction en supposant que (i) n’est pas vérifiée, et construire une suite de fonctions (fk ) d’espérance (2−k ) P et considérer la fonction f = k fk . Le but de cet exercice est de montrer que lorsque les poids Wi sont positifs, les conditions (i) et (v) du théorème de Stone précédent sont des conditions nécessaires pour avoir la consistance universelle. Nous supposons donc dans la suite que les poids Wi sont positifs et tels que la conclusion du théorème Stone est vérifiée. 2) Montrer qu’alors (i) est nécessairement vraie. On pourra a) considérer les probabilités sur (X, Y ) où Y est une fonction déterministe de X, i.e. les probabilités telles que les lois de Y sachant X sont des mesures de Dirac b) se servir de l’expression simplifiée de l’excès de risque dans le cas de la régression quadratique c) montrer pour toute fonction f positive intégrable µ ½ ¾ ¶2 Pn E −→ i=1 |Wi (X)|f (Xi ) − Ef (X) n→+∞ 0 d) utiliser la question 1). 3) a) Montrer que (v) est nécessairement vraie. b) Que peut-on en conclure sur l’algorithme du plus proche voisin.