Précis introductif à l`apprentissage statistique

Précis introductif à l’apprentissage statistique
Matthieu Geist
Supélec - groupe de recherche IMS-MaLIS
2013 - 2014

ii

Précisions bibliographiques
La théorie de l’apprentissage statistique selon Vapnik est résumée dans l’article [14] et
développée dans les livres [12] (sans démonstrations) et [13] (avec démonstrations). Une
bonne introduction à ce domaine est donnée par [1] : l’étude y est restreinte aux classifieurs
binaires, mais d’autres mesures de capacité que la dimension de Vapnik-Chervonenkis y sont
abordées. La section du cours où la richesse de l’espace d’hypothèse est mesurée à l’aide des
nombres de couverture est très largement inspirée de l’article de Cucker et Smale [3]. Le
lien entre régularisation et machines à vecteur support se trouve par exemple dans [6] (on
y trouvera également des pointeurs vers des discussions sur le fait que les SVM ne peuvent
pas vraiment être justifiées en terme de minimisation structurelle du risque, ainsi que sur
la dimension VC réelle de l’espace d’hypothèses considéré pour cette approche).
L’algorithme KRLS (Kernel Recursive Least-Squares) a été publié dans [5]. La régu-
larisation `1a été introduite parallèlement dans les communautés statistique [11] et de
traitement du signal [2]. La présentation qui en en faite en cours est plus proche de l’al-
gorithme LARS (Least Angle Regression) [4]. Enfin, l’algorithme RFWR (Receptive Field
Weighted Regression) a été introduit dans [10]. Le lecteur intéressé par d’autres algorithmes
peut se référer à [7], excellent ouvrage sur l’apprentissage machine.
iii

iv

Table des matières
1 Introduction 1
1.1 Une introduction informelle à l’apprentissage . . . . . . . . . . . . . . . . . 1
1.1.1 Qu’est-ce que l’apprentissage statistique ? . . . . . . . . . . . . . . . 1
1.1.2 Un simple algorithme de régression . . . . . . . . . . . . . . . . . . . 2
1.1.3 Un simple algorithme de classification . . . . . . . . . . . . . . . . . 4
1.2 Une introduction plus formelle . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Formalisation du problème . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Fonction de régression et classifieur de Bayes . . . . . . . . . . . . . 7
1.2.3 Risque empirique, les grandes questions de l’apprentissage . . . . . . 9
2 Apprentissage statistique 13
2.1 Rappels et inégalités de concentration . . . . . . . . . . . . . . . . . . . . . 13
2.1.1 Loi des grands nombres . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2 Inégalités de concentration . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.3 Retour à la minimisation du risque empirique . . . . . . . . . . . . . 16
2.2 CNS du principe de l’ERM . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.1 Notion classique de pertinence et sa limite . . . . . . . . . . . . . . . 18
2.2.2 Pertinence stricte (non-triviale) . . . . . . . . . . . . . . . . . . . . . 20
2.2.3 Convergence uniforme à un et deux côtés . . . . . . . . . . . . . . . 21
2.2.4 Le théorème clé de la théorie de l’apprentissage . . . . . . . . . . . . 22
2.3 L’approchedeVapnik .............................. 26
2.3.1 Restriction du cadre de travail . . . . . . . . . . . . . . . . . . . . . 26
2.3.2 Retour sur le cas simple . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.3 Le cas infini dénombrable . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.4 CNS de CV uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.5 Un détour par le cas continu . . . . . . . . . . . . . . . . . . . . . . 31
2.3.6 Les trois jalons de l’apprentissage . . . . . . . . . . . . . . . . . . . . 33
2.3.7 La dimension VC (Vapnik-Chervonenkis) . . . . . . . . . . . . . . . 35
2.3.8 Une borne sur le risque . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3.9 Minimisation structurelle du risque . . . . . . . . . . . . . . . . . . . 40
2.4 L’approche de Cucker et Smale . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.1 Cadredetravail ............................. 42
2.4.2 Notations et rappels . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.3 Nombre de couverture . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.4.4 Quelques bornes de couverture . . . . . . . . . . . . . . . . . . . . . 45
v