Apprentissage de Classifieurs à Noyau sur des Données Bruitées
Introduction
Apprentissage automatique
Plusieurs déclinaisons : classification supervisée, régression,
estimation de densité...
Applications pratiques : catégorisation de textes, reconnaissance de
chiffres manuscrits...
Types de problèmes
Classification de données linéairement séparables : problème simple
Classification de données bruitées : problème NP-dur
Algorithmes existants : Classifieurs linéaires tolérants au bruit de
classification uniforme
Et pour les données non linéairement séparables?
Algorithme RP-learn
Classification supervisée
Contexte
Exemples tirés dans un espace Xétiquetés dans un ensemble fini de
classes Y={−1,1}selon une distribution Dinconnue
Espace Des Descriptions XEspace Des Etiquettes Y
Objectif : produire un classifieur possédant de bonnes capacités de
généralisation
Minimisation du risque empirique à condition de maîtriser la complexité
de la classe de concepts
Séparateur linéaire f:f(x) = signe(w·x)
Algorithme du perceptron [Ros58]
Caractéristiques
Résolution de problèmes linéaires
Algorithme itératif glouton
Complexité en temps polynomiale [MP69] mais...
...dépendante de la marge γ
γ=minx∼D|w·x|
kwk
Algorithme
ENTRÉES:S={(x1,y1)...(xm,ym)}
SORTIES:un classifieur linéaire w
w=~
0
tantque il existe un exemple xi∈Smal classé faire
w←w+yixi
kxik
fin tantque
Retourner w
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
1
/
32
100%
