Apprentissage de Classifieurs à Noyau sur des Données Bruitées

Apprentissage de Classifieurs à Noyau sur des
Données Bruitées
Guillaume Stempfel
Encadré par:
Liva Ralaivola
Laboratoire d’Informatique Fondamentale de Marseille
21 février 2007

Introduction
Apprentissage automatique
Plusieurs déclinaisons : classification supervisée, régression,
estimation de densité...
Applications pratiques : catégorisation de textes, reconnaissance de
chiffres manuscrits...
Types de problèmes
Classification de données linéairement séparables : problème simple
Classification de données bruitées : problème NP-dur
Algorithmes existants : Classifieurs linéaires tolérants au bruit de
classification uniforme
Et pour les données non linéairement séparables?
Algorithme RP-learn

Sommaire

Classification supervisée
Contexte
Exemples tirés dans un espace Xétiquetés dans un ensemble fini de
classes Y={−1,1}selon une distribution Dinconnue
Espace Des Descriptions XEspace Des Etiquettes Y
Objectif : produire un classifieur possédant de bonnes capacités de
généralisation
Minimisation du risque empirique à condition de maîtriser la complexité
de la classe de concepts
Séparateur linéaire f:f(x) = signe(w·x)

Algorithme du perceptron [Ros58]
Caractéristiques
Résolution de problèmes linéaires
Algorithme itératif glouton
Complexité en temps polynomiale [MP69] mais...
...dépendante de la marge γ
γ=minx∼D|w·x|
kwk
Algorithme
ENTRÉES:S={(x1,y1)...(xm,ym)}
SORTIES:un classifieur linéaire w
w=~ 0
tantque il existe un exemple xi∈Smal classé faire
w←w+yixi
kxik
fin tantque
Retourner w