Learning with labeled and unlabeled data

Introduction Approches principales Conclusion
Learning with labeled and unlabeled data
Rapport de fin de première année de thèse (!)
de Matthias Seeger, 2002
Institute for Adaptive and Neural Computation
University of Edinburgh
mardi 25 septembre 2007

Introduction Approches principales Conclusion
Apprentissages standard
Introduction
Apprentissage
A des fins de "compression", pour représenter les données par un
"modèle".
Recherche d’une structure sous-jacente dans les données.
Principe de parcimonie (rasoir d’Occam) : rechercher a priori une
structure "simple".
Notations
Données : x∈X
Etiquettes : t∈T
Données étiquetées : Dl={(xi,ti)|i=1,··· ,n}
Données non-étiquetées : Du={xi|i=1,··· ,m}

Introduction Approches principales Conclusion
Apprentissages standard
Apprentissage supervisé
Objectif
Déterminer une relation probabiliste P(x,t)entre les données et
les étiquettes
A partir d’un ensemble de données étiquetées Dluniquement
Utilité de l’apprentissage
|T|<∞, problème de classification ou reconnaissance de formes
T⊂R, problème de régression ou d’estimation
Problème de la généralisation
Problème mal-posé car l’ensemble des données étiquetées est de
cardinal fini
Il faut donc déterminer une relation P(x,t)qui reste représentative
quand on augmente le volume de données

Introduction Approches principales Conclusion
Apprentissages standard
Apprentissage non-supervisé
Cadre complètement différent
On dispose uniquement de données non-étiquetées Du
supposées issues d’une distribution source P(x)
On ne connaît pas a priori l’ensemble Tdes étiquettes
Objectif
Recherche d’une "structure intéressante" si possible simple
(principe de parcimonie)
Cette structure est supposée "cachée" dans les données,
notamment à cause du bruit
Approche générative
Estimation de la densité des données P(x)
P(x)est la superposition de modèles P(x|t)ajustés aux données
La "simplicité" des modèles P(x|t)est contrôlée par régularisation

Introduction Approches principales Conclusion
Apprentissage semi-supervisé
Et le semi-supervisé là-dedans ?
Deux techniques opposées
Supervisé : on connaît parfaitement les données, mais souvent en
nombre insuffisant, d’où le problème de généralisation
Non-supervisé : on dispose d’une masse de données
non-étiquetées mais souvent sans connaissance autre
Semi-supervisé
On dispose de quelques données étiquetées,
ET de beaucoup de données non-étiquetées
Combinaison des avantages des deux méthodes
Les données étiquetées permettent de se faire une idée de la
structure de P(x)
Les données non-étiquetées aident à aborder le problème de la
généralisation