Évaluation de l`apprentissage

A. Cornuéjols
LRI
(basé sur Sebastian Thrun CMU class)
Évaluation de l’apprentissage:
méthodes
A. Cornuéjols Évaluation 2
Questions
L’induction est une forme d’inférence faillible,
il faut donc savoir évaluer sa qualité
!Questions types:
– Quelle est la performance d’un système sur un type de tâche ?
– Est-ce que mon système est meilleur que l’autre ?
– Comment dois-je régler mon système ?
A. Cornuéjols Évaluation 3
Approches
!Évaluation théorique a priori
– Dimension de Vapnik-Chervonenkis
– Critères sur la complexité des modèles : MDL / AIC / BIC
• Estimer l’optimisme de la méthode et ajouter ce terme au taux
d’erreur
!Évaluation empirique
– E.g. taux d’erreur : (dans le cas d’un classifieur binaire avec une
fonction de coût lié au nombre derreurs)
A. Cornuéjols Évaluation 4
Plan
1. Mesurer la performance
2. Méthodes de validation
3. Matrices de confusion et courbe ROC
4. La comparaison de méthodes d’apprentissage
5. Autres mesures de performance

A. Cornuéjols Évaluation 5
Évaluation des hypothèses produites
beaucoup
de donnés
très peu
de données
données
illimitées
A. Cornuéjols Évaluation 6
Ensembles de données
(collections)
Toutes les données disponibles
Ensemble
d’apprentissage
Ensemble
de test
Ensemble
de validation
A. Cornuéjols Évaluation 7
Prédiction asymptotique
(le cas idéal)
!Useful for very large data sets
A. Cornuéjols Évaluation 8
Le sur-apprentissage (over-learning)
Erreur
t
erreur sur base
de test
erreur sur base
d'apprentissage
Arrêt de l'apprentissage
Sur-apprentissage

A. Cornuéjols Évaluation 9
Utilisation de l’ensemble de validation
!On règle les paramètres de l’algorithme
d’apprentissage
• E.g. : nb de couches cachées, nb de neurones, ...
– en essayant de réduire l’erreur de test
!Pour avoir une estimation non optimiste de
l’erreur, il faut recourir à une base d’exemples non
encore vus : la base de validation
A. Cornuéjols Évaluation 10
Évaluation des hypothèses produites
beaucoup peu de données
A. Cornuéjols Évaluation 11
Évaluation de l’erreur
!Erreur vraie:
!Erreur de test:
!"=
D
Dydxyxpxfye ,),(),(
#
!
"
#=
Syx
Sxfy
m
e
,
),(
1
ˆ
$
D = toutes les données possibles
m = # de données test
T = données test
(Risque réel)
(Risque empirique) T
A. Cornuéjols Évaluation 12
Exemple:
!L’hypothèse classe mal 12 des 40 exemples dans
l’ensemble de test T.
!Q : Quelle sera l’erreur sur des exemples non vus ?
!R : ???

A. Cornuéjols Évaluation 13
Intervalle de confiance (1)
!Définition : un intervalle de confiance à N% pour une
variable p est l’intervalle dans lequel sa valeur est attendue
avec une probabilité de N%
!Soit une probabilité d’erreur (pour 2 classes) de p, la probabilité
d’avoir r erreurs sur n évènements est :
(loi binomiale)
Espérance du
nombre d’erreurs
Variance
Ecart-type
A. Cornuéjols Évaluation 14
Intervalles de confiance (2)
!La loi binomiale peut être estimée par la loi normale
si n p (1 - p) ! 5 de même moyenne ! et même variance "
A. Cornuéjols Évaluation 15
Intervalles de confiance (3)
!Que l’on estime par la loi normale
– De moyenne :
– D’écart-type :
!Je voudrais évaluer erreur!(h).
!Je l’estime en utilisant erreurT(h) qui est régie par une loi binomiale
– De moyenne
– D’écart-type
A. Cornuéjols Évaluation 16
Intervalles de confiance (4)
!Loi normale !Loi normale

A. Cornuéjols Évaluation 17
Intervalles de confiance (5)
Avec une probabilité de N%, l’erreur vraie erreurD est dans l’intervalle :
2.582.331.961.641.281.00.67zN
99%98%95%90%80%68%50%N%
A. Cornuéjols Évaluation 18
Intervalles de confiance (cf. Mitchell 97)
Si
–T contient m exemples tirés indépendamment
–m ! 30
Alors
– Avec une probabilité de 95%, l’erreur vraie eD est dans
l’intervalle :
m
ee
eSS
S
)
ˆ
1(
ˆ
96.1
ˆ!
±
A. Cornuéjols Évaluation 19
Exemple:
!L’hypothèse classe mal 12 des40 exemples dans la base de test T.
!Q: Quelle sera l’erreur vraie sur les exemples non vus ?
!A: Avec 95% de confiance, l’erreur vraie sera dans l’intervalle :
m
ee
eSS
S
)
ˆ
1(
ˆ
96.1
ˆ
]44.0;16.0[ ! ±"
3.0
40
12
ˆ==
S
e
40=m
14.0
)
ˆ
1(
ˆ
96.1 !
"
m
ee SS
A. Cornuéjols Évaluation 20
Intervalles de confiance à 95%