Tr-evaluation

A. Cornuéjols
LRI
(basé sur Sebastian Thrun CMU class)
Évaluation de l’apprentissage:
méthodes

Évaluation 2
A. Cornuéjols
Questions
L’induction est une forme d’inférence faillible,
il faut donc savoir évaluer sa qualité
Questions types:
– Quelle est la performance d’un système sur un type de tâche ?
–Est-ce que mon système est meilleur que l’autre ?
–Comment dois-je régler mon système ?

Évaluation 3
A. Cornuéjols
Approches
Évaluation théorique a priori
–Dimension de Vapnik-Chervonenkis
–Critères sur la complexité des modèles : MDL / AIC / BIC
• Estimer l’optimisme de la méthode et ajouter ce terme au taux
d’erreur
Évaluation empirique
– E.g. taux d’erreur : (dans le cas d’un classifieur binaire avec une
fonction de coût lié au nombre derreurs)

Évaluation 4
A. Cornuéjols
Plan
1. Mesurer la performance
2. Méthodes de validation
3. Matrices de confusion et courbe ROC
4. La comparaison de méthodes d’apprentissage
5. Autres mesures de performance

Évaluation 5
A. Cornuéjols
Évaluation des hypothèses produites
beaucoup
de donnés très peu
de données
données
illimitées