Cours-SVM

Cours - SVM.
Les SVM :
Séparateurs à Vastes Marges
(Support Vector Machines)
Antoine Cornuéjols
IIE & CNRS - Université de Paris-Sud, Orsay
[email protected] http://www.lri.fr/~antoine

2
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
(01-04)Les SVMs (A. Cornuéjols)
Hyperplans séparateurs
Tâche de classification
Cas de la séparation linéaire
- On cherche hsous forme d’une fonction linéaire : h(x) = w.x+ b
- La surface de séparation est donc l’hyperplan :
- Elle est valide si
-L’hyperplan est dit sous forme canonique lorsque
ou encore
w.x  b  0
i uih(xi)  0
min
iw.x  b  1
i ui(w.xib)  1

3
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
(01-04)Les SVMs (A. Cornuéjols)
Hyperplan de plus vaste marge
Marge
maximale
Hyperplan
optimal
Hyperplan
valide

4
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
(01-04)Les SVMs (A. Cornuéjols)
Optimisation de la marge

5
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
(01-04)Les SVMs (A. Cornuéjols)
Optimisation de la marge
La distance d’un point à l’hyperplan est :
L’hyperplan optimal est celui pour lequel la distance aux points les
plus proches (marge) est maximale. Cette distance vaut
Maximiser la marge revient donc à minimiser ||w|| sous contraintes:
2
w
d(x)  w.x  w0
w
min 1
2w2
i ui(w.xiw0)  1