Telechargé par yassine-net

Cours-SVM

publicité
Les SVM :
Séparateurs à Vastes Marges
(Support Vector Machines)
Antoine Cornuéjols
IIE & CNRS - Université de Paris-Sud, Orsay
antoine@lri.fr
Cours - SVM.
http://www.lri.fr/~antoine
Hyperplans séparateurs

Tâche de classification

Cas de la séparation linéaire
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
- On cherche h sous forme d’une fonction linéaire : h(x) = w.x + b
- La surface de séparation est donc l’hyperplan :
• Illustration
w. x  b  0
• Mise en œuvre
Applications
Bilan
- Elle est valide si
i ui h(xi )  0
w.x  b  1
- L’hyperplan est dit sous forme canonique lorsque min
i
ou encore
Les SVMs (A. Cornuéjols)
i ui (w.xi b)  1
2
(01-04)
Hyperplan de plus vaste marge
Hyperplan
valide
Les SVMs
• Séparateurs
Marge
maximale
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Hyperplan
optimal
Les SVMs (A. Cornuéjols)
3
(01-04)
Optimisation de la marge
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
4
(01-04)
Optimisation de la marge

Les SVMs

• Séparateurs
linéaires
La distance d’un point à l’hyperplan est :
d(x) 
w. x  w0
L’hyperplan optimal est celui pour lequel la distance aux points les
plus proches (marge) est maximale. Cette distance vaut
• Le pb
w
d’optimisation
2
w
• Espace de
redescription
• Illustration

Maximiser la marge revient donc à minimiser ||w|| sous contraintes:
• Mise en œuvre
Applications
Bilan
min 1 w 2

2


i ui (w. xi  w0 )  1
Les SVMs (A. Cornuéjols)
5
(01-04)
SVMs : un problème d’optimisation quadratique
EXPRESSION
PRIMAIRE
Les SVMs
• Séparateurs
linéaires

• Le pb
Il faut donc déterminer w et w0 minimisant :
d’optimisation
1
(w ) 
w
2
• Espace de
redescription
• Illustration
• Mise en œuvre
2
(afin de maximiser le pouvoir de généralisation)
Applications
Bilan

sous les contraintes (hyperplan séparateur) :
ui (w. xi )  w0   1 ,
Les SVMs (A. Cornuéjols)
6
i  1,..., n
(01-04)
Résolution de la forme primaire du problème
d : dimension de l’espace d’entrée
Les SVMs
• Séparateurs
linéaires
Il faut régler d + 1 paramètres
• Le pb
d’optimisation
• Espace de

Possible quand d est assez petit
redescription
avec des méthodes d'optimisation quadratique
• Illustration
• Mise en œuvre
Applications
Bilan

Impossible quand d est grand (> qqs 103)
Les SVMs (A. Cornuéjols)
7
(01-04)
Transformation du problème d’optimisation

Méthode des multiplicateurs de Lagrange

1
L(w, w0 ,  ) 
w

2

 i  i  0
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
2
EXPRESSION
DUALE
redescription
• Mise en œuvre

  i {(xi .w  w0 )ui  1}
i 1
• Espace de
• Illustration

l
Problème dual
Applications
Bilan
l

1
max



i

2

i 1

 i  i  0
 l
  i ui  0

i 1

l
l
   i  j ui u j (xi . x j )
i 1 j 1

Les SVMs (A. Cornuéjols)
8
(01-04)
Propriétés de la forme duale

La conversion est possible car les fonctions de coût et les
contraintes sont strictement convexes (Th. de Kuhn-Tucker)
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation

La complexité du problème d'optimisation est
• Espace de
redescription

 m
(taille de l'échantillon d'apprentissage)

et non  d
( taille de l'espace d'entrée X )
• Illustration
• Mise en œuvre
Applications
Bilan
 Possible d'obtenir des solutions pour des problèmes
impliquant ≈ 105 exemples
Les SVMs (A. Cornuéjols)
9
(01-04)
Solution du problème d’optimisation
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications

D(x)  (w* .x  w*0 )
m

*
*
w



 i ui xi
i 1

m
*
*
w

u


 0
s 
i ui (xi .xs )

i1
* : estimé
(xS,uS) étant
n'importe quel
point de support
Bilan
Propriété1 : seuls les i correspondant aux points les plus proches sont
non-nuls. On parle de points de support (exemples critiques).
Propriété 2 : seuls interviennent les produits scalaires entre les
observations x dans le problème d’optimisation.
Les SVMs (A. Cornuéjols)
10
(01-04)
Problèmes non linéairement séparables dans X
La majorité des problèmes !!!
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
Idée :
Si on projette dans un espace de redescription de très grande
redescription
dimension ??
• Illustration
• Mise en œuvre
Applications

Presque toujours le problème devient linéairement séparable
Bilan
Mais :

Fléau de la dimensionalité

dVC explose !!?
Les SVMs (A. Cornuéjols)
11
(01-04)
SVM et redescription
Espace des
représentations
internes
Espace
d'entrées X
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
Espace
de sortie
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
x
Bilan
F
h
Séparation
linéaire
Redescription
non linéaire
Les SVMs (A. Cornuéjols)
y
12
(01-04)
Petite digression …
… La reconnaissance de chiffres manuscrits par réseaux de
neurones (ATT Bell labs, 1993)
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
13
(01-04)
La redescription des entrées : illustration


Les SVMs
• Séparateurs
linéaires

Soit un espace d’entrée à 2 dimensions
Tout vecteur x = (x1, x2) peut être redécrit à l’aide de polynômes
d’ordre 6
Nouvel espace de descripteurs à 16 dimensions (fonctions de base):
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
g1 (x 1 , x 2 ) 1
g2 ( x1 , x 2 )  x 1
g3 (x1 , x 2 )  x2
g4 (x 1 , x 2 )  x1
g5 ( x1 , x 2 )  x 2
g6 (x1 , x 2 )  x1
g7 (x 1 , x 2 )  x 2
g8 ( x1 , x 2 )  x 1 x2
g9 (x1 , x 2 )  x1 x 2
g10 (x 1 , x 2 )  x1 x 2
2
g11( x1 , x 2 )  x 1 x 2
g12 (x1 , x 2 )  x1 x 2
g13 (x 1 , x 2 )  x1 x2
g14 ( x1 , x 2 )  x 1 x 2
g15 (x1 , x 2 )  x1 x 2
2
2
3
Applications
Bilan
3
3 2
3
2 3
2
3
2 2
g16 (x 1 , x 2 )  x1 x2
3 3
Les SVMs (A. Cornuéjols)
14
(01-04)
Le nouveau problème d’optimisation
Les SVMs
• Séparateurs

Soit F : X -> F(X), on peut remplacer partout x par F(x)

Si F est bien choisie, K(x, x’) = F(x).F(x’) peut être facile à
calculer et le problème devient :
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
l

1
i 
max

2

i 1

 i 0   i  C
 l
  i ui  0

i 1

l
l
   i  j ui u j K (xi , x j )
i 1 j 1

Les SVMs (A. Cornuéjols)
15
(01-04)
Solution du nouveau problème d’optimisation

La fonction de décision devient :
Les SVMs
• Séparateurs
D(x) 
linéaires
• Le pb
d’optimisation
n
w
j 1
• Espace de
j
g j (x)
redescription
n : nb de fcts
de base
(peut être
très grand)
• Illustration
• Mise en œuvre
Applications
Bilan

Soit dans la forme duale :
D(x) 
mS
  i ui K(xi,x)  w0
mS : nb de points
de support
i1
Les SVMs (A. Cornuéjols)
16
(01-04)
Schéma de fonctionnement des SVMs
sign( i ui K(xi,x) + w0)

Les SVMs
• Séparateurs
linéaires
1
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
K
2
K
Sortie :
sign(
3
K
i ui K(xi,x) + w0)
4
K
Comparaison : K(xi, x)
• Mise en œuvre
Applications
Bilan
Échantillon x1, x2, x3, ...
Vecteur d'entrée x
Les SVMs (A. Cornuéjols)
17
(01-04)
Les conditions de Mercer

Si on prend une fonction K symétrique, il existe une fonction F tq:
m
K(x, x' )  F( x). F(x' ) 
Les SVMs
• Séparateurs
linéaires
 gi (x). gi (x' )
i1
• Le pb
d’optimisation
• Espace de
redescription
• Illustration

ssi, pour toute fonction f telle que :

l’on a :
• Mise en œuvre
Applications
Bilan
 K (x, x' )

f (x) 2 dx est finie
f (x) f (x' ) dx dx'  0

Si cette condition est vérifiée, on peut appliquer les SVMs

MAIS cela ne dit pas comment construire F
Les SVMs (A. Cornuéjols)
18
(01-04)
Fonctions noyau usuelles (1/2)

Polynomiale :
Les polynomes de degré q ont pour fonction noyau associée :
K(x, x' )  (x. x'  1)
Les SVMs
• Séparateurs
q
linéaires
• Le pb
d’optimisation

RBF :
• Espace de
 n
 x  xi 2 
h(x)  sign  i exp 

2

i
1



Les fcts à base radiale :
redescription
• Illustration
• Mise en œuvre
ont pour fct noyau associée :
Applications
K(x, x' )  e
Bilan

Sigmoïde :

x x'
2
2
2
n



h(x)  sign   i tanh v(x.xi )  a  b
i 1

Les réseaux de neurones à fcts d'activation :
ont pour fct noyau associée :
K(x, x' )  tanh (ax. x'  b)
Les SVMs (A. Cornuéjols)
19
(01-04)
Fonctions noyau usuelles (2/2)

Construction à partir de fonctions noyau de base
(Propriétés de clôture)
Les SVMs
• Séparateurs

linéaires
• Le pb

d’optimisation
• Espace de

redescription

• Illustration
• Mise en œuvre
Applications

K(x,z) = K1(x,z) + K2(x,z)
K(x,z) = a K1(x,z)
K(x,z) = K1(x,z) . K2(x,z)
…
Construction de fonctions noyau dédiées
Bilan

Splines Bm

Expansion de Fourrier

Ondelettes

...
Les SVMs (A. Cornuéjols)
20
(01-04)
Les fonctions noyau

… encodent :

Une mesure de similarité sur les données

La forme fonctionnelle des fonctions de décision

Le type de régularisation réalisée
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications

Bilan

Le type de covariance dans l’espace des entrées


(ex : les fcts gaussiennes favorisent les solutions régulières)
(ex : fcts noyau invariantes par rotation)
Sorte de distribution de probabilité a priori sur l’espace des
hypothèses
Les SVMs (A. Cornuéjols)
21
(01-04)
Illustration : le cas du XOR
x2
Les SVMs
1
• Séparateurs
Index i
x
u
1
(1,1)
1
2
(1,-1)
-1
3
(-1,-1)
1
4
(-1,1)
-1
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
1
-1
x1
Applications
Bilan
-1
Les SVMs (A. Cornuéjols)
22
(01-04)
Illustration : le cas du XOR
Fonction noyau polynomiale de d° 2 :
Les SVMs
K(x,x') = [1 + (xT . x')]2
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
soit : K(x,xi ) = 1 + x12xi12 + 2 x1x2xi1xi2 + x22xi22 + 2x1xi1 + 2x2xi2
• Illustration
• Mise en œuvre
Applications
Bilan
correspondant à la projection F :
[1, x12, √2 x1x2, x22, √2 x1, √2 x2 ] T
Les SVMs (A. Cornuéjols)
23
(01-04)
Illustration : le cas du XOR
l

1
i 
max

2

i 1

 i 0   i  C
 l
  i ui  0

i 1

Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
l
l
   i  j ui u j K (xi , x j )
i 1 j 1

• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Ici :
Q    1   2   3   4
1

(9 12  2 1 2  2 1 3  21 4
2
 9 22  2 2  3  2 2  4  9 32  2 3 4  9 24 )
Les SVMs (A. Cornuéjols)
24
(01-04)
Illustration : le cas du XOR

L'optimisation de Q() en fonction des multiplicateurs de
Lagrange conduit au système d'équations :
Les SVMs
 9 1  2  3   4
 1  92  3   4

1  2  93   4

 1   2   3  9 4
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
 1
 1
 1
 1
Applications
Bilan

La valeur optimale des multiplicateurs de Lagrange est :

*
1
Les SVMs (A. Cornuéjols)
 
*
2
 
25
*
3
 
*
4
1

8
(01-04)
Illustration : le cas du XOR
Les SVMs

Les 4 exemples sont donc des exemples critiques ("support vectors")

La valeur optimale de Q() est :

Et :
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
*
Q ( )  14
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
1
*
w
2
soit :
1

4
w
26
*

1
2
(01-04)
Illustration : le cas du XOR

Les 4 exemples sont donc des exemples critiques ("support
vectors")
( i , i ≠ 0)
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation

La fonction de décision s’écrit :
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
27
(01-04)
Illustration : le cas du XOR
En revenant dans l’espace d’origine :
Le vecteur poids optimal est :
Les SVMs
• Séparateurs
w
linéaires
• Le pb
d’optimisation
• Espace de
soit :
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
w
*
*

1
F(x1 )  F(x2 )  F(x3 )  F(x4 )

8
  1 
  1 
1   2 
 


1
8
 
 2 
 

  2 
Les SVMs (A. Cornuéjols)
 1 
 1 
 2 
 1  

 2 


 2 
28
 1 
 1 
 2 
 1  

2 


 2 
 1   0 
 1   0 
 2  1 2 
 1    0 
  
2
0 
  

 2   0 
(01-04)
Illustration : le cas du XOR
Les SVMs
L'hyperplan optimal correspond à :
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
 1 
 x12 
 2x x 

1
1 2
*T

w .F(x)  0, 0,
, 0, 0, 0  2    x1 x2  0


x2
2

2x1 


 2x2 
Les SVMs (A. Cornuéjols)
29
(01-04)
Illustration : le cas du XOR
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Séparatrice dans l'espace d'entrée
Séparatrice dans l'espace F(X)
(espace à 6 dimensions)
D(x) = -x1x2
2 x1 x 2  0
Les SVMs (A. Cornuéjols)
30
(01-04)
Cas du problème non séparable : marges douces

On introduit des variables “ressort” qui pénalisent l’erreur
commise :
l

1
2
min w  C
i

2
i 1

i ui (w. xi  w0 )  1  i

Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications

Le problème dual a la même forme à l’exception d’une
constante C
Bilan
l

1
i 
max

2

i 1

 i 0   i  C
 l
  i ui  0

i 1

l
l
   i  j ui u j (xi . x j )
i 1 j 1

Les SVMs (A. Cornuéjols)
31
(01-04)
La mise en pratique

Il faut choisir :

Les SVMs
Le type de fonction noyau K
• Séparateurs
linéaires

Sa forme

Ses paramètres
• Le pb
d’optimisation
• Espace de
redescription
• Illustration

• Mise en œuvre
La valeur de la constante C
Applications
Bilan

La sélection rigoureuse de ces paramètres exige une estimation de la
dimension de Vapnik-Chervonenkis et l’application de la borne de
généralisation 


Dans le cas séparable, il est possible de déterminer ces paramètres
Dans le cas non séparable, il faut tester avec des méthodes empiriques pour faire
le meilleur choix
Les SVMs (A. Cornuéjols)
32
(01-04)
Exemple
: exemple +
• : exemple Les SVMs
Dans cercle : points de support
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
Fct noyau polynomiale de degré 3
QuickTime™ and a
GIF decompressor
are needed to see this picture.
• Illustration
• Mise en œuvre
Applications
Bilan
Démo :
http://svm.research.bell-labs.com/
http://svm.dcs.rhbnc.ac.uk/pagesnew/G
Pat.shtml
Les SVMs (A. Cornuéjols)
33
(01-04)
Effet des paramètres de contrôle

Apprentissage de deux classes

Les SVMs
• Séparateurs

exemples tirés uniformément sur
l'échiquier
SVM à fonctions noyau gaussienne
linéaires
• Le pb
d’optimisation
K(x, x' )  e
• Espace de
redescription

x x'
2
2
2
• Illustration
• Mise en œuvre

Applications
Bilan

Ici deux valeurs de 

En haut : petite valeur

En bas : grande valeur
Les gros points sont des exemples
critiques


Plus en haut qu'en bas
Dans les deux cas : Remp = 0
Les SVMs (A. Cornuéjols)
34
(01-04)
Les données d'apprentissage
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
35
(01-04)
Paramètres de contrôle : les fonctions noyau
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan

http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml

47 exemples (22 +, 25 -)

Exemples critiques : 4 + et 3 -

Ici fonction polynomiale de degré 5 et C = 10000
Les SVMs (A. Cornuéjols)
36
(01-04)
Paramètres de contrôle : les fonctions noyau
Les SVMs
• Séparateurs
linéaires
• Le pb

d’optimisation
47 exemples (22 +, 25 -)
(5-, 4+)

(5-, 4+)
Ici fonction polynomiale de degré 2, 5, 8 et C = 10000
• Espace de
redescription
(3-, 4+)
Exemples critiques : 4 + et 3 -
• Illustration
• Mise en œuvre
Applications
Bilan
(10-, 11+)
(8-, 6+)
(4-, 5+)
Ici fonction Gaussienne de  = 2, 5, 10, 20 et C = 10000
Les SVMs (A. Cornuéjols)
37
(01-04)
Ajout de quelques points ...
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan

http://svm.dcs.rhbnc.ac.uk/pagesnew/GPat.shtml

47 + 8 exemples (30 +, 25 -)

Exemples critiques : 5 + et 8 -

Ici fonction polynomiale de degré 5 et C = 10000
Les SVMs (A. Cornuéjols)
38
(01-04)
Domaines d’application des SVMs

Traitement d’images
Les SVMs

Reconnaissance de caractères manuscrits

Reconnaissance de scènes naturelles

Reconnaissance de visages
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre

Applications
Bilan

Entrées : image bidimensionnelle en couleur ou en niveaux de
gris
Sortie :
Les SVMs (A. Cornuéjols)
classe (chiffre / personne)
39
(01-04)
Domaines d’application des SVMs


Les SVMs
• Séparateurs
linéaires

Images : 256 * 256 (100 niveaux de gris)
Codées en : 16 * 16 (niveaux de gris) + mêmes par 4 opérateurs
différentiels à une dimension (|,-,/,\) = 1280 pixels (5 * 16 * 16)
25 objets pris sous 25, 89 ou 100 points de vue (ens. d’apprentissage)
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
QuickTime™ et un décompresseur TIFF (non compressé) sont requis pour visionner cette image.
[Thèse B. Schölkopf, 1997]
Les SVMs (A. Cornuéjols)
40
(01-04)
Domaines d’application des SVMs

Résultats avec noyaux polynomiaux
QuickTime™ et un décompresseur TIFF (non compressé) sont requis pour visionner cette image.
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
QuickTime™ et un décompresseur TIFF (non compressé) sont requis pour visionner cette image.
Bilan
Les SVMs (A. Cornuéjols)
41
(01-04)
Application : images couleurs

Base d’images Corel Stock Photo Collection


Les SVMs
• Séparateurs
linéaires

Codage
• Le pb

d’optimisation
• Espace de
redescription

• Illustration
• Mise en œuvre
200 catégories
100 images / catégorie
Pixel = vecteur dans espace à trois dimensions (RGB)
Image = histogramme (fraction des pixels d’une couleur
donnée)
Invariant / nombreuses opérations
Applications
Bilan

Noyau :
(fonction c2)
Les SVMs (A. Cornuéjols)
42
(01-04)
Domaines d’application des SVMs

Catégorisation de textes
Les SVMs

• Séparateurs

linéaires
Classification d’e-mails
Classification de pages web
• Le pb
d’optimisation
• Espace de
redescription

Entrées : document (texte ou html)
• Illustration
• Mise en œuvre

Approche « sac de mots »

Document = vecteur de mots (lemmatisés pondérés par tf-idf)
Applications
Bilan

Sortie :

Noyau :
Les SVMs (A. Cornuéjols)
catégorie (thème, spam/non-spam)

Produit scalaire des vecteurs

C=
(marge dure)
43
(01-04)
Domaines d’application des SVMs

Diagnostic médical
Les SVMs

Évaluation du risque de cancer

Détection d’arythmie cardiaque
• Séparateurs
linéaires
• Le pb
d’optimisation

• Espace de
redescription
Évaluation du risque d’accidents cardio-vasculaires à moins de 6
ans
• Illustration
• Mise en œuvre
Applications

Entrées : état du patient (sexe, age, bilan sanguin, …)

Sortie :
Bilan
Les SVMs (A. Cornuéjols)

Classe : à risque ou non

Probabilité d’accident à échéance donnée
44
(01-04)
Domaines d’application des SVMs
Les SVMs

Dans les deux cas :
• Séparateurs
linéaires
• Le pb
d’optimisation

Pas d’information de structure

Seulement des informations globales
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
45
(01-04)
Domaines d’application des SVMs

Étude de séquences en bio-informatique

Les SVMs
• Séparateurs
linéaires

• Le pb

d’optimisation
Biologie structurale prédictive (prédiction de structure secondaire du
génome)
Identification de régions codantes de l’ADN génomique
Phylogénie …
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications

Entrées :

Sortie :

Structure secondaire
Intron / exon

Ancêtre

Bilan

chaînes d’acides aminées
Noyau relationnel :

Les SVMs (A. Cornuéjols)
Modèle génératif
(chaînes de Markov : insertion, délétion, remplacement, …)
46
(01-04)
Implémentation des SVMs

Les SVMs
• Séparateurs
linéaires
Minimisation de fonctions différentiables convexes à plusieurs
variables

Pas d’optima locaux

Mais :
• Le pb

d’optimisation

• Espace de
Problèmes de stockage de la matrice noyau (si milliers d’exemples)
Long dans ce cas
redescription
• Illustration
• Mise en œuvre

D’où mise au point de méthodes spécifiques
Applications

Bilan


Gradient sophistiqué
Méthodes itératives, optimisation par morceaux
Plusieurs packages publics disponibles




Les SVMs (A. Cornuéjols)
SVMTorch
SVMLight
SMO
…
47
(01-04)
Extensions
Les SVMs

Classification multi-classes

Régression

Détection de « nouveautés »

Analyse en composantes principales par noyaux
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
Les SVMs (A. Cornuéjols)
48
(01-04)
SVM et régression

Fonction de perte :

Régression linéaire :

Soit à minimiser :

Généralisation :
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications

Bilan
x

x
x
x
x
x
x
Les SVMs (A. Cornuéjols)
x
0


x
x
x

49

(01-04)
SVM et apprentissage non supervisé

Détection de « nouveautés »
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation
• Espace de
redescription
• Illustration
• Mise en œuvre
Applications
Bilan
On cherche à séparer au
maximum le nuage de points
de l’origine
Les SVMs (A. Cornuéjols)
w /||w||
50
/||w||
(01-04)
Pourquoi ça marche ?
La marge est liée à la capacité en généralisation

Normalement, la classe des hyperplans de Rd est de dH = d + 1

Mais la classe des hyperplans de marge
Les SVMs
• Séparateurs
linéaires
• Le pb
est bornée par :
d’optimisation
• Espace de
1
w
tq. w
2
 c
dH ≤ Min (R2 c, d) + 1
redescription
où R est le rayon de la plus petite sphère englobant l'échantillon
• Illustration
• Mise en œuvre
d'apprentissage S
Applications
Bilan

Peut être beaucoup plus petit que la dimension d de l'espace
d'entrée X
Les SVMs (A. Cornuéjols)
51
(01-04)
Bilan

SVMs très utilisés

Méthode générale

Facile d’emploi
Les SVMs
• Séparateurs
linéaires
• Le pb
d’optimisation

Résultats en général équivalents et souvent meilleurs
• Espace de
redescription
• Illustration

• Mise en œuvre
Applications
Stimulent tout un ensemble de travaux sur des méthodes
à base de noyaux (kernel-based methods)
Bilan

Limites

Problèmes i.i.d. (données indépendantes et identiquement
distribuées)
Les SVMs (A. Cornuéjols)
52
(01-04)
Sources documentaires

Ouvrages / articles

Les SVMs

Cristianini & Shawe-Taylor (00) : Support Vector Machines and other kernel-based
learning methods. Cambridge University Press, 2000.

Herbrich (02) : Learning kernel classifiers. MIT Press, 2002.
• Séparateurs
linéaires
• Le pb
d’optimisation

• Espace de
redescription
• Illustration

• Mise en œuvre

Applications
Bilan


Cornuéjols & Miclet (02) : Apprentisage artificiel. Concepts et algorithmes. Eyrolles,
2002.
Schölkopf, Burges & Smola (eds) (98) : Advances in Kernel Methods : Support Vector
Learning. MIT Press, 1998.
Schölkopf & Smola (02) : Learning with kernels. MIT Press, 2002.
Smola, Bartlett, Schölkopf & Schuurmans (00) : Advances in large margin classifiers. MIT
Press, 2000.
Vapnik (95) : The nature of statistical learning. Springer-Verlag, 1995.
Sites web

http://www.kernel-machines.org/
(point d’entrée)

http://www.support-vector.net
(point d’entrée)
Les SVMs (A. Cornuéjols)
53
(01-04)
Téléchargement
Random flashcards
amour

4 Cartes mariam kasouh

Commune de paris

0 Cartes Edune

Le lapin

5 Cartes Christine Tourangeau

découpe grammaticale

0 Cartes Beniani Ilyes

Créer des cartes mémoire