Support Vector Machines

UNIVERSITE DES SCIENCES ET DE LA TECHNOLOGIE D'ORAN
-MOHAMMED BOUDIAF USTO-
Faculté des Sciences
Département d'Informatique
Master 2 RFIA
Support Vector Machines
Rapport d’exposé
Rédigé par :
BEKHELIFI Okba
Module : Optimisation Avancé
Responsable du module : PR. BENYETTOU Mohammed

Support Vector Machines
Page 2
Sommaire
1. Introduction……………………………………….3
2. Définition….……………………………………….3
3. Historique………………………………………….3
4. Domaines d’application…………………………………4
5. Principes………………………………………………….5
5.1 Motivation………………………………………………………...5
5.1.1 Séparation par Hyperplan……………………………………..6
5.2 SVM a marge dure……………………………………………….7
5.3 SVM a marge souple……………………………………………..9
5.4 SVM a Kernel…………………………………………………....11
5.5 SVM pour classification Multi classe…………………………...13
5.5.1 Un contre tous (One Versus the Rest)………………………...13
5.5.2 Classification par pair (Pairewise classification)…………….14
6. Implémentation…………………………………………15
6.1 Méthode de décomposition………………………………………15
6.2 Sequential Minimal Optimization (SMO)……………………...15
7. Exemple d’application…………………………………..16
8. Avantages & Inconvénient……………………………...17
9. Conclusion……………………………………………….18
Références

Support Vector Machines
Page 3
1. Introduction
L’apprentissage machine basé sur la notion de généralisation a partir d’un grand nombre de
données couvre des domaines tels que la reconnaissance de forme et la régression ne cesse
d’avoir un développement dans ses méthodes et techniques, ceux-ci ne les a pas empêché de
dévoiler des limites qui réduisent leur efficacité face a la complexité des problèmes du
domaine, en même temps d’autre méthodes ont étaient misent en œuvre et dés leur première
apparition elles ont surpassé les méthodes existantes auparavant, les SVMs sont une de ces
nouvelles méthodes largement utilisés récemment. Dans ce qui suit on va présenter ce
paradigme.
2. Définition
Les “Support Vector Machins” appelés aussi « maximum margin classifier» (en
français machine à vecteur de support ou séparateur à vaste marge) sont des techniques
d’apprentissage supervisé basés sur la théorie de l’apprentissage statistique (généralement
considérés comme la 1ére réalisation pratique de cette théorie [6]) et respectant les principes
du (SRM) « structural risk minimization » (trouver un séparateur qui minimise la somme de
l’erreur de l’apprentissage [1]), un SVM repose sur les 2 notions de vaste marge et fonction
Kernel.
Les SVMs sont considéré comme l’un des modèles les plus important parmi la famille des
méthodes a Kernel, Ils ont gagné une forte popularité grâce a leur succès dans la
reconnaissance des chiffre manuscrit avec un taux d’erreur de 1.1% en phase de test (le même
taux marqué par un réseaux de neurone soigneusement construit) [2]
3. Historique
L’émergence des SVMs a commencé autour des débuts des années 1990s, néanmoins d’autres
travaux et recherches sur l’apprentissage machine par les mathématiciens russes Vladimir
Vapnik et Alex Chervonenkis ont fortement contribué à leur apparition, notamment la 1ére
description de l’implémentation d’un modèle proche a un SVM apparu dans la traduction en
Anglais en 1982 de l’ouvrage de Vapnik «Estimation of Depndences Based on Empirical
Data » (édité en 1er lieu en russe en 1979), que l’exploration de la notion d’hyper plan a
marge maximale l’a précédé.[4]
Le model initiale a marge maximale a connu des extensions importante en 1992 qui ont formé
le model finale par l’utilisation de la Kernel trick d’Aizeman proposé par Boser, Guyon &
Vapnik, présenté dans un article a la conférence COLT 92, finalement les SVMs sous leur
forme actuelle ont étaient introduits en 1995 par V.Vapnik & C.Cortes après l’introduction du
« soft margin ». [4]
Les limites statistiques des SVMs sont apparues en 1998 par Barlett & Shawe-Taylor sur la
généralisation des SVM à marge dure (hard margin), suivie en 2000 par une autre critique
montrant les limites de la généralisation des algorithmes à marge souple (soft margin) par
Shawe-Taylor et Cristianini. [4]

Support Vector Machines
Page 4
4. Domaines d’application
Vu leur composition comme des techniques d’apprentissage, les SVMs sont utilisés dans les
domaines de :
- Reconnaissance de formes/Classification :
 Vision Machine: Identification de visage, reconnaissance d’expression
faciale : Surpasse les approches alternatives (1.5% taux d’erreur) [5]
 Reconnaissance des chiffres manuscrits: les résultats d’USPS (service de la
poste des états unis) databatse comparable à la meilleure approche (1.1%
taux d’erreur) [6]
 Catégorisation de texte : un exemple populaire est le corpus de texte de
l’agence Reuteurs qui a collecté 21450 documents d’information datant de
1997 et les a partitionnés en 135 catégories différentes. [6]
- Bioinformatique: prédiction de la structure des protéines, prédiction du progrès d’une
maladie. [5]
- Régression: estimation et prédiction des valeurs des fonctions [6]
L’application des SVMs s’est étendue aux domaines d’apprentissage non supervisé comme:
 Reduction de dimension: ACP non lineaire [5]
 Clustering
 Novelty detection (détection de nouveautés) [5]
fig1 : architecture d’un SVM de dédié a la reconnaissance des chiffres manuscrits. [6]

Support Vector Machines
Page 5
5. Principes
5.1 Motivation
Etant donnée un problème de classification linéaire avec 2 classes (considéré comme le plus
simple exemple de classification)
Fig2 : distribution spatiale des données d’apprentissage
Le cas est présenté par les n exemples d’apprentissage (Training Set Data) sous formes de
pairs {,} pour i=1…n avec   et  -1,1}, les points rouge sont représenté tels que
=1 et les points bleus tels que =-1.
Fig3 : plusieurs frontières de décision présentée par chaque séparateur
La solution du problème à plusieurs frontières de décisions est possible pour résoudre ce
problème, mais quelle est la meilleure ?