thèse en cotutelle sélection de variables par les machines à

THÈSE EN COTUTELLE
pour obtenir le grade de
DOCTEUR DE L’UNIVERSITÉ DE LA MÉDITERRANÉE
Discipline : Informatique et Mathématiques
et le grade de
DOCTEUR DE L’UNIVERSITÉ DE TUNIS
Discipline : Gestion (Option : Modélisation)
présentée et soutenue publiquement le 6 septembre 2007 par
Anis BEN ISHAK
Directeurs de thèse : M. Badih GHATTAS / M. Abdelwahed TRABELSI
JURY
UNIVERSITÉ DE LA MÉDITERRANÉE (Aix-Marseille II)
Faculté des Sciences de Luminy
École Doctorale de Mathématiques et Informatique (E.D. 184)
UNIVERSITÉ DE TUNIS
Institut Supérieur de Gestion
de Tunis
SÉLECTION DE VARIABLES PAR LES MACHINES
À VECTEURS SUPPORTS
POUR LA DISCRIMINATION BINAIRE ET MULTICLASSE
EN GRANDE DIMENSION
M. Claude DENIAU
M. Khaled MELLOULI
M. Jean-Michel POGGI
M. Denys POMMERET
M. Abdelwaheb REBAI
Professeur émérite, Université de la Méditerranée
Professeur, Université du 7 novembre de Carthage
Professeur, Université Paris 5
Professeur, Université de la Méditerranée
Professeur, Université de Sfax
Président
Rapporteur
Rapporteur
Examinateur
Examinateur

ii
Remerciements
Ce travail a été réalisé en cotutelle aux seins des Laboratoires BESTMOD de l’Institut
Supérieur de Gestion de Tunis et l’Institut de Mathématiques de Luminy relevant de la Fac-
ulté des Sciences de Luminy à Marseille. Je remercie les membres du Laboratoire BESTMOD
pour l’amitié qu’ils m’ont témoignée tout au long de ces années de thèse. Mes remerciements
s’adressent également aux membres de l’équipe Méthodes Mathématiques pour le Génome de
L’IML pour leur accueil et leur soutien.
Je n’oublierai pas de remercier très cordialement les responsables de la coopération univer-
sitaire franco-tunisienne aussi bien au niveau du ministère de l’enseignement supérieur et de la
recherche scientifique qu’au niveau de l’Institut Français de Coopération pour avoir financé mes
séjours à Marseille durant mon parcours de thèse.
Je tiens à exprimer ma profonde gratitude et ma sincère reconnaissance aux trois personnes
qui m’ont encadré durant ces années de thèse. Monsieur Abedelwahed Trabelsi, directeur du
Laboratoire BESTMOD, pour ses précieux conseils, son aide inestimable et son optimisme con-
tagieux. Monsieur Badih Ghattas, Maître de Conférences à la Faculté des Sciences de Luminy,
pour m’avoir fait partagé ses nombreuses connaissances et qui m’a souvent donné le courage
d’avancer dans mes recherches, notamment en me remotivant lorsque j’en éprouvais le besoin et
sans qui cette thèse n’aurait jamais pu être menée à bien. Monsieur Claude Deniau, Professeur
émérite de la Faculté des Sciences de Luminy, pour les discussions fructueuses que j’ai eu avec
lui et pour sa gentillesse et sa modestie inégalées.
Merci à Monsieur Khaled Mellouli et à Monsieur Jean-Michel Poggi qui ont accepté de
rapporter cette thèse et je les remercie du temps qu’ils y ont consacré. Je remercie également
Monsieur Denys Pommeret et Monsieur Abdelwaheb Rebai pour avoir bien voulu faire partie
du jury.
Mes vifs remerciements s’adressent à Monsieur Abderrzak Ben Maatoug, Maître Assistant à
l’Institut Supérieur de Gestion de Tunis, pour son enthousiasme et avec qui j’ai eu le plaisir de
collaborer sur le sujet de la pollution atmosphérique.
Merciàtousmesamispourtouslesmomentsdefrancheinsoucianceetdedoucegaietéqu’il
m’a été donné de partager avec eux entre les lignes de cette thèse.
Enfin, je ne saurais terminer cette liste sans adresser un remerciement particulier à ceux qui
m’ont soutenu dans l’ombre, mes parents, ma sœur et mes frères, sans qui ce travail n’aurait

iii
jamais pu voir le jour. Je leur dédie ce travail en témoignage de ma profonde affection pour toute
la patience et les sacrifices qu’ils ont convertis pour moi et dont je serai à jamais redevable, et
d’avoir porté ce travail à terme représente pour moi aujourd’hui la plus belle des récompenses.
Quetousceuxquim’ontaidédeprèsoudeloindansl’élaborationdecetravailtrouventici
l’expression de ma sincère gratitude.

iv
À mes chers parents,
À ma chère sœur,
À mes chers frères,
À tous ceux que j’aime.

v
Table des matières
Table des figures viii
Liste des tableaux x
Introduction générale 1
1 Théorie de l’apprentissage statistique et principes d’induction 5
1.1 Introduction ...................................... 5
1.2 Positionduproblèmed’apprentissagestatistique.................. 6
1.2.1 Le modèle général............................... 6
1.2.2 Lesprincipauxproblèmesd’apprentissage.................. 7
1.3 Principedeminimisationdurisqueempirique ................... 7
1.3.1 Conditiondeconsistance........................... 8
1.3.2 ThéoriedesbornesdeVapnik-Chervonenkis ................ 10
1.3.3 Bornederisquenon-asymptotique...................... 12
1.4 Problèmedesélectiondemodèle........................... 13
1.4.1 Ledilemmebiais-variance .......................... 13
1.4.2 Principedeminimisationdurisquestructurel ............... 15
1.4.3 Constructiondesalgorithmesd’apprentissage ............... 17
1.5 Conclusion....................................... 18
2 Machines à vecteurs supports biclasses 19
2.1 Introduction...................................... 19
2.2 Problème de la classificationlinéaire ........................ 20
2.2.1 Formalisationduproblème.......................... 20
2.2.2 Approche générale .............................. 20
2.2.3 Définitionsdebase .............................. 21
2.3 Machines à vecteurs supports ............................ 23
2.3.1 Hyperplanàmargemaximale ........................ 24
2.3.2 Idée de relaxation............................... 27
2.3.3 SVM non-linéaires .............................. 28
2.3.4 AdéquationdesSVMauxprincipesinductifs................ 30
2.3.5 Résolutiondesproblèmesd’optimisationissusdesSVM.......... 32
2.4 Bornessurl’erreurdegénéralisationpourlesSVM................. 33
2.4.1 Estimation basée sur un échantillon test . ................. 33
2.4.2 BornebaséesurladimensiondeVapnik-Chervonenkis........... 33
2.4.3 Bornesobtenuesparleave-one-out...................... 34
2.5 Conclusion....................................... 35