PhD Thesis

Aix-Marseille Université
Laboratoire d’Informatique
Fondamentale de Marseille
Thèse
présentée pour obtenir le grade de
Docteur d’Aix-Marseille Université
Délivré par l’Université de Provence
Spécialité: Informatique
par
Guillaume Stempfel
Robustesse des Séparateurs
Linéaires au Bruit de
Classification
Thèse soutenue publiquement le 09 Octobre 2009
Mme Florence d’Alché-Buc, Université d’Évry-Val d’Essonne (Examinatrice)
M. François Denis, Aix-Marseille Université (Examinateur)
M. Rémi Gilleron, Université Charles-de-Gaulle Lille 3(Rapporteur)
M. Yves Grandvalet, Université de Technologie de Compiègne (Rapporteur)
M. Jérome Mainka, Antidot (Examinateur)
M. Liva Ralaivola, Aix-Marseille Université (Directeur de Thèse)

Table des matières
Table des matières iii
Introduction 1
I Préliminaires 11
1Classification supervisée et bruit de classification 13
1.1Bases de la Classification Supervisée ........... 14
1.2Bruit de Classification .................... 19
1.3Bruit Cccn et Semi-supervisé ................. 23
1.4Une Heuristique pour Estimer les Taux de Bruit ..... 24
1.5LeCadre PAC........................... 25
2Bornes de Généralisation et Complexité de Classes de
Concepts 31
2.1Dimension de Vapnik-Chervonenkis ............. 33
2.2Complexité de Rademacher .................. 36
2.2.1Structure Type pour l’Établissement d’une Borne de Gé-
néralisation ......................... 38
3Noyaux de Mercer et Réduction de Dimension 41
3.1Noyaux de Mercer et Astuce du Noyau ........... 42
3.2Réduction de Dimension par Projections Déterministes 45
3.3Réduction de Dimension par Projections Aléatoires . . 48
II Perceptrons et Bruit de Classification 51
4UnPremier Algorithme :le Perceptron Linéaire 53
4.1L’Algorithme du Perceptron ................. 54
4.2Perceptron et Bruit de Classification ........... 56
5Rp-learn,un Algorithme pour l’Apprentissage de Per-
ceptrons à Noyau 63
5.1UnNouveau Modèle d’Altération des Données :le
Bruit Mixte ............................ 65
5.2Perceptrons et Tolérance au Bruit Mixte ......... 67
5.3Perceptrons et Projections Aléatoires,vers la Dimen-
sion Infinie ............................ 75
5.4Simulations ............................ 77
5.5Conclusion ............................ 80
iii

III Machines à Vecteurs de Support et Bruit de Classifica-
tion 83
6Machines à Vecteurs de Support et Tolérance au Bruit 85
6.1Machines à Vecteurs de Support ............... 86
6.2Optimisation dans le Dual .................. 91
6.3Optimisation dans le Primal ................. 92
6.4Algorithme par Plans Sécants ................ 94
6.5Tolérance au Bruit des Svm .................. 99
7 nSvm,ou l’Apprentissage de CSvm sur des Données
Bruitées 101
7.1Les Svm ne sont pas Cn-tolérantes ............. 102
7.2UnProgramme d’Optimisation pour les Svm Bruitées .111
7.3Analyse de la Solution de nSvm ............... 114
7.4Résoudre nSvm .......................... 120
7.5Simulations ............................ 122
7.5.1Données Synthétiques ................... 122
7.5.2Problèmes Uci ....................... 123
7.6Conclusion ............................ 124
8UnAlgorithme à Plans Sécants pour la Résolution
de nSvm 127
8.1Description Haut Niveau de l’Approche .......... 128
8.2L’Algorithme Scpa ....................... 129
8.3Analyse de la Convergence de Scpa ............. 130
8.4Simulations ............................ 134
8.5Simulations ............................ 137
8.5.1Simulations Semi-Supervisées Asymétriques ....... 137
8.5.2Application Pratique au Jeu de Données Images Corel .138
8.6Conclusion ............................ 141
9Conclusion 145
A Annexes 149
A.1Preuve du Lemme 5.2...................... 149
A.2Preuve du Lemme 8.1...................... 150
A.3Borne de Chernoff ....................... 151
Bibliographie 153
Résumé 165
iv

Introduction
Généralement considérée comme une des disciplines de l’intelligence ar-
tificielle, l’apprentissage automatique est fortement lié, entre autres, aux
statistiques, à la théorie des probabilités, aux sciences cognitives et bien
sûr à l’informatique théorique. Elle consiste en la conception et l’analyse
de méthodes non triviales, d’algorithmes permettant à une machine, à
partir d’un ensemble de données ou de mesures, d’effectuer automatique-
ment des tâches complexes comme la prise intelligente de décision ou la
reconnaissance de motifs. Le champ des applications de l’apprentissage
automatique est très large et se situe dans des domaines aussi divers que
la biologie, la chimie, la robotique, la linguistique et les technologies web.
Citons quelques exemples de problèmes qu’il est possible de résoudre en
utilisant des techniques relevant de l’apprentissage automatique. D’abord,
considérons un site internet de vente par correspondance. Celui-ci sou-
haite mettre en place un système de recommandation automatique, en
conseillant à un acheteur des produits pouvant l’intéresser. Une des ap-
proches possibles consiste, à partir des commandes précédemment effec-
tuées et des pages visitées par chaque utilisateur, à identifier des groupes
de clients au comportement proche grâce à une méthode d’apprentissage
non supervisée ou de clustering. Ainsi, on pourra orienter l’internaute vers
des produits commandés par des utilisateurs aux centres d’intérêt simi-
laires. Second exemple, la poste américaine s’est intéressée dans les an-
nées 1980 au problème de la reconnaissance de chiffres manuscrits, afin
d’être capable de diriger automatiquement le courrier en fonction du code
postal. On dispose au départ d’une base de données (un ensemble d’ap-
prentissage) constituée de quelques milliers de chiffres, provenant de scrip-
teurs différents, et identifiés, par un être humain, comme appartenant à
une classe donnée, c’est-à-dire comme étant un 0, un 1, un 8... A partir
de ces exemples munis d’une classe, ou étiquette, l’objectif est de calculer
une fonction capable d’associer automatiquement une classe (de catégo-
riser) à un chiffre manuscrit ne provenant pas de l’ensemble d’appren-
tissage. C’est à ce type de problèmes de classification supervisée que nous
nous intéressons dans ce manuscrit. Enfin, dernier exemple, la concep-
tion d’un mini-hélicoptère capable de voler à l’envers en vol stationnaire.
Une stratégie envisageable consiste à avoir recours à l’apprentissage par
renforcement. L’hélicoptère va effectuer des vols successifs et sera récom-
pensé (positivement ou négativement) suivant ses actions à chaque étape
d’un vol. Par exemple, la récompense sera positive lorsque l’hélicoptère
réussira à se retourner. Ainsi, l’hélicoptère va, au cours de cette séquence
d’expériences (autrement dit de ces vols successifs), rechercher le com-
portement lui permettant de maximiser les récompenses obtenues jusqu’à
atteindre le maximum, lorsque le véhicule est en vol stationnaire inversé.
1