Chapitre 1 l`apprentissage automatique

République Algérienne Démocratique et Populaire
Ministère de l’Enseignement Supérieur et de la
Recherche Scientifique
Université HADJ LAKHDAR – BATNA
Faculté des sciences
Département d'Informatique
N° d‟ordre :………
Série :……….
Mémoire
Présenté en vue de l‟obtention du diplôme de Magister en Informatique
Option : Informatique Industrielle
Apprentissage Incrémental
&
Machines à Vecteurs Supports
Présenté par : Marref Nadia
Soutenu le :18 /12 /2013
Devant le jury :
Pr. BILAMI Azeddine, Université de Batna Président
Pr. BATOUCHE Mohamed Université de Constantine Rapporteur
Pr. ZIDANI Abdelmadjid Université de Batna Examinateur
Pr. BENMOHAMED Mohamed Université de Constantine Examinateur

Dédicace
A la mémoire de mon père qui a laissé un grand vide après son départ
A ma chère mère
A celui qui m’a toujours soutenu, mon époux
A mes frères et sœurs
A toute ma famille
A mes amies

Remerciements
Tous mes remerciements s’adressent tous d’abord à tout puissant ALLAH,
d’avoir guidé mes pas vers le chemin du savoir.
Je tiens à exprimer ma profonde gratitude à Mr Pr Batouche, Professeur à
l’université de Constantine, de m’avoir fait l’honneur de diriger mes travaux
durant ces années de magister en étant toujours disponible et encourageant ,
ses conseils , sa rigueur scientifique et ses valeurs humaines m’ont bien guidé.
Je tiens à remercier également Mr Pr Bilami Azeddinne, Maître de conférence
à l’université de Batna, d’avoir accepté d’être le président de jury.
Je remercie vivement Mr Pr Zidani Abdelmadjid Maître de conférence à
l’université de Batna, et Mr Pr Benmohamed Mohamed Maître de conférence
à l’université de Constantine, d’avoir accepté d’être examinateurs.
Je tiens énormément à remercier mes amies et mes collègues pour leurs
encouragements.
Pour terminer, je tiens à remercier mon époux et tous les membres de ma
famille pour leurs soutiens et leurs encouragements.

Résumé
Les machines à vecteurs supports (Support Vector Machines) sont de nouvelles
techniques d'apprentissage statistique proposées par V. Vapnik en 1995. Elles permettent
d'aborder des problèmes très divers comme la classification, la régression, la fusion, etc.
Depuis leur introduction dans le domaine de la Reconnaissance de Formes (RdF), plusieurs
travaux ont pu montrer l'efficacité de ces techniques principalement en traitement d'image.
L'idée essentielle des SVM consiste à projeter les données de l'espace d'entrée
(appartenant à deux classes différentes) non-linéairement séparables dans un espace de plus
grande dimension appelé espace de caractéristiques de façon à ce que les données deviennent
linéairement séparables. Dans cet espace, la technique de construction de l'hyperplan optimal
est utilisée pour calculer la fonction de classement séparant les deux classes.
L‟apprentissage des SVM se ramène à résoudre un programme quadratique, la mise en
œuvre d‟un algorithme de SVM est donc coûteuse en temps et mémoire. Pour remédier à ce
problème, les travaux plus récents visent à construire des algorithmes de SVM incrémentaux.
Le principe des algorithmes incrémentaux est de ne charger qu‟un petit bloc de données
en mémoire à la fois, de construire un modèle partiel et de le mettre à jour en chargeant
consécutivement des blocs de données. Cela permet de traiter de très grandes quantités de
données sans difficulté de mémoire sur une machine standard. Un algorithme incrémental
peut donner des résultats approximatifs ou identiques à ceux obtenus par un algorithme
d‟apprentissage chargeant une seule fois l‟ensemble entier des données.
Dans ce mémoire un nouvel algorithme incrémental est proposé pour résoudre un
problème d‟un SVM binaire, l‟algorithme est testé sur une base de données artificielle, et sur
des paires de chiffres manuscrits extraites à partir de la base de données standard MNIST.
MOTS CLETS : Apprentissage incrémental, Machines à Vecteurs Supports,
Apprentissage statistique, Classification, Apprentissage hors ligne.

2
Abstract
The Support Vector Machines (SVM) are new techniques of the statistical learning
theory proposed by Vapnick in 1995, they can address very different problems as recognition,
regression etc. since their introduction into the field of pattern recognition several works have
shown the efficiency of these techniques mainly in image processing.
The basic idea of SVM is to project the input vectors into high-dimensional feature space
using a non-linear transformation chosen a priory. In this space an optimal Separating
Hyperplane is considered,
SVM learning is reduced to solving a quadratic program, implementation of an
algorithm for SVM is time consuming and memory. To remedy this problem, more recent
works aimed at building incremental algorithm SVM.
The principle of incremental algorithms is to only load a small block of data in memory
at once, to build a partial model and updating of the loading of the data blocks sequentially. It
can handle large amounts of data without memory difficulty on a standard machine. an
incremental algorithm can give approximate results or identical to those obtained by a
learning charging once the entire set of data.
In this thesis a new incremental algorithm is proposed, for solving a binary problem of
SVM, The algorithm is tested on a database artificial and on pairs of handwritten digits
extracted from the standard database MNIST.
Key words: Incremental learning, support vector machines , statistic learning , classification ,
batch learning.