TD-Perceptron

Module MAIAD – ann´ee 2008–2009
TD-Perceptron
Exercice 1 – Perceptron lin´eaire `a seuil
Q 1.1 Un classifieur `a deux classes, C1 ,C2 , op`ere sur des objets de dimension d= 2 : X=
x11 x12
xi
xN1xN2
, avec x∈ X ⊆ 2et utilise la fonction discriminante g:
xi7→ g(xi) = w1xi1+w2xi2−θ, θ est donn´e
xiest mis dans la classe C1si g(xi)>0 et dans la classe C2si g(xi)<0.
1. Quelle est l’´equation de la fronti`ere de d´ecision ?
2. On peut mettre en bijection les points x=x1
x2T
∈2et x0=
1
x1
x2
T
∈3. On construit
un classifieur g0de param`etres w=
w0
w1
w2
pour traiter les points de 3:g0(x0) = x0w. Quelle
valeur faut-il donner `a wpour que les deux classifeurs soient ´equivalents ?
NB : dans l’ensemble du TD, on consid`ere xicomme un vecteur ligne et wcomme un vecteur
colonne.
3. On veut coder +1 les objets attribu´es `a la classe C1et −1 les objets attribu´es `a la classe C2;
quelle fonction Ffaut-il utiliser pour que la compos´ee F◦gr´ealise ce codage ?
N.B. dans la terminologie des r´eseaux de neurones, xest une entr´ee, gle potentiel de x,θle
seuil, Fla fonction d’activation et {−1,+1}les sorties ; le classifieur pr´ec´edent est un perceptron
lin´eaire `a seuil, sans couche cach´ee, `a une cellule de sortie.
Q 1.2
On veut utiliser le perceptron pr´ec´edent pour impl´ementer le ET logique `a deux arguments ; pour
cela : on identifie V rai : +1 et F aux :−1 ; une entr´ee est un couple x1, x2∈ {−1,+1}et une sortie
un ´el´ement de {−1,+1}.
1. Que vaut ici X? Montrer qu’un perceptron impl´emente le ET logique si et seulement si w=
w0
w1
w2
v´erifie un certain syst`eme d’in´equations.
2. Trouver une solution du syst`eme pr´ec´edent. Est-elle unique ? D´emontrer votre r´esultat `a l’aide
d’un sch´ema en 2D puis en 3D (dans 2puis dans 3).
3. Mˆemes questions pour le OU logique.
4. Montrer que le OU Exclusif ne peut pas ˆetre impl´ement´e par un perceptron lin´eaire `a seuil.

Module MAIAD – page 2
Exercice 2 – Apprentissage du perceptron
N.B. Les notations sont les mˆemes que dans l’exercice pr´ec´edent.
On dispose d’une base de Nexemples (observations), {xi}i=1,...,N , dont les classes sont connues ; la
classe de xiest not´ee d(xi). On utilise l’algorithme suivant (une des variantes de l’algorithme du
perceptron) pour apprendre automatiquement la valeur des param`etres, c-`a-d du vecteur w: (εest un
nombre positif ; xTest le transpos´e de x)
Algorithme 1 : Algorithme d’apprentissage du perceptron
Entr´ee : {xi, d(xi)}i=1,...,N ;
Initialisation de w:w(1);
t= 1;
repeat
Tirer al´eatoirement un exemple : xi;
if d(xi)×xiw(t)≥0then
w(t+ 1) ←w(t)
else
w(t+ 1) ←w(t) + εd(xi)xT
i
t=t+ 1;
until (crit`ere d’arrˆet satisfait) ;
Le crit`ere d’arrˆet peut ˆetre, par exemple qu’il n’y a pas eu d’erreur de classification pendant un certain
nombre d’it´erations successives.
Q 2.1 Que signifie la condition d(xi)×xiw(t)≥0 ? Expliquez le principe de l’algorithme.
Q 2.2 Faites tourner l’algorithme sur le probl`eme du OU logique en it´erant sur la base d’apprentis-
sage constitu´ee des 4 exemples distincts possibles, avec successivement pour valeur initiale w(0) :
1. w(0) = (0; 0; 0) ;
2. w(0) = (1; 1; 1) ;
3. w(0) = (1; −1; 1).
(Prendre ε= 1) Repr´esenter graphiquement l’´evolution de la fronti`ere de d´ecision d’it´eration en
it´eration.
Q 2.3 D´erouler l’algorithme sur le probl`eme du ET logique avec w(0) = (2; 2; 2).
Q 2.4 On suppose qu’il existe w?classant parfaitement tous les exemples (s´eparabilit´e lin´eaire). On
consid`ere une it´eration de l’algorithme o`u l’exemple courant, x[= x(t)], v´erifie x∈C1mais est mal
class´e par le vecteur w[= w(t)] courant, qui est alors modifi´e pour devenir w†[= w(t+ 1)].
1. V´erifier qu’alors : w?·x>0; w·x<0; w†=w+εx
2. Montrer que : kw†−w?k2≤ kw−w?k2+ε[εkxk2−2w?·x]
3. On pose m= mini=1,...,N w?·xiet M= maxi=1,...,N kxik2. Montrer qu’en prenant ε=m
M, on
obtient l’in´egalit´e kw†−w?k2≤ kw−w?k2−m2
M.
4. Admettant que l’in´egalit´e pr´ec´edente est aussi valable dans le cas sym´etrique (x∈C2et mal
class´e), montrer qu’il y a un nombre fini d’it´erations o`u west modifi´e ; en d´eduire que l’algorithme
peut ˆetre arrˆet´e au bout d’un nombre fini d’it´erations.

Module MAIAD – page 3
Exercice 3 – Alternative algorithmique pour apprendre le perceptron
Nous pr´esentons ici l’algorithme ADALINE (suivant la r`egle dite de Widrow-Hoff)
Algorithme 2 : Algorithme ADALINE
Entr´ee : {xi, d(xi)}i=1,...,N ;
Initialisation de w:w(1);
t= 1;
repeat
for i= 1, . . . , N do
w(t+ 1) ←w(t)−ε(d(xi)−xiw(t)) xT
i
t=t+ 1;
until (crit`ere d’arrˆet satisfait) ;
Q 3.1 Rep´erer quelles sont les dimensions des diff´erentes matrices/vecteurs de l’algorithme. Quelles
sont les diff´erences entre les deux algorithmes vus dans ce TD ?
Q 3.2 Montrer que cet algorithme correspond `a une descente de gradient. Quelle est la fonction coˆut
minimis´ee ?
Q 3.3 Imaginer au moins trois crit`eres distincts pour sortir des boucles while de ces deux algorithmes.