Deuxième algorithme: Perceptron

Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
Hugo%Larochelle%et%Froduald%Kabanza%1%
● Idée:%modéliser%la%décision%à%l’aide%d’une%fonc=on%linéaire,%suivi%d’un%seuil:%
%
%
%
où%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%si%%%%%%%%%%%%,%sinon%%
%
● Le%vecteur*de*poids%%%%%%correspond%aux%paramètres%du%modèle%
● On%ajoute%également%un%biais%%%%,%qui%équivaut%à%ajouter%une%entrée%
%
hw(x)=T hreshold(w·x)
T hreshold(z)=1
z0
T hreshold(z)=0
x1
x2
xn
w1
w2
wn
Threshold!
hw(x)
xn+1 =1
w
b
1
b

Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
Hugo%Larochelle%et%Froduald%Kabanza%2%
● L’algorithme%d’appren=ssage%doit%adapter%la%valeur%des%paramètres%de%façon%à%
ce%que%%%%%%%%%%%%%%soit%la%bonne%réponse%sur%les%données%d’entraînement%
%Algorithme*du*perceptron%
1. pour%chaque%paire%%
a. calculer%
b. si% %%
• %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%(mise%à%jour%des%poids%et%biais)%
2. retourner%à%1%jusqu’à%l’aMeinte%d’un%critère%d’arrêt%%
(nb.%maximal%d’itéra=ons%aMeint%ou%nb.%d’erreurs%est%0)%
• La%mise%à%jour%des%poids%est%appelée%la%règle*d’appren8ssage*du*perceptron.%
Le%mul=plicateur%%%%%%est%appelé%le%taux*d’appren8ssage*
hw(x)
hw(xt)=T hreshold(w·xt)
yt=hw(xt)
wiwi+(ythw(xt))xt,i i
(xt,y
t)D

Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
Hugo%Larochelle%et%Froduald%Kabanza%3%
● L’algorithme%d’appren=ssage%doit%adapter%la%valeur%des%paramètres%de%façon%à%
ce%que%%%%%%%%%%%%%%soit%la%bonne%réponse%sur%les%données%d’entraînement%
%Algorithme*du*perceptron%
1. pour%chaque%paire%%
a. calculer%
b. si% %%
• %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%(mise%à%jour%des%poids%et%biais)%
2. retourner%à%1%jusqu’à%l’aMeinte%d’un%critère%d’arrêt%%
(nb.%maximal%d’itéra=ons%aMeint%ou%nb.%d’erreurs%est%0)%
• La%mise%à%jour%des%poids%est%appelée%la%règle*d’appren8ssage*du*perceptron.%
Le%mul=plicateur%%%%%%est%appelé%le%taux*d’appren8ssage*
hw(x)
hw(xt)=T hreshold(w·xt)
yt=hw(xt)
(xt,y
t)D
ww+(ythw(xt))xt
forme*vectorielle*