Deuxième algorithme: Perceptron

Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
● 
● 
● 
1 Idée: modéliser la décision à l’aide d’une fonc=on linéaire, suivi d’un seuil: hw (x) = T hreshold(w · x)
où T
hreshold(z)
=
1 si z 0 , sinon T hreshold(z) = 0
x1
w1
Threshold
x2 w2
xn
wn
b
hw (x)
1
Le vecteur de poids w
correspond aux paramètres du modèle On ajoute également un biais b , qui équivaut à ajouter une entrée xn+1 = 1
Hugo Larochelle et Froduald Kabanza Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
● 
L’algorithme d’appren=ssage doit adapter la valeur des paramètres de façon à ce que h
w
(x)
soit la bonne réponse sur les données d’entraînement Algorithme du perceptron 1.  pour chaque paire (x
t , yt )
D
a.  calculer hw (xt ) = T hreshold(w · xt )
b.  si yt = hw (xt )
•  w i w
i +
(y
t h
w
(x
t ))x
t,i
i (mise à jour des poids et biais) 2.  retourner à 1 jusqu’à l’aMeinte d’un critère d’arrêt (nb. maximal d’itéra=ons aMeint ou nb. d’erreurs est 0) • 
2 La mise à jour des poids est appelée la règle d’appren8ssage du perceptron. Le mul=plicateur est appelé le taux d’appren8ssage Hugo Larochelle et Froduald Kabanza Deuxième algorithme: Perceptron
(Rosenblatt, 1957)
● 
L’algorithme d’appren=ssage doit adapter la valeur des paramètres de façon à ce que h
w
(x)
soit la bonne réponse sur les données d’entraînement Algorithme du perceptron 1.  pour chaque paire (x
t , yt )
D
a.  calculer hw (xt ) = T hreshold(w · xt )
b.  si yt = hw (xt )
forme vectorielle •  w
w
+
(y
t h
w
(x
t ))x
t (mise à jour des poids et biais) 2.  retourner à 1 jusqu’à l’aMeinte d’un critère d’arrêt (nb. maximal d’itéra=ons aMeint ou nb. d’erreurs est 0) • 
3 La mise à jour des poids est appelée la règle d’appren8ssage du perceptron. Le mul=plicateur est appelé le taux d’appren8ssage Hugo Larochelle et Froduald Kabanza