Módulo 5: Redes Neuronales - Material Educativo

Module 5
R´eseaux de neurones
Sommaire
5.1 Introduction et d´efinitions ..................... 2
5.2 Le perceptron ............................. 3
5.2.1 Structure .............................. 3
5.2.2 Fonction d’activation ........................ 4
5.2.3 Apprentissage du perceptron simple ............... 6
5.3 Le perceptron multicouche (PMC) ................ 10
5.3.1 Structure .............................. 10
5.3.2 Apprentissage par r´etropropagation ............... 12
5.4 Le r´eseau de Kohonen ....................... 15
5.4.1 Architecture ............................ 15
5.4.2 Apprentissage de la carte de Kohonen .............. 16
5.5 Les r´eseaux de neurones profonds ................ 17
5.6 Annexes ................................ 18
Derni`ere mise `a jour le 28 mars 2022

5.1 Introduction et d´efinitions
Figure 5.1: Neurone formel.
Dans le cerveau, les neurones sont reli´es entre eux par l’interm´ediaire d’axones et de
dendrites. Les dendrites repr´esentent les entr´ees du neurone et son axone sa sortie. Un
neurone ´emet un signal en fonction des signaux qui lui proviennent des autres neurones.
Une int´egration des signaux re¸cus au cours du temps, c’est-`a-dire une sommation des
signaux, a lieu au niveau du neurone. En g´en´eral, quand la somme d´epasse un certain
seuil, le neurone ´emet `a son tour un signal ´electrique.
Un r´eseau de neurones aussi appel´e r´eseau de neurones artificiels est un mod`ele
math´ematique tr`es simple d´eriv´e du neurone biologique dont les composantes ´el´ementaires
sont des unit´es de calcul qui re¸coivent des entr´ees pour produire des sorties. Ce mod`ele
reprend les principes du fonctionnement du neurone biologique, en particulier par la
sommation des entr´ees et la pond´eration de la somme de ses entr´ees par des poids
synaptiques (aussi appel´es coefficients synaptiques) tels qu’illustr´es `a la figure 5.2.
f(.)
w
xp
x1
x2
y
Entrées
Poids
Fonction
de transfert
Sortie
Dentrites
Synapse
Noyau
Axone
Figure 5.2: Analogie entre le neurone biologique et le neurone artificiel.
Un r´eseau de neurones est d´efini par sa structure (c’est-`a-dire le nombre de couches, le
©Neila Mezghani, T´ ELUQ, 2022. Tous droits r´eserv´es. Module 5 - Page 2/ 19

nombre de noeuds par couche et le nombre de sorties) et par la r`egle d’apprentissage qui
permet de calculer les poids synaptiques.
xd
x1
x2
Entrées
Somme
pondérée
Poids
synaptiques
f
Fonction
d'activation
yi
w1i
w2i
w3i
wdi
x3
w1i
w0i
x0
i
Figure 5.3: Neurone formel.
xd
x1
x2
yi
w2i
w3i
wdi
x3
1
w1i
f(i)
w0i
Figure 5.4: Sch´ema d’un perceptron.
La r`egle d’apprentissage d´epend du type d’apprentissage comme nous l’avons introduit
dans le module 1 - Introduction `a l’apprentissage machine. Nous en faisons ici un rap-
pel tout en utilisant la terminologie sp´ecifique aux r´eseaux de neurones. Dans le cas
de l’apprentissage supervis´e, le r´eseau de neurones est entraˆın´e en se basant sur des
´echantillons d’entr´ees dont la sortie correspondante est connue (La sortie ´etant utilis´ee
pour les donn´ees d’entrainement unique). Autrement dit, la classe des donn´ees d’appren-
tissage est connue. Dans le cas de l’apprentissage non supervis´e, nous disposons d’un
ensemble de donn´ees d’apprentissage et nous cherchons `a les regrouper selon des crit`eres
de ressemblance qui sont inconnus a priori. Ce type d’apprentissage est utilis´e dans un
but de visualisation ou d’analyse de donn´ees.
5.2 Le perceptron
5.2.1 Structure
Le perceptron a ´et´e invent´e par Rosenblatt en 1957. Il est consid´er´e comme le type de
r´eseau de neurones le plus simple. Dans sa version simplifi´ee, le perceptron fournit une
sortie suite `a la pond´eration de la somme de ses entr´ees et l’application d’une fonction
d’activation (Figure 5.3).
Soit un neurone iqui re¸coit les entr´ees x1, x2, .., xdpond´er´ees par les coefficients synap-
tiques w1i, w2i, ..., wdi (Figure 5.4). d´etant la dimension du vecteur d’entr´ee. Le neurone
re¸coit ´egalement une entr´ee unitaire x0= 1 dont le poids synaptique est w0i=b. Cette
entr´ee, appel´ee biais b, sert `a contrˆoler le seuil d’activation. La sortie yide la fonction
©Neila Mezghani, T´ ELUQ, 2022. Tous droits r´eserv´es. Module 5 - Page 3/ 19

d’activation est donn´ee par la relation :
yi=f(σi) = fd
X
j=0
wjixi=f(w.x) (5.1)
wet xsont respectivement les vecteurs de poids synaptiques et de l’entr´ee du r´eseau de
neurones. L’op´erateur (.) d´esigne le produit scalaire.
fest une fonction d’activation comme d´ecrite dans ce qui suit.
5.2.2 Fonction d’activation
La fonction d’activation (aussi appel´ee fonction de transfert) est, g´en´eralement, choisie
parmi les fonctions suivantes :
Perceptron simple
Fonctions d'activation (ou fonction de transfert)
>2pBbB/2 Ub2mBH θV
ÇaB t<θHQ`b 7UtV 4 y
ÇaB t≥θHQ`b 7UtV 4 R
GBMûB`2 Ub2mBH θ1-θ2V
ÇaB t<θ1HQ`b 7UtV 4 y
ÇaB t>θ2HQ`b 7UtV 4 R
ÇaB θ1≤t≤θ2HQ`b 7UtV 4 t
Linéaire
aB;KQś/2 f hM;2Mi2 ?vT2`#QHB[m2
Ç7(t)= 1
1+2tT(−t)
Ç7(t)= 2tT(t)−2tT(−t)
2tT(t)+2tT(−t)
Sigmoïde
Perceptron simple
Fonctions d'activation (ou fonction de transfert)
>2pBbB/2 Ub2mBH θV
ÇaB t<θHQ`b 7UtV 4 y
ÇaB t≥θHQ`b 7UtV 4 R
GBMûB`2 Ub2mBH θ1-θ2V
ÇaB t<θ1HQ`b 7UtV 4 y
ÇaB t>θ2HQ`b 7UtV 4 R
ÇaB θ1≤t≤θ2HQ`b 7UtV 4 t
Linéaire
aB;KQś/2 f hM;2Mi2 ?vT2`#QHB[m2
Ç7(t)= 1
1+2tT(−t)
Ç7(t)= 2tT(t)−2tT(−t)
2tT(t)+2tT(−t)
Sigmoïde
Perceptron simple
Fonctions d'activation (ou fonction de transfert)
>2pBbB/2 Ub2mBH θV
ÇaB t<θHQ`b 7UtV 4 y
ÇaB t≥θHQ`b 7UtV 4 R
GBMûB`2 Ub2mBH θ1-θ2V
ÇaB t<θ1HQ`b 7UtV 4 y
ÇaB t>θ2HQ`b 7UtV 4 R
ÇaB θ1≤t≤θ2HQ`b 7UtV 4 t
Linéaire
aB;KQś/2 f hM;2Mi2 ?vT2`#QHB[m2
Ç7(t)= 1
1+2tT(−t)
Ç7(t)= 2tT(t)−2tT(−t)
2tT(t)+2tT(−t)
Sigmoïde
Figure 5.5: Fonctions d’activation.
La fonction `a seuil
La fonction `a seuil aussi appel´ee Heaviside de seuil θ∈Rest d´efinie par :
f(x) = 0 si x < θ
f(x) = 1 si x ≥θ(5.2)
Autrement dit, la fonction Heaviside f(x) prend la valeur 0 si x<θsinon elle prend la
valeur 1.
La fonction lin´eaire
La fonction lin´eaire est d´efinie par :
f(x) = 0 si x < θ1
f(x) = 1 si x ≥θ2
f(x) = xsi θ1< x ≤θ2
(5.3)
Les seuils θ1et θ2∈Rsont d´efinis `a priori.
©Neila Mezghani, T´ ELUQ, 2022. Tous droits r´eserv´es. Module 5 - Page 4/ 19

La fonction sigmo¨ıde
La fonction sigmo¨ıde est d´efinie par :
f(x) = 1
1 + exp(−λx)avec λ∈R+
Alors que la fonction `a seuil renvoie la valeur 0 ou la valeur 1, la fonction sigmo¨ıde renvoie
une valeur entre 0 et 1. La fonction sigmo¨ıde pr´esente, en plus, l’avantage d’ˆetre d´erivable.
IExemple 5.1 L’objectif, ici, est de donner un exemple d’application du perceptron
simple. Nous disposons d’un syst`eme d’aide `a la d´ecision qui permet de d´ecider si un
v´ehicule peut traverser ou pas un pont. Soit y= 0 pour v´ehicule peut traverser (ou encore
passage non interdit) et y= 1 pour v´ehicule ne peut pas traverser (ou encore passage
interdit).
Le syst`eme est bas´e sur un perceptron simple dont la fonction d’activation est une fonction
`a seuil avec θ= 0 et dont les poids synaptiques sont :
w0=b=−47
w1= 2
w2= 1
Soit un ensemble de 8 donn´ees d’entr´ees correspondant chacune `a un v´ehicule. Chaque
entr´ee est d´ecrite par un vecteur de caract´eristiques `a deux dimensions x= [x1, x2] : x1
correspond `a la longueur du v´ehicule en m`etre et x2le niveau du bruit engendr´e par son
moteur en dB.
Nous d´esirons utiliser ces deux caract´eristiques et le perceptron pr´ec´edemment d´ecrit pour
d´ecider si un v´ehicule peut ou non traverser ce pont. Nous disposons, ´egalement, de la
classe yjde chacune des entr´ees (j= 0 `a 8) avec yj= 0 pour v´ehicule peut traverser et
yj= 1 pour v´ehicule ne peut pas traverser. Ceci nous permettra de comparer, pour chaque
entr´ee, la classe pr´edite en utilisant le perceptron a(xj) `a la classe r´eelle du v´ehicule yj.
©Neila Mezghani, T´ ELUQ, 2022. Tous droits r´eserv´es. Module 5 - Page 5/ 19