Aucun titre de diapositive - GIPSA-Lab

Réseaux de neurones formels
Christian Jutten
Lab. des Images et des Signaux
(LIS)
UMR 5083 Centre National de la Recherche Scientifique,
Institut National Polytechnique de Grenoble,
Université Joseph Fourier
Grenoble
Réseaux de neurones - Master
Sciences Cognitives - 2005
1
Contenu
•
•
•
•
•
•
•
•
•
•
I. Introduction
II. Quelques flashs de neurobiologie
III. Modèles mathématiques
IV. Coopération et compétition
V. Mémoires associatives linéaires
VI. Perceptrons multi-couches
VII. Modèles de Hopfield
VIII. Cartes auto-organisatrices de Kohonen
IX. Séparation de sources
X. Présentation du BE et des mini-projets
Réseaux de neurones - Master
Sciences Cognitives - 2005
2
Chapitre 1
Introduction
Réseaux de neurones - Master
Sciences Cognitives - 2005
3
Introduction: différences et similarités
Réseaux de neurones - Master
Sciences Cognitives - 2005
4
Introduction: différences et similarités
WUN
E BA
RVEILLE
UX
R D
ME
R
ME
R
R D
UX
RVEILLE
WUN
E BA
Réseaux de neurones - Master
Sciences Cognitives - 2005
5
Introduction: différences et similarités
sound
sound
Réseaux de neurones - Master
Sciences Cognitives - 2005
6
Introduction: différences et similarités
Réseaux de neurones - Master
Sciences Cognitives - 2005
7
Introduction: différences et similarités
Réseaux de neurones - Master
Sciences Cognitives - 2005
8
Introduction
• Calcul neuromimétique
• Pourquoi cette approche ? Pour quels objectifs ?
Perception
Robotique
Apprentissage
Réseaux de neurones - Master
Sciences Cognitives - 2005
9
Introduction
• Quelques mots de neurobiologie
– Système nerveux humain
• 1012 neurones
• 1000 à 10.000 synapses par neurone
– Des propriétés remarquables
•
•
•
•
•
•
Complexité
Variabilité et fiabilité
Parallélisme
Performances
Compacité
Plasticité
Réseaux de neurones - Master
Sciences Cognitives - 2005
10
Introduction
• Un peu d’histoire… les pionniers
– Modèle de McCulloch et Pitts (1943)
• automates booléens
• connexions fixes
– Perceptron de Rosenblatt (1958)
• modèle linéaire + seuil
• connexions modifiables
– Adaline de Widrow (1960)
• modèle linéaire
• connexions modifiables
Réseaux de neurones - Master
Sciences Cognitives - 2005
11
Introduction
• Encore un peu d’histoire … les années 1970
– Neurodynamique : Amari (depuis 1967 au Japon)
– Mémoires associatives de Kohonen (Finlande, 1970)
– Modèle de membrane, RN électroniques : J. Hérault (depuis 1968,
France)
– Coopération et compétition, Adaptive Resonance Theory :
Grossberg (1968, USA)
– Extraction de traits pertinents, mémoire : Anderson (depuis 1972,
USA)
Réseaux de neurones - Master
Sciences Cognitives - 2005
12
Introduction
• Et l’histoire continue… le boum des années 1980
– Physique statistique et réseaux de neurones formels : mémoires
auto-associatives, optimisation combinatoire (Hopfield, 1982,
USA)
– Réseaux multi-couches
• Neocognitron : Fukushima (1980, Japon)
• Multi Layer Perceptron et Backpropagation : Werbos 1974,
Parker 1982, Le Cun 1985, Rumelhart et McClelland 1986
– Cartes auto-organisatrices de Kohonen (Finlande, 1982)
– Implémentations matérielles, parallèles, circuits intégrés, optiques
– Beaucoup d’applications sont développées, revues spécialisées et
conférences internationales, intérêt des industriels
Réseaux de neurones - Master
Sciences Cognitives - 2005
13
Introduction
• Et … aujourd’hui
– Outil reconnu : nombreux packages, boîte à outils dans Matlab
– Machine learning, Support Vector Machine
Réseaux de neurones - Master
Sciences Cognitives - 2005
14
Chapitre 2
Flashs de neurobiologie
Réseaux de neurones - Master
Sciences Cognitives - 2005
15
Flashs de neurobiologie
• Les neurones :
des processeurs
élémentaires de
formes variées
mais avec des similarités :
– beaucoup d’entrées
– une unité de traitement
– une sortie
Réseaux de neurones - Master
Sciences Cognitives - 2005
16
Flashs de neurobiologie
• Connexions entre neurones, jusqu’à 10.000 !
Réseaux de neurones - Master
Sciences Cognitives - 2005
17
Flashs de neurobiologie
• Potentiel d’action : signal simple/métabolisme complexe
Ions
Intérieur
Extérieur
Na+
50
440
K+
400
20
Cl60
560
Ca++
0,4
10
Mg++
10
54
Autres
250
-
60 mV
10 mV
dépolarisation
t
- 60 mV
1ms
hyperpolarisation
Réseaux de neurones - Master
Sciences Cognitives - 2005
18
Flashs de neurobiologie
• Du potentiel synaptique … au potentiel d’action : la
sommation spatio-temporelle
– Synapses proches : peu d’atténuation et de retard
– Synapses lointaines : atténuation forte et retard important
synapse
lointaine
synapse proche
axone
t
somme
t
somme
dendrites
t
Réseaux de neurones - Master
Sciences Cognitives - 2005
t
19
Flashs de neurobiologie
• Codage de l’information
– sorties analogiques ou binaires
– information liée à l’amplitude, les fréquences instantanée ou
moyenne
• Exemple : codage du mouvement
2s
Réseaux de neurones - Master
Sciences Cognitives - 2005
20
Flashs de neurobiologie
• Au repos
– fréquence des potentiels d’action non nulle,
– les variations sont souvent plus significatives
• Fréquence vs somme des entrées
– seuil
– partie plus ou moins linéaire
– saturation
f
Σe
Réseaux de neurones - Master
Sciences Cognitives - 2005
21
Flashs de neurobiologie
• Plasticité synaptique dans le cortex cérébelleux (Anderson,
Eccles, 1965)
Réseaux de neurones - Master
Sciences Cognitives - 2005
22
Flashs de neurobiologie
• Plasticité synaptique dans le cortex visuel humain (Conel,
1959)
Réseaux de neurones - Master
Sciences Cognitives - 2005
23
Flashs de neurobiologie
• Règle de Hebb sur la plasticité synaptique
• Tirée de l’ouvrage de D. O. Hebb, The organization of the
behaviour, Wiley, New-York, 1949
When an axon of cell A is near enough to excite a cell B and repeatedly or
persistently takes part in firing it, some growth process or metabolic changes take
place in one or both cells such that A’s efficiency as one of the cells firing B, is
increased (page 62)
A
B
sens de l'information
• Une co-activité entraîne un renforcement synaptique
Réseaux de neurones - Master
Sciences Cognitives - 2005
24
Flashs de neurobiologie
• Plasticité synaptique :
– croissance ou régression des connexions,
– modifications à court terme ou à long terme, si stimulations
– oubli en absence de stimulation
• De façon qualitative
Pré-syn.
Oui
Non
Oui
Non
Post-syn.
Oui
Oui
Non
Non
Hebb
++
?
?
?
Réseaux de neurones - Master
Sciences Cognitives - 2005
R-S
++
--
25
Flashs de neurobiologie
• Organisation en réseaux
– environ 1012 neurones,
– 1000 à 10.000 synapses
par neurones,
– plusieurs types de neurones,
– une organisation en couches,
– une organisation en colonne,
– des connexions excitatrices
ou inhibitrices,
– des architectures particulières.
Réseaux de neurones - Master
Sciences Cognitives - 2005
26
Flashs de neurobiologie
• Organisation en réseaux : l’exemple du système olfactif
• Des structures typiques
– convergence/divergence
– inhibitions de divers types
– contrôle central
Réseaux de neurones - Master
Sciences Cognitives - 2005
27
Flashs de neurobiologie
• Organisation en réseaux : l’exemple du cortex visuel
• Des structures typiques :
– le cortex : une structure
en couches,
– les micro-colonnes,
– les feuillets de dominance
oculaire et d’orientation
Réseaux de neurones - Master
Sciences Cognitives - 2005
28
Flashs de neurobiologie
• Le cerveau des vertébrés
– complexe
•
•
•
•
•
nombre d’unités et de connexions,
grande variabilité des composants neurones et synapses,
un métabolisme très complexe,
un système multi-échelle : moléculaire, cellulaire, réseau,
des architectures variées,
– fiable et performant
• durée de vie importante,
• la perte de composants altère peu le fonctionnement,
• plasticité synaptique et apprentissage.
Réseaux de neurones - Master
Sciences Cognitives - 2005
29
Chapitre 3
Modèles mathématiques
Réseaux de neurones - Master
Sciences Cognitives - 2005
30
Modèles mathématiques
• Modèles du neurone
– modèle non linéaire
– équation entrée/sortie
• Modèles de réseaux
– structure en couches
– divers types de connexions
• Modèles de plasticité ou d’apprentissage
Réseaux de neurones - Master
Sciences Cognitives - 2005
31
Modèles mathématiques
• Les bases des modèles du neurone
neurone i
axone
dendrites
arborisation
terminale
yi
soma
wij
xj
x1
x2
xn
wi1
x
wi2
+
x
win
pi
yi
x
Réseaux de neurones - Master
Sciences Cognitives - 2005
32
Modèles mathématiques
• Modèle de neurone 1
x1
x2
wi1
wi2
win
pi = x1 wi1 + x2 wi 2 + L + xn win
+
pi
yi
N(.)
n
=
∑x
j
wij
j =1
y i = N ( pi )
xn
• Quelques exemples pour N(.)
N ( p)
N ( p)
N ( p)
p
p
Réseaux de neurones - Master
Sciences Cognitives - 2005
N ( p)
p
p
33
Modèles mathématiques
• Modèle de neurone 1
– avec N(.) = signe(.)
– cas de 2 entrées
x1
wi1
wi2
x2
+
pi
N(.)
yi
pi = x1 wi1 + x2 wi 2
yi = signe( pi − θ i ) = signe( x1 wi1 + x2 wi 2 − θ i )
• La frontière entre les régions
+1 et -1 est définie par :
x1 wi1 + x2 wi 2 − θ i = 0
x2 = − x1
wi1 θ i
+
wi 2 wi 2
plutôt
ressemblant
plutôt
différent
Réseaux de neurones - Master
Sciences Cognitives - 2005
34
Modèles mathématiques
• Modèle de neurone 2
x1
wi1
wi2
x2
win
+
pi
K(.)
N ( p)
yi
p
θ
xn
N ( p)
p
pi = x1 − wi1 + x2 − wi 2
n
=
∑x
j
j =1
− wij
p
p
= x−w
+ L + xn − win
p
p
p
y i = K ( pi )
Réseaux de neurones - Master
Sciences Cognitives - 2005
35
Modèles mathématiques
• Modèle de neurone 2
x1
– distance euclidienne, 2 entrées
– fonction noyau :
1 si p < θ
x2
K ( p) = 
 0 sinon
2
2 1/ 2
pi = x1 − wi1 + x2 − wi 2
[
wi1
wi2
+
pi
K(.)
yi
]
y i = K ( pi )
• La frontière entre les régions :
[
2
pi = x1 − wi1 + x2 − wi 2
2
2
]
2 1/ 2
ou x1 − wi1 + x2 − wi 2 < θ
plutôt
ressemblant
<θ
plutôt
différent
Réseaux de neurones - Master
Sciences Cognitives - 2005
36
Modèles mathématiques
• Modèles de réseaux : quelques exemples
Connexions directes
Connexions totales
Connexions récurrentes
Connexions locales
Réseaux de neurones - Master
Sciences Cognitives - 2005
37
Modèles mathématiques
• Modèles de réseaux : notations
wij
Neurone i
Neurone j
Connexion de j vers i
Réseaux de neurones - Master
Sciences Cognitives - 2005
38
Modèles mathématiques
• Apprentissage
– par des exemples, souvent bruités
– AVEC superviseur : (données bruitées, réponse désirée bruitée)
– SANS superviseur : (données bruitées)
• Règle de calcul
∆wij = f (wij , x j , yi , ( yi )d )
• Objectifs
– résumer les exemples avec un petit nombre de paramètres
– bonne réponse même pour des exemples non appris
Réseaux de neurones - Master
Sciences Cognitives - 2005
39
Modèles mathématiques
• Apprentissage
–
–
–
–
–
7 points de la forme : (xi, f(xi) + bi)
droite : 2 paramètres
parabole : 3 paramètres
polynome de degré 6 7 paramètres = apprentissage par CŒUR
apprentissage par CŒUR = mauvaise GENERALISATION
+
+
+
+
+
+
Réseaux de neurones - Master
Sciences Cognitives - 2005
+
40
Modèles mathématiques
• Règles d’apprentissage : quelques exemples
• Hebb
wij
∆wij = µ x j yi
∆wij = µ ij x j yi
Neurone i
Neurone j
∆wij = µ ( x j − xmoy ) yi
Connexion de j vers i
• Règles avec oubli
∆wij = −γ wij + µ x j y j
∆wij = −γ wij + µ f ( x j ) g ( yi )
[
]
∆wij = − γ wij + µ f ( x j ) g ( yi )
Réseaux de neurones - Master
Sciences Cognitives - 2005
41
Modèles mathématiques
• Résumé sur les modèles de réseaux neuronaux
– Un réseau de n neurones a au plus n2 interconnexions
– La sortie de chaque neurone requiert n sommes de produits et une
opération non linéaire
 n

yi = N 
wij x j  ou yi = K ( x − w p )


j
=
1
 de l’ordre de n2 sommes de

– Pour le réseau tout entier, on a donc
produit et n opération non linéaires
– L’apprentissage requiert la modification des n2 interconnexions,
soit n2 équations
∑
)
∆wij réseau
= f (wijest
, x jde
, yiO(n
, ( yi2))dopérations
et mémoire.
– La complexité d’un
Réseaux de neurones - Master
Sciences Cognitives - 2005
42
Modèles mathématiques
• Réseaux de neurones formels vs vrais réseaux de neurones
– Neurones
• Modèles de neurones très simples
• Faible variabilité, pas de sommation spatio-temporelle,
• Modèles à “beaucoup” d’entrées/une sortie
– Réseaux
• Nombre de cellules faibles /réalité
• Structure régulière
• Modèle local
– Apprentissage
• Règle simpliste, avec ou sans superviseur
• Autres types d’aprentissage (pénalité-récompense)
Réseaux de neurones - Master
Sciences Cognitives - 2005
43