Les réseaux de neurones

Les réseaux de neurones
Benoît Lesquerbault
01/06/2010
1
Introduction
« ENIAC weighs 30 tons and dissipates 150,000
watts, … while human nervous system, which is
functionally about a million times powerful, weighs
a pound or two and disspates about 50 watts ».
John von Neumann, 1948
01/06/2010
2
Le neurone
Le neurone biologique :
des dendrites
un corps cellulaire
un axone
Dendrites
Axone
Corps cellulaire
01/06/2010
3
Le neurone
Le neurone formel :
des entrées xi et leur poids wi synaptique
une fonction f d'activation (ou de transfert)
une sortie y
=f
01/06/2010
 ∑ xi w i 
4
Le neurone
Les fonctions d'activation usuelles :
Seuil
linéaire
sigmoïdale
01/06/2010
5
Le réseau de neurones
Un réseau de neurones = des neurones connectés
01/06/2010
6
Le réseau de neurones
L'apprentissage du réseau
Apprentissage supervisé
Correction d'erreur
Loi de Hebb
Apprentissage non-supervisé
Compétitif
Loi de Hebb
01/06/2010
7
Apprentissage supervisé
Apprentissage avec professeur :
1. Le réseau (étudiant) répond à une question
2. Le professeur lui indique s'il se trompe ou
non
3. Le réseau change sa façon de « raisonner »
4. On lui pose une nouvelle question
5. Lorsque le réseau est jugé prêt, il traite de
nouvelles données
01/06/2010
8
Apprentissage supervisé
La régression :
Régression linéaire
Régression logistique
Série temporelle AR
01/06/2010
9
Apprentissage supervisé
La régression :
Et tant d'autres...
01/06/2010
10
Apprentissage supervisé
La régression :
Une alternative
aux splines
0,70755
0,70750
0,70745
0,70740
Données : Fossil data de R,
package SemiPar
0,70735
Modélisation du taux d'un
isotope de strontium en
fonction de l'âge du fossile.
0,70725
Observé
Modélisé
0,70730
0,70720
0,70715
90
95
100
105
110
115
120
125
Ici : 2 neurones = 7 variables à estimer
01/06/2010
11
Apprentissage supervisé
La discrimination :
Calcul d'une probabilité à chaque classe
(autant de sorties que de classes) → fonction
Gibbs
Affectation de l'individu à la classe la plus
probable
01/06/2010
12
Apprentissage supervisé
Quelques applications :
Suppression de l'écho dans les communications
téléphoniques (ADALINE)
Prévision de propriétés physiques d'une matière
à partir de sa composition moléculaire
Système de poursuite
Reconnaissance de forme (visages, lettres...)
01/06/2010
13
Apprentissage non supervisé
Les cartes auto-organisatrices (SOM) :
En biologie :
Le cerveau est séparé en zone ayant chacune
une fonction différente. Deux stimuli proches
seront traités par des neurones voisins (ou
identiques).
01/06/2010
14
Apprentissage non supervisé
Les cartes auto-organisatrices (SOM) :
→ Idée de Kohonen : représenter n individus par
k neurones sans (trop) perdre la notion de
distance.
Même principe que les k-means avec en plus, un
lien entre les centres (neurones) : lorsqu'un
neurone est choisit comme représentant, il se
déplace vers l'individu et attire les neurones
voisins
01/06/2010
15
Apprentissage non supervisé
Les cartes auto-organisatrices (SOM) :
Le lien entre les neurones définit la « géométrie »
des classes :
Réseau de
Kohonen carré
(2D)
01/06/2010
Réseau de
Kohonen
héxagonale (2D)
Réseau de
Kohonen
cubique (3D)
16
Apprentissage non supervisé
Application : la compression d'image
Le pixel est un individu ayant une certaine
quantité de rouge, de vert et de bleu.
...Et si on découpait l'image en carré plutôt qu'en
pixel
01/06/2010
17
Apprentissage non supervisé
JP
E
G
Application : la compression
par quadrillage
Compression à 2%
Ré
se
au
Image 2848 x 2136
≈ 6 millions pix.
01/06/2010
de
Ko
ho
ne
n
18
Apprentissage non supervisé
JP
EG
Application : la compression
par quadrillage
Ré
se
au
Détail de la photo
01/06/2010
de
K
oh
on
en
19
Apprentissage non supervisé
D'autres apprentissages compétitif :
Neural Gas (NG)
→ aucun lien entre neurones
Competitive Hebbian Learning
→ création de lien entre neurones en
fonction des individus représentés
Growing Neural Gas (GNG)
→ création et suppression de neurones
et de lien entre neurones
01/06/2010
20
En savoir plus
G. Dreyfus,1998, Les réseaux de neurones, Mécanique
Industrielle et Matériaux, n°51,
http://www.neurones.espci.fr/Articles_PS/GAMI.pdf
Z. Jianxun, L. Quanli, C. Zhuang, 2005, A Medical Image
Segmentation Method Based on SOM and Wavelet Transforms,
Journal of Communication and Computer, vol. 2, n°5
M. Parizeau, 2004, Réseaux de Neurones,
http://sciences.ows.ch/informatique/RNF.pdf
J. Rynkiewicz, M. Cotrell, M. Mangeas, J.F. Yao, 2001, Modèles
de réseaux de neurones pour l'analyse des séries temporelles ou
la régression : Estimation, Identification, Méthode d'élagage,
http://samos.univ-paris1.fr/archives/ftp/preprints/samos141.pdf
D. Urbani, P.Roussel-Ragot, L.Personnaz, G.Dreyfus, 1994, The
selection of neural models of on-linear dynamical systems by
statistical tests
01/06/2010
21
Les programmes utilisés
R et le package NNet développé par le B.Ripley
(http://www.r-project.org/)
→ rapide et efficace
GINNet, développé par l'équipe CORTEX du LORIA
(http://ginnet.gforge.inria.fr/telechargements.php)
→ ludique
Kohonen développé par N.Rougier
(http://www.loria.fr/~rougier/coding/index.html)
→ Compression d'image par quadrillage en niveau de
gris
01/06/2010
22