Réseaux neuronaux Apprentissage non supervisé + _ _

1
J.Korczak, ULP 1
Réseaux neuronaux
Apprentissage non supervisé
Jerzy Korczak, LSIIT, ULP
email : [e-mail]
J.Korczak, ULP 2
Introduction
• Objectif commun : génération d’une taxonomie
des données sans connaissances préalable
• Utilisation :
–Clustering : groupement, classification des données
– Quantisation de vecteurs : discrétisation de l’espace
– Réduction de dimension : projection de caractéristiques
– Prétraitement des données
– Extraction de traits caractéristiques
J.Korczak, ULP 3
Méthodes neuronales non supervisées
J.Korczak, ULP 4
Méthodes neuronales non supervisées
• Apprentissage compétitif
Règle : «winner-take-all»
• Cartes auto-organisatrices de Kohonen
– réseau de connexions de dimensionnalité fixé (grille 2D)
• projection de l’espace des données vers la grille 2D
• Gaz neuronal croissant
– croissance du réseau
• neurones ajoutés là où l’erreur du réseau est localement élevée
J.Korczak, ULP 5
Cartes auto-organisatrices de Kohonen
Inspiration : … les neurones d’une zone du cerveau se
projettent dans une autre zone, en conservant les
relations de voisinage.
Principe d’apprentissage :
Si le neurone reçoit un potentiel d’action par sa
connexion et qu’il s’active, il y a renforcement de cette
connexion ; sinon le poids de cette connexion est
diminué.
Chaque neurone de la carte de Kohonen est relié à tous les
neurones de la carte.
Mécanisme d’interaction latérale : «chapeau mexicain»
J.Korczak, ULP 6
Cartes de Kohonen : «chapeau mexicain»
Les poids sont déterminés en fonction de la distance entre les neurones
concernés selon une fonction «chapeau mexicain».
Dans une zone latérale proche du
neurone, les neurones qui lui sont
connectés ont une action excitatrice
Interaction
action inhibitrice
+
++
+
_ _
Il vaut mieux choisir ce voisinage assez large au début de l’apprentissage
pour le rétrécir par la suite (k(t) : fonction décroissante linéaire).

2
J.Korczak, ULP 7
Cartes auto-organisatrices de Kohonen : Algorithme
1. Initialisation aléatoire des poids des connexions de N entrées
vers les M sorties.
2. Initialisation de R (le rayon de voisinage).
3. Présenter au réseau une nouvelle entrée.
4. Calculer la distance entre le neurone j de sortie et le neurone i
d’entrée pour tout j :
dj= Σ(xi(t) – wij(t))2
avec xi(t) l’entrée du neurone, et wij(t) le poids de la connexion
5. Sélection le neurone j* de sortie de distance minimale.
6. Mettre à jour les poids des connexions du neurone j* avec ses
voisins situés dans un rayon R : wij(t+1)=wij(t)) +η(t)(xi(t)– wij(t))
limt->oo η(t) =0
7. Si η(t)>0, alors diminuer le rayon R et retourner en 3.
Sinon l’apprentissage est terminé.
J.Korczak, ULP 8
Exemple : Kohonen.exe
J.Korczak, ULP 9 J.Korczak, ULP 10
Cartes auto-organisatrices de Kohonen
Carte de 10*10 neurones
J.Korczak, ULP 11
GND : Cartes auto organisatrices
J.Korczak, ULP 12
Apprentissage compétitif doux
Apprentissage sans dimensionnalité de réseau imposé
(ang. Soft Competitive Learning)
Quelques méthodes :
• Neural Gas
• Competitive Hebbian Learning
• Neural Gas plus Competitive Hebbian Learning
• Growing Neural Gas

3
J.Korczak, ULP 13
Neural Gas [Martinetz, Schulten, 1991]
• NG ordonne les neurones du réseau en fonction de la
distance de leur vecteur de référence avec l’exemple
présenté.
• Les neurones les plus proches de l’exemple sont modifiés
pour se rapprocher de l’exemple.
• Le nombre de neurones modifiés ainsi que l’importance de
cette modification diminuent avec le temps.
• Les neurones ne sont pas interconnectés entre eux.
J.Korczak, ULP 14
Neural Gas : Algorithme
1. Initialisation des N neurones dont les vecteurs de référence sont
choisis aléatoirement parmi les données; A ={c1, c2,…, cN}, t=0
2. Choix d’un exemple ξaléatoirement
3. Ordonner les neurones en fonction de leur distance par rapport à
ξ : (i0, i1,…, iN-1), ki(ξ,A).
4. Modifier les vecteurs de référence de neurones selon :
∆wi=ε(t)*hλ *ki(ξ,A)) * (ξ-wi) avec hλ(k) =exp (-k/λ(t))
et λ(t) et ε(t) qui diminuent dans le temps
5. Incrémenter le compteur de temps t=t+1
6. Si t<tmax reprendre à l’étape 2.
Exemples
J.Korczak, ULP 15
Competitive Hebbian Learning [Martinetz 1993]
• Cette méthode est généralement utilisée avec d’autres,
par ex. Neural Gas plus Competitive Hebbian Learning
• Elle ne modifie pas les vecteurs de référence des
neurones mais génère les connexions entre les
neurones.
• A chaque présentation d’un exemple, une connexion
entre les deux neurones les plus proches de celui-ci est
éventuellement ajoutée.
J.Korczak, ULP 16
Growing Neural Gas [Fritzke, 1994]
• Dans cette variante, le nombre de neurones est augmenté
durant l’apprentissage.
• Les neurones sont connectés.
J.Korczak, ULP 17
Growing Neural Gas : Algorithme
1. Initialisation de 2 neurones dont les vecteurs de référence sont
choisis aléatoirement parmi les données; A ={c1, c2}, t=0. Initialisation
de l’ensemble des connexions C.
2. Choix d’un exemple ξ
ξξ
ξaléatoirement.
3. Déterminer les deux neurones s1et s2les plus proches de ξ
ξξ
ξ.
4. Rajouter une connexions entre s1et s2. Mettre son âge à 0.
C = C U{(s1,s2)}.age(s1,s2) = 0
5. Augmenter l’erreur cumulée du neurone : ∆
∆∆
∆Es1 = II ξ
ξ ξ
ξ −
−−
−wsiII2.
6. Modifier les vecteurs de référence de neurones du neurone vainqueur
et de ses voisins topologiques directs :
∆
∆∆
∆wsi = ε
εε
εb*(ξ
ξξ
ξ-wsi) , ∆
∆∆
∆wi= ε
εε
εn*(ξ
ξξ
ξ-wn)
7. Incrémenter l’âge des connections de si
8. Supprimer les connexions d’âge supérieur à amax et supprimer les
neurones qui n’ont plus de connexions.
9. Si le nombre d’exemples présentés est un multiple de l, ajouter un
neurone entre celui dont l’erreur cumulée est la plus grande et son
voisin d’erreur cumulée la plus importante. Diminuer l’erreur cumulée.
10.Si le critère d’arrêt n’est pas satisfait, reprendre à l’étape 2. J.Korczak, ULP 18

4
J.Korczak, ULP 19
Gaz neuronal croissant : exemple
Gaz de 100 neurones max.
J.Korczak, ULP 20
Couverture de la distribution des données
Carte de Kohonen Gaz Neuronal Croissant
J.Korczak, ULP 21
GND : Growing Neural Gas
J.Korczak, ULP 22
Images de télédétection
• Satellite SPOT
– résolution de 20m * 20m en mode MultiSpectral
• B1 : 0.50 à 0.59 ηm
• B2 : 0.61 à 0.68 ηm
• B3 : 0,79 à 0.89 ηm
– triplet de valeurs
entre 0 et 255
– dimensions :
3000x3000 pixels
- résolution de 1,3m*1,3m
J.Korczak, ULP 23
Applications : Découverte de concepts à partir d’images [LSIIT-AFD]
J.Korczak, ULP 24
Réflectance en fonction de la longueur d’onde

5
J.Korczak, ULP 25
Segmentation d’images de télédétection
– Résolution de l’image déterminée par les capteurs des
satellites
• insuffisante pour certaines applications
• pixels mixtes
– Utilisation des informations spatiales des images
• nécessaire pour décrire certains objets
• permet d’associer une sémantique à des groupes de
pixels mixtes
– Données multi-sources
J.Korczak, ULP 26
Agrégation
J.Korczak, ULP 27
Classification étape 9 Segmentation étape 9
Résultats : Robertsau 1996
Rayon d’agrégation 2, rayon d’étude de voisinage 1, 20 classes
J.Korczak, ULP 28
Images 3D prisent dans le temps
[http://alsace.u-strasbg.fr/ipb/
Exemple : Une série d’IRMf
permettant de voir les zones
réagissant à un stimulant avec leur
niveau d’intensité par rapport à
leurs emplacements au sein du
cerveau.
Fouille d’images IRMf
J.Korczak, ULP 29
IRMf
J.Korczak, ULP 30
R
RR
Ré
éé
éduction
ductionduction
duction de
de de
de l
ll
l’
’’
’ensemble
ensembleensemble
ensemble des
des des
des donn
donndonn
donné
éé
ées
eses
es : Sélection de zones d’intérêt
Adaptations de GNC aux données
Cure de
Cure de Cure de
Cure de Jouvence
JouvenceJouvence
Jouvence : Empêcher la destruction d'un neurone pertinant
Inertie
InertieInertie
Inertie d'un neurone
d'un neuroned'un neurone
d'un neurone : Limiter les mouvements d'un neurone pertinant