nouveaux resultats theoriques concernant les cartes topologiques 1

Bulletin d’information des Laboratoires Centraux de Thomson CSF, décembre 1992
NOUVEAUX RESULTATS THEORIQUES
CONCERNANT LES CARTES TOPOLOGIQUES
Gilles BUREL1
Thomson CSF, Laboratoires Electroniques de Rennes,
Avenue de Belle Fontaine, 35510 Cesson-Sévigné
RESUME :
L’algorithme d’auto-organisation de Kohonen, connu sous le nom d’algorithme des “cartes
topologiques”, a été largement mis en œuvre sur diverses applications. Cependant, peu d’études
théoriques du point de vue du traitement du signal ont été proposées. Notre objectif est de présenter
des résultats théoriques susceptibles d’aider à la compréhension et à la mise en œuvre de cet
algorithme. L’attention est portée sur l’interprétation comme algorithme de minimisation d’une
fonction de Lyapounov, et des algorithmes similaires, plus proches des algorithmes traditionnels de
Quantication Vectorielle sont proposés. Finalement, des résultats expérimentaux obtenus sur des
données extraites d’images sont présentés.
ABSTRACT :
Kohonen’s self-organization algorithm, known as “topologic maps algorithm”, has been largely
used in many applications. However, few theoretical studies from a signal processing point of view
have been proposed. Our objective is to provide mathematical results that help to understand its
properties. Emphasis is put on the interpretation as a Lyapunov function minimization algorithm,
and similar algorithms, closer to classical Vector Quantization algorithms are proposed. Finaly,
experimental results obtained on image data are presented.
MOTS-CLES : Algorithme de Kohonen, Réseaux de Neurones, Auto-Organisation, Cartes
Topologiques, Quantication Vectorielle.
KEYWORDS :
Kohonen’s Algorithm, Neural Networks, Self-Organization, Topologic Maps, Vector Quantization.
1nouvelle adresse : UBO/LEST, BP 809, 29285 Brest cedex
1

Bulletin d’information des Laboratoires Centraux de Thomson CSF, décembre 1992
1 Introduction
L’algorithme d’auto-organisation de Kohonen (Kohonen,1984) est un algorithme de
quantication vectorielle possédant d’intéressantes propriétés de conservation de la
topologie. Cet algorithme, également connu sous le nom d’algorithme des cartes
topologiques, a été mis en œuvre dans diverses applications (Burel,1991 ; Burel &
Pottier,1991 ; Hemani,1990 ; Martinelli,1990). Toutefois, il a été très peu étudié d’un point
de vue théorique (Kohonen,1984), ce qui limite son usage par les chercheurs de formation
“Traitement du Signal”.
Nous présentons de nouveaux résultats théoriques qui aident à la compréhension des
propriétés de l’algorithme de Kohonen, et nous proposons des algorithmes équivalents,
plus proches des algorithmes classiquement utilisés en traitement du signal.
L’article est organisé comme suit. L’algorithme des cartes topologiques et les algorithmes
traditionnels de quantication vectorielle sont rappelés dans les sections 2 et 3. Dans la
section 4, une analyse de l’état d’équilibre des cartes topologiques nous conduira à proposer
un nouvel algorithme : VQN (Vector Quantization with Neighbourhood), plus proche des
algorithmes classiques, mais possédant les mêmes propriétés topologiques que l’algorithme
de Kohonen. Dans le section 5, nous montrons que, sous une condition d’organisation
sufsante, l’algorithme de Kohonen et VQN minimisent une fonction de Lyapounov.
Ensuite, nous proposerons une légère modication de ces algorithmes, qui permet de
lever la condition. Enn, dans la section 6, nous présentons des résultats expérimentaux
obtenus sur des données image. Nous comparons notamment la convergence des différents
algorithmes présentés dans l’article.
2 L’algorithme des Cartes Topologiques de Kohonen
(KH)
Le modèle des cartes topologiques est inspiré d’une structure neuronale présente dans
certaines aires corticales (g 1). Les neurones sont organisés en couches, et, à l’intérieur de
chaque couche, chaque neurone émet des connexions excitatrices vers ses voisins les plus
proches, et des connexions inhibitrices vers les neurones plus éloignés. Tous les neurones
recoivent les mêmes entrées.
Kohonen a simulé le comportement de ce type de structure, et a montré qu’il peut être
approximé par l’algorithme suivant. Considérons un réseau de Mneurones, et notons K
2

Bulletin d’information des Laboratoires Centraux de Thomson CSF, décembre 1992
sorties
entrees
FIG. 1: Le modèle des cartes topologiques (1D)
le nombre d’entrées, et ;
x[x1x2xK]Tun vecteur d’entrée. Les vecteurs d’entrée
sont extraits d’un ensemble d’apprentissage A. Cet ensemble contient cardAvecteurs.
Chaque neurone est caractérisé par un vecteur de poids ;
Wj[W1jWKj]T,où jest le
numéro du neurone. En réponse à un vecteur d’entrée ;
x, le neurone pour lequel la distance
quadratique P;
Wj; xP2est minimale est appelé neurone vainqueur. Nous noterons Ojla
sortie du neurone j:
OjP; Wj; xP2
K
;
i1
Wij xi2
L’algorithme d’apprentissage est le suivant (test l’indice d’itération et Tle nombre total
d’itérations) :
1. t0
Initialisation des vecteurs poids ;
W1; W2  ; WM
2. n1
Choix aléatoire d’une permutation Ide l’ensemble 12cardA
3. Présentation du vecteur ;
xIn en entrée.
4. Calcul des sorties des neurones : Oj
5. Determination du vainqueur (neurone kquialaplusfaiblesortie)
6. Modication des poids :
;
Wj:jkt[;
x; Wj](1)
3

Bulletin d’information des Laboratoires Centraux de Thomson CSF, décembre 1992
7. nn1
Si nncardA,alleren(3)
8. t=t+1
Si tTaller en (2)
Les coefcients :jktsont de la forme :tdjk. La distance ddétermine la dimension
du réseau. Pour les réseaux 1D, nous avons djkjk, et nous proposons de
prendre un voisinage gaussien, qui donne de meilleurs résultats en pratique que le voisinage
uniforme proposé par Kohonen :
:jkt:0ejk2
2J2
t(2)
La constante :0est nommée “vitesse d’apprentissage”. Kohonen suggère des valeurs de
l’ordre de 101. L’écart type Jtdécroît avec tselon une loi exponentielle :
JtJ0tJT1
J0ut
T1
Il est clair qu’à chaque modication des poids, le vainqueur et ses voisins vont déplacer
leurs vecteurs poids en direction du vecteur d’entré ;x. Par conséquent, la dynamique
du réseau peut être vue comme le résultat d’une force externe (adaptation aux vecteurs
d’entrée), et d’une force interne (les relations de voisinage, qui forcent des neurones voisins
à avoir des poids voisins). Kohonen a validé son algorithme sur des données issues du
traitement de la parole, et a montré que les neurones s’organisent automatiquement de
manière à représenter au mieux les phonèmes, tout en préservant les relations topologiques
(des neurones voisins répondent à des phonèmes de sonorités voisines).
On peut illustrer les propriétés du réseau de Kohonen sur un exemple simple. Supposons
que le vecteur d’entrée soit de dimension 2 et que ses composantes correspondent aux
coordonnées d’un point tiré au hasard à l’intérieur d’un triangle On réalise l’apprentissage
en présentant un grand nombre de tels vecteurs. Comme chaque neurone a deux poids,
on peut représenter les neurones par des points du plan. A l’issue de l’apprentissage, on
constate qu’ils respectent une disposition du type de celle qui est représentée sur la gure
2. Le réseau de neurones, qui peut être considéré comme une courbe monodimensionnelle
a donc réalisé une approximation d’une partie d’un espace à deux dimensions (le triangle).
L’algorithme de Kohonen peut également s’appliquer pour un réseau de neurones de
dimension supérieure. Par exemple, pour un réseau à deux dimensions, les neurones
sont distribués dans un plan et les relations de voisinage correspondent au voisinage
bidimensionnel (g3).
4

Bulletin d’information des Laboratoires Centraux de Thomson CSF, décembre 1992
x
y
FIG. 2: Auto-Organisation dans un triangle
neurone
entrees
voisinage
FIG. 3: Le modèle des Cartes Topologiques (2D)
Pour la clarté de la présentation, seuls les réseaux de dimension 1 sont considérés dans
la suite. La généralisation aux dimensions supérieures est aisée car la dimension du
réseau est entièrement déterminée par les valeurs des coefcients :jk.Ilsuft donc de
5