algorithme-de-kohonen (1)

Université Sidi Mohamed Ben Abdellah
Faculté des Science et Techniques
Rapport de recherche sur le
réseau de Kohonen
TADMSIR15
Encadré par :
Pr : A.MAJDA
Fès

1
Contenu
1.INTRODUCTION ....................................................................................................................... 2
2.PRINCIPE .................................................................................................................................. 2
3.ALGORITHME D’APPRENTISSAGE DE LA CARTE ...................................................................... 3
4.UTILISATION DE LA CARTE ....................................................................................................... 6
5. CARACTERISTIQUE DE LA CARTE……………………………………………………………………………………………………….6
6. PARAMETRES D’APPRENTISSAGE : ......................................................................................... 8
7.CONCLUSION ........................................................................................................................... 9
8.RESSOURCES .......................................................................................................................... 10

2
1.INTRODUCTION
Teuvo Kohonen a proposé dès 1982 un algorithme qui produit une carte d’organisation
topologique. Le processus ne dépend que des entrées et ne nécessite pas l’intervention d’un
superviseur, on parle dans ce cas d'auto-organisation.
Sa fonction principale est de faire correspondre les éléments de l'espace d'entrée avec des
unités ordonnées sur une carte – qui est une représentation graphique où chaque unité est
entourée de ses voisines, les voisinages ayant été définis à priori. Le résultat est une
fonction de l'espace des entrées vers l'ensemble des unités, telle que les images de deux
éléments voisins au sens d'une certaine distance dans l'espace des entrées sont la même
unité ou des unités voisines sur la carte.
L'application la plus courante est la classification de l’espace d’entrée, où l'on définit une
notion de voisinage entre les classes qui n'est pas prise en compte par les méthodes de
classification classiques.
Pour étudier l’algorithme de Kohonen, nous allons montrer d’abord le principe de la carte
de Kohonen, ensuite l’algorithme d’apprentissage de la carte et son utilisation et enfin la
conclusion.
2.PRINCIPE
La carte de Kohonen est une carte topologique auto-adaptative, qui cherche à partitionner
l’ensemble des observations en groupements similaires. La structure peut être représentée
comme un réseau de neurones avec une couche d’entrée, qui correspond à l’observation
z = (z
1
, z², …, z
n
) de dimension n, et une couche de sortie, qui est composée d’un ensemble
de neurones interconnectés et liés entre eux par une structure de graphe non orienté, noté C.
Cette dernière définie une structure de voisinage entre les neurones.

3
Cette couche de traitement est appelée carte. Les neurones de la couche d’entrée sont
entièrement connectés aux neurones de la carte, et les états de la couche d’entrée sont forcés
aux valeurs des signaux d’entrée.
La topologie de la carte est calculée (ou « apprise ») par un algorithme de gradient
stochastique, appelé « algorithme de Kohonen », auquel on fournit en entrée des données de
dimension n (n pouvant être très supérieur à deux) à analyser, ces données étant
« l’équivalent» biologique des signaux du système nerveux. Chaque neurone de la carte
correspond alors à un « prototype » du jeu de données, c’est à dire un individu fictif
représentatif d’un ensemble d’individus réels proches de lui-même (i.e. d’une classe
d’individus réels). Un neurone de la carte est donc représenté par un vecteur de même
dimension que les données. Les composantes de ce vecteur sont les « poids » (notés W sur
la figure ci-dessus) des connexions du neurone aux entrées du réseau, et sont également les
coordonnées du prototype associé au neurone dans l’espace multidimensionnel de départ.
La propriété d’« auto-organisation » de la carte lui permet de passer d’un état désorganisé,
suite à un positionnement aléatoire des prototypes à l’initialisation, à un état organisé
respectant la topologie des données.
3.ALGORITHME D’APPRENTISSAGE DE LA CARTE
Cet algorithme est de type compétitif : lors de la présentation d’un individu au réseau, les
neurones entrent en compétition, de telle sorte qu’un seul d’entre eux, le « vainqueur », soit
finalement actif.
Dans l’algorithme de Kohonen, le vainqueur est le neurone dont le prototype présente le
moins de différence avec l’individu présenté au réseau. Le principe de l’apprentissage
compétitif consiste alors à récompenser le vainqueur, c’est à dire à rendre ce dernier encore
plus sensible à une présentation ultérieure du même individu. Pour cela, on renforce les
poids des connexions avec les entrées. Les neurones d’un réseau à apprentissage compétitif
se comportent à terme comme de véritables détecteurs de traits caractéristiques présents au
sein des données d’entrée, chaque neurone se spécialisant dans la reconnaissance d’un trait

4
particulier. Le neurone ayant remporté la compétition détermine le centre d’une zone de la
carte appelée voisinage, zone dont l’étendue (rayon) varie au cours du temps.
La phase suivante, dite de mise à jour (ou adaptation), modifie la position des prototypes de
façon à les rapprocher de l’individu présenté au réseau. Les prototypes sont d’autant plus
rapprochés de l’individu en question qu’ils sont proches sur la carte du neurone vainqueur.
La pondération permettant de déterminer l’ampleur des modifications de position dans
l’espace est ainsi fonction de la distance sur la carte entre le neurone vainqueur et le
neurone considéré.
En résumé, les étapes de l’algorithme de Kohonen sont les suivantes :
1. Initialisation des prototypes
2. Sélection d’un individu
3. Détermination du neurone vainqueur pour cet individu
(phase de « compétition »)
4. Modification de la totalité des prototypes de la carte (phase d’ « adaptation »)
5. Reprise à l’étape 2, si condition d’arrêt non remplie.
Considérons un réseau de M neurones, et notons K le nombre d’entrées, et x = [x
1
, x
2
, …,
x
k
]
T
un vecteur d’entrée. Les vecteurs d’entrée sont extraits d’un ensemble d’apprentissage
A. Cet ensemble contient card(A) vecteurs. Chaque neurone est caractérisé par un vecteur
de poids W
j =
[W
1j …
W
Kj
]
T
, où j est le numéro du neurone. En réponse à un vecteur d’entrée
x, le neurone pour lequel la distance quadratique ||W
j
- x||² est minimale est appelé neurone
vainqueur.
Nous noterons O
j
la sortie du neurone j :
O
j
= || W
j
- x ||² = ∑1≤i<k (W
i j
- x
i
)
2