Document
publicité
Auto-organisation et Quantification vectorielle IV B. Gas - V 0.6 (2014) UE 5AI02/5AK03 - ISIR/UPMC Auto-organisation Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation • Auto-­‐organisa.on chez les vertébrés • Cartes auto organisantes de Kohonen • Algorithmes LVQ MLP : classification MLP : généralisation Auto-organisation DEA IARFA, DEA RESIN 2003 Certaines parties de ce document (auto-organisation chez les vertébrés) proviennent du projet bibliographique réalisé par Nicolas DEBRAY. DEA IARFA, DEA RESIN (2003) Apprentissage non supervisé Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Les découvertes récentes à propos du cortex cérébral, rendues possible grâce aux progrès de l’imagerie médicale et des techniques de mesure électrique, ont permis de mettre à jour un mécanisme d’auto-organisation des neurones corticaux. Les systèmes auto-organisateurs sont des systèmes qui s’organisent à l’aide d’algorithmes d’apprentissage non supervisés. Un apprentissage non supervisé est un apprentissage qui s’effectue sans professeur. On ne dispose donc plus des « sorties désirées ». La tâche d’apprentissage consiste alors à découvrir les catégories et les règles de catégorisation. Apprentissage non supervisé Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Le cortex cérébral possède une structure macroscopique uniforme d’un individu à un autre. Il est organisé en aires spécifiques aux traitements de signaux particuliers. On distingue 2 types d’aires : - les aires sensorielles primaires qui perçoivent les sensations élémentaires telles que la vision, l’ouie, le toucher, le goût. - les aires sensorielles secondaires situées à la périphérie des aires sensorielles primaires qui réalisent la construction de l’imagerie mentale. Aires sensorielles primaires Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Une des caractéristiques fondamentales de l'organisation des voies sensorielles primaires est l'existence d'une correspondance topique, c'est à dire point par point, entre le récepteur périphérique et son aire de projection corticale. Aires sensorielles primaires Le neurone biologique Le neurone formel Le perceptron élémentaire De cette constatation découlent plusieurs remarques importantes : 1) l’aire de projection corticale est proportionnelle à la richesse des signaux émis par les récepteurs. Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ On peux ainsi illustrer l’importance des aires corticales dédiées au toucher chez l’homme par l’homonculus sensitif, on remarque en particulier la proéminence des mains pour lesquelles ce sens est particulièrement développé. Tonotopie Le neurone biologique Le neurone formel 2) On peux dresser des cartes neuronales mettant en avant une projection linéaire des signaux des récepteurs vers l’aire associée. Le perceptron élémentaire La partie grisée représente l’aire auditive Mémoires associatives du cerveau d’un chat et celle de droite un gros plan Le perceptron sur l’organisation de ses Multi-couches (MLP) neurones. MLP : optimisation Chaque point correspond à MLP : classification un neurone et le chiffre associé indique la MLP : généralisation fréquence reçue par le Auto-organisation système auditif (en KHz) - Apprentissage non pour laquelle le neurone supervisé est excité. - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Carte tonotopique du chat On remarque alors que les neurones correspondants aux basses fréquences sont situés à droite alors que les hautes fréquences sont situées à l’autre extrémité du cortex auditif. De plus, deux neurones sensibles à des fréquences voisines seront spatialement proches dans l’aire corticale auditive. Il existe donc une propriété de préservation topologique entre l’espace des signaux et l’espace de projection corticale. C’est la propriété de Tonotopie. Plasticité du cortex Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ On appelle plasticité, le phénomène d’adaptation du cerveau aux signaux qu’il reçoit. Illustration : Patient atteint de syndactylie (doigts attachés dès la naissance) Avant l’opération, le patient a trois doigts collés. par magnéto-encéphalographie on peut dresser la carte somatotopique correspondant à la représentation corticale des doigts. On constate alors que les aires de projection corticale des doigts sont très rapprochées spatialement. Plasticité du cortex Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Après une opération visant à séparer le doigt 4 du doigt 5, on remarque, en observant la distance de séparation des aires de projection corticale de ces doigts, que le cerveau s’adapte rapidement (6 jours) à la modification établie. La courbe indique la distance de séparation des aires de projection corticale entre les doigts 4 et 5 depuis le début de l’opération. Les cartes de Kohonen Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ [1] Ch. von der Maslburg, 1973. Self-­‐organiza-on of Orienta-on Sensi-ve Cells in the striate cortex , Kyberne.cs, 14, pp.85-­‐100 (1943). [2] T. Kohonen, 1982. Self-­‐organized Forma-on of Topologically Correct Features Maps, Biological Cyberne.cs, 43, pp. 59-­‐69 (1982). Des modèles d’auto-organisation, inspirés par l’organisation corticale des vertébrés, ont été proposés dès les années 70 (Von der Malburg) puis par Kohonen. En sciences de l’ingénieur, ces modèles ont pour but de représenter des données complexes, souvent bruitées, souvent de grande dimension, dans un espace discret dont la topologie est limitée à 1, 2 voire 3 dimensions. Ils s’agit donc en fait de modèles de << quantification vectorielle (VQ) >> dotés de propriétés topologiques particulières. Kohonen a proposé en 1982 un modèle très intéressant mais resté longtemps ignoré : les << cartes de Kohonen >>. Dans les années 90 le même hauteur a proposé plusieurs variantes supervisées pour la classification : les algorithmes de quantification vectorielle à apprentissage ou LVQ (Learning Vector Quantization). Les cartes de Kohonen Le neurone biologique Le neurone formel Le perceptron élémentaire Les réseaux de Kohonen sont directement inspirés des concepts vus dans la partie précédente, ils doivent donc avoir les propriétés suivantes : Mémoires associatives Le perceptron Multi-couches (MLP) • L’apprentissage est non-supervisé, ce sont les signaux d’entrée qui organisent le réseau. MLP : optimisation MLP : classification MLP : généralisation • Le réseau doit avoir une structure topologique afin d’introduire le concept de voisinage. Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ • Il doit prendre en compte le mécanisme d’interaction latérale. • Deux signaux proches en entrée doivent activer deux neurones proches en sortie (tonotopie). Intéraction latérale Le neurone biologique Le neurone formel Le perceptron élémentaire L’interaction latérale (Kohonen) désigne le fait qu’il existe une relation entre l’activité d’un neurone du cortex et celle de ses voisins en fonction de la distance les séparant. Cette dépendance est représentée par la fonction du « chapeau mexicain ». Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ • Les neurones excités excitent à leur tour les neurones voisins situés entre 50 et 100 micromètres qui leurs sont connectés. • Pour des voisins plus lointains, 200 à 500 micromètres, l’action est inhibitrice. • Pour des neurones encore plus lointains, l’action est négligeable. Fonction du « chapeau mexicain » Structure des cartes Le neurone biologique Le neurone formel Un réseau à une couche de N entrées et M cellules Le perceptron élémentaire Les N entrées sont totalement connectées aux N neurones Mémoires associatives Les neurones sont placés dans un espace à 1 ou 2 dimensions : chaque neurone possède donc des voisins dans cet espace Le perceptron Multi-couches (MLP) MLP : optimisation Chaque neurone possède des connexions latérales récurrentes Avec son voisinage selon la noyau de convolution du chapeau mexicain MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Connexions modifiables ⎡ x1 ⎤ ⎢ x ⎥ ⎢ 2 ⎥ ⎢ x3 ⎥ ⎢ ⎥ ⎢... ⎥ ⎢ xN ⎥ ⎣ ⎦ Connexions récurrentes ⎡ y1 ⎤ ⎢ y ⎥ ⎢ 2 ⎥ ⎢ y3 ⎥ ⎢ ⎥ ⎢... ⎥ ⎢⎣ yM ⎥⎦ Exemple de structure Le neurone biologique Le neurone formel Exemple d’une structure de réseau de Kohonen : N=2, M=9 Le perceptron élémentaire Les connexions récurrentes ne sont pas représentées Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification Valeur de sortie Poids synaptique d'un neurone de sortie Couche de sortie avec topologie rectangulaire MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Vecteur d'entrée à deux dimensions Algorithme initial Le neurone biologique Les poids sont initialisés aléatoirement Le neurone formel Chaque cellule calcule sa sortie selon : Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ N yi = ∑ ωij x j = X TWi j =1 Selon le vecteur d’ entrée et la configuration initiale des poids, il existe un neurone dont la sortie est la plus grande. On l’appelle <<neurone gagnant>> L’effet des connexions latérales récurrentes est une augmentation du contraste dans le réseau : l’activité des neurones voisins est facilitée, celle des neurones éloignés est inhibée. C’est le mécanisme de compétition. A l’équilibre, la sortie du réseau fait apparaître une zone d’activité prépondérante autour du neurone gagnant, entouré de zones inactives, ou faiblement actives. Les connexions modifiables sont ensuite ajustées selon la règle : Δωij = α yi ( X − Wi ) La modification tend à rendre le neurone gagnant plus sélectif à la donnée X Algorithme initial (suite) Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Explication : Si pour le neurone i0 la sortie yi0 est la plus forte : ∀i ≠ i0 , yi0 = X TWi0 > yi = X TWi Après correction, on a : yi = X T (Wi + ΔWi ) = X T (Wi + α X TWi ( X − Wi )) = X T Wi (1 + α X T ( X − Wi )) T Si le produit scalaire X ( X − Wi ) est positif, la sélectivité du neurone au vecteur X est augmentée après correction : Auto-organisation Wi − 2 - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Wi Wi − 2 X Wi −1 Wi X Wi −1 Wi +1 Wi +1 Avant apprentissage (vecteurs normalisés à 1) Après apprentissage (et re-normalisation à 1) Les poids sont modifiés par une variation pondérée par l’activité y du neurone Interprétation géométrique Le neurone biologique Le neurone formel Le perceptron élémentaire Explication géométrique : X − Wi X Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ α yi ( X − Wi ) Wi + ΔWi Wi Le problème posé par le produit scalaire est que l’on n’a pas forcément : X T (Wi + ΔWi ) > X TWi D’où la nécessité de normer les vecteurs. Algorithme simplifié Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ L’algorithme d’apprentissage précédent souffre d’au moins 2 défauts : • Le calcul du neurone gagnant repose sur un concept de produit scalaire ce qui n’est intéressant que si les poids sont normés • Le calcul des sorties, en raison des connexions récurrentes, demande une procédure itérative coûteuse en temps de calcul Neurones « distance » : la sortie est une fonction décroissante de la distance d ( X , Wi ) , ce qui évite de normer les poids WTA : on recherche le neurone le plus actif. Les voisins sont également Actifs. Au delà du voisinage, les neurones sont inactifs. Ce dispositif évite les connexions récurrentes en simplifiant le mécanisme de compétition. Dans ces conditions, la règle d’apprentissage est simplifiée : ΔWi = α G(i, i0 ) ( X − Wi ) La fonction G (i, i0 )définit le voisinage sur lequel s’applique la modification des poids. Dans le cas le plus simple G (i, i0 ) = δ i ,i0 . Plus souvent il évolue en 1/t avec une initialisation couvrant 30 à 50% du réseau. Le pas d’adaptation évolue également en 1/t :α (t ) = 1/ t Topologies de la carte Le neurone biologique Le neurone formel Voisinage à une dimension (peu utile) : Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation Le neurone gagnant est marqué par une croix, le chiffre indique la distance relative à ses voisins. MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Voisinage rectangulaire 2D (le plus utilisé) : Voisinage hexagonal 2D Exemple Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Soit un ensemble de 10000 vecteurs à 2 composantes possédant une densité de probabilité uniforme à valeur dans [0..10], [0..10]. Considérons une couche de sortie de 100 neurones avec une topologie hexagonale. Les poids synaptiques sont initialisés avec des valeurs comprises entre 5 et 5,1 . Exemple (évolution de la carte) Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Règle de Ritter et Shulten (1986) Le neurone biologique Le neurone formel Le perceptron élémentaire Il s’agit d’une modification de l’algorithme de Kohonen : au lieu de considérer un ensemble fini de neurones (fonction de voisinage G à valeurs discrètes), utiliser une fonction de voisinage à valeurs continues (typiquement une gaussienne). Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification ⎧ G(i, i0 ) = exp ⎪⎨ ⎪ ⎩ −d (i, i0 )2 ⎫⎪ ⎬ 2.σ (t )2 ⎪⎭ MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ La variance σ (t ) représente l’étendue du voisinage à l’instant t. C’est une fonction décroissante du temps, en 1/t par exemple. Il a été démontré (Lo et Bavarian 1991) que l’utilisation d’une fonction de voisinage plutôt que d’un ensemble fini de voisins permettait d’améliorer la vitesse de convergence de l’algorithme, de plus elle se rapproche plus fidèlement de l’interaction latérale initiale. La règle d’adaptation reste la même : ΔWi = α (t )G(i, i0 , t ) ( X − Wi ) L’algorithme Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Définir les relation de voisinage ainsi que le nombre de neurones M de la couche de sortie. Initialiser les poids synaptiques W en fonction des données de la base d’apprentissage ou i bien aléatoirement. Faire • Présentation d’un vecteur d’entrée X (t ) choisi aléatoirement Le perceptron Multi-couches (MLP) • Chercher le neurone gagnant : MLP : optimisation • Modifier les poids du gagnant et de son voisinage : i0 = arg min i∈[1..M ] || X (t ) - Wi || MLP : classification MLP : généralisation ΔWi = α (t )G(i, i0 , t ) ( X (t ) − Wi ) • Décroître le pas d’apprentissage et l’étendue du voisinage : Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ α (t ) → α (t + 1) et σ (t ) → σ (t + 1) Tant que critère d’arrêt non atteint Note : on peut faire décroître les deux paramètres de la manière suivante : Valeur finale Valeur initiale t ⎛ α α t = αi . ⎜⎜ f ⎝ αi ⎞ tmax ⎟⎟ ⎠ Itération finale Conclusion Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification Comme pour tous les algorithmes provenant d’adaptation de constatations neurobiologiques, la démarche a été d’implémenter et de tester d’abord puis ensuite de prouver mathématiquement son efficacité. Actuellement la connaissance des propriétés mathématiques de cet algorithme est incomplète. Kohonen optimise-t’il un critère, le réseau converge-t’il? MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Remarque importante : La sélection du gagnant se fait à partir d’une distance mais il faut qu’elle soit adaptée aux données. Si toutes les composantes des vecteurs d’entrée ont la même variance alors la distance euclidienne est adaptée, sinon il faudra procéder à une normalisation ou prendre une distance euclidienne pondérée. Quantification vectorielle Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Principe de la quantification vectorielle (VQ) : L’objectif est de segmenter (« clustering ») l’espace des données d’entrées. Cette quantification permet après apprentissage : - de compresser les données : au lieu de stocker un nouveau vecteur d’entrée en entier, il suffit de stocker le numéro du neurone gagnant. L’ensemble des prototypes associés à leurs poids synaptiques est appelé « codebook ». Cette compression n’est pas réversible car elle est « destructrice ». - de faire une classification sans-supervision puisque chaque prototype code pour un ensemble de vecteurs (situé dans le nuage associé) ayant des propriétés communes. L’algorithme LVQ Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Plus récemment, pour la classification, Kohonen a proposé une classe d’algorithmes nommée LVQ pour Learning Vector Quantization. Les règles d’adaptation sont des versions supervisées des cartes topologiques. La règle d’adaptation des poids s’effectue toujours sur les poids des neurones appartenant au voisinage du gagnant, mais elle est modifiée : ΔWi = ±α G(i, i0 ) ( X − Wi ) On utilise le signe « + » lorsque le gagnant est de la même classe que l’exemple présenté. Le signe « - » dans le cas contraire. La méthode LVQ extrait d’un ensemble de vecteurs un noyau de représentants quasi optimaux. Algorithme, méthode itérative: – Initialisation aléatoire des centres (noyau) – Pour chaque vecteur x, trouver le centre c le plus proche – Si c et x sont de la même classe, rappocher c de x, sinon, éloigner c de x – Quand les centres ne bougent plus STOP Exemple Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ 1.2 1.2 1 1 0.8 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0 0 Déplaceme nt: -0.2 -0.2 0 0.2 0.4 0.6 0.8 1 1.2 -0.2 -0.2 1.2 1.2 1 1 0.8 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0 0 -0.2 -0.2 0 0.2 0.4 0.6 0.8 1 1.2 -0.2 -0.2 0 0 0.2 0.2 0.4 0.6 0.8 1 1.2 0.4 0.6 0.8 1 1.2 Exemple (2) Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ 1.2 1 0.8 0.6 0.4 0.2 0 -0.2 -0.2 0 0.2 0.4 0.6 0.8 1 1ère itération et 17ème itération. Le taux d’erreur passe de 14.2% à 5.2% 1.2 1.2 1 0.8 0.6 0.4 0.2 0 -0.2 -0.2 0 0.2 0.4 0.6 0.8 1 1.2 Exemple (3) Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ Taux d’erreur varie de 13% à 0.5%: 1.2 1.2 1 1 0.8 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0 0 -0.2 -0.2 0 0.2 0.4 0.6 0.8 1 1.2 -0.2 -0.2 1.2 1.2 1 1 0.8 0.8 0.6 0.6 0.2 0.4 0.6 0.8 1 1.2 0.6 0.8 1 1.2 0.4 0.4 0.2 0.2 0 0 -0.2 -0.2 0 0 0.2 0.4 0.6 0.8 1 1.2 -0.2 -0.2 0 0.2 0.4 Exemple (4) Le neurone biologique Le neurone formel Le perceptron élémentaire Mémoires associatives Le perceptron Multi-couches (MLP) MLP : optimisation MLP : classification 1.2 1 0.8 0.6 0.4 0.2 0 -0.2 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 MLP : généralisation Auto-organisation - Apprentissage non supervisé - Chez les vertébrés - Les cartes de Kohonen - Algorithmes LVQ 1 1.1 1.2 Seulement 4 noyaux alors qu’il en faudrait au moins 6: l’erreur ne descend pas plus bas que 21% Un seul noyau représente tous les « rouges » 1 0.8 0.6 0.4 0.2 0 -0.2 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1
