INFO6517 Réseaux de neurones

Hiver 2014
———————————————————————————————————————————–
INFO6517
Réseaux de neurones
Éric Hervet
Université de Moncton
Faculté des sciences
Département d’informatique
Moncton, N.-B., CANADA
E1A 3E9

Table des matières
I. Introduction............................................. 1
I.1. Origines........................................... 1
I.2. Définition.......................................... 2
I.3. Historique.......................................... 2
I.4. Modèle neurophysiologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
I.5. Modèles mathématiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
I.6. Apprentissage ....................................... 10
I.7. Mémoiresassociatives................................... 13
I.8. Cartes auto-organisatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
I.9. Réseaux à achitecture évolutive : ART ........................ 18
I.10. Réseauxmulticouches................................... 18
I.11. Connectionnisme et applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
I.12. ApplicationenRCM ................................... 21
II. Quelques rappels mathématiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
II.1. Matricesetvecteurs.................................... 22
II.2. Produits scalaires et vectoriels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
II.3. Dérivation (différentiation) matricielle et vectorielle . . . . . . . . . . . . . . . . . 23
II.4. Matrice pseudo-inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
II.5. Valeurs et vecteurs propres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
II.6. Interprétation et visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
II.7. Optimisation........................................ 28
III. Neuronesélémentaires....................................... 29
III.1. Modèleslinéaires ..................................... 29
III.2. Modèles non linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
III.3. Fonctions d’activation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
III.4. Propriétés du perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
III.5. Modèle linéaire de l’Adaline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
III.6. Perceptrons multicouches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
IV. Application des perceptrons en reconnaissance de motifs . . . . . . . . . . . . . . . . . . 33
IV.1. Réseaux “associeurs” de motifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
IV.2. Lien avec la psychologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
IV.3. Réseaux de neurones linéaires et apprentissage . . . . . . . . . . . . . . . . . . . . 33
IV.3.1. Réseau monocouche linéaire . . . . . . . . . . . . . . . . . . . . . . . . . 33
IV.3.2. Apprentissage.................................. 34
i

IV.3.3. Exemples .................................... 35
IV.3.4. Apprentissage de Hebb . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
V. Réseaux de neurones multicouches et apprentissage . . . . . . . . . . . . . . . . . . . . . 36
V.1. Architectures de RN multicouches . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
V.2. RègleDelta......................................... 36
V.3. Règle Delta Généralisée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
VI. “FeedForward Neural Networks” - Extensions et notions avancées . . . . . . . . . . . . . 39
VI.1. RN pour la reconnaissance de motifs . . . . . . . . . . . . . . . . . . . . . . . . . . 39
VI.1.1. Existence vs réalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
VI.1.2. Combinaison d’algorithmes d’apprentissage . . . . . . . . . . . . . . . . 39
VII.RéseauxdeKohonen........................................ 40
VII.1. Principe de l’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
VII.2. Équations d’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
VII.3. Utilisation en reconnaissance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
VII.4. Exemple d’application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
VII.4.1. NP-complétude................................. 41
VII.4.2. Algorithmes classiques en optimisation combinatoire . . . . . . . . . . 42
VII.4.3. Cartes de Kohonen et voyageur de commerce . . . . . . . . . . . . . . . 44
VIII.RéseauxdeHopfield........................................ 45
IX. Algorithmesgénétiques ...................................... 47
IX.1. Introduction ........................................ 47
IX.2. Principe........................................... 47
IX.2.1. Codage et opérateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
IX.2.2. Améliorations classiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
IX.2.3. Recuitsimulé.................................. 59
IX.3. Applications ........................................ 61
ii

INFO6517 - Réseaux de neurones I.. Introduction
I. Introduction
I.1. Origines
Le développement de logiciels s’appuie sur plusieurs approches, dont deux parmi les
plus souvent utilisées sont l’approche algorithmique et l’approche basée sur la
connaissance.
L’approche algorithmique nécessite l’écriture de tout le processus à suivre pour
résoudre le problème. Les ordinateurs sont des machines complètement logiques
(et même binaires), donc déterministes. C’est un avantage lorsque tous les cas ont
été prévus à l’avance par la personne qui programme (ex. : jeu d’échecs, logiciels
embarqués, etc.). Pour certains problèmes ce n’est pas toujours possible ... dans
ce cas le comportement de l’ordinateur face à un cas non prévu risque fortement
de n’être pas adapté.
L’approche basée sur la connaissance est celle de l’intelligence artificielle, avec
pour applications les plus connues les systèmes experts. Dans cette approche, la
résolution d’un problème est confiée à un ensemble de règles données par l’expert
humain du domaine. Toutes les règles doivent avoir été exprimées préalablement
au traitement. Les cas non prévus par l’expert ne seront pas correctement traités.
L’introduction de la logique floue ne change pas la nature des limitations d’utili-
sation du programme : l’exécution reste déterministe.
En fait, l’approche basée sur la connaissance se limite à des domaines d’applica-
tion où la modélisation de la connaissance est possible, par exemple sous forme de
règles. Ces domaines sont souvent ceux des sciences dites exactes, comme l’électro-
nique, la mécanique, la physique, etc., par opposition aux sciences dites humaines
comme la médecine, la psychologie, la philosophie, etc., où la connaissance est plus
empirique.
Ces deux approches ne sont donc pas suffisantes pour répondre à tous les problèmes
existants. Citons comme exemples la reconnaissance de formes (images ou signaux),
les diagnostics, la traduction automatique, la compréhension du langage, etc.
Éric Hervet - 1/61 - Hiver 2014

INFO6517 - Réseaux de neurones I.. Introduction
Pourtant, certains êtres vivants relativement simples sont capables de réaliser certaines
de ces opérations sans aucune difficulté. Par exemple, le suivi par les yeux d’une
mouche en vol, ou encore le déplacement au sonar de la chauve-souris.
Une troisième approche au traitement automatique de l’information consiste à s’inspi-
rer du traitement de l’information effectué par le cerveau. L’hypothèse principale, à la
base des réseaux de neurones artificiels, est que le comportement “intelligent” est
engendré par un ensemble de mécanismes mentaux.
L’organisation en neurones permet d’illustrer les notions d’apprentissage et de
mémorisation (modification des connexions). Nous verrons comment passer de
modèles de réseaux neuronaux biologiques à des modèles mathématiques (réseaux
neuronaux artificiels), notamment des modèles de neurones, de synapses et quelques
topologies (architectures) d’organisation en réseaux.
Nous verrons le fonctionnement de réseaux de neurones artificiels et leurs propriétés
d’apprentissage à partir d’exemples, de résistance au bruit, d’adaptabilité et de tolé-
rance aux pannes. Le Perceptron est historiquement le premier modèle de neurone
artificiel. Également les cartes auto-organisatrices sont intéressantes et plus vrai-
semblables du point de vue biologique.
Nous verrons aussi les concepts d’apprentissage supervisé et non supervisé ainsi
que des modèles plus complexes comme les mémoires associatives, les réseaux à archi-
tecture évolutive, et une version plus complexe et surtout plus efficace du Perceptron :
le Perceptron multicouche.
I.2. Définition
«Les réseaux de neurones artificiels sont des réseaux fortement connectés de proces-
seurs (neurones) élémentaires fonctionnant en parallèle. Chaque processeur élémen-
taire calcule une sortie unique sur la base des informations qu’il reçoit. Toute structure
hiérarchique de réseaux est évidemment un réseau. »
I.3. Historique
W. James (1890, psychologue américain) : Introduit le concept de mémoire
associative et propose une loi de fonctionnement pour l’apprentissage des réseaux
de neurones connue plus tard sous le nom de “loi de Hebb”.
Éric Hervet - 2/61 - Hiver 2014