Karine Volpi 1 Réseau de neurones

Karine Volpi 1 Réseau de neurones

TABLE DES MATIÈRES
Table des matières
I Introduction 4
II Le neurone seul 5
1 Historique 5
2 Du neurone biologique au neurone artificiel 6
2.1 Le neurone biologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Le neurone artificiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3 Neurone formel 7
3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2 Le neurone en équation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.3 Les différents types de fonction d’activation . . . . . . . . . . . . . . . . . . . . . 8
III Réseau de neurones 11
1 Réseau de neurones 11
2 Bio-ingénierie 11
3 Comparaisons avec l’intelligence artificielle classique 12
3.1 L’intélligence artificielle classique . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Bref histoire de l’intelligence artificielle classique . . . . . . . . . . . . . . . . . . 12
3.3 Différences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
IV Classification topologique 14
1 Les réseaux feed-forward (Non bouclés) 14
1.1 Les Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2 Les réseaux à fonction radiale (RBF) . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Les réseaux feed-back (Récurrents) 15
2.1 Les cartes auto-organisatrices de Kohonen . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Les réseaux de Hopfield (RNF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Karine Volpi 2 Réseau de neurones

TABLE DES MATIÈRES
2.3 Les ART (Adaptive Resonance Theory) . . . . . . . . . . . . . . . . . . . . . . . 16
2.4 Les réseaux à compétition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Récapitulatif 17
V Apprentissage 18
1 Type d’apprentissage 18
1.1 Non Supervisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2 Le renforcement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 Supervisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4 Mixte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Règles d’apprentissage 20
2.1 Règle de Hebb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Règle de correction d’erreurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 Apprentissage de Boltzmann . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4 Règle d’apprentissage par compétitions . . . . . . . . . . . . . . . . . . . . . . . 21
3 Classification des différents apprentissages 22
VI Applications 23
1 Les réseaux feed-forward (Non bouclés) 23
1.1 Le perceptron multicouches (PCM) . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.2 Les réseaux à fonction radiale (RBF) . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Les réseaux feed-back (Récurrents) 24
2.1 Les cartes auto-organisatrices de kohonen . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Les réseaux de Hopfield (RNF) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3 Hybride 24
4 D’autres applications 24
VII Conclusion 26
Karine Volpi 3 Réseau de neurones

Première partie
Introduction
Prédictions météorologiques, prévision de la consommation d’eau, reconnaissance du code pos-
tal, compression de données, filtrage, classification ... ont tous un point en commun : les réseaux de
neurones.
Le but de ce dossier décomposé, en cinq grandes parties est de présenter de façon générale les
réseaux de neurones.
La première partie comprend un historique succinct, balayant les soixante derniers années. Le but
de toute formalisation est de copier et simplifier, nous décrirons le neurone biologique qui a servi
de modèle au neurone artificiel que nous nommerons neurone formel. Un neurone est soit excité
soit inhibé, pour cela nous listerons et expliquerons les mécanismes lié au changement d’état.
Dans une deuxième partie débutant sur les réseaux de neurones, une introduction à la bio-
ingénierie sera faite afin de donner une idée sur les évolutions futures. La bio-ingénierie regroupe
l’ensemble des efforts des diverses branches de l’ingénierie, de la biologie et de la médecine. Nous
clôturerons cette partie en comparant les réseaux de neurones à l’intelligence artificielle classique.
Qui dit réseaux sous-entend topologie. Dans la troisième partie nous allons réaliserons une clas-
sification des réseaux de neurones selon leur topologie, nous ullustrerons chaque structures pars des
schemas
Un réseau de neurones est comme un enfant, il à besoin d’un apprentissage. Nous verrons qu’il
existe deux types principaux : guidé ou par tests.
Comme l’apprentissage de la lecture à l’école primaire nous avons besoin de choisir la meilleure
méthodologie. Nous listerons ces dernières, que nous appellerons «ègles d’apprentissage».
Nous finirons la quatrième partie, en dégageant une méthodologie résumée dans un tableau. Il sera
ensuite plus aisé de choisir le bon type de réseau de neurones associé à la tache désirée. De même
le type d’apprentissage et les règles nécessaires affinerant notre choix.
La cinquième partie est consacrée à des exemples de mise en application Nous donnerons un
exemple d’utilisation pour chaque type de réseau, démontrant ainsi l’utilité et l’importance de la
diversité qu’elle soit topologique ou traitant de l’apprentissage.
Une liste moins détaillée donnera une idée sur la variété et l’intérêt des réseaux de neurones.
Karine Volpi 4 Réseau de neurones

1 HISTORIQUE
Deuxième partie
Le neurone seul
1 Historique
Les réseaux de neurones sont «nés »il y a plus de soixante ans. Les premiers à proposer un
modèle sont deux bio-physiciens de Chicago, McCulloch et Pitts [WL43], qui inventèrent en 1943
le premier neurone formel. Qui est un dispositif à plusieurs entrées et une sortie qui modélise cer-
taines propriétés du neurone biologique. Il peut être dans un état soit inhibé soit excité, et changer
au cours du processus. Le neurone formel reste l’élément de base des réseaux de neurones actuels.
Un grand pas fut franchi en 1949 avec l’élaboration de la loi d’Hebb [Heb49]. Il utilisa le
conditionnement de type pavlovien afin d’écrire une règle d’apprentissage. Cette règle, appelée loi
de Hebb, consiste à renforcer les connexions des neurones synchronisés.
Le modèle perceptron, fut inventé en 1957[F.57]. C’est un réseau de neurones inspiré du sys-
tème visuel. Il possède deux couches de neurones : une couche de perception et une couche liée à la
prise de décision. Mais ces limites furent mises à jour en 1969, en particulier le problème du XOR.
Le perceptron étant une fonction linéaire il se trouve dans l’incapacité de résoudre des fonctions
non linéaires, tel le XOR ou OU exclusif.
En 1983, la machine de Boltzmann arrivera à traiter de manière satisfaisante ces limites, grâce à
l’ajout de couches cachées..
Nous pouvons mettre en relief quelques autres dates. Comme 1973 [TM73] où des études ont
été conduites afin de faire de la reconnaissance de forme. Ou bien 1986, avec la règle de rétro-
propagation du gradient, ou appelé aussi correction d’erreur.
Celui-ci est un algorithme où la différence entre la sortie désirée et la sortie propagée (le gradient)
modifie le poids des neurones de sortie aux neurones d’entrée (retro-propagation).
Il est difficile de résumer en quelques lignes plus de 60 années de recherche sur les réseaux
de neurones, dont les étapes décisives sont jalonnées par des publications clés. Un historique plus
détaillé est proposé en Annexe A (Page 27).
Karine Volpi 5 Réseau de neurones