1. Introduction

Introduction
Réseau de neurones artificiel?
• Abstraction du système nerveux humain
– Traitement parallèle de l’information
• Par opposition à un automate sériel comme un
ordinateur
– Capacité d’apprentissage et d’adaptation
• Principe de traitement très simples et identiques
pour tous les éléments
• Mais comportement de groupe complexe!
• Applications
– Résolution de problèmes difficiles
– Modélisation biologique
Réseau de neurones biologique
• Quand un pigeon devient expert en art!
(Watanabe et al. 1995)
– Experience :
• Pigeon dans une boîte de Skinner
• Exposition aux tableaux de deux artistes
(Chagall / Van Gogh)
• Récompense pour bec à la vue d’un tableau de
l’un des artistes (e.g. Van Gogh)
• Les pigeons utilisés ont pu distinguer Van
Gogh de Chagall avec 95% de précision
pour les tableaux d’entraînement
• Précision de 85% pour les tableaux non vus
auparavant!
• Mémoire oui, mais aussi
– Identification de traits essentiels et/ou
généralisation
– Pas d’usage apparent d’un processus réfléchi
– Force majeure des réseaux de neurones!
(artificiels et biologiques)
Les réseaux de neurones artificiels
• Opèrent par apprentissage et non
programmation
• Une fois présentés avec des stéréotypes de
comportement à apprendre, peuvent
généraliser.
– Ex: Reconnaître des images partielles après avoir
appris des images complètes.
• Troquent le traitement séquentiel familier
pour un traitement parallèle de l’information
Quelques domaines d’application
• Reconnaissance de formes
– (ex. : détection de cellules cancéreuses)
• Régulation de processus industriels
– (ex. : dosage d’ingrédients)
• Pilotage automatique de véhicules automobiles
• Reconnaissance de la voix et de l’écriture
manuscrite
• Interprétation de la parole et du texte écrit
• Prédiction boursière/environnementale
• Amélioration des moyens de trucider le voisin!
Catégorisation des domaines
•
•
•
•
•
•
•
Classification
Regroupement/Catégorisation
Approximation de fonctions
Prévision/prédiction
Optimisation (plus court chemin, routage, etc.)
Mémoires adressables par contenu
Automatique
Niveaux de traitement dans le
système nerveux central humain
1m
SNC
10cm
Sous-Systèmes
1cm
Régions
1mm
Réseaux locaux
100mm
Neurones
1mm
Synapses
0.1mm
Molécules
RNA 101
• Un réseau de neurones artificiels (RNA) incorpore
Les deux composants fondamentaux d’un rèseau
de neurones biologique:
1. Neurones (noeuds)
2. Synapses (poids)
Circuits locaux dans le cortex visuel
LGN inputs
Cell types
Neurone biologique
Sortie impulsive :
1 – Le neurone répond
0 – Le neurone ne répond pas
(Sans nécessairement être inactif)
Synapse biologique
Agent principal du comportement
neuronal
Connexion typique le long d’un arbre
dendritique
Force de connexion variable + ou Plasticité à court terme
Utilisation de mécanismes
électrochimiques
Origine corrélationnelle?
Types de synapses
Électrique (rare)
• 3.5 nm pré-post distance
• Continuité cytoplasmique
(e.g. muscle cardiaque,
capteurs sensoriels)
• Courant ionique
• Propagation instantanée
• Transmission bidirectionnelle
Chimique
• 20-40 nm pré-post distance
• Discontinuité cytoplasmique
• Vésicules présynoptiques et
récepteurs postsynaptiques
• Transmetteur chimique
• Délai synaptique .3 ms
• Transmission
unidirectionnelle
Synapse dendritique
Synapse dendritique
Neurotransmetteurs
Transmitter
Transmitter
Channel-typ
Channel-typ
Ion-current
Ion-current
Action
Action
Acetylecholin
nicotin. Receptor
Na+ and K+
excitateur
Glutamate
AMPA / Kainate
Na+ and K+
excitateur
GABA
GABAA-Receptor Cl-
inhibiteur
Cl-
inhibiteur
Glycine
Acetylecholin
muscarin. Rec.
-
metabotropic, Ca2+ Release
Glutamate
NMDA
Na+, K+, Ca2+
Dépend de la tension
bloqué au potentiel de repos
Synaptic Plasticity
Neurotransmetteurs
• Plusieurs types
–
–
–
–
Amino Acides : Glutamate, GABA
Amines biogéniques : Dopamine, Histamine
Neuropeptides … LHRH, Proctolin
Endorphines, acetylcholine, etc.
• NMDA, GABAA sonr frèquents au niveau des récepteurs
• Certains sont excitateurs et d`autres inhibiteurs
Synapse excitatrice vs. inhibitrice
Exemples de sommations dendritiques
0V
20
[mV]
-20
V [mV]
0
-20
-40
-40
-60
-60
50
0
100
150
0
t [ms]
0V
20
[mV]
10
20
t [ms]
0
V [mV]
-20
0
-20
-20
-40
-40
-60
-60
-40
-60
0
0
20
50
100
150
20
0
0
-20
-20
-40
-40
-60
-60
0
10
20
10
20
t [ms]
V [mV]
t [ms]
0
t [ms]
20
40
60
0
V [mV]
0
V
[mV]
80
t [ms]
V
[mV]
-20
-40
-60
10
20
t [ms]
0
20
40
60
80
t [ms]
De l’entité biologique au modèle
Neurone -> Nœud
Synapse -> Arc pondéré
Modélisation simplifiée
x0 = +1
Biais
w0
m
v   wj xj
j 0
x1
Entrée
w1
x2
w2

xm
Poids
synaptiques
wm
w0  b

État
interne
v
Sommateur
linéaire
Hypothèses :
• Synapses synchrones
• Pas de pertes
• Sortie non impulsive
Fonction
d’activation
 ()
Sortie
y
Fonctions d’activation communes
• Simplifications des séquences d’impulsions
• La fréquence des impulsions remplace l’information
individuelle
• L’information de
phase est perdue
• Plusieurs
fonctions existent
• L’efficacité
dépend de
l’application
24
Fréquence des impulsions biologiques
• La valeur moyenne dépend de plusieurs facteurs
– Pertes (leakage), saturation, sources de bruit
• Généralement modelé avec une fonction sigmoïde
savoir du réseau
• Réside dans la présence et la force des
connexions inter-neuronales (synapses),
mais :
– Différents types de neurones
– Différents types de topologies de réseaux
 Comment trouver les bons poids?
Plasticité synaptique
Plasticité synaptique
Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post
synaptique et l‘entree de calcium à travers des récepteurs
specialisés
Plasticité synaptique
Potentiation et dépression à long term
(LTP et LTD)
Stimulation de 1 s à haute fréquence
(100Hz) (montre aussi l.effect de l’endroit
de stimulation sur l’arbre dendritique)
Stimulation de 15 min à basse
fréquence (1 Hz)
• Modèle simplifié à un produit de sorties dans les RNA
w   x pre x post
• Cependant, ne rend pas compte de la causalité
temporelle des événements pré et post synaptiques.
Spike-timing Dependent Synaptic
Plasticity (STDP)
• La précédence des impulsions pré et post
synaptiques influe sur la plasticité synaptique.
• Plus conforme à la règle de Hebb
(ajout de la causalité temporelle)
From Bi and Poo J. Neurosci. 18, 10464 (1998)
• Popularité ascendante dans les
modèles artificiels
Topologies de base
Unités de Sortie
Unités
cachées
Unités d’entrée
Unités d’entrée
xj=Ajiyi
i
i
Aij
j
yj=f(xj)
• En général, les réseaux récurrents utilisent des règles
d’apprentissage d’inspiration biologique et les réseaux
multicouches des règles tirées de l’ingénierie
Taxonomie
+BSB, BAM, etc.
Capacité de classification d’un PMC
Pourquoi aller aussi loin ?
• Un modèle simple de mémoire associative :
1. On part de/forme un ensemble orthogonal de
vecteurs {xi} à mémoriser
2. On définit l’ensemble des vecteur-réponses désirés
{yi}
3. On calcule la matrice A =  yi xit
i
4. La fonction de rappel d’un stimulus quelconque x est
alors: y = A x
• Ça fonctionne, non? Oui, mais que se passe-t-il
lorsque les entrées sont corrélées, bruitées ou non
linéairement séparables ?