extraction de saillances par un r ´eseau de neurones

EXTRACTION DE SAILLANCES PAR UN R ´ ESEAU DE NEURONES
IMPULSIONNELS
Sylvain Chevallier
LIMSI-CNRS UPR 3251
Bˆ at. 508, BP 133 91403 Orsay
email: sylvain .chev[email protected]
Philippe Tarroux
´
Ecole Normale Sup´ erieure, Paris
& LIMSI-CNRS UPR 3251, Orsay
email: [email protected]
ABSTRACT
Nous proposons une architecture de la vision pr´ e-
attentionnelle qui permet d’extraire des saillances dans
des sc` enes visuelles complexes. Cette architecture est
compos´ ee de neurones impulsionnels qui rendent possible
l’obtention des saillances directement dans l’ordre de leur
importance. Nous d´ ecrivons un moyen rapide d’int´ egrer
les contributions d’une somme de PSP au potentiel mem-
branaire. Nous pr´ esentons un exemple de r´ esultat obtenu ` a
partir d’images acquises par la cam´ era d’un robot.
KEY WORDS
Saillance - Neurones Impulsionnels - Attention Visuelle
1 Introduction
L’utilisation de la connaissance des syst` emes vivants
int´ eresse depuis longtemps les concepteurs de syst` emes
artificiels, que ce soit en robotique [3, 6] ou en vision
artificielle [23]. Doit-on recr´ eer extensivement toutes
les propri´ et´ es observ´ ees ou peut-on esp´ erer trouver un
niveau d’abstraction fonctionnel qui offrirait des solutions
int´ eressantes ? Nous proposons d’explorer une approche
bio-inspir´ ee de l’attention en exposant une architecture
neuronale, d´ etaill´ ee dans la partie 2 et dont les r´ esultats
sont expos´ es dans la partie 3.
La vision artificielle recherche toujours des solutions
pour r´ eduire la complexit´ e des images et traiter ainsi seule-
ment les informations porteuses de sens [12]. Ces informa-
tions sont regroup´ ees sous le terme de saillance bien qu’il
n’existe pas encore de d´ efinition largement approuv´ ee. La
saillance visuelle est ´ etroitement li´ ee aux m´ ecanismes pr´ e-
attentionnels d´ ecrits par les psychologues [20, 22], qui
sont compl` etement automatiques et ind´ ependants du con-
texte. De plus, des travaux en neurobiologie semblent
confirmer l’existence d’une carte de saillance, qui con-
sisterait en une repr´ esentation topographique des stimu-
lus pertinents, mˆ eme si elle est peut-ˆ etre distribu´ ee sur
plusieurs aires corticales [21]. C’est sur ces saillances que
les m´ ecanismes attentionnels, issus des fonctions cogni-
tives plus ´ elabor´ ees, vont intervenir. Il existe plusieurs
mod´ elisations de l’attention ; Itti [10] propose un ´ etat de
l’art des mod` eles biologiquement inspir´ es et Heinke et
Humphreys [9] un ´ etat de l’art des mod` eles issus de la psy-
chologie. Nous proposons une approche diff´ erente pour la
mod´ elisation des m´ ecanismes pr´ e-attentifs qui repose sur
l’utilisation de r´ eseaux de neurones impulsionnels (ou SNN
pour spiking neural networks), plus r´ ealistes biologique-
ment et qui poss` edent des propri´ et´ es int´ eressantes [15, 8].
Les neurones impulsionnels permettent de manipuler fine-
ment l’information temporelle, ce qui semble ˆ etre une pro-
pri´ et´ e essentielle des neurones biologiques [1]. Ils sont de
plus en plus largement utilis´ es [2, 17, 13, 7], mˆ eme si leur
capacit´ es th´ eoriques sont encore discut´ ees [14, 19].
2 R´ eseau de neurones impulsionnels
L’architecture propos´ ee permet d’extraire des saillances
d’une sc` ene visuelle complexe et a ´ et´ e conc¸ue comme une
´
etape vers la mise en place d’un contrˆ oleur neuronal com-
plet. Elle est compos´ ee d’un ensemble de cartes neuronales
(des couches 2D de SNN) connect´ ees de fac¸on feedfor-
ward. L’impl´ ementation r´ ealis´ ee peut inclure diff´ erents
types de mod` eles neuronaux en mˆ eme temps et fonctionne
de fac¸on distribu´ ee [4]. Cette architecture se divise en deux
voies diff´ erentes, pour traiter les hautes (en bas de la fig-
ure 1) et basses fr´ equences spatiales (en haut). Ce traite-
ment multi-´ echelles est une adaptation des voies parvo- et
magno-cellulaires du cortex visuel des primates. Les traite-
ments r´ ealis´ es dans la voie magno-cellulaire regroupent les
points saillants dans les basses fr´ equences sur une carte de
pr´ e-activation (PreAc sur la figure 1). L’extraction de sail-
lances est effectu´ ee sur la carte de saillance quand les ac-
tivations sont concordantes entre la carte de pr´ e-activation
et les cartes de la voie parvo-cellulaire. Les neurones im-
pulsionnels sont de bons d´ etecteurs de synchronie, ce qui
permet de les utiliser efficacement sur la carte de saillances
pour faire ´ emerger les saillances.
La prise en compte des couleurs dans l’extraction
des saillances est r´ ealis´ ee sur des cartes d’opposition de
couleurs, rouge-vert et bleu-jaune (Simple Opposition sur
la figure 1). Ces cartes sont compos´ ees de neurones sem-
blables aux cellules de simple opposition (C+P- sur la
figure 1) que l’on trouve dans le corps genouill´ e lat´ eral
des primates [16, 18]. Il existe d’autres types de neu-
rones qui traitent les couleurs, comme les cellules de
double opposition couleur-luminance par exemple, mais
elles restent encore peu ´ etudi´ ees [18]. Cette mod´ elisation
est coh´ erente vis-` a-vis des connaissances physiologiques

Figure 1. Chaque carr´ e repr´ esente une carte 2D de neurones. Les masques de connections, expliqu´ es dans 2.2, sont figur´ es par
les ovales. “Direct” indique des connections entre paires de neurones ayant les mˆ emes coordonn´ ees et “delay” signifie que les
synapses possdent un d´ elai fixe non nul.
actuelles, mˆ eme si toutes les propri´ et´ es chromatiques et
spatiales des diff´ erentes cellules du syst` eme visuel n’ont
pas encore ´ et´ e´ etudi´ ees extensivement [5].
2.1 Carte neuronale
L’unit´ e de base pour la construction de cette architec-
ture est la carte neuronale. Elle est organis´ ee en couches
2D de NxMneurones ( N
2xM 2pour les cartes basses
fr´ equences), avec NxMla taille de l’image d’entr´ ee en pix-
els. L’organisation de ces cartes est “r´ etinotopique” dans
le sens o` u les propri´ et´ es topologiques de l’image d’entr´ ee
sont conserv´ ees. Les cartes d’entr´ ees convertissent la lumi-
nance (ou les couleurs rouge, vert et bleu) des pixels en un
courant d’entr´ ee sur leurs neurones correspondants. Ceci
revient ` a convertir la luminance (ou les couleurs) en taux
de d´ echarge.
Les neurones qui composent ces cartes sont du type
int` egre-et-d´ echarge lin´ eaire ` a fuite (linear leaky integrate-
and-fire), tels que d´ ecrits par Gerstner [8]. Leur potentiel
membranaire Vest r´ egi par l’´ equation suivante :
½τ˙
V=gL(V−EL) + P SP (t), if V≥ϑ
spike sinon (1)
Avec τ,gLet EL, les constantes du mod` ele et
P SP (t), l’influence des potentiels post-synaptiques. Nous
utilisons cependant un mod` ele particulier pour ces PSP.
Au lieu d’utiliser une fonction α, par exemple t
τe
−t
τ, nous
avons pr´ ef´ er´ e un mod` ele de diff´ erence de gaussiennes (voir
´
equation 2) pour d´ ecrire l’int´ egration membranaire d’un
PSP : (˙q0(t) = −k0q0(t)
˙q1(t) = k0q0(t)−k1q1(t)(2)
avec comme solution r´ esultante :
(q0(t) = q0e−k0t
q1(t) = k0
k1−k0q0£e−k0t−e−k1t¤(3)
O` uq1(t)est l’influence du PSP sur la membrane du neu-
rone et k0,k1et q0sont des contantes caract´ eristiques de la
synapse. Un PSP en diff´ erence de gaussiennes a un d´ ecours
temporel tr` es similaire ` a celui d’une fonction αpuisqu’une
fonction αest un cas particulier d’une diff´ erence de gaussi-
ennes [8]. Ci-apr` es, nous appelerons qj(t, ˆ tj)la con-
tribution ` atdu spike j´ emis ` aˆ tjsur le neurone post-
synaptique. Le poid synaptique est inclus dans la constante
Kj=k0
k1−k0q0,j . Dans le cas o`
u les contributions des PSP
sont additives, on peut rapidement calculer les contribu-
tions d’une somme de PSP sur le potentiel de membrane.
En effet, l’´ equation d´ ecrivant l’´ evolution du potentiel de
membrane apr` es qu’un train de PSP a atteint le neurone est
donn´ ee par :
P SP (t) =
n
X
j=1
qj(t, ˆ tj)(4)
=
n
X
j=1
Kjhe−k0(t−ˆ
tj)−e−k1(t−ˆ tj)i(5)
P SP (t) = e−k0t
n
X
j=1
Kjek0ˆ
tj−e−k1t
n
X
j=1
Kjek1ˆ
tj(6)

Si on pose :
Kp(n) =
n
X
j=1
Kjekpˆ
tj(7)
on peut ´ ecrire :
P SP (t) = K0e−k0t−K1e−k1t(8)
Il est possible de calculer, pour chaque pas de temps, la
contribution du train de PSP en une seule ´ etape, en utilisant
le r´ esultat de l’´ equation 8 dans l’´ equation 1 du potentiel de
membrane. Si un nouveau PSP arrive sur le neurone, il
suffit de mettre ` a jour les valeurs de K0(n)et K1(n)avec
l’´ equation 9 :
Kp(n) = Kp(n−1) + Knekpˆ
tn(9)
o` uKnest le poids synaptique du n-i` eme PSP.
2.2 Masques de connection
Quand un neurone sur une carte neurale source ´ emet un
spike, il envoie des PSP ` aNxNneurones sur les cartes
neuronales cibles (figure 2). Tous les neurones d’une carte
partagent le mˆ eme pattern de connections, c’est-` a-dire les
mˆ eme projections eff´ erentes. Nous appelons masque de
connection cet ensemble de projections g´ en´ erique, iden-
tique pour tous les neurones d’une carte. Les masques
sont impl´ ement´ es sous formes de matrices NxNde poids
et de d´ elais, ces poids et d´ elais sont statiques et d´ efinis ` a
l’initialisation du programme. Les masques impl´ ementent
des types de filtrages qui sont analogues ` a ceux des simple
cells [11], observ´ es dans le cortex visuel. Ce sont des traite-
ments similaires aux filtres matriciels de type ondelettes de
Gabor (GAB sur la figure 1), utilis´ es dans les traitements
d’images. Nous utilisons aussi des masques de connection
en diff´ erence de gaussiennes (DOG sur la figure 1), con-
nues aussi sous le nom de chapeau mexicain ` a cause de leur
forme caract´ eristique. Les masques offrent des avantages
pour les calculs distribu´ es, car ils permettent de r´ eduire le
nombre et la taille des messages ´ echang´ es entre les pro-
cesseurs. Il suffit que la carte source envoie un seul mes-
sage ` a chaque carte cible et ce message est traduit en mul-
tiples PSP une fois arriv´ e sur la carte cible.
3 R´ esultats
Les r´ esultats ont ´ et´ e obtenus ` a partir des images acquises
durant une exploration d’un robot Koala dans les couloirs
de notre laboratoire. Les images ont ´ et´ e r´ eduites en 76x56
pixels. La figure 3 montre un exemple de r´ esultat obtenu,
en mettant l’accent sur la prise en compte des couleurs.
L’image d’entr´ ee est sur la figure 3.c et les zones sail-
lantes sont montr´ ees en 3.a et 3.b, avec les points les plus
saillants en blanc. Les saillances sont ordonn´ ees en util-
isant les propri´ et´ es temporelles des neurones impulsion-
nels : plus un neurone de la carte de saillance (voir fig-
ure 1) ´ emet un spike de fac¸on pr´ ecoce, plus ce point est
Figure 2. Un neurone (en vert ou gris clair) de la carte
neuronale source ´ emet un spike et envoie des PSP ` a tous les
neurones en rouge (ou gris sombre) sur la carte neuronale
cible. Le poids de chaque synapse est fix´ e dans une matrice
de poids, ` a droite. La matrice de poids repr´ esent´ ee est une
diff´ erence de gaussiennes, qui agit comme un d´ etecteur de
contrastes.
consid´ er´ e comme saillant. Ainsi, les images 3.a et 3.b
sont obtenues en affichant l’ordre d’´ emission des spikes
de la carte de saillance. C’est en fait un codage par rang
comme celui utilis´ e par [17, 13], ` a la diff´ erence que le
SNN que nous avons utilis´ e ne se limite pas ` a un seul spike
par neurone. Cette hi´ erarchisation des saillances est dif-
ficile ` a obtenir autrement, car les algorithmes qui permet-
tent d’ordonner les r´ egions saillantes, les winner-takes-all
par exemple, sont complexes et coˆ uteux. Cependant, les
temps d’ex´ ecution moyens de notre algorithme restent rel-
ativement ´ elev´ es compar´ es aux techniques de traitements
d’images, car le nombre de neurones utilis´ es est tr` es grand
(environ 105).
En traitement d’image, tous les pixels sont trait´ es
dans un ordre arbitraire (ligne/colonne). L’architecture
pr´ esent´ ee permet de ne traiter que les pixels suffisamment
lumineux (ou color´ es) et ceci, dans un ordre fonctionnel,
car il d´ epend de leur luminosit´ e (ou de leur couleur). Par
exemple, les pixels sont trait´ es dans l’ordre de leur lumi-
nance. L’apparition des r´ esultats est donc progressive et
dans l’ordre des saillances. Il est ainsi possible d’arrˆ eter les
traitements d` es que l’on a trouv´ e une r´ eponse convenable.
La dynamique du r´ eseau est comparable ` a celle d’un algo-
rithme anytime, qui am´ eliore en permanence la qualit´ e de
ses r´ esultats tout en restant capable de fournir une r´ eponse
`
a n’importe quel moment.
4 Conclusion
Nous avons pr´ esent´ e une architecture de la vision pr´ e-
attentive capable d’extraire des saillances de sc` enes vi-
suelles complexes, en s’inspirant des traitements du
syst` eme visuel biologique. Comme les temps d’ex´ ecution
restent ´ elev´ es, nous avons propos´ e un moyen de r´ eduire le
temps de calcul de l’int´ egration des PSP sur le potentiel de
membrane. L’utilisation de neurones impulsionnels offre
la possibilit´ e d’int´ egrer facilement des biais sur les traite-

Figure 3. (c) image d’entr´ ee. (a) saillances extraites de l’image d’entr´ ee, les pixels les plus blancs sont les plus saillants et les
plus sombres les moins saillants. Ces saillances ont ´ et´ e obtenu en travaillant seulement sur la luminosit´ e. (b) idem, mais en
travaillant cette fois sur la luminosit´ e et les couleurs. (d) Les diff´ erences d’activation entre (a) et (b) sont repr´ esent´ e par les
zones entour´ ees en pointillis.
ments interm´ ediaires pour impl´ ementer des m´ ecanismes at-
tentionnels.
References
[1] Sander Bohte. The evidence for neural information processing with
precise spike-times: A survey. Natural Computing, 3:195–206,
2004.
[2] C. Brody and J.J. Hopfield. Simple networks for spike-timing-
based computation, with application to olfactory processing. Neu-
ron, 37:843–852, 2003.
[3] R. Brooks. Intelligence without representation. Artificial Intelli-
gence, 47:139–159, 1991.
[4] S. Chevallier, P. Tarroux, and H. Paugam-Moisy. Saliency extraction
with a distributed spiking neural network. In Proc. of European
Symposium on Artificial Neural Networks, pages 209–214, 2006.
[5] D. Dacey and O. Packer. Colour coding in the primate retina: di-
verse cell types and cones-specific circuitry. Current Opinion in
Neurobiology, 13:421–427, 2003.
[6] D. Floreano, J. Godjevac, A. Martinoli, F.Mondada, and J-D.
Nicoud. Advances in Intelligent Autonomous Agents, chapter De-
sign, Control, and Applications of Autonomous Mobile Robots.
Kluwer, 1998.
[7] D. George and F. Sommer. Computing with inter-spike interval
codes in networks of integrate and fire neurons. Neurocomputing,
65-66:415–420, 2005.
[8] W. Gerstner and W. Kistler. Spiking Neuron Models. Cambridge
University Press, 2002.
[9] D. Heinke and G. Humphreys. Connectionist Models in Psychol-
ogy, chapter Computational Models of Visual Selective Attention:
A Review. Houghton, G., in press.
[10] L. Itti, G. Rees, and J. Tsotsos, editors. Neurobiology of Atten-
tion, chapter Models of Bottom-Up Attention and Saliency. Elsevier,
2005.
[11] JP. Jones and LA. Palmer. An evaluation of the two-dimensional
gabor filter model of simple receptive fields in cat striate cortex.
Journal of Neurophysiology, 58(6):1233–1258, 1987.
[12] T. Kadir and M. Brady. Saliency, scale and image description. In-
ternational Journal of Computer Vision, 45(2):83–105, 2001.
[13] P. Kornprobst, T. Vi´ eville, and I.K. Dimov. Could early visual pro-
cesses be sufficient to label motions? In Int. Joint Conf. on Neural
Networks, IJCNN’05, pages 1687–1692. IEEE-INNS, 2005.
[14] R. Legenstein, C. Neger, and W. Maas. What can a neuron
learn with spike-time-dependent plasticity? Neural Computation,
17(11):2337–2382, 2005.
[15] W. Maass and C. Bishop, editors. Pulsed Neural Networks. MIT-
Press, 1999.
[16] R. Masland. The fundamental plan of the retina. Nature neuro-
science, 4(9):877–886, 2001.
[17] L. Perrinet. Efficient source detection using integrate-and-fire neu-
rons. In W. Duch et al., editor, Int. Conf. on Artificial Neural Net-
works, volume 3696 of Lecture Notes in Computer Science, pages
167–172. Springer-Verlag, 2005.
[18] R. Shapley and M. Hawken. Neural mechanisms for color percep-
tion in the primary visual cortex. Current Opinion in Neurobiology,
12:426–432, 2002.
[19] J. Sima and J. Sgall. On the nonlearnability of a single spiking neu-
ron. Neural Computation, 17(12):2635–2647, 2005.
[20] A. Treisman and G. Gelade. A feature-integration theory of atten-
tion. Cognitive Psychology, 12(1), 1980.
[21] S. Treue. Visual attention: the where, what, how and why of
saliency. Current Opinion in Neurobiology, 13:428–432, 2003.
[22] J. Wolfe. Seeing, chapter Visual attention, pages 335–386. Aca-
demic Press, 2me edition, 2000.
[23] Florentin W¨ org¨ otter, Norbert Kr¨ uger, Nicolas Pugeault, Dirk Calow,
Marcus Lappe, Karl Pauwels, Marc Van Hulle, Sovira Tan, and
Alan Johnston. Early cognitive vision: Using gestalt-laws for task-
dependent, active image-processing. Natural Computing, 3:293–
321, 2004.