Présentation

1
Architectures matérielles de
calcul naturel
Benoît Miramond – ETIS Lab
NeuroSTIC 2014
Miramond - ETIS
30/06/2014
2
Miramond - ETIS
De l’électronique embarquée à
l’électronique incarnée
30/06/2014
3
Miramond - ETIS
De l’électronique embarquée à
l’électronique incarnée
Déterminisme
Adaptation
30/06/2014
4
Architecture adaptative
Miramond - ETIS
30/06/2014
5
Architecture adaptative
Miramond - ETIS
30/06/2014
• Circuits reconfigurables
• L’organisation interne du
calculateur dépend de
l’environnement
• Donc basée sur l’expérience
• Quelles conséquences sur le
comportement du robot ?
6
Embodied computing
Miramond - ETIS
30/06/2014
Calcul incarné
Conception d’une architecture matérielle de contrôle robotique
L’organisation interne du
calculateur dépend de la nature et
de la richesse de l’information
sensorielle :
• Basée sur l’expérience
• Cette expérience est apprise par
un réseau de neurone distribué
à chaque cellule du système
MPSoC
Conduit au concept de
Plasticité matérielle
Francisco Varela, Evan Thompson et Eleanor Rosch, The Embodied Mind: Cognitive Science and Human
Experience, 1991
Andy Clark, Being There: Putting Brain, Body and World Together Again (1997)
Rolf Pfeifer, Max Lungarella, Fumiya Iida, Self-Organization, Embodiment, and Biologically Inspired Robotics,
Science, 2007
7
La plasticité de l’architecture
embarquée comme reflet de expérience
Miramond - ETIS
30/06/2014
Chaque processeur peut exécuter
un traitement particulier,
parallélisable (modèle cortical)
Les processeurs sont réunis en
aires de traitements qui sont en
compétition les une les autres
pendant la phase
développementale
A chaque processeur est associé un
neurone dont le rôle est de
l’associer à un type de modalité (ici
couleurs)
Rodriguez, L.; Miramond, B.; Kalbousi, I.; Granado, B., "Embodied Computing: Self-adaptation in Bio-inspired
Reconfigurable Architectures," Parallel and Distributed Processing Symposium Workshops & PhD Forum
(IPDPSW), 2012 IEEE 26th International , vol., no., pp.413,418, 21-25 May 2012
8
De la période critique …
Miramond - ETIS
30/06/2014
CRITICAL PERIOD PLASTICITY IN LOCAL CORTICAL CIRCUITS, T. Hensch, Nature 2005
Neurodevelopment: Unlocking the brain, J. Bardin, Nature news feature, 2012
[Peter R. Huttenlocher, NeuralPlasticity, The Effects of Environment on the
Development of the Cerebral Cortex, 2002]
9
Miramond - ETIS
… à la plasticité cérébrale
30/06/2014
• [Michael Merzenich, Paul Bach-Y-Rita, Jon Kaas …]
• Illustration dans les expériences de substitution sensorielle
sur personnes non-voyantes :
▫ “we see with our brains not our eyes !”
P.Bach-y-Rita. 1967. Sensory Plasticity. Acta Neurologica Scandinavica, 43:417-26
10
Une organisation dirigée
par les informations sensorielles
Miramond - ETIS
Sensory maps
Neural maps
30/06/2014
Processing maps
Electronic boards implementation
11
Miramond - ETIS
Nos problématiques
Robotique
autonome
Modèles bioinspirés
Traitement
embarqué
temps réel
Apprentissage
[Projet RobotSoC2013]
30/06/2014
12
Miramond - ETIS
Plan de la présentation
I. Contexte
II. Smart camera de saillance visuelle
III. Missions de navigation
IV. Plasticité matérielle
V. Conclusion
30/06/2014
13
Miramond - ETIS
30/06/2014
Petit test de reconnaissance
14
Miramond - ETIS
30/06/2014
15
Miramond - ETIS
30/06/2014
…
16
Miramond - ETIS
30/06/2014
17
Miramond - ETIS
30/06/2014
Notre caméra sur le robot
Capteur d’images
Traitement embarqué
Robot patrouilleur
18
Miramond - ETIS
30/06/2014
19
Miramond - ETIS
30/06/2014
Feature Integration
Theory
[Treisman and Gelade]
[Itti and Koch]
Laurent Itti, Christof Koch, and Ernst Niebur. 1998. A Model of Saliency-Based Visual Attention for Rapid Scene
Analysis. IEEE Trans. Pattern Anal. Mach. Intell. 20, 11 (November 1998), 1254-1259.
20
Miramond - ETIS
Hmax
30/06/2014
Robust object recognition with cortex-like
mechanisms, IEEE Transactions on Pattern
Analysis and Machine Intelligence, T. Serre, L.
Wolf, S. Bileschi, M. Riesenhuber, T. Poggio
Hierarchical models of object rec-ognition in cortex
Riesenhuber, M., and Poggio, T. (1999).. Nat.
Neurosci. 2, 1019–1025.
CNN
(Lnet)
Convolutional networks for image, speech and
time-series, Y. Lecun, and Y. Bengio , 1995
DH Hubel and TN Wiesel. Receptive elds of single neurones in the cat's striate cortex. The Journal
of Physiology, 148(3):574, 1959.
21
Pyramide de DoG
Miramond - ETIS
30/06/2014
Crowley, J, Riff O. Fast computation of scale normalised Gaussian receptive fields, Proc. Scale-Space'03, Springer Lecture Notes in
Computer Science, volume 2695, 2003
P. Gaussier, J.P. Cocquerez (1992), Neural Networks for complex scene recognition: simulation of a visual system with several cortical
areas, International Join Conference on Neural Networks Baltimore, IEEE Press, Vol 3, p 233-259
22
Miramond - ETIS
30/06/2014
Images récupérées pour la navigation
Entre 35 et 40% de l’information initiale
Robotique
autonome
Modèles bioinspirés
Traitement
embarqué
temps réel
Apprentissage
23
Miramond - ETIS
30/06/2014
RobotSoC: Setup expérimental
Poster/Démo 3
(mardi)
Model available at http://www-etis.ensea.fr/robotsoc/
Feature
readback + Eth
stack
Visual
chain
Hardware
Reconfigurable
matrix
(100 MHz)
Dual-core cortex
A9
(500 MHz)
Embedded
SRAM Memory
Ethernet link
24
Format de sortie de la
caméra
Miramond - ETIS
30/06/2014
Imagettes apprises
Images transmises
Réduction de plus de 60% de l’information transmise
25
Miramond - ETIS
30/06/2014
26
Miramond - ETIS
30/06/2014
Apprentissage de trajectoires
Création d’un bassin d’attraction par l’association de plusieurs cellules de lieu
27
Miramond - ETIS
Association sensori-motrice
P Gaussier and S. Zrehen. Perac : a neural architecture to control artificial animals.
Robotics and Autonomous Systems, 16(2{4) :291{320, 1995.
Robotique
autonome
Modèles bioinspirés
Traitement
embarqué
temps réel
Apprentissage
30/06/2014
28
Navigation basée vision
Miramond - ETIS
30/06/2014
Videos available at http://www-etis.ensea.fr/robotsoc/
L. Fiack, N. Cuperlier, B. Miramond, Embedded and real-time architecture for bio-inspired vision based robot
navigation, Journal of Real-Time Image Processing (JRTIP), 2014
29
Navigation basée vision
Ronde en
intérieure
Miramond - ETIS
Ronde avec
obtruction
30/06/2014
30
Focalisation d’attention
Miramond - ETIS
30/06/2014
Système visuel commun d’extraction de saillance
et de recherche sérielle
Navigation
/
Recherche
top-down
1
3
4
2
bottom-up
Carte de saillance
basse résolution
Mouvement
Intensité
Saccades
Couleur
Orientation
31
Miramond - ETIS
Sensory maps
Neural maps
30/06/2014
Processing maps
32
Miramond - ETIS
30/06/2014
33
Propriétés recherchées
du modèle neuronal
Miramond - ETIS
30/06/2014
• Apprentissage non-supervisé
• Utilisant uniquement des connexions locales
• Organisation des aires selon la richesse des données
sensorielles
• Emergence de la notion de voisinage entre
classes de données proches
• Réduction de la multi-dimensionnalité des
entrées dans l’espace de la carte
• Regroupe les données sensorielles en classes
Représentation
qui respectent la topologie d’entrée
Dans l’espace de la carte
34
Formulation du problème
Miramond - ETIS
30/06/2014
• Chaque données sensorielle est associée à une classe Ck.
• Une tâche spécifique Tk correspond au traitement de la
donnée de classe Ck.
• Dans l’espace d’entrée, chaque classe peut être dotée d’une
densité de probabilité d’apparition Pk.
• La carte appends la richesse relative de
chaque classe de manière à adapter la
taille de l’aire de traitement associée
• Ce qui consiste à réduire le MQE
(distortion)
Représentation dans l’espace d’entrées
35
Modèle neuronaux de
quantification vectorielle
Miramond - ETIS
30/06/2014
Neural Gas
T. Martinetz, S. Berkovich, and K. Schulten. "Neural-gas" Network for Vector Quantization and its Application to
Time-Series Prediction. IEEE-Transactions on Neural Networks, 4(4):558-569, 1993
Self-organizing maps (SOM)
T. Kohonen, Self-Organized Formation of Topologically Correct Feature Maps, Biological Cybernetics, vol. 46, pp.
59–69, 1982
Dynamic Self-Organizing Map (DSOM)
Nicolas P. Rougier and Yann Boniface, Dynamic Self-Organising Map, A computational model of cortical
plasticity, 2011
36
Comparaison dans le cas
dynamique
3
1
2
4
[N.Rougier, Y. Boniface, DSOM, 2011]
Miramond - ETIS
30/06/2014
37
Miramond - ETIS
30/06/2014
Vers une carte localement connectée
Champs récepteur du RF-LISSOM
Connectivité locale du DMAD-SOM
[Miikkulainen et al. 1997]
[Rodriguez et al. 2013]
38
Comment palier ce
manque de connexions ?
Miramond - ETIS
30/06/2014
Activity
Distributed learning
Activity dependent learning
[L. Rodriguez, B. Miramond, B. Granado, Toward a sparse self-organizing map for neuromorphic architectures, ACM Journal of
Emerging Technologies in Computing Systems, 2014]
39
Le simulateur neuronal
Miramond - ETIS
30/06/2014
Poster/Démo 8
(mercredi)
Simulateur C++ / JAVA
Videos available at http://projet-saturn.ensea.fr/
40
Confrontation des 3 modèles
Miramond - ETIS
30/06/2014
[L. Rodriguez, B. Miramond, B. Granado, Toward a sparse self-organizing map for neuromorphic architectures, ACM Journal of
Emerging Technologies in Computing Systems, 2014]
41
Résultats expérimentaux
Données réelles
[Rodriguez2012]
Miramond - ETIS
30/06/2014
Données artificielles
[Rodriguez2013, 2014]
42
Conception matérielle
du modèle neuronal
Architecture matérielle d’un
neurone
ETIS Lab
Résultats d’intégration sur
circuit :
• 1200 (8 bits) neurones
• 324 (16 bits) neurones
Stratix V 5SGSMD8N3F45 is composed of 512k ALUTs, 50M memory bits and 1963 DSPs
43
Miramond - ETIS
Plan de la présentation
I. Contexte
II. Smart camera de saillance visuelle
III. Missions de navigation
IV. Plasticité matérielle
V. Conclusion
30/06/2014
44
Miramond - ETIS
30/06/2014
Vers une architecture adaptative et
programmable organisée en 4 couches
45
Miramond - ETIS
30/06/2014
Vers une architecture adaptative et
programmable organisée en 4 couches
Expérimentation
robotique
Modèles bioinspirés
Intégration
matérielle
Neurones
artificiels
46
Miramond - ETIS
Merci
30/06/2014