corps fœtal - corps mental [ le corps amoureux / la poche humaine ]

corps fœtal - corps mental
[ le corps amoureux / la poche humaine ]
environnement immersif enactif sous membrane
anika mignotte
cicv pierre schaeffer
* enaction (francisco varela) : co-générativité, co-émergence
au sein d’un couplage structural organisme / environnement
FINALITE : DE L'AUTEUR AU VISITEUR







20 décembre 2001
CICV / FTR&D / anika mignotte
synchronisation " au fil du
temps présent "
des fonctionnalités
physiologiques et mentales
en relation empathique /
enactive avec l'environnement
rapport à soi-même ... à l'autre
… naissance de soi à partir de
l'autre
2nde poche foetale pour "
états de conscience "
… partage de " mondes "
écriture
2
FINALITE : DE L'AUTEUR A L'INGENIEUR
INTERFACE
HOMME-SYSTEME
 utiliser comme ihs  une “
membrane immersive à taille
humaine “
 permettre au visiteur un suivi en
biofeedback des variations
physiologiques de sa réactivité
corporelle intime  " scanner
émotionnel "
20 décembre 2001
NEUROINFORMATIQUE
AFFECTIVE COMPUTING
 initier (archaïquement) un
système informatique  à la
détection des " états " de son
visiteur
 en réponse à cette détection 
envisager la réactivité du
système par l'image et le son
CICV / FTR&D / anika mignotte
3
DESCRIPTION ET PRINCIPES
interface membranaire

immersion physique du visiteur à l'intérieur d'une structure
membranaire (gonflable)  forme torique ou ovoïde
 interactivité avec l'image et le son  par le biais des
paramètres physiologiques de son corps et du toucher
 métaphore de l'interface
 œuf / matrice - ménage espace intime et protégé
 poche ovoïde = sphère individuelle (2 m de diamètre)
 visiteur debout sous la membrane
 libre interactivité par le toucher à bout de bras
20 décembre 2001
CICV / FTR&D / anika mignotte
4
DESCRIPTION ET PRINCIPES
20 décembre 2001
CICV / FTR&D / anika mignotte
5
DESCRIPTION ET PRINCIPES
interactivité par physiologie

visiteur équipé de capteurs physiologiques
 rythme cardiaque, tension artérielle, fréquence respiratoire,
réponse électrodermale (sueur de la main), thermovasculaire,…
 1  traitement multi-agents
 en flux continu, imagerie dynamique temps réel des variabilités
énergétiques de son corps  “ scanner émotionnel “
vidéoprojeté sur les parois
 2  analyse combinatoire des mesures
 en flux continu, traduction de la variabilité des paramètres
physiologiques en termes de réactivité émotionnelle (activation
/ qualité d’état)
20 décembre 2001
CICV / FTR&D / anika mignotte
6
DESCRIPTION ET PRINCIPES
interactivité par toucher

visiteur environné dans / par une matière de type organique
 continuum plastique sur métaphore cellulaire
 “ sensibilité cutanée ” de la membrane
 toucher de cette peau
 déclenchement de surgissements visuels et sonores à l'endroit
du contact
 contenus
 architecturés autour d'une scénarisation de “ mondes ” (univers
psychologiques du bardo & bribes sur êtres virtuels)
 appel des séquences calé sur une conversation avec la
détection de réactivité émotionnelle (phase ou anti-phase)
20 décembre 2001
CICV / FTR&D / anika mignotte
7
DESCRIPTION ET PRINCIPES
20 décembre 2001
CICV / FTR&D / anika mignotte
8
ENJEUX SCIENTIFIQUES
“ je me représente la perception des émotions à la manière de
l'observation, depuis une fenêtre, d'un paysage continuellement
changeant, dans lequel figure des objets en mouvement, plus ou
moins lumineux et plus ou moins bruyants. ce paysage est, en
fait, le corps : il présente une structure, constituée par la
distribution dans l'espace de ces objets - qui sont les organes
internes : cœur, poumons, intestins, muscles ; et il est caractérisé
par un “ état ” : la luminosité et les bruits que ces objets émettent,
signaux qui traduisent leur état de fonctionnement à chaque
moment. ”
antonio damasio – l'erreur de descartes
20 décembre 2001
CICV / FTR&D / anika mignotte
9
ENJEUX SCIENTIFIQUES
" scanner émotionnel "
correspondance physiologie / émotion
enjeu  à partir d'une captation physiologique source 
initier deux types de feedbacks automatisés
 1• " scanner émotionnel " (simulation par multi-agents de
représentation)
 2• automation de correspondance physiologie / émotion 
règles génératives de réactivité du système (affective
computing)
 compétences  pluridisciplinaires en sciences cognitives
 en ia : systèmes multi-agents / réseaux de neurones
 en neurophysiologie de l'émotion
 en psychologie (intersubjectivité, empathie, imitation...)

20 décembre 2001
CICV / FTR&D / anika mignotte
10
ENJEUX SCIENTIFIQUES - PHYSIOLOGIE
captation physiologique
traductibilité émotionnelle

que peut-on mesurer ? comment mesurer ?
 comment interpréter la combinatoire des mesures ?
 2 équipes cnrs : lpm - université lyon1 (10 ans d'expérience)
 microcapteurs microsystèmes biomédicaux
 neurophysiologie sensorielle émotion vigilance
 1999  correspondances mesures physiologiques / émotions
de base
 prototype semi-automatisé  intervention expert pour
interprétation finale
 enjeu projet  passer à automation totale (libre interactivité
temps réel)
20 décembre 2001
CICV / FTR&D / anika mignotte
11
ENJEUX SCIENTIFIQUES - IA : SCANNER
simulation systèmes complexes
- agents de représentation

adaptation du projet " le jardin des hasards "
 bernard gortais / guillaume hutzler (lip6 - ftr&d, 1999)
 version " physiologie humaine " - sur métaphore cellulaire
 idem projet (virus 2.0)
 stéphane sikora (univ. paris 5) / joseph nechvatal (artiste)
 sma 1 agent / pixel - propagation sur mode viral
 projet associé au projet en cours " mises-en-scène "
 bernard gortais / guillaume hutzler (univ. évry - ftr&d, 2001)
 interface multimodale dédiée au spectacle vivant
 co-générativité " grilles " entre elles (captation / interprétation /
restitution images et sons / validation auteur)
20 décembre 2001
CICV / FTR&D / anika mignotte
12
ENJEUX SCIENTIFIQUES - IA : AUTOMATION
automation de détection physiologie / émotion
- réseau de neurones
détection d’émergences de patterns (réactivité physiologique
& réactivité émotionnelle)  clustering & apprentissage
 R de passerelles  automatisation de correspondance
interprétative entre les deux
 réitération des captations  sur des physiologies dirigées
(vécus émotionnels dirigés par acteurs - secondés par
monitoring visuel)
 apprentissage " initié / supervisé "
 à partir consignes préalables d'analyse combinatoire des
mesures (lyon1)
 par retour d'informations des expérimentateurs - acteurs

20 décembre 2001
CICV / FTR&D / anika mignotte
13
CONTEXTE SCIENTIFIQUE
recherches • émotion

20 décembre 2001
neurologie / psychologie
 antonio damasio - university of iowa, us  self-consciousness
 doctorant david rudrauf (ex-francisco varela) - équipe
neurodynamique cnrs paris, france  synchronisation
neuronale
 joseph ledoux - university of new-york, us  emotional brain /
memory and emotion
 jean decety - center for mind, brain, & learning, university of
washington, seattle, us (ex-inserm lyon)  empathie / imitation
 aaron ben-ze'ev - center for the interdisciplinary research of
emotions, university of haifa, israël  psychology / philosophy
CICV / FTR&D / anika mignotte
14
CONTEXTE SCIENTIFIQUE
recherches • émotion

20 décembre 2001
psychophysiologie / expressions faciales / voix
 paul ekman - university of california, san francisco, us 
universalité des émotions de base (joie, surprise, tristesse,
dégoût, peur, colère)
 arvid kappas - research group for fundamental processes in
cognition and emotion, university of hull, uk
 andré dittmar, évelyne vernet-maury - groupe de
neurophysiologistes émotions et vigilance, université lyon1,
france
CICV / FTR&D / anika mignotte
15
CONTEXTE SCIENTIFIQUE
recherches interdisciplinaires france
• cognition
cognition  compréhension des rapports entre fonctionnement
esprit et matière (cerveau, corps, ordinateur) : perception, mémoire,
langage, raisonnement, action, émotions, conscience, ...
 communauté multiple  neurosciences, psychiatrie, psychologie,
linguistique, philosophie, anthropologie, informatique,
mathématiques, logique, intelligence artificielle, robotique, ...
 applications sociales  santé, éducation,... & technologiques 
information, communication

20 décembre 2001
CICV / FTR&D / anika mignotte
16
CONTEXTE SCIENTIFIQUE
recherches interdisciplinaires france
• cognition

appels à projets annuels aci cognitique (menrt)
 favoriser collaborations entre sciences humaines et sociales,
sciences de la vie (neurosciences) et sciences de l'information
(informatique, robotique)
 atelier risc " apprentissage développement émotion "
 jacqueline nadel - groupe développement & psychopathologie,
hôpital salpétrière cnrs paris
 philippe gaussier - etis groupe neurocybernétique, ensea /
université cergy pontoise
 pierre andry - doctorant  apprentissage du mouvement chez
robot par synchronisation temporelle
20 décembre 2001
CICV / FTR&D / anika mignotte
17
CONTEXTE SCIENTIFIQUE ... INDUSTRIEL
recherches • neuroinformatique

programmes CE
 " initiative proactive neurosciences " commune à :
- qualité de la vie : ligne brain theories / computational
neurosciences and neuroinformatics
- ist : ligne neuroinformatics for living arterfacts
 recherche de passerelles entre neurophysiologie humaine et
neuroinformatique naissante
 systèmes qui vivent se développent s'auto-adaptent évoluent
au-delà de la simple programmation - open-ended evolution &
internal goals sur modèle morpho-neuro-genèse du vivant
 évolution des systèmes informatiques vers conception de 
machines “ vivantes ” et “ émotionnelles ”
20 décembre 2001
CICV / FTR&D / anika mignotte
18
CONTEXTE SCIENTIFIQUE ... INDUSTRIEL
recherches • affective computing
 observer et modéliser les comportements humains que
l'artefact est lui-même censé reproduire
 détection / qualification réactivité émotionnelle humaine
 synthétisation pseudo-émotionnelle dans attributs réactionnels
machine
 rosalind picard - affective computing research group, mit media
lab, boston, us
 aaron sloman - cognition and affect project, university of
birmingham, uk
 klaus scherer - geneva emotion research group, université de
genève, suisse
20 décembre 2001
CICV / FTR&D / anika mignotte
19
ENJEUX INDUSTRIELS


20 décembre 2001
débouchés industriels / usages  interaction homme(s) /
machine(s) par l'affect
maison du futur, éducation, santé, information,
communication,...
 en robotique - communautés mixtes hommes / ordinateurs /
robots  concept d’interfaces “ sensibles et intelligentes “ ... “
empathiques “
 en e-marketing  détermination de profils pour accès
personnalisés aux contenus de l’internet
 en conception de jeux vidéo (en réseau)  prise en compte de
la réactivité neuro-végétative dans stratégie des scénarii et
évaluation des performances
CICV / FTR&D / anika mignotte
20
ENJEUX RECHERCHE INTERFACE


20 décembre 2001
immersive, membranaire, organique, physiologiquement
appareillée, visuelle, sonore, haptique, réactive à l'affect
 sollicitation  des sens et du plaisir (“ ventre de la mère ” 
contact originel)
 implication personnelle   par processus interactif intime
émotionnel introspectif
contexte d'étude privilégié en ihs
 réactions de l'individu à l'appareillage technologique ? à
l'immersion  aisance à interagir ?
 importance de la prise en compte de l'affect dans la conception
des ihs ?
 la membrane comme enveloppe sensorielle “ empathique “ 
pour enfants autistes
CICV / FTR&D / anika mignotte
21
ENJEUX RECHERCHE INTERFACE

20 décembre 2001
… en cognition
 bouleversements cognitifs liés au couplage ++  “ réactivité
physiologique ” / “ imagerie mentale ”
 rôle de l’émotion dans processus cognitifs  impact sur
perception, imagerie mentale, mémoire,...  psychologie
cognitive
 rôle de l’empathie (capacité de partage d’émotions, d’imitation)
dans développement cognitif  cognition sociale
 nouveau type d'approche sensorielle et cognitive  dans
processus de réception de l'œuvre artistique
CICV / FTR&D / anika mignotte
22
but de l'architecture  que l'émergence cartographique du monitoring
informe les principes d'émergence dynamique du système capté
= 1 physiologie humaine épousant en continu 1 continuum réactionnel émotionnel
un être humain  1 émergence
émotionnelle dynamique en
perpétuel process corps / cerveau
une ihs
un ordinateur réactionnel à l'humain sur le calque
d'un comportement d'auteur
1) membrane  immersion dans
tunnel organique images sons
1) recevoir des signaux, les analyser, les interpréter
1) physiologie  processus
haptique  environnement
 émergence d'une modélisation de
biologiques, neurologiques,... =>
fœtal
correspondance émotion / physiologie
répercussion sur rythme
2) dispositif de captation /
• un sma  cartographie système complexe =
cardiaque, respiration, peau,... interprétation  physiologie
physiologie du corps humain / combinatoire de
données captables avec
corporelle / affect & toucher
paramètres de captation
appareillage externe
i) enjeu artistique 
• un système neuronal  clustering / apprentissage
2) émotions  états réactionnels
scénographique, visuel et
à partir des lignes de force dégagées au terme
spontanés, non intentionnels avec
sonore  continuum
de réitérations sur des physiologies dirigées 
effet feed-back sur physiologie et
organique
dégager des émergences d'états ?
imagerie mentale - favorisées dans • prédisposer à l'émotion, solliciter
2) initier une réponse  émettre image et son
contexte artistique
la plasticité humaine (travail
comme 1 " synthétisation " de réactivité
3) cognition  imagerie mentale /
acteur)
émotionnelle d'auteur
perceptions / évaluation / décision / • problématique de réception de
i) enjeu neuro-informatique / " machine vivante " 
action / mémoire
l'oeuvre / posture intime "
vivent, se développent, s'auto-adaptent,
i) enjeu  automatisation des
spectateur - acteur "
évoluent au-delà de la simple programmation 
conditions d'expérimentation "
open-ended evolution & internal goals sur le
ii) enjeu lié à l'ihs  étude
correspondance mesures
modèle de la morpho-neuro-genèse du vivant
comportement de l'être
physiologiques / réactivité
humain en réaction à 
ii) enjeu affective computing / " machine
émotionnelle " 
émotionnelle " 
•
l'appareillage
technologique
psychophysiologie de l'émotion
embarqué  aisance à
• ? un système peut capter et comprendre le monde
ii) enjeu 
interagir ?
(social robots)
• étude sur rôle des émotions dans
• un environnement impliquant
• l'utiliser pour observer et modéliser les
processus cognitifs : impact sur
notion de plaisir  importance
comportements humains que lui-même est
perception, imagerie mentale,
de la prise en compte de
censé reproduire
mémoire,...  psychologie
l'affect dans la conception des
iii) enjeu artistique  écriture / pilotage de la
cognitive
ihs
scénarisation
• étude sur rôle de l’empathie (capacité
... la membrane comme enveloppe
• choix de l'appel des mondes, des séquences,
de partage d'émotions, d’imitation)
sensorielle
" FTR&D
empathique
"mignotte
rythmes de navigation, traitements temps
réel,...
20
décembre
2001
CICV
/
/
anika
23
dans développement cognitif 
pour enfants autistes
cognition sociale
20 décembre 2001
CICV / FTR&D / anika mignotte
24
POUR L'AUTEUR … POUR LE VISITEUR
l’être en contact par le corps … en enaction émotionnelle avec
l’environnement
continuum organique
 finalité immersive sensorielle / mentale  synchronie avec soi-même bas niveau " physiologie / imagerie mentale "
 réactivité corporelle rendue visuelle environnante : " effet miroir "
conscience du langage du corps  s'oublier donc se rencontrer
 sensorialité avivée comme dans rêve éveillé  surgissement de
perceptions formes mentales nouvelles troublantes mystérieuses ?
dialogue renouvelé ?
 pour auteur comme pour visiteur  outil = corps / mental contraint au
sein de l’environnement que lui-même contraint
 réception de l’oeuvre dans le champ actif de l’expérience  connaître
implique l’action  montée vers “ la conscience en action “
20 décembre 2001
CICV / FTR&D / anika mignotte
25
POUR L'AUTEUR … POUR LE VISITEUR


renvoie à la " praxis " intime de l'acteur  techniques de préparation liées
à la relaxation la concentration la mémoire l'imagination … retrouver
l'expérience
 " matière "  le réel sensoriel psychologique … l’écosystème du
moment
 à partir de lui  possible de sculpter une situation une relation
 sans anticipation  à partir de la seule " disponibilité " ... à l’émotion
 rendue vibrante  parce qu’incarnée en relation avec le contexte
environnant  propre à déclencher l'empathie
… à " celle " de l'être humain
20 décembre 2001
CICV / FTR&D / anika mignotte
26
POUR L'AUTEUR … POUR LE VISITEUR
système nerveux, vidéos & sons
 finalité conversationnelle visiteur / environnement  synchronie avec
l’autre
 de part et d'autre boucles ré-itérées : détection  " perception " &
stimulation  " action " - via  " internalisation "
 réaction émotionnelle enactive  on ne naît qu’avec l’autre
 le spectateur n'est plus passif  rien ne se passe sans lui
 qualité de l'expérimentation artistique en prise directe avec
générosité de l’implication cognitive  donner pour recevoir
 écrire  capacité du système à établir lien tension avec celui qui le visite
 contenus visuels sonores des " mondes " (6 émotions / 6 couleurs)
 règles génératives de réponse du système  cumul de couches 
articulation progressive d'1 histoire-témoin (en 1ère personne) " au
milieu “  " faire monde " par interpénétration sédimentation d'univers
successifs mutuellement éclairés
20 décembre 2001
CICV / FTR&D / anika mignotte
27
TROIS MOTS
immersion émotion empathie
placer l'acte artistique en un endroit qui associe
fonctions biologiques et fonctions cognitives
dans un même
“ faire monde ” … maternel
ou amoureux
20 décembre 2001
CICV / FTR&D / anika mignotte
28
MONDES
le corps
stade de vie primitive
stade de l'énergie
poussée originelle
sensation d'être présent
à la réalité du monde physique
qui nous incorpore dedans
liberté de prendre en soi
de faire grandir en soi
cette chose pour se libérer de là
faire confiance à cette ébauche
pour en contenir d'autres
à venir
20 décembre 2001
CICV / FTR&D / anika mignotte
29
éternité
pas plus haut pour nous les hommes
encore seulement des hommes
viable encore
point final
perte de conscience
la mort est claire et mate
on devient le vent
quelque chose ou rien
naissance
regarder un bébé dormir
être attentif à un souffle
quiétude à rêver
ce qui est vierge encore
qui va durer
ce qui a le temps
le temps est là
lui apprendre à respirer
20 décembre 2001
passé
la douleur commence
expérience de perdre quelque chose
un rêve enfoui
fait notre présent dans l'inconscient
on est ailleurs un autre temps
quand on était enfant
ce qui n'a pas duré
qu'on nous a volé
besoin
une raison un nœud
réalité de l'autre là
sous les doigts
plaisir d'embrasser
manger sentir
concrètement
y revenir
l'autre
la peau l'odeur
faire couler téter avaler
CICV / FTR&D / anika mignotte
30
chemins
monde du genre humain
croisements
monde de la route
les hommes travaillent
des lendemains qui tiennent
des voyages au sol ferme
mise en œuvre de sa liberté
ont passé repasseront
ont l'âme dedans
ondes
dilatation écartèlement
poumons vibrations brûlure
trop pleinement
va-t-on tenir
presque mal
les muscles raidissent
fassent hurler
laisser passer ne pas bloquer
laisser venir jusqu'à toucher
la douleur une extase
20 décembre 2001
sommeil
glisser plus loin
enfoncer épais
tout est velours
se dérober se retourner
s'isoler capitonné
disparaître s'effondrer persévérer
on rêve éveillé
volet fermé
on est là à côté milieu de nulle part
intra-soi
affaissement
le monde dégouline
la terre tire
des couloirs comme des boyaux
des ventres obscènes animaux
on y est dedans
imbibés flasques et spongieux
langues grossies
nous somme dans la terre
elle est molle
CICV / FTR&D / anika mignotte
31
tumultes
là où rien ne dure
tout jaillit
fait gicler
urgence densité pression température
ne veut pas rester là
essayer ailleurs autrement
voir sans cesse différemment
morceaux de vie
seuil de la résistance
peurs
hantent la maison
nos membres nos souvenirs
les ancêtres guettent
ceux de ma race
leurs âmes suspendues dans la
mienne
mais je danse
20 décembre 2001
ruptures
monde de la distance du paradoxe
on a perdu
moment de silence de deuil
pan de falaise arraché
on y est comme des réfugiés
on attend dans l'atmosphère cristallisée
le halo du matin
là où les blocs ont catapultés
comme des hallucinés
le monde s'est refermé
délivrance
plus violent parce que dans l'action
moment inconscient
acte définitif
coup de fusil
attaque à mains armées
peur à déformer à cracher sa tétanie
mort de concentration
les coups sont secs
les brouillards raides comme des murs
CICV / FTR&D / anika mignotte
32
20 décembre 2001
CICV / FTR&D / anika mignotte
33
ARTICULATION RECHERCHE - PARTENAIRES
producteur associé
 direction artistique  pierre bongiovanni - cicv pierre schaeffer
 conception / montage de projet
 postproduction images et sons / expertise régie
phase 1 - pré-expérimentale
  marie-claire busnel (psychobiologie du développement)
 préparation / repérage (avec capteurs physiologiques)
phase 2 - supervision informatique
 ia  alexis drogoul - équipe myriad, lip6, université paris 6
 dea iarfa intelligence artificielle distribuée & systèmes multi-agents
 collaboration (direction de thèses) avec ftr&d studio créatif, i-les-m
 interaction multimodale avec système multi-agents
 apprentissage par réseaux de neurones
20 décembre 2001
CICV / FTR&D / anika mignotte
34
ARTICULATION RECHERCHE - PARTENAIRES
phase 2 - supervision cognition humaine
 neurophysiologie émotion  évelyne vernet-maury - groupe microcapteurs
microsystèmes biomédicaux & neurophysiologie sensorielle émotion
vigilance, université lyon1
 matériel captation embarqué
 traductibilité réactivité physiologique en activation émotionnelle (émotions
de base)
phase 2 & 3 - ? supervision & protocoles utilisant l'interface
 neurophysiologie de l'intentionnalité  jean decety - social cognitive
neuroscience lab, cmbl, university of washington, seattle (contact en cours)
 neurophysiologie / psychologie développementale
 empathie - imitation chez l’enfant (enveloppe sensorielle pour enfants
autistes)
20 décembre 2001
CICV / FTR&D / anika mignotte
35
20 décembre 2001
CICV / FTR&D / anika mignotte
36