L`apport de l`eye tracking dans l`étude du fonctionnement de

L’apport de l’eye tracking dans
l’étude du fonctionnement de la
mémoire à long terme visuelle de
scènes complexes en fonction de
l’expertise des sujets
Eye Tracking Day, ULB, 2015
Adélaïde Blavier & Anne-Sophie Nyssen
Laboratoire d’Ergonomie Cognitive, ULg
Deux manières d’étudier la
mémoire visuelle
 Point de vue optimiste
 Point de vue pessimiste
Notre mémoire est-elle efficiente?
Point de vue pessimiste
 De nombreuses recherches montrent que la
mémoire visuelle est




Faillible
Imprécise
Suggestible
Sujette à l’interférence
Notre mémoire est-elle efficiente?
Point de vue pessimiste
 Capacité de mémoriser des milliers d’images mais ces
souvenirs manquent de details
 Change blindness
 Interférence en function des suggestions de
l’expérimentateur
 Études sur les participants sains ou atteints de
pathologie
 Ex: faux souvenirs, amnésie, témoignages oculaires
 = multiples indications que la mémoire visuelle est très
incomplète (Loftus, 2003)
Notre mémoire est-elle efficiente?
Point de vue optimiste
 Capacités de stockage massives


La mémoire visuelle à Long terme (VLTM) est
capacble de mémoriser un nombre massif
d’objets de manière détaillée à partir d’images
(Standing, 1973; Brady et al., 2008; Konkle,
2010)
Mémoire des experts (e.g. chess players
Gobet & Simon, 2000; Gobet, 1998;
physicians, Ross, 2006)
Standing study (1973)
 Présentation de 10.000 scènes
Standing study (1973)
 Présentation de 10.000 scènes
 Test avec choix forcé entre 2 ou 3 alternatives
Standing study (1973)
 Présentation de 10.000 scènes
 Test avec choix forcé entre 2 ou 3 alternatives
 Taux de réussite:


90% (2FC)
84% (3FC)
 Suggère l’existence d’une large capacité de
stockage d’images
Brady and al. Study (2008)
 Images de 2.500 objets
pendant 5h30
Brady and al. Study (2008)
 Test avec l’item
présenté et :

Un objet d’une
nouvelle catégorie
Brady and al. Study (2008)
 Test avec l’item
présenté et :

Un objet de la même
catégorie de base
Brady and al. Study (2008)
 Test avec l’item
présenté et :

Un objet de la même
catégorie de base
Brady and al. Study (2008)
 Test avec l’item
présenté et :

Le même objet dans
un état ou une position
différente
Brady and al. Study (2008)
 Performance
remarquablement bonne:

Objet d’une nouvelle
catégorie (92%)

Objet d’une même
catégorie de base (88%)

Le même objet dans un
état ou une position
différente (87%)
Real-scene memory
 Larges capacités mnésiques pour les objets
 Mais comment est la mémoire pour les
scenes complexes?



Tous les details d’une scène n’ont pas la
même taille, la même importance et le même
sens
Rôle de la taille et du type du detail
(grand/petit, figure/fond)
Signification du détail
Impact du temps de présentation
sur la mémoire visuelle
 Accumulation
d’information avec les
fixations oculaires
 Plus longtemps on regarde
l’image, meilleure est la
performance
Melcher studies (2001, 2006)
Impact of meaning: central vs
marginal information
 Accumulation
d’information avec les
fixations oculaires
 Plus longtemps on regarde
l’image, meilleure est la
performance
 Différence entre les items
d’intérêt central et les
items d’intérêt marginal
 Items d’intérêt central
toujours mieux mémorisés
Melcher studies (2001, 2006)
Melcher studies (2001, 2006)
 Items d’intérêt central mieux mémorisés que les
items d’intérêt marginal
 Pourquoi?

Sont-ils observés plus tôt et/ou plus souvent?


Influence de signification et du sens de l’item?


La mémoire depend du temps d’encodage et donc
du movement des yeux
La mémoire depend de la signification
Les deux explications?
 Nécessité d’enregistrer le movement des yeux pour
répondre à cette question
Notre objectif: étudier la relation entre la
VLTM and
 Le movement oculaire
 Le sens et signification d’un item:


Central vs marginal interest
Abstract vs non abstract paintings
 Expertise

Novices vs Experts


Arts (Art historians)
Circulation routière (conducteurs vs non
conducteurs)
Objectif
 Notre objectif est d’étudier la mémoire
visuelle (VM)



De scènes complexes et/ou naturelles
En fonction de l’expertise des sujets
En fonction du type de détail
Hypotheses
 Effect of expertise

Experts will perform better than novices
 Effect of meaning

Memory performance will be better for central
information than for marginal information
 Interaction between meaning and expertise?

Will the difference between experts and
novices vary according to the type of detail?
EXEMPLE DANS LE DOMAINE
DE L’ART - PEINTURE
Eye movement and art
 Centre de gravité (Kaufman & Richards, 1969)
 Plus les peintures sont complexes, plus les fixations
oculaires sont courtes (Molnar, 1974, 1981)
 Style de la peinture: Différents mouvements et fixations
selon le style et la période (Molnar, 1974)



Classical art: mouvements oculaires amples et lents
Baroque: mouvements oculaires courts et rapides
Vue plus globale que locale pour les peintures abstraites
(Vogt & Magnussen, 2007; Zangemeister et al., 1995)
 Préférence pour les têtes humaines et les visages
supérieure à tout le reste (couleur or contraste et
luminosité… Yarbus, 1967)
Eye movements and expertise
 Regarder une peinture n’est pas une activité réalisée au
hazard, on peut attendre un effet de l’expertise
 Les novices observant plus les objets individuellement
que les relations entre les éléments (Nodine et al., 1993)
 Les novices ont plus de fixations sur les traits humains et
les objets reconnaissables (Vogt, 1999)
 Les experts ont plus de fixations sur les aspects abstraits
 Le plus attractifs pour les yeux= toutes les
caractéristiques qui ont un sens pour l’observateur
(Yarbus, 1967)
Memory, eye tracking and expertise
 In Vogt & Magnussen study (2007),



Les artistes mémorisent mieux les peintures
abstraites que les novices
Les artistes ont une meilleure performance
pour les details picturaux de tous les types de
peinture
Le movement des yeux des artistes varie en
fonction de la tâche, ce qui n’est pas le cas
pour les novices
Experimental plan
 15 novices and 15 historiens de l’art
 6 paintings presented for 10 seconds
 Questions about general knowledge (authors, painting
name, score: 0-4)
 Questions about


Central interest information
Marginal interest information, 2 types
 Small detail
 Background information
 Self confidence rating (1-5)
Exemple de question: central interest
De quel côté se trouve
l’homme avec le
manteau blanc?
Quel est l’animal
représenté sur le
devant de la peinture?
Exemple de question: marginal interest
Qu’est-ce qui se trouvait
sur la table?
Dans quelle main
l’homme au centre
tient-il les épées?
Exemple de question: background
D’où vient la lumière?
Quelle est la couleur du
rideau?
Résultats(1): Prior knowledge
 Les 2 groupes diffèrent quant à leur expertise
pour toutes les peintures
Experts significantly knew better
all paintings than novices (p<0.0)
Experts were more confident
Self confidence about prior knowledge
5
5
4
4
3
Série1
2
1
Score
Score
Prior knowledge about the paintings
3
Série1
2
1
0
0
Novices
Experts
Group
Novices
Experts
Group
⇒ les experts ont significativement une meilleure
connaissance préalable des peintures que les novices
Results(2): Memory accuracy
Memory accuracy
Total performance:
1,2
Novices = Experts
(10.41±1.9) (11.5±0.51,
p>0.1)
Score %
1,0
0,8
Novices
0,6
Experts
0,4
0,2
Experts>Novices
Seulement pour les details
marginaux
0,0
Background
Central interest
Small detail
Detail type
 Central information > background information > marginal details
Results(3): Self confidence
Self confidence
self confidence and m em ory accuracy
5
4
Novices right
3
Novices w rong
2
Experts right
1
Experts w rong
0
Background
Central
marginal
Type of detail
 Les experts sont plus confiants que les novices pour le
background et les détails marginaux
 Novices: central information > background information > marginal
details
 Experts: background = central information > marginal details
Results(4): temps passé dans la zone
Total time in zone
3,0
Time (sec)
2,5
Novices right
2,0
Novices wrong
1,5
Experts right
1,0
Experts wrong
0,5
0,0
Background
Central
Marginal
Type of detail
 Background zone > central target > marginal interest target
 experts = novices pour details marginaux tandis que experts >
novices pour le background et les items d’intérêt central
 Performance des novices influencée par le temps passé sur l’item
tandis que performance des experts pas influencée par le temps
passé sur l’item
Results(5): Fixations points
Number of fixations count
Fixation count
5
4
Novices right
3
Novices wrong
2
Experts right
Experts wrong
1
0
Background
Central
Marginal
Type of detail
 Novices: plus de points fixation points quand leur
performance est correcte
 Experts: pas de difference entre les réponses
correctes et incorrectes
 Même pattern de résultats pour la durée des fixations
Results(6):effet de primauté
Duration (seconds)
Duration before the first arrival
8
7
6
5
4
3
2
1
0
Novices right
Novices wrong
Experts right
Experts wrong
Background
Central
Marginal
Type of detail
 Background zone observée plus tôt que les items
d’intérêt central et marginal
 Novices: performance meilleure quand arrivent tôt sur
l’item
 Experts: pas de relation entre performance et effet de
primauté
Results(7):Correlations
Novices
Experts
Experts
4,0
No v i c e s
14
3,8
3,6
Total time in the
zone
3,4
3,2
10
Total time in zone (seconds)
To ta l ti me i n zo n e (se co n d s)
12
8
6
4
3,0
2,8
2,6
2,4
2,2
2,0
1,8
2
1,6
1,4
0
1,2
1,0
0,45
-2
0 ,1
0 ,2
0 ,3
0 ,4
0 ,5
0 ,6
0 ,7
0 ,8
0 ,9
1 ,0
0,50
0,55
0,60
0,65
0,70
0,75
0,80
0,85
1 ,1
Answer accuracy
An s we r a c c u ra c y
0.0022
0.68
Novices
Experts
12
9
8
Duration before first fixation arrival (seconds)
Duration before
the first arrival
Duration before first fixation arrival (seconds)
10
8
6
4
2
7
6
5
4
3
2
1
0
0
-2
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
Answer accuracy
-1
0,45
0,50
0,55
0,60
0,65
0,70
0,75
0,80
Answer accuracy
-0.60
0.19
0,85
Discussion
 Memoire: central > background > marginal
 Mouvements des yeux: background > central >
marginal
 Meilleure performance pour information
d’intérêt central

Meaning (signification) > visual processing
 Item d’intérêt marginal : role de la taille de la
surface et du mouvement des yeux
 Performance Novice est plus influencée par
mouvement des yeux que performance experte
Discussion
 Expert performance was not always better than novice
responses
 Experts have some wrong representations
 These wrong representations are not influenced by
eye movements and thus by visual stimulus
 Contrary to novices whom memory accuracy is
influenced by their eye movements
⇒ Did experts base their answers on their representation
in memory more than on the visual stimulus?
Discussion
 Novices have only one source of memory

Visual stimulus (V)
 While experts have 2 sources of memory:


Visual stimulus (V)
Representation in memory (R)
What is the influence of R on visual processing
and memory?
Complex scene memory
Impact of top-down processes
 Expertise
 Not always better performance than novices
 Influence of eye movements on performance
decreases with expertise
 Meaning of stimuli
 Abstract < non abstract stimuli
 Conceptual importance of items
 Central vs marginal interest
Methods
 Subjects: 15 subjects into 3 groups according
to their level of driving expertise

novices, <5 years and >5 years of experience
 Stimuli: road images divided into 3 levels of
complexity (5 second presentation)
Methods
 Subjects: 15 subjects into 3 groups according
to their level of driving expertise

novices, <5 years and >5 years of experience
 Stimuli: road images divided into 3 levels of
complexity (5 second presentation)
 Task: After each image presentation, 6
questions


3 about central information for driving and
3 about marginal items (not relevant for driving)
 Estimation of self-confidence (1-10)
Methods
 Task: After each image presentation, 6
questions


3 about central information for driving and
3 about marginal items (not relevant for driving)
 Estimation of self-confidence (1-10)
Results (1): effect of expertise
 Significant effect of expertise (p<0.00)

Experts and experts + performed better than
novices
Total correct answers
0,7
0,6
0,5
0,4
Total rép
0,3
0,2
0,1
0
Novices
Experts
Experts +
Results (2): Effect of detail type
 Significant effect of detail type (p<0.000)

Better performance with central information
than with marginal information
0,7
0,6
0,5
0,4
score
0,3
0,2
0,1
0
Central
Detail
Results (3): Both effects of
subject’s expertise and detail type
 No interaction effect (p=0.8)

Difference between central and marginal
information is stable independantly of subject’s
expertise
0,7
0,6
0,5
0,4
Réponses Centrales
Réponses Détails
0,3
0,2
0,1
0
Novices
Experts
Experts +
Results (4): Same results for self
confidence
 No interaction effect (p=0.8)

Difference between central and marginal
information is stable independantly of subject’s
expertise
8
7
6
5
Coefficients Centrales
4
Coefficients Détails
3
2
1
0
Novices
Experts
Experts +
Results (5): Difference according
to gender
score
 Score: no difference
between women and
men
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
score
Women
men
self confidence
6,2
6
 Self confidence: men
significantly more
confident than women
5,8
5,6
5,4
self confidence
5,2
5
4,8
4,6
Women
men
Discussion: drivers
 Experts performed better than novices

No difference between less and more
experienced experts
 Memory performance is better for central
information than for marginal information
independantly of expertise
Discussion: central vs marginal
information
 Difference between central and marginal
information suggests that


Meaning is powerful for visual memory
Visual memory is conceptual
 However, increasing in visual memory
performance with expertise is constant for
both central and marginal information
Conclusion
 Our findings suggest


Memory is conceptual and gives priority to
central information according to its meaning
Priority scale is stable independantly of


Time (Melcher, 2001, 2006)
Subjects’ expertise (our findings)
 This study should be extended to other work
domains


Control screens (anaesthesiology, control room,
etc.)
In order to increase efficient training and safety
Question?
Thank you for your attention!
Thanks to the Cognitive Ergonomics Lab,
FNRS and ULg