Les mouvements oculaires - Unité de Recherche en Sciences

La poursuite et la stratégie visuelle permettentelles une efficacité comportementale ?
Les mouvements oculaires : enregistrement,
modélisation et applications.
Laurent Sparrow
http://ureca.recherche.univ-lille3.fr/sparrow/
UES-R-4b Contrôle Moteur 2013-2014
Introduction
1- présentation des MO et aspects techniques
2- MO et lecture
3- MO et perception visuelle
4- MO et action
5- Langage et motricité
6- Apprentissage en réalité augmentée
Zone où l’acuité visuelle est au maximum
Le champ visuel correspond à l’espace que l’œil peut percevoir lorsqu’il est immobile : il a
l’avantage d’être large, mais malheureusement, seule une infime partie de cet espace,
située au centre, permet une vision précise.
Par conséquent, pour explorer son environnement, l’œil doit se déplacer…
A première vue, cette organisation, pourrait être considérée comme désavantageuse car
elle restreint notre capacité à percevoir les stimuli visuels complexes à la seule vision
fovéale…
…mais la majeure partie des informations présente dans le champ visuel est bien
souvent inutile pour l'accomplissement des comportements dans lesquels l'individu est
engagé !
Le développement d'une fovéa si sophistiquée + la capacité à déplacer de façon rapide
et précise les yeux = une évolution phylogénétique essentielle permettant au primate de
sélectionner l'information visuelle pertinente parmi le flux sensoriel ascendant.
Pour explorer une image complexe comme celle-ci, l’œil procède grâce à une
série de bonds très rapides appelés saccades oculaires.
Ces déplacements rapides sont suivis de périodes de fixations (l’oeil est
immobile) permettant l’analyse.
Au final on alimente les traitements cognitifs avec uniquement les informations utiles.
• l'étude de ces mouvements oculaires permet alors de repérer les informations qui
ont été sélectionnées parmi d'autres
• par déduction, de comprendre les mécanismes impliqués dans la vision.
 Analyse des processus mis en jeux dans la lecture, l’exploration
d’images, de films…
 Hypothèses plus complexes : motricité = PPDC entre différents types
de langages (oral, écrit, gestuel). Plus généralement : interface entre
processus moteurs (bas niveaux) et sémantiques (haut niveau)
MAIS aussi :
 utilisation des MO comme mécanisme de contrôle du comportement :
 perception augmentée (apprentissages)
 compression flux vidéo
 interfaces pilotées par le regard
D’abord, un peu de technique…
Motricité oculaire
3 paires de muscles antagonistes
Vertical
Horizontal
Torsion
Mouvements
• convergence
• saccade
• torsion
• poursuite
• nystagmus
• dérive et microsaccades
• nystagmus
physiologique
Convergence
Saccades
Mouvements très rapides (20 à 40ms) permettant de positionner la fovéa sur le mot à
lire.
L’amplitude de ces saccades est variable (en moyenne 10 caractères).
Déroulement des saccades
Le reflet cornéen : les zones à considérer :
L’œil réfléchi la lumière,
dans la même direction…
Si on ne se trouve pas dans la même direction, que les réflexions
alors la pupille paraît sombre.
Sinon, la pupille paraît plus claire…
C’est ce phénomène que l’on observe parfois sur les photos prises avec
un flash…
Reconnaissance des formes : vidéo oculographie
Combinaison des 2 systèmes : reflet cornéen + vidéo oculographie
ASL avec compensation des mouvements de la tête
Dispositif d’enregistrement des mouvements oculaire (EYELINK 1000)
Ecran de présentation
Une caméra infra-rouge
filme les yeux du
spectateur.
La position du regard est
calculée grâce à des
algorithmes de
reconnaissance des
formes.
Participant
Caméra
Ecran de contrôle
L’enregistrement des mouvements oculaires : un exemple concret
The eyes moves = saccade
in red = original data
The eyes are stable = fixation
time
these data cannot be used in this form : it is necessary to distinguish between
saccades and fixations. Why ?
when the eyes move the retinal image is not stable (it is as if you take a picture
while moving). So, visual processing is partially suppressed during a saccade.
our perception of the world is limited to discrete moments between saccades
when our eyes are stationary that we call "fixation"
It’s very important to detect these fixations
which is critical when analyzing data is how fixations are detected :
in red = original data
blue line = detected fixation
Error: this
fixation
was not
detected
error: this
fixation is too
long
Ok !
Transformation des parcours oculaires en carte de fixation :
Chaque carré = fixation
Taille du carré = durée de la
fixation
Période de prise d’information
LECTURE
Mais en lecture, le déplacement des yeux est beaucoup plus régulier :
 petites saccades horizontales de la gauche vers la droite
 les durées de fixations ne sont pas les mêmes
 grandes saccades de retours de ligne
A noter :
 le mot « était » est fixé 2 fois
 le mot « fille » n’est pas fixé
DPF = premier passage
durée de regard (gaze duration) = la somme de la première fixation + la suivante
Si le lecteur quitte le mot puis y revient plus tard = régression
Comment expliquer la variabilité des durées de fixation ?
Point de fixation
On pourrait supposer que la meilleur stratégie de positionnement de l’œil, celle
qui permettrait de n’utiliser que la vision fovéale, serait la meilleure en lecture … ?
40
35
% of saccade
30
25
20
15
10
5
0
0-10
15-45
60-100
position in word
Le lecteur ne regarde pas le milieu du mot
La vitesse de lecture diminue d’1/3 si
on limite le champ de vision à la seule
vision fovéale
Comment rendre compte des effets des facteurs suivants sur les durées de fixations :
 La fréquence des mots
 La prédictibilité
 L’amorçage parafovéal
 La latence saccadique
Une réponse : le modèle EZ-Reader
Reichle, E.D., Pollatsek, A., Fisher, D.L., & Rayner, K. (1998). Toward a model of eye
movement control in reading. Psychological Review, 105(1), 125-157.
EZ Reader : 3 étapes pour l’identification des mots :
1. Analyse visuelle précoce (V), pré-attentive
2. 2 étapes lexicales (étapes attentives)
1. L1 : « familiarity check » : permet la programmation d’une saccade vers le
mot n+1
2. L2 : « completion of lexical access » : déplacement de l’attention vers le mot
n+1
• L1 = une estimation selon laquelle le mot a des chances raisonnables d’être identifié,
donc on peut engager le processus de déroulement d’une saccade (il y a peu de chances
de devoir faire une régression)
• L2 = le mot est identifié. Passons au mot suivant (déplacement du spot attentionnel)
V : analyse visuelle précoce
L1 : test de la familiarité
L2 : accès lexical
étape 2 : analyse en vision parafovéale
réalisation de la saccade :
Latence saccadique :
Entre 100-150 ms
Relation mouvement
oculaires- attention
Le modèle EZ-Reader en résumé :
Le modèle prédit correctement l’effet de la fréquence :
370
Mean Fixation Duration (ms)
350
330
FFDs obs
310
FFDs pred
290
SFDs obs
270
SFDs pred
GDs obs
250
GDs pred
230
210
190
1
2
3
Frequency Class
4
5
De même pour les probabilités de fixation :
0,8
Mean Fixation Probabilities
0,7
0,6
PrSingle obs
PrSingle pred
0,5
PrRefix obs
0,4
PrRefix pred
0,3
PrSkip obs
PrSkip pred
0,2
0,1
0
1
2
3
Frequency Class
4
5
Perception
Analyse
visuelle
précoce
Rétine
(bas niveau)
Onde N150
mémoire
Fréquence, contrainte
Accès lexical
Fixation oculaire : 250 ms
Effet de la fréquence sur les fixations
N400 (incongruité sémantique)
Décision lexicale : 500 ms
Sémantique
Compréhension
L1 : test de
la
familiarité
V : analyse visuelle précoce
L1 : test de la familiarité
L2 : accès lexical
(haut niveau)
Catégorisation : 1000 ms
Accès
lexical
Application du modèle :
 2 populations particulières ayant des difficultés en lecture
 dyslexiques
 sourds
Analyse
visuelle
précoce
Premières fixations (DPF)
L1 : test de
la
familiarité
Refixations (DR)
Accès
lexical
régressions
sémantique
Durées de fixation :
DPF
DR
FT
dpf ->dr (ms)
en %
dr -> ft( ms)
en %
S
363
434
633
N
244
298
335
D
252
531
658
71
20
270
74
54
22
91
37
279
111
406
161
• Chez le sujet sourd, on constate une augmentation des durées de fixation de la
DPF vers les DR très proche de ce qu’on observe chez le sujet « normal »
• On observe pas le même type de « blocage » lexical que celui observé chez les
dyslexiques
PERCEPTION VISUELLE
"Christ Addressing a Kneeling Woman" . Paolo Veronese (about 1546).
Scaled to 1024 x 734 pixels.
Les mouvements oculaires de 131 personnes regardant cette image ont été
enregistré.
Somme des fixations oculaires enregistrées pour les 131 participants.
Les pics correspondent aux zones les plus regardées.
Les trace s oculaires sont ensuite transformées en zones contrastées (contour plot)
Enfin, les « cartes de fixations » sont superposées à l’image d’origine.
Cela nous permet d’évaluer les zones les plus regardées par la population.
Eye movements of large populations. David S. Wooding. Behavior Research
Methods, Instruments, & Computers, 2002, 34 (4), 518-528.
Confronté à des images complexes, notre système visuel est capable
d’interpréter avec précision ces informations.
Des mécanismes et des stratégies d’exploration
particuliers sont nécessaires.
Même si la quantité d’informations a traiter est indénombrable, notre système visuel
est capable d’appréhender et d’interpréter avec précision l’ensemble de ces
informations visuelles  sélection par les mouvements oculaires
Quels mécanismes et quelles stratégies ?
La rétine
L’attention
cerveau
La cognition
La rétine et les voies nerveuses
Résultat : simplification de la complexité de l’environnement
L’attention et le traitement de l’information
• sélection des informations nécessaires à l’accomplissement d’une tâche (top down :
vers le bas) : chercher quelque chose, connaissance « a priori »
 reconnaître un lieu sur une carte, un personnage sur une photo…
• sélection des informations selon leur saillance (bottom up: vers le haut) pas de
connaissances « a priori »
 traitement automatique très rapide inconscient, réalisé en fonction des
caractéristiques de l’environnement qui attirent le regard
Importance de la motricité oculaire
Le système visuel est capable de reconnaitre certaines
caractéristiques fondamentales de l’environnement :
Orientation
intensité
contraste des couleurs
intensité
couleur
orientation
carte de salience
Les zones d’intérêts prédites par le modèle représentent environ 16% de
la surface totale de l’image.
A noter :
- Le texte est considéré comme un objet graphique comme les autres
- La phrase « une véritable palette de saveurs » n’appartient pas à une
zone d’intérêt
tps sur zone
3,78
15,50
2,76
5,46
out
0,70
8,62
0,00
0,00
total
4,48
24,12
2,76
5,46
84,38
64,26
100,00
100,00
% sur zone
En moyenne, 87% des durées de fixation concernent une zone d’intérêt
nb fix sur zone
16,00
50,00
9,00
19,00
out
4,00
26,00
0,00
0,00
total
20,00
76,00
9,00
19,00
% sur zone
80,00
65,79
100,00
100,00
En moyenne, 86% des fixations concernent une zone d’intérêt
Utilisation du modèle pour prédire les zones saillantes dans un film :
Mesure de dispersion : Cœfficient de gini
Nij = Nb points dans la
céllule (i,j)
N = Nb total de
cellules
Pij
Pij = Nij / N
Gini = ΣiΣj Pij²
63
Evolution de la dispersion (FormuleGourmet02)
64
La conception des images n’est pas adaptée à la lecture :
Aucun rappel du texte
Ni de la marque
Pourquoi ? Comment améliorer …
Positionnement du regard lorsque le texte apparait
Texte stable…
Mais forte zone saillante…
Le texte n’a pas été lu…
Le film 3 semble mieux construit :
Positionnement du
regard lorsque le texte
commence à apparaitre
Mais une zone saillante apparait
sur le texte, attirant le regard et
donc favorisant ainsi la lecture.
MO et action
Dans plusieurs sports (football, cricket, tennis) les principales actions des joueurs
consistent à attraper, intercepter, retourner ou donner à un autre joueur une balle
se déplaçant à grande vitesse.
Pour accomplir ces actions correctement, il faut être à la bonne place, au bon
moment. Cela nécessite donc de disposer :
d’une perception « efficace »
d’une motricité précise
En pratique : la contribution de la perception visuelle est aussi importante que les
capacités motrices.
On ne peut pas modifier les organes sensoriels (rétine par exemple)
Mais on peut avoir des comportements plus ou moins adaptés à l’environnement…
Et surtout, rôle de l’attention !
Comparaison de sportifs « experts » et « novices »
L’angoisse du gardien de but avant le penalty s’observe dans son regard !
On propose à des gardiens « experts » (L2 PSV Heindoven) et à des novices des clips
vidéo dans lesquels un joueur professionnel tire un penalty.
Les participants doivent stopper la balle à l’aide d’un « joystick ».
On présente des clips vidéo dans lesquels on voit :
- le joueur prendre son élan
- tirer dans le ballon
- début de l’envol de la balle
Le participant doit diriger un joystick dans la direction où il pense que le ballon va
entrer dans le but.
Visual search, anticipation and expertise in soccer goalkeepers, Journal of Sports Sciences, 2002, 20, 279-287. Saverlsbergh et al.
Le dispositif utilisé
Les gardiens experts ont une meilleure
performance.
Les experts utilisent une stratégie visuelle
moins exhaustive que les non experts (moins
de fixations mais plus longues) :
•moins de fixations (2.9 vs 4.0)
•mais plus longues (585 vs 430 ms)
•ils regardent moins de zones (2.6 vs 3.1).
Le mouvement est initié plus tardivement chez
le gardien expert (300 ms avant le tir).
Le tir se produit pendant l’intervalle 0-500
L’expert regarde surtout la balle avant d’initier son mouvement +
La jambe qui ne frappe pas
Mais : zones « non classées »
• Les zones les plus regardées par les experts sont surtout la balle, la jambe qui ne
frappe pas.
• Mais les 2 groupes montrent une tendance à regarder des zones « non classifiées ».
=> Il est possible que les zones spécifiques (jambe qui frappe, celle qui ne frappe pas,
balle) soient moins importantes que les mouvements qui se réalisent dans ces zones.
=> Par conséquent, disposer son regard dans une zone intermédiaire (non classifiée)
permet de profiter de la vision parafovéale, plus sensible aux mouvements.
Chez les experts : bons joueurs/moins bons joueurs (enfants de 11 -12 ans)
Différences concernant les comportements d’exploration visuelle entre ces
2 groupes.
Dans une expérience où les joueurs doivent intercepter une passe (football),
- les « bons joueurs » regardent systématiquement la balle ;
- les « moins bons joueurs » regardent plus fréquemment le
joueur qui reçoit la balle et aussi les hanches du joueur qui
possède la balle.
Une simulation de ce que peut produire les MO sur la perception visuelle
La scène d’origine
Chaque frame a été déplacée en fonction de la position du regard de l’observateur
humain
La zone fovéale a été calculée et est présentée de façon précise (la zone parafovéale est
floutée)
La vision de ce film est dérangeante, alors qu’en réalité, les déplacements oculaires
ne sont pas gênants.
« L’œil tranquille » ou le « quiet eye »
Vickers (1996) : basketteurs professionnels. Lancer francs
Vickers, J. N. (1997). Control of visual attention during the basketball free throw. The American Journal of
Sports Medicine, 24, 93–97.
moins bons tireurs : déplacent leur regard peu après l'initiation du mouvement et
fixent la cible pendant l'exécution du mouvement
très bons tireurs : prennent plus de temps pour la préparation du mouvement,
réalisent moins de saccades pendant la préparation et le début de l'action.
Surtout :
- La dernière fixation avant le mouvement est plus longue.
- On observe un comportement d'évitement : clignements plus nombreux et
moins de fixations sur les zones d'intérêts (ballon, panier, main...).
Effet sur la dernière fixation : préparation du mouvement.
La direction, la force, et la vélocité sont programmés + coordination bras
Probabilité plus forte de préparer de façon optimale le mouvement
Inhibition visuelle : permet de supprimer tous les stimuli distracteurs liés au
mouvement (mains et ballon se trouvent devant les yeux au moment du tir).
Les experts ont mis en place une stratégie adaptée et contrôlent leur attention
visuelle.
Quiet eye period :
A- fixation plus longue juste avant l'initiation du mouvement (dernière fixation) :
cette augmentation concernant la durée de la dernière fixation est corrélée
avec la précision du tir lointain
pendant cette période, les paramètres finaux du mouvement sont ajustés
B- inhibition de la perception visuelle :
pendant la phase d’exécution
la précision est moins bonne si le sportif laisse ses yeux fixés sur la cible
les moins bons tireurs regardent la cible au début du mouvement
L’inhibition visuelle pourrait être spécifique au sport considéré.
Billard
Mais pas d’effet sur les clignements
Journal of Motor Behavior, 2002, Vol. 34, No. 2, 197–207
Changement de la taille de la pupille (%)
30
25
20
15
10
5
0
-5
-10
Paysage
Nu féminin
Nu
masculin
Mère et
son bébé
Bébé
Marqueur de l’attention
Homme
Femme