CorVis - Huma-Num

ADONIS - Univ. Valpré - 6 déc 2010
Réflexions préliminaires pour un
Centre de Ressources pour les Corpus Vidéo
Laboratoire ICAR
Lorenza Mondada @ univ-lyon2.fr
avec la collaboration de C. Etienne et I. Colon
Plan
• Objectif: un point sur les pratiques de la vidéo en SHS en vue de la
création d’un centre de ressources pour la production-annotationarchivage-exploitation des corpus vidéos documentant des activités
sociales et langagières in situ (CorViS)
• 1. Contexte institutionnel et compétences: laboratoire ICAR
• 2. Situation en SHS
 2.1. Communautés concernées
 2.2. Quelques repères historiques
 2.3. Différents usages de la vidéo en SHS
• 3. Technologies




3.1. Chaîne de production
3.2. Enregistrements vidéo
3.3. Annotation de corpus vidéo
3.4. Banques de données
Contexte:
étude de
faisabilité
pour un centre
de ressources
sur les corpus
vidéo
(laboratoire
ICAR pour
ADONIS,
2010-2011,
depuis
septembre
2010)
• 4. Centre de ressources pour les corpus vidéo: objectifs
2
1. Contexte institutionnel et compétences scientifiques:
laboratoire ICAR
• Laboratoire ICAR
 (UMR5191 Lyon / CNRS-Lyon2-ENS Lyon) (env. 60 permanents)
 Dans ICAR, I = Interaction; C = Corpus
• Traitement des corpus audio-vidéo + textuels
 Seul laboratoire en France à être spécialisé dans l’analyse des corpus de
parole en interaction recueillis en situation écologique-naturelle
• Méthodologie vidéo
• Analyse multimodale des interactions sociales
 Langage - gestes - regards - mimiques faciales - postures corporelles déplacements - manipulations d’objets
• Interdisciplinarité
 Linguistique --> sciences sociales, sciences cognitives, sciences de l’éducation
Reconnaissance
scientifique
internationale
Maîtrise de la
totalité de la
chaîne de
production des
corpus
Infrastructures &
plateformes
technologiques
Formation
3
1.1. Contexte institutionnel et compétences scientifiques:
infrastructures
• a. Banque de données CLAPI
• b. Autres banques de données: ViSA
• c. Plateforme StuViMo (Studio Video Mobile)
4
1.1.a CLAPI - Corpus de Langue Parlée en Interaction
• Site web: http://clapi.univ-lyon2.fr
ARCHIVAGE
• Médiathèque: plus de 600h audio/vidéo; BdD: 135h
(50h transcrites XML requêtables) soit 455.000 mots balisés
• Export TEI depuis 2006 --> interopérable
OUTILS
• Concordancier avec signal aligné
• Requêtes multi-critères, y compris
sur des phénomènes interactionnels
• Recherche de segments répétés
• Analyse automatique des distributions
•
site associé pour la diffusion des savoir-faire:
CORINTE http://icar.univ-lyon2.fr/projets/corinte
•
Plateforme soutenue par différents projets (ANR);
nombreux utilisateurs (8.000-20.000 accès/mois)
5
CRDO
6
1.1.b - autres exemples de banques de données à ICAR
ViSA - Vidéos de Situations d’enseignement et d’Apprentissage
• Site web: http://visa.inrp.fr
• Mise à disposition de la communauté scientifique d’enregistrements vidéo de
situations d’enseignement / apprentissage avec documents associés au sein
d’une BD de vidéo indexées
• Développement de bonnes pratiques de recueil et d’exploitation de vidéos en
sciences de l’éducation
• Utilisé par un consortium d’équipes
(au sein d’un PPF)
7
1.1.c StuViMo: plateforme vidéo
• Une plateforme originale: STUdio VIdéo MObile (Stuvimo)
 Mêmes exigences de qualité qu’un studio de laboratoire
 Exigences supplémentaires
– mobilité, adaptabilité à tout terrain
– mini-invasivité, miniaturisation
• Equipements audio et vidéo installables en contexte sans perturber
ce contexte
• Dispositifs multi-sources (plusieurs audio, plusieurs caméras)
coordonnés entre eux (switchers)
• Outils de post-production (synchronisation des sources)
8
1.2. Contexte institutionnel et compétences scientifiques:
expériences de formation
• Master Sciences du Langage
 Filière en linguistique interactionelle
 Modules méthodologiques
• Formation interne au laboratoire
 Formation de base
 Formation avancée (collab. INA)
• Ecoles thématiques CNRS
 Depuis 2007
 Attractivité internationale
• Summer Schools à l’étranger
 1rst Summer School of the
Intnt. Soc. For Gesture Studies
 Odense - Stockholm - Basel - Trento - …
9
2. La situation en SHS
• Deux tendances contradictoires dans l’histoire des SHS
• L’anti-visualisme de la pensée épistémologique française: une
posture très logocentrique exprimant la méfiance envers le visuel
(cf. M. Jay)
• L’explosition des techniques visuelles en SHS et la consommation
massive d’images dans de nombreux contextes sociaux
• Conséquences:
 Penser le visuel à la fois théoriquement et méthodologiquement ne va pas de soi;
 Souvent les chercheurs font des vidéos mais ne savent pas comment les utiliser;
 Les problèmes d’archivage et de pérennisation sont énormes (technologies très
changeantes) et la plupart des chercheurs n’ont pas les moyens d’y penser
• La vidéo en SHS: phénomène ancien et nouveau à la fois
 Premiers films tournés à la fin du XIXe siècle
 Boom de la vidéo cette dernière décennie
10
2.1. Communautés concernées
•
Théoriquement toutes les SHS sont concernées; en fait certains domaines seulement ont
développé une réflexion sur la vidéo utilisée sur le terrain, pour documenter des activités
situées, et pour constituer des corpus de données:
 Anthropologie/Sociologie visuelles
– Longue tradition depuis M. Mead et G. Bateson
 Analyses de l’interaction en sociologie/linguistique/anthropologie
– Recours systématique à des enregistrements pour étudier les pratiques socio-langagières en
contexte
– Corpus audio dès les ‘60s ---> vidéo dès les ‘70s et surtout depuis les ‘90s





Workplace studies; étude des situations de travail, ergonomie, CSCW
Gesture studies (psychologie, linguistique, anthropologie, etc.)
Langue des signes
Oral history
Sciences de l’éducation
11
2.2.a Quelques repères: anthropologie visuelle
• L’anthropologie visuelle, pionnier de l’utilisation du film en SHS
• Déjà à la fin du XIXe siècle Haddon recourt au film pour fixer les coutumes des
populations du détroit de Torres
12
2.2.b Quelques repères: anthropologie visuelle
•
•
•
Usages du film par Grierson et Flaherty entre les deux guerres
L’anthropologie visuelle est explicitement lancée par M. Mead et G. Bateson étudiant la culture
balinaise, invoquant le film pour dépasser les limites du langage verbal et pour dire l’ « ethos »
i.e. « the intangible aspects of culture ».
Pbl de la définition des « données »,
de leur recueil et de leur analyse,
de l’administration de la preuve



Le visuel n’est pas la connaissance
Pbl de la « fabrication » des vidéos
Problème de leur interprétation
par les anthropologues et par
les populations concernées
T. Asch
D. Macdougall
Eibel-Eibesfeldt
13
2.2.c Quelques repères: le projet interdisciplinaire
The natural history of an interview (1955)
• Analyse multi-disciplinaire d’un film documentant la consultation
psychiatrique de G. Bateson avec la patiente Doris
• Participation de Birdwhistell, qui développe un système de transcription
et annotation kinésique très précise des données vidéo
•
Our primary data are the multitudinous details of vocal and bodily action
recorded on this film. We call our treatment of such data a "natural history"
because a minimum of theory guided the collection of the data. The cameraman
inevitably made some selection in his shooting; and "Doris," the subject of the
interview, was selected for study not only because she and her husband were
willing to be studied in this way but also because this family suffered from interpersonal difficulties which had led them to seek special psychiatric aid.
• (McQuown, 1971, The Natural History of an Interview. University of
Chicago Library Microfilm Collection of Manuscripts in Cultural
Anthropology, series 15, Nos, 95-98)
14
2.2.d Pionniers de la vidéo: Kendon, Goodwin
• Adam Kendon, pionnier de l’étude des gestes en situation
naturelle
 Films dès les années 60
• Charles Goodwin est la référence mondiale pour l’étude
multimodale de l’interaction
 Il tourne ses premiers films dès le début des années 70
Porch Dinner - Goodwin & Goodwin 1970
15
2.3. Usages diversifiés de la vidéo en SHS
Différents usages de la vidéo
 Un usage de la vidéo pour diffuser des contenus - Une lecture de spectateur
– Diffusion de contenus, vidéo comme moyen de restitution de résultats, vidéo utilisée
pour la communication
– Vidéo se prétant à un visionnement total et continu du film
 Usage de la vidéo pour une élicitation de la parole organisée par les chercheurs
– Video-elicitation (Krebs 1975 sur la danse balinaise dans une perspective quasi-
expérimentale; Asch 1980 sur la transe à Bali, dans une perspective plus
phénoménologique)
– Autoconfrontation en ergonomie (Theureau), psychologie clinique (Clot)
 Un usage de documentation d’événements, activités, pratiques sociales,
en vue d’une lecture analytique
– Visionnement actif, sélectionnant des extraits, naviguant dans la vidéo
– Vidéo comme matériau, donnée, corpus (Kendon, Goodwin)
•
•
•
Focus du
centre de
ressources
pour la vidéo
située
Lecture référentielle (privilégie les contenus): la vidéo comme support mémoriel et
informationnel
vs
Lecture praxéologique (privilégie l’organisation de l’action): la vidéo comme rendant
accessible un phénomène à analyser dans sa temporalité et dynamicité (processualité)

Importance fondamentale du temps (à la fois du temps global de l’action et des détails
temporels d’un mouvement, d’un ajustement à l’autre) --> formats et logiciels qui permettent
une visualisation et manipulation de la temporalité (ralentissement, image par image, zoom)
16
3. Technologies
3.1. Chaîne de production
3.2. Enregistrements vidéo
3.3. Annotation de corpus vidéo
3.4. Banques de données
17
18
3.2. Production: enregistrements vidéo
Une approche naturaliste/écologique/située
• Vidéos de chercheurs (videos produced as data)
• Vidéos des acteurs sur le terrain (videos turned into data)
• Vidéos d’amateurs
Dans tous les cas, nous nous focalisons sur les vidéos utilisées comme corpus
pour l’étude d’activités, pratiques, usages langagiers, interactions en situation
19
3.2.a Approche écologique/naturaliste/située de la vidéo
• Approche située de la langue, de l’action, de la cognition:
importance du contexte
 Saisir la parole, l’action, les pratiques sociales « out there », où elles se
produisent (vs. dans des situations contrôlées en laboratoire)
 Pratique de terrain, ethnographie comme préparation du tournage
 Contraintes du contexte sur l’enregistrement, que l’enregistrement doit respecter
(vs. les besoins de l’enregistrement contraignent l’action et le contexte filmés)
• Conséquences sur la manière de filmer
Adapter l’enregistrement à l’action en la perturbant le moins possible
 Préserver la temporalité de l’action
 Préserver le format de participation et la disponibilité mutuelle des participants
 Préserver un accès continu aux détails pertinents de l’action (qui l’organisent
comme telle et envers lesquels s’orientent les participants)
=> adoption du plan séquence continu (vs. fragments filmés et assemblés ensuite
par montage)
20
3.2.b vidéos de chercheurs
21
22
• Prise de vue unique
souvent insuffisante
• Prise de vue multiple
Prises de vue
du chercheur:
unique vs multiscope
23
3.2.c vidéos produites par les acteurs
• Utiliser les vidéos produites
par les acteurs in situ comme corpus
 Avantages et problèmes
• Définitions différentes
du tissu de pertinences
=> cadrages différents
• Exemple: chirurgie
vidéo du chercheur
vidéo des participants
24
3.2.d Vidéos d’amateurs
Parfois les chercheurs recourent aux vidéos d’amateurs pour les utiliser à des fins d’analyse:
ne pas se limiter à recueillir les vidéos qu’ils produisent
ne pas oublier leurs pratiques de la vidéo
•
25
3.2.e production de vidéos: résumé
•
•
•
Qui produit la vidéo? Une multiplicité de sources
Videos as data vs. videos turned into data
Une variété de producteurs de vidéo








•
Chercheurs de différentes disciplines
Les professionnels de la vidéo
Vidéos utilisées professionnellement (ex. endoscopie)
Activités médiatisées par la vidéo (ex. visioconférence)
Vidéosurveillance - cctv
Amateurs
Les vidéos dans les archives
….
Vidéos d’acteurs: produites sans aucune intrusion du chercheur, elles
obéissent à des pertinences qui ne sont pas les siennes et qu’il faut décrire
(=> déplacement d’objet: de ce que documente la vidéo ----->
vers les pratiques vidéo des acteurs).
26
3.3. Traitement des corpus vidéo
• a. données premières
• b. données secondaires
• c. alignement entre données primaires et secondaires
27
3.3.a Traitement des données vidéo primaires
• Enregistrement
 Changement rapide des technologies (SD, HD) et des supports (cassettes, mini-dv, disques durs
incorporés, cartes flash, etc.)
• Formats et codecs standards de sauvegarde
 Problème de récupération de vieux supports et formats
•
•
•
•
Multi-source --> à synchroniser éventuellement
Compression
Anonymisation du signal
Articulation entre plusieurs types de données primaires (artefacts)
(exemple: écrits rédigés durant la réunion enregistrée)
28
3.3.b Traitement des données vidéo secondaires
• annotation - transcription - codage
• Défi: standardisation des
conventions de transcription
ou de codage du multimodal
• Nombreux outils permettant
des annotations
à différents degrés de granularité
• Problèmes de représentation
de données complexes
• Métadonnées pour la vidéo
• Problèmes d’édition
Exemple: annotation personnalisée
sur la base du logiciel ELAN
29
3.3.c Alignement entre données primaires et secondaires
• Alignement de la vidéo et du texte (transcription)
 Permet l’association rigoureuse des données primaires (enregistrement) et des données
secondaires (transcription)
 Permet un accès immédiat à des points repères temporels précis de la vidéo
• Plusieurs logiciels: CLAN, ANVIL, transana, ELAN, …
• Deux types de représentations du temps:
 liste
 partition
30
31
32
3.4. Organisation des corpus
• Stockage
• Archivage pérenne
• Diffusion
• Plateformes/Bases de données
 Articulation de matériaux très hétérogènes
 Moteurs de recherche
Défis & verrous
technologiques
Evolution très
rapide des
technologies
Guerre des formats
Grosses masses de
données (HD)
Pas de
standardisation des
transcriptionscodage
Pas de requêtes
sur le signal
33
3.4.a Organisation des corpus: hypervidéos
• Tim Asch et alii, A Balinese Trance Seance (1980) [cd-rom]
•
4.1. Un exemple tiré de l’anthropologie visuelle
34
3.4.b
Les banques de données de corpus
• Bases de corpus vidéos





Enregistrement vidéo/audio (donnée primaire)
Artefacts, visualisations, textes, ou autres objets récoltés sur le terrain et liés à l’activité enregistrée
Transcriptions (alignées) (donnée secondaire) à différents niveaux de granularité
Conventions de transcription
Métadonnées
– Spécifiques pour les documents vidéo
 Autorisation des personnes filmées
 Bibliographie des analyses sur le corpus
• Exemples de bases existantes
 CLAPI (Corpus de Langue Parlée en Interaction) au laboratoire ICAR (http://clapi.univ-lyon2.fr/)
 TalkBank aux USA (http://www.talkbank.org)
 Banques de données du MPI (http://www.mpi.nl/world/corpus/index.html)
 Projet Langue des Signes (Paris8 / LIMSI / IRIT)
 …
35
4. Centre de ressources pour les corpus vidéo: objectifs
•
Fédérer la communauté des chercheurs en vidéo


•
•
•
Forums de discussion
Lieux de confrontations de pratiques de recueil et
d’analyse
Updates sur les technologies d’enregistrement et
l’évolution des formats
Informations sur l’éthique
Plateforme de stockage/archivage/diffusion

Soutien à la préparation des données pour la
pérennisation (standardisation)
•
•
Outils d’alignement, d’annotation, conventions
existantes, standardisation
Outils de requête
Formation
•
•
Modes de publication spécifiques
Réseautage international
•



Summer schools
Avec les chercheurs européens
Avec les institutions (CLARIN…)
Préalables
• state of the art en France
qui fait quoi et où?
• re. state of the art
international
• identification exacte du
périmètre
- interdisciplinarité
- vidéos documentant des
pratiques situées
- vs. vidéos de laboratoire
Développement des
banques de données
existantes pour mieux
s’ajuster aux spécificités de
la vidéo
36
4. Centre de ressources pour les corpus vidéo:
forces humaines et gouvernance
Personnels actuellement engagés sur ce front
dans le laboratoire ICAR:
•
•
•
•
•
•
Lorenza Mondada
Carole Etienne, Daniel Valero (informatique)
Emilie Chardon, Justine Lascar (base CLAPI)
1 CDD (à partir du 1.12 < Adonis)
Autres chercheurs pratiquant l’analyse vidéo
V. Traverso, K. Lund,
A. Tiberghien, L. Veillard, G. Niccolai
In fieri: organigramme et
gouvernance
• coordination du centre
• animation scientifique de la
communauté, des formations
• personnel dédié: compétences:
- travaillant sur les données
- répondant aux demandes
spécifiques des chercheurs
- développant des outils
• instance de validation, décision,
sélection, arbitrage des
contenus/propositions/projets
• comité scientifique
advisory board international
37