ADONIS - Univ. Valpré - 6 déc 2010 Réflexions préliminaires pour un Centre de Ressources pour les Corpus Vidéo Laboratoire ICAR Lorenza Mondada @ univ-lyon2.fr avec la collaboration de C. Etienne et I. Colon Plan • Objectif: un point sur les pratiques de la vidéo en SHS en vue de la création d’un centre de ressources pour la production-annotationarchivage-exploitation des corpus vidéos documentant des activités sociales et langagières in situ (CorViS) • 1. Contexte institutionnel et compétences: laboratoire ICAR • 2. Situation en SHS 2.1. Communautés concernées 2.2. Quelques repères historiques 2.3. Différents usages de la vidéo en SHS • 3. Technologies 3.1. Chaîne de production 3.2. Enregistrements vidéo 3.3. Annotation de corpus vidéo 3.4. Banques de données Contexte: étude de faisabilité pour un centre de ressources sur les corpus vidéo (laboratoire ICAR pour ADONIS, 2010-2011, depuis septembre 2010) • 4. Centre de ressources pour les corpus vidéo: objectifs 2 1. Contexte institutionnel et compétences scientifiques: laboratoire ICAR • Laboratoire ICAR (UMR5191 Lyon / CNRS-Lyon2-ENS Lyon) (env. 60 permanents) Dans ICAR, I = Interaction; C = Corpus • Traitement des corpus audio-vidéo + textuels Seul laboratoire en France à être spécialisé dans l’analyse des corpus de parole en interaction recueillis en situation écologique-naturelle • Méthodologie vidéo • Analyse multimodale des interactions sociales Langage - gestes - regards - mimiques faciales - postures corporelles déplacements - manipulations d’objets • Interdisciplinarité Linguistique --> sciences sociales, sciences cognitives, sciences de l’éducation Reconnaissance scientifique internationale Maîtrise de la totalité de la chaîne de production des corpus Infrastructures & plateformes technologiques Formation 3 1.1. Contexte institutionnel et compétences scientifiques: infrastructures • a. Banque de données CLAPI • b. Autres banques de données: ViSA • c. Plateforme StuViMo (Studio Video Mobile) 4 1.1.a CLAPI - Corpus de Langue Parlée en Interaction • Site web: http://clapi.univ-lyon2.fr ARCHIVAGE • Médiathèque: plus de 600h audio/vidéo; BdD: 135h (50h transcrites XML requêtables) soit 455.000 mots balisés • Export TEI depuis 2006 --> interopérable OUTILS • Concordancier avec signal aligné • Requêtes multi-critères, y compris sur des phénomènes interactionnels • Recherche de segments répétés • Analyse automatique des distributions • site associé pour la diffusion des savoir-faire: CORINTE http://icar.univ-lyon2.fr/projets/corinte • Plateforme soutenue par différents projets (ANR); nombreux utilisateurs (8.000-20.000 accès/mois) 5 CRDO 6 1.1.b - autres exemples de banques de données à ICAR ViSA - Vidéos de Situations d’enseignement et d’Apprentissage • Site web: http://visa.inrp.fr • Mise à disposition de la communauté scientifique d’enregistrements vidéo de situations d’enseignement / apprentissage avec documents associés au sein d’une BD de vidéo indexées • Développement de bonnes pratiques de recueil et d’exploitation de vidéos en sciences de l’éducation • Utilisé par un consortium d’équipes (au sein d’un PPF) 7 1.1.c StuViMo: plateforme vidéo • Une plateforme originale: STUdio VIdéo MObile (Stuvimo) Mêmes exigences de qualité qu’un studio de laboratoire Exigences supplémentaires – mobilité, adaptabilité à tout terrain – mini-invasivité, miniaturisation • Equipements audio et vidéo installables en contexte sans perturber ce contexte • Dispositifs multi-sources (plusieurs audio, plusieurs caméras) coordonnés entre eux (switchers) • Outils de post-production (synchronisation des sources) 8 1.2. Contexte institutionnel et compétences scientifiques: expériences de formation • Master Sciences du Langage Filière en linguistique interactionelle Modules méthodologiques • Formation interne au laboratoire Formation de base Formation avancée (collab. INA) • Ecoles thématiques CNRS Depuis 2007 Attractivité internationale • Summer Schools à l’étranger 1rst Summer School of the Intnt. Soc. For Gesture Studies Odense - Stockholm - Basel - Trento - … 9 2. La situation en SHS • Deux tendances contradictoires dans l’histoire des SHS • L’anti-visualisme de la pensée épistémologique française: une posture très logocentrique exprimant la méfiance envers le visuel (cf. M. Jay) • L’explosition des techniques visuelles en SHS et la consommation massive d’images dans de nombreux contextes sociaux • Conséquences: Penser le visuel à la fois théoriquement et méthodologiquement ne va pas de soi; Souvent les chercheurs font des vidéos mais ne savent pas comment les utiliser; Les problèmes d’archivage et de pérennisation sont énormes (technologies très changeantes) et la plupart des chercheurs n’ont pas les moyens d’y penser • La vidéo en SHS: phénomène ancien et nouveau à la fois Premiers films tournés à la fin du XIXe siècle Boom de la vidéo cette dernière décennie 10 2.1. Communautés concernées • Théoriquement toutes les SHS sont concernées; en fait certains domaines seulement ont développé une réflexion sur la vidéo utilisée sur le terrain, pour documenter des activités situées, et pour constituer des corpus de données: Anthropologie/Sociologie visuelles – Longue tradition depuis M. Mead et G. Bateson Analyses de l’interaction en sociologie/linguistique/anthropologie – Recours systématique à des enregistrements pour étudier les pratiques socio-langagières en contexte – Corpus audio dès les ‘60s ---> vidéo dès les ‘70s et surtout depuis les ‘90s Workplace studies; étude des situations de travail, ergonomie, CSCW Gesture studies (psychologie, linguistique, anthropologie, etc.) Langue des signes Oral history Sciences de l’éducation 11 2.2.a Quelques repères: anthropologie visuelle • L’anthropologie visuelle, pionnier de l’utilisation du film en SHS • Déjà à la fin du XIXe siècle Haddon recourt au film pour fixer les coutumes des populations du détroit de Torres 12 2.2.b Quelques repères: anthropologie visuelle • • • Usages du film par Grierson et Flaherty entre les deux guerres L’anthropologie visuelle est explicitement lancée par M. Mead et G. Bateson étudiant la culture balinaise, invoquant le film pour dépasser les limites du langage verbal et pour dire l’ « ethos » i.e. « the intangible aspects of culture ». Pbl de la définition des « données », de leur recueil et de leur analyse, de l’administration de la preuve Le visuel n’est pas la connaissance Pbl de la « fabrication » des vidéos Problème de leur interprétation par les anthropologues et par les populations concernées T. Asch D. Macdougall Eibel-Eibesfeldt 13 2.2.c Quelques repères: le projet interdisciplinaire The natural history of an interview (1955) • Analyse multi-disciplinaire d’un film documentant la consultation psychiatrique de G. Bateson avec la patiente Doris • Participation de Birdwhistell, qui développe un système de transcription et annotation kinésique très précise des données vidéo • Our primary data are the multitudinous details of vocal and bodily action recorded on this film. We call our treatment of such data a "natural history" because a minimum of theory guided the collection of the data. The cameraman inevitably made some selection in his shooting; and "Doris," the subject of the interview, was selected for study not only because she and her husband were willing to be studied in this way but also because this family suffered from interpersonal difficulties which had led them to seek special psychiatric aid. • (McQuown, 1971, The Natural History of an Interview. University of Chicago Library Microfilm Collection of Manuscripts in Cultural Anthropology, series 15, Nos, 95-98) 14 2.2.d Pionniers de la vidéo: Kendon, Goodwin • Adam Kendon, pionnier de l’étude des gestes en situation naturelle Films dès les années 60 • Charles Goodwin est la référence mondiale pour l’étude multimodale de l’interaction Il tourne ses premiers films dès le début des années 70 Porch Dinner - Goodwin & Goodwin 1970 15 2.3. Usages diversifiés de la vidéo en SHS Différents usages de la vidéo Un usage de la vidéo pour diffuser des contenus - Une lecture de spectateur – Diffusion de contenus, vidéo comme moyen de restitution de résultats, vidéo utilisée pour la communication – Vidéo se prétant à un visionnement total et continu du film Usage de la vidéo pour une élicitation de la parole organisée par les chercheurs – Video-elicitation (Krebs 1975 sur la danse balinaise dans une perspective quasi- expérimentale; Asch 1980 sur la transe à Bali, dans une perspective plus phénoménologique) – Autoconfrontation en ergonomie (Theureau), psychologie clinique (Clot) Un usage de documentation d’événements, activités, pratiques sociales, en vue d’une lecture analytique – Visionnement actif, sélectionnant des extraits, naviguant dans la vidéo – Vidéo comme matériau, donnée, corpus (Kendon, Goodwin) • • • Focus du centre de ressources pour la vidéo située Lecture référentielle (privilégie les contenus): la vidéo comme support mémoriel et informationnel vs Lecture praxéologique (privilégie l’organisation de l’action): la vidéo comme rendant accessible un phénomène à analyser dans sa temporalité et dynamicité (processualité) Importance fondamentale du temps (à la fois du temps global de l’action et des détails temporels d’un mouvement, d’un ajustement à l’autre) --> formats et logiciels qui permettent une visualisation et manipulation de la temporalité (ralentissement, image par image, zoom) 16 3. Technologies 3.1. Chaîne de production 3.2. Enregistrements vidéo 3.3. Annotation de corpus vidéo 3.4. Banques de données 17 18 3.2. Production: enregistrements vidéo Une approche naturaliste/écologique/située • Vidéos de chercheurs (videos produced as data) • Vidéos des acteurs sur le terrain (videos turned into data) • Vidéos d’amateurs Dans tous les cas, nous nous focalisons sur les vidéos utilisées comme corpus pour l’étude d’activités, pratiques, usages langagiers, interactions en situation 19 3.2.a Approche écologique/naturaliste/située de la vidéo • Approche située de la langue, de l’action, de la cognition: importance du contexte Saisir la parole, l’action, les pratiques sociales « out there », où elles se produisent (vs. dans des situations contrôlées en laboratoire) Pratique de terrain, ethnographie comme préparation du tournage Contraintes du contexte sur l’enregistrement, que l’enregistrement doit respecter (vs. les besoins de l’enregistrement contraignent l’action et le contexte filmés) • Conséquences sur la manière de filmer Adapter l’enregistrement à l’action en la perturbant le moins possible Préserver la temporalité de l’action Préserver le format de participation et la disponibilité mutuelle des participants Préserver un accès continu aux détails pertinents de l’action (qui l’organisent comme telle et envers lesquels s’orientent les participants) => adoption du plan séquence continu (vs. fragments filmés et assemblés ensuite par montage) 20 3.2.b vidéos de chercheurs 21 22 • Prise de vue unique souvent insuffisante • Prise de vue multiple Prises de vue du chercheur: unique vs multiscope 23 3.2.c vidéos produites par les acteurs • Utiliser les vidéos produites par les acteurs in situ comme corpus Avantages et problèmes • Définitions différentes du tissu de pertinences => cadrages différents • Exemple: chirurgie vidéo du chercheur vidéo des participants 24 3.2.d Vidéos d’amateurs Parfois les chercheurs recourent aux vidéos d’amateurs pour les utiliser à des fins d’analyse: ne pas se limiter à recueillir les vidéos qu’ils produisent ne pas oublier leurs pratiques de la vidéo • 25 3.2.e production de vidéos: résumé • • • Qui produit la vidéo? Une multiplicité de sources Videos as data vs. videos turned into data Une variété de producteurs de vidéo • Chercheurs de différentes disciplines Les professionnels de la vidéo Vidéos utilisées professionnellement (ex. endoscopie) Activités médiatisées par la vidéo (ex. visioconférence) Vidéosurveillance - cctv Amateurs Les vidéos dans les archives …. Vidéos d’acteurs: produites sans aucune intrusion du chercheur, elles obéissent à des pertinences qui ne sont pas les siennes et qu’il faut décrire (=> déplacement d’objet: de ce que documente la vidéo -----> vers les pratiques vidéo des acteurs). 26 3.3. Traitement des corpus vidéo • a. données premières • b. données secondaires • c. alignement entre données primaires et secondaires 27 3.3.a Traitement des données vidéo primaires • Enregistrement Changement rapide des technologies (SD, HD) et des supports (cassettes, mini-dv, disques durs incorporés, cartes flash, etc.) • Formats et codecs standards de sauvegarde Problème de récupération de vieux supports et formats • • • • Multi-source --> à synchroniser éventuellement Compression Anonymisation du signal Articulation entre plusieurs types de données primaires (artefacts) (exemple: écrits rédigés durant la réunion enregistrée) 28 3.3.b Traitement des données vidéo secondaires • annotation - transcription - codage • Défi: standardisation des conventions de transcription ou de codage du multimodal • Nombreux outils permettant des annotations à différents degrés de granularité • Problèmes de représentation de données complexes • Métadonnées pour la vidéo • Problèmes d’édition Exemple: annotation personnalisée sur la base du logiciel ELAN 29 3.3.c Alignement entre données primaires et secondaires • Alignement de la vidéo et du texte (transcription) Permet l’association rigoureuse des données primaires (enregistrement) et des données secondaires (transcription) Permet un accès immédiat à des points repères temporels précis de la vidéo • Plusieurs logiciels: CLAN, ANVIL, transana, ELAN, … • Deux types de représentations du temps: liste partition 30 31 32 3.4. Organisation des corpus • Stockage • Archivage pérenne • Diffusion • Plateformes/Bases de données Articulation de matériaux très hétérogènes Moteurs de recherche Défis & verrous technologiques Evolution très rapide des technologies Guerre des formats Grosses masses de données (HD) Pas de standardisation des transcriptionscodage Pas de requêtes sur le signal 33 3.4.a Organisation des corpus: hypervidéos • Tim Asch et alii, A Balinese Trance Seance (1980) [cd-rom] • 4.1. Un exemple tiré de l’anthropologie visuelle 34 3.4.b Les banques de données de corpus • Bases de corpus vidéos Enregistrement vidéo/audio (donnée primaire) Artefacts, visualisations, textes, ou autres objets récoltés sur le terrain et liés à l’activité enregistrée Transcriptions (alignées) (donnée secondaire) à différents niveaux de granularité Conventions de transcription Métadonnées – Spécifiques pour les documents vidéo Autorisation des personnes filmées Bibliographie des analyses sur le corpus • Exemples de bases existantes CLAPI (Corpus de Langue Parlée en Interaction) au laboratoire ICAR (http://clapi.univ-lyon2.fr/) TalkBank aux USA (http://www.talkbank.org) Banques de données du MPI (http://www.mpi.nl/world/corpus/index.html) Projet Langue des Signes (Paris8 / LIMSI / IRIT) … 35 4. Centre de ressources pour les corpus vidéo: objectifs • Fédérer la communauté des chercheurs en vidéo • • • Forums de discussion Lieux de confrontations de pratiques de recueil et d’analyse Updates sur les technologies d’enregistrement et l’évolution des formats Informations sur l’éthique Plateforme de stockage/archivage/diffusion Soutien à la préparation des données pour la pérennisation (standardisation) • • Outils d’alignement, d’annotation, conventions existantes, standardisation Outils de requête Formation • • Modes de publication spécifiques Réseautage international • Summer schools Avec les chercheurs européens Avec les institutions (CLARIN…) Préalables • state of the art en France qui fait quoi et où? • re. state of the art international • identification exacte du périmètre - interdisciplinarité - vidéos documentant des pratiques situées - vs. vidéos de laboratoire Développement des banques de données existantes pour mieux s’ajuster aux spécificités de la vidéo 36 4. Centre de ressources pour les corpus vidéo: forces humaines et gouvernance Personnels actuellement engagés sur ce front dans le laboratoire ICAR: • • • • • • Lorenza Mondada Carole Etienne, Daniel Valero (informatique) Emilie Chardon, Justine Lascar (base CLAPI) 1 CDD (à partir du 1.12 < Adonis) Autres chercheurs pratiquant l’analyse vidéo V. Traverso, K. Lund, A. Tiberghien, L. Veillard, G. Niccolai In fieri: organigramme et gouvernance • coordination du centre • animation scientifique de la communauté, des formations • personnel dédié: compétences: - travaillant sur les données - répondant aux demandes spécifiques des chercheurs - développant des outils • instance de validation, décision, sélection, arbitrage des contenus/propositions/projets • comité scientifique advisory board international 37