Le fonctionnement de la parole - Laboratoire Parole et Langage
publicité
Le fonctionnement de la parole: aspects articulatoire, acoustique et perceptif Bernard Teston Laboratoire Parole et Langage CNRS et Université de Provence Aix en Provence Quelques définitions • • • • • • Phonème (système phonologique) Syllabe Morphéme (sémantique) Mot (lexique) Phrase (syntaxe) Discours (pragmatique) PSYCHOLINGUISTIQUE NEUROLINGUISTIQUE ENCODAGE DECODAGE PHONETIQUE PHYSIOLOGIE DE LA PRODUCTION NEUROMOTRICITE ACOUSTIQUE PHYSIOLOGIE DE LA PERCEPTION PSYCHOACOUSTIQUE Aire de Broca Aire motrice Aire somato-sensorielle Encodage phonético-acoustique Fabrication du message Programmation pré-motrice Programmation motrice Réalisation du geste Contrôle Modélisation du conduit vocal: relation entre articulation et acoustique Modélisation acoustique: Le conduit vocal vu comme un système acoustique Modélisation géométrique: coupe sagittale du conduit Modélisation mathématique: à partir des équations d’ondes Modélisation dynamique: Langue, machoire Modélisation du larynx Phonologie articulatoire Inversion du modèle Aire auditive Aire de Wernike Décodage Acoustico-Phonétique Traitements psycho-acoustiques Décodage auditif Décodage du message Aire auditive Aire de Wernike Décodage Acoustico-Phonétique Traitements psycho-acoustiques Décodage auditif Décodage du message Modélisation de la perception • Perception catégorielle Identification des phonèmes et de leur frontières Traits phonologiques (voisement, lieu, mode). L’auditeur a du mal à percevoir les différences dans une même catégorie • Théorie motrice Perception à travers les sons, des gestes articulatoires qui ont servi à les générer. La reconnaissance du message se fait elle au niveau du phonème, de la syllabe ou du mot ? Coupe schématique du conduit vocal Mouvements du voile Mouvements de la langue Mouvements des lèvres Mouvements de la mandibule Mouvements du larynx Débit d’air nasal Débit d’air oral Pression intra orale Pression sous glottique Paramètres aérodynamiques et mouvements des principaux organes articulateurs du conduit vocal Pression intra orale P Pression sous glottique 2 1 3 4 Mouvements des cordes vers l’extérieur (glotte convergente) 3 P 1 Mouvements des cordes vers l’intérieur (glotte divergente) 2 4 Modèle du larynx à 3 masses d’après Titze (1996) Caractéristiques articulatoires des voyelles du français Lieu d’articulation: antérieur (i) – moyen (a de pate) – postérieur (ou) Résonance: orale (a, o) – nasale (an, on) Aperture: fermée (i) – mi fermée (o) – mi ouverte (eu) – ouverte (a) Labialisation: écartée ( i)- labialisée (u) F1 F2 Allongement minimal et maximal du conduit vocal Coupes sagittales du conduit vocal d’un locuteur standard dans la réalisation des voyelles du français (10 orales et 4 nasales) Caractéristiques articulatoires des consonnes du français • Mode d’articulation: occlusive (p) constrictive (ch) • Lieu articulatoire: labiale (b) dentale (d) palatale (g) • Résonnance: orale (p) nasale (m) • Sonorité: voisée (d) non voisée (p) Les consonnes du français labiales non-voisées p t k voisées b d g nasales m n gn non-voisées f s ch voisées v z j orales occlusives dentales palatales constrictives Lieux d’articulation des consonnes nasales Lieu d’articulation des consonnes occlusives Lieu d’articulation des consonnes constrictives Lieu d’articulation des consonnes liquides (latérale l et vibrante R) Lieu d’articulation des des consonnes approximantes Le signal acoustique • Signaux périodiques (voix) – Plus ou moins longs – Jamais stables • Bruits – Écoulements – Turbulences – Transitoires (explosions, clics) Souvent mélangés dB 60 0.4 0.3 50 0.2 40 0.1 30 0.0 -0.1 20 -0.2 10 -0.3 -0.4 0 585 590 595 600 605 ms -10 -20 0 Hz 1000 2000 3000 4000 5000 6000 1 0 0.4 0.3 0.2 0.1 0.0 -0.1 -0.2 -0.3 -0.4 [a] de état 0 200 400 e 600 t 800 a ms 1000 dB 60 0.6 50 0.4 40 0.2 30 0.0 20 -0.2 10 -0.4 510 515 520 525 ms 0 -10 -20 0 Hz 1000 2000 3000 4000 5000 6000 0 0.6 0.4 0.2 0.0 -0.2 -0.4 [] de pâte 400 p 500 600 700 800 t 900 ms dB 60 0.8 50 0.6 40 0.4 0.2 30 0.0 20 -0.2 10 -0.4 0 -0.6 -10 -0.8 570 575 580 585 590 -20 0 ms Hz 1000 2000 3000 4000 5000 6000 0 0.4 0.2 0.0 -0.2 -0.4 300 [i] de épi 400 500 p 600 i 700 ms dB 60 0.4 0.3 50 0.2 40 0.1 0.0 30 -0.1 20 -0.2 10 -0.3 -0.4 -0.5 0 665 670 675 680 685 ms -10 -20 0 Hz 1000 2000 3000 4000 5000 6000 0 0.4 0.3 0.2 0.1 0.0 -0.1 -0.2 -0.3 -0.4 -0.5 [e] de épée 200 400 e 600 p 800 e 1000 ms dB 60 0.4 50 0.2 40 30 0.0 20 -0.2 10 0 -0.4 595 600 605 610 615ms -10 -20 0 Hz 1000 2000 3000 4000 5000 6000 0 0.4 0.2 0.0 -0.2 [] de épais -0.4 200 300 e 400 500 p 600 700 800 ms Les outils de mesure • Analyse acoustique • Mesures articulatoires (Sons) • • • • • FFT DFT Bandes critiques Cepstre (coefficients) Prédiction linéaire • Spectrogrammes (Mouvements) Aérodynamiques Cinéradiographie IRM Kinésiographie Magnétométrie Électropalapographie (EPG) • Électromyographie • • • • • • S p e c tr e 1 0 - 1 m s 5 0 0 n Hz 8000 il e 1 0 0 0 k a r s d l æ 1 5 0 0 r m 2 0 0 0 t r n i l a p æ t=755.5, f= 1286.3, i=36.6 S p ectre 7000 6000 5000 4000 3000 2000 1000 0 ms 500 1000 1500 2000 Spectrogramme en bande large (FFT 256 points - 96 Hz – 8 ms) S p e c tr e 1 0 - 1 m s 5 0 0 1 0 0 0 n i l e k a r s d l æ r Hz t=774.1, f= 1251.1, i=30.1 S p ectre 8000 1 5 0 0 m 2 0 0 0 t r n i l a p æ 7000 6000 5000 4000 3000 2000 1000 0 ms 500 1000 1500 2000 Spectrogramme en bande étroite (FFT 1024 points - 24 Hz – 32 ms) 2 5 8 4 .6 H z , 3 5 .5 d B dB 70 60 50 40 30 20 10 0 -10 Hz -20 0 1000 2000 3000 4000 5000 6000 Spectre en bande large (FFT 256 points - 96 Hz – 8 ms) et LPC ordre 14 2 2 7 5 .8 H z , 2 2 .5 d B dB 7 0 6 0 5 0 4 0 3 0 2 0 1 0 0 - 10 Hz - 20 0 10 00 2000 3000 4000 5000 60 00 Spectre en bande étroite (FFT 1024 points - 24 Hz – 32 ms) et LPC ordre 14 F2 F1 ba da a Influence de la consonne sur la transition des formants de la voyelle Schéma des capteurs aérodynamiques 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 11000 11500 12000 s e t y na f r t 12500 ere s a a 13000 t 13500 k aa p aa 14000 ms s e v u dm3/s 0.6 0.5 0.4 0.3 0.2 0.1 0.0 11000 11500 12000 12500 13000 13500 14000 ms 13500 14000 ms Débit d’air oral en dm3 par seconde dm3/s 0.4 0.3 0.2 0.1 0.0 11000 11500 12000 12500 13000 Débit d’air nasal en dm3 par seconde 0 7 1 2 3 4 5 6 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 2000 p 2200 0 p 7 2400 a n m 1 2600 a p a 2 2800 p 3000 a r 3200 l e d 3 3400 b o 4 3600 p a 3800 p 5 ms a 6 hPa 8 6 4 2 0 -2 -4 -6 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 ms 3800 ms Pression intra-orale en hecto Pascal 0 7 1 2 3 4 5 6 dm3/s 0.5 0.4 0.3 0.2 0.1 0.0 2000 2200 2400 2600 2800 3000 3200 Débit d’air nasal en dm3 par seconde 3400 3600 8 0 1 2 3 4 5 6 7 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 -0.8 0 500 1000 1500 2000 2500 3000 3500 pu 4000 ipa ms 4500 api ipi Ci contre, palais à 62 contacts de type « Edimbourg » ( Hardcastle) Mesure des contacts de la langue sur le palais au moyen de l’électropalatographie (EPG) 1 u 2 u 3 i 4 a 5 a 6 i 7 i 8 i Contacts lingo palatins sur les voyelles: oupou ipa api et ipi Multistack Simultaneous acquisition of 13 slices in 12 sec 1 2 3 44 5 6 7 8 9 10 11 12 13 Erasmus H&N 99 ULB 12 11 10 6 5 4 9 8 2 3 7 1 Saturation bands! Erasmus H&N 99 ULB 0.8 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 -0.8 500 s yrl k 1000 e 1500 2000 ms e v id a m a 700 600 500 400 300 200 100 500 1000 1500 Activité du muscle orbicularis oris en microvolts RMS 2000 ms 700 600 500 400 300 200 100 500 1000 1500 2000 ms 2000 ms Activité du muscle cricothyroîdien en microvolts RMS 600 500 400 300 200 100 500 1000 1500 Activité du muscle sternohyoîdien en microvolts RMS 400 300 200 100 0 Variation de la Fo en Hertz l-e—s-ielé--p-arde-s-ule--t--oi--------------------------s--i-b--l--e---------------s-i-c-a-l-m-e Signal acoustique de la phrase : “Le ciel est par dessus le toit, si bleu, si calme”, déclamée par un sujet normal. L’axe des abscisses représente le temps en millisecondes. Courbe des variations de la Fo de la voix qui définissent la ligne mélodique de la phrase. L’axe des ordonnées est en Hertz (Hz). l-e--s—ielé-p-arde-s-ule--t--oi--------------------------s-i--b--l---e---------------si-c--a—l-me Signal acoustique de la phrase : “Le ciel est par dessus le toit, si bleu, si calme”, déclamée par un sujet normal. L’axe des abscisses représente le temps en millisecondes. Courbe de variation de l’énergie acoustique de la voix qui définit la ligne d’intensité de la phrase. L’axe des ordonnées est en décibels (dB). La valeur de l’intensité est calculée toutes les 10 ms. Exemple de variations prosodiques décrites par les trois paramètres: mélodie, durée, intensité. 0.8 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 0 500 1000 1500 2000 2500 nile k a r sd loe m tr nila p oerdylu 3000 3500 4000 ms ri nle r t n e Hz 180 160 140 120 100 0 500 1000 1500 2000 2500 3000 3500 Courbe mélodique de la lecture normale d’une partie d’un texte de référence 4000 ms Lecture normale d’une partie d’un texte de référence (la chèvre de Monsieur Seguin) La durée d’élocution est de 13,6 secondes Lecture rapide d’une partie d’un texte de référence (la chèvre de Monsieur Seguin) La durée d’élocution est de 10,5 secondes Lecture très rapide d’une partie d’un texte de référence (la chèvre de Monsieur Seguin) La durée d’élocution est de 7,3 secondes 0.4 0.3 0.2 0.1 0.0 -0.1 -0.2 -0.3 -0.4 0 500 1000 1500 nile ar sd loer m tr n ila 2000 p oerdyl u 2500 ms r i n le r t n e 180Hz 160 140 120 100 80 60 0 500 1000 1500 2000 2500 Courbe mélodique de la lecture rapide d’une partie d’un texte de référence ms 0.3 0.2 0.1 0.0 -0.1 -0.2 -0.3 0 200 400 n i l e k a d l 600 oe m 800 n ila 1000 p oed y l u 1200 r i 1400 n l e 1600 t n 1800 ms 1800 ms e Hz 140 120 100 80 60 40 20 00 200 400 600 800 1000 1200 1400 1600 Courbe mélodique de la lecture très rapide d’une partie d’un texte de référence 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.60 500 l o d b a d 1000 wa 1500 e b 2500 ms 2000 y tr o v i t 220Hz 200 180 160 140 120 100 0 500 1000 1500 2000 Courbe mélodique de la phrase: « l’eau de Badoit est bue trop vite » 2500 ms 0.6 0.4 0.2 0.0 -0.2 -0.4 -0.6 500 la v 1000 a l i z d m a 1500 b 2000 o n e k 2500 a s ms e Hz 220 200 180 160 140 120 100 500 1000 1500 2000 Courbe mélodique de la phrase: « La valise de ma bonne est cassée » 2500 ms Hz 300 250 200 150 100 50 0 200 m 300 400 a 500 600 ms a Courbe tonale Haut-Haut du mot « maa » en chinois de Pékin: Maman Hz 300 250 200 150 100 50 0 1700 1800 1900 m 2000 a 2100 2200 2300 2400 ms a Courbe tonale Haut-Bas du mot « maa » en chinois de Pékin: Le cheval Hz 300 250 200 150 100 50 0 2600 2650 2700 m 2750 2800 2850 a 2900 2950 3000 ms a Courbe tonale Bas-Haut-Bas du mot « maa » en chinois de Pékin: Injurier Hz 300 250 200 150 100 50 0 0 100 200 m 300 400 a 500 600 ms a Courbe tonale Bas-Haut du mot « maa » en chinois de Pékin: le chanvre Hz 250 200 150 100 cadence 50 Hz 0.4 0 1200 1250 1300 260 1350 1400 ms 1450 0.2 240 0.0 -0.2 220 -0.4 1200 1250 1300 1350 1400 1450 ms 200 180 160 140 120 100 80 200 400 200 400 600 800 1000 800 1000 1200 1400 ms 0.4 0.2 0.0 -0.2 -0.4 J’ai dit merde 600 1200 j’vais (l’)envoyer à Bernard Ta- pi 1400 ms 140 120 100 Hz 80 180 60 160 Hz 12300 0.4 12400 12500 12600 12700 12800 ms 0.2 180 0.0 -0.2 -0.4 12300 12400 12500 12600 12700 12800 ms 160 cadence 140 120 100 80 60 11800 12000 12200 12400 12600 ms 12800 0.4 0.2 0.0 -0.2 -0.4 11800 dif- fi- 12000 12200 ci- ldac- GAMin 12400 cès 12600 par des GAMaj 12800 ms routes GAMaj UI } P PAR «... difficiles d’accès par des routes.» Les contributeurs de l’espace francophone • Modélisation du conduit vocal (relation entre articulation et acoustique) Modélisation acoustique: (Le conduit vocal vu comme un système acoustique) Pierre Badin, René Carré. Modélisation géométrique: (coupe sagittale du conduit) Sinji Maéda. Modélisation mathématique: Xavier Pellorson, Paul Jospa Modélisation dynamique: (Langue, machoire) Raphaël Laboissière, Pascal Perrier • Modélisation du larynx Xavier Pellorson, Antoine Giovanni, Jean Schoengen, Christophe d’Alessandro. Inversion du modèle Jean Schoentgen, Alain Socquet, Gérard Bailli, Yves Laprie • Prosodie Jacqueline Vaissière, Philippe Martin, Piet Mertens, Véronique Aubergé, Albert Di Cristo, Daniel Hirst, Mario Rossi. • Acoustique de la parole François Longchamp, Jacqueline Vaissière, Michel Chafcouloff Louis Jean Boé (Ontogénèse et phylogénèse) • Phonologie articulatoire (Modèle axé sur les gestes articulatoires) Didier Demolin, Rudolph Sock • Perception Christian Cavé, Jean Luc Schwartz, Noël Nguyen, Scot Mc Adams, Alain de Chevigné FIN
