Séance 2 - GIPSA-Lab

Perception auditive
et perception de la parole
Jean-Luc Schwartz, GIPSA-Lab
Grenoble-Image-Parole-Signal-Automatique
ICP-Département Parole & Cognition
1. La communication parlée
Communiquer – Les niveaux de la communication parlée – les objets sonores de la parole et leur
production - la nature des sons (signal, représentation temps-fréquence), entre cause physique et
expérience perceptive
2. Traitements auditifs et centraux, représentations perceptives
Les représentations du signal acoustique dans les neurones du nerf auditif et des premiers centres
nerveux - Traitement de l’information dans le cerveau, représentations et cartes corticales
3. Voyelles et consonnes, théories de l’invariance
Perception des voyelles, normalisation, réduction vocalique – perception des plosives, coarticulation -
Invariance et variabilité / Les théories «!phare!» : théories auditives vs. motrice, théorie quantique,
théorie H&H, PACT
4. Perception-Action, phylogenèse
Des questions philosophiques sur idéalisme et réalisme vers les théories de la cognition motrice et de
la simulation, jusqu’aux neurones miroir – neurones miroir, système miroir – éléments de phylogenèse du
langage
5. La parole multisensorielle
La perception multisensorielle, des architectures cognitives aux interfaces multimodales
2. Traitements auditifs
et centraux,
représentations perceptives
Les représentations du signal acoustique
dans les neurones du nerf auditif
et des premiers centres nerveux –
Traitement de l’information dans le cerveau,
représentations et cartes corticales
Analyse du signal sonore
dans le système auditif
périphérique

Les objets temps-fréquence
temps
fréquence
intensité
Le trièdre fertile
timbre
hauteur
sonie
onsets / offsets
modulations
(attaque, noyau, coda)
Air issu des
poumons
Vibration des
cordes vocales
Source
laryngienne
Transformation de
la source
Signal de parole
La production des voyelles
Fo
©Sophie Jacopin
Conduit vocal d’homme
Fonction de transfert
0 0.5 1 1.5 2
-20
-15
-10
-5
0
5
fréquence (kHz)
[a]
©Sophie Jacopin
Impulsions glottiques (F0)
Formants (F1, F2)
Explosion (burst)
Bruit de friction

Le système auditif périphérique
L’oreille externe :
une protection,
un filtre passe-tout
L’oreille moyenne :
un sas,
un filtre passe-bande
La cochlée (oreille interne)

La cochlée (suite)
La membrane basilaire
base
apex
HF
BF
Tonotopie (bijection fréquence<—>abscisse)
Pour une fréquence, un point
Pour un point, une fréquence

Tonotopies multiples ...
Conséquence : un premier
«!spectrogramme cochléaire!»
Le mouvement de la membrane basilaire
est capté par les cellules ciliées (organe de Corti)
Conversion mécanique —> électrique
dans les cellules ciliées