3. Perception de Parole

3. Perception de Parole
Crédits: Jean-Luc Schwartz (Gipsa-lab)
1
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma,
Le système auditif périphérique
Netter (1984) Atlas
of Human Anatomy.
2
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
L’oreille moyenne : Tympans et osselets
Transformation des vibrations acoustiques
en vibrations mécaniques
Netter (1984) Atlas
of Human Anatomy.
3
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Cochlée
4
Netter (1984) Atlas of Human Anatomy.
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Membrane basilaire
http://www.rockefeller.edu/labheads/hudspeth/movie06_popup.html
5
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Membrane basilaire
6
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Membrane basilaire
Analyse spectrale tonotopique
7
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de Parole
Courbes isotoniques
8
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de Parole
Echelles fréquentielles logarithmiques
Les Mel : Fmel = 2595.log10(1+FHz/700)
Les Bark : Fbark = 7.arcsinh(FHz/650)
Hz et Bark
Hz et mel
25
3500
3000
20
2500
15
mel
Bark
2000
1500
10
1000
5
500
0
0
1000
2000
9
3000
4000
5000
Hz
6000
7000
8000
9000
10000
0
0
1000
2000
3000
4000
5000
Hz
6000
7000
8000
9000
10000
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Membrane basilaire
10
Netter (1984) Atlas of Human Anatomy.
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Oreille interne : Organe de Corti
Cellules Ciliées
externes (système
éfferent)
Cellules Ciliées
internes (système
afférent)
11
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Inhibition latérale
12
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Inhibition latérale
13
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la parole
Filtre passe-tout
2
10
1.5
0
1
-10
0.5
-20
-30
0
-0.5
0
0.5
1
1.5
2
x 10
4
-1
0
-1.5
-10
-2
-2.5
-20
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
2.5
-30
-40
-50
-60
0
0.5
14
1
1.5
2
x 10
4
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la parole
Signal original
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
0.1
15
0.15
0.2
0.25
0.3
0.35
0.4
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la parole
Signal filtré
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
0.1
16
0.15
0.2
0.25
0.3
0.35
0.4
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la parole
Signal original
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
46.8
17
46.82 46.84 46.86 46.88
46.9
46.92 46.94 46.96 46.98
47
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la parole
Signal filtré
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
46.8
18
46.82 46.84 46.86 46.88
46.9
46.92 46.94 46.96 46.98
47
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Noyau Cochléaire
19
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Noyau Cochléaire
Quelques neurones de la perception
20
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Noyau Cochléaire
Neurones ON : Inhibition temporelle
Delgutte, 1980
21
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Noyau cochléaire – Neurogramme
Delgutte et al., 1998
22
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la Parole
Systèmes toniques et phasiques
Chistovitch, 1975
23
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la Parole
Audio et visuelle !
Crédits : Gérard Bailly & Frédéric Elisei – Gipsa-lab
24
24
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la Parole
Audio et visuelle !
Crédits : Christian Benoît (1992)
Illusions auditives : Effet McGurk
25
25
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la Parole
Audio et visuelle !
Crédits : Christian Benoît (1992)
26
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma
Perception de la Parole
Audio et visuelle…. et somatosensorielle !
Crédits : Takayuki Ito (Gipsa-lab)
Ito et al, 2013
27
Ito et al, 2009
Pascal Perrier – DPC/GIPSA-lab- Traitement de la Parole - Phelma