Analyse et perception de scènes multimodales - GIPSA-Lab

IC2A - AST
Analyse et perception
de scènes multimodales
Anne Guérin / Jean-Luc Schwartz
Un flux d'information qui circule sur le réseau
n'est pas simplement un ensemble de bits
ou de pixels à traiter, coder, compresser ;
c'est en général une scène scène complexe
constituée d'objets objets qui ont une identité physique identité physique
et donc une cohérence multisensorielle cohérence multisensorielle.
Séance 1 - Les objets de la perception humaine
* Formes et représentations
* La notion d’objet dans la perception chez les bébés et
les adultes
* Objets multimodaux, objets physiques, objets et agents
Séance 2!: Objets sonores
Données expérimentales, illusions, etc
Le traitement des sons dans le système auditif
Mécanismes d’analyse computationnelle de scènes auditives
Séance 3!: Traitements centraux et multistabilité
Neuroanatomie, neurophysiologie
Les ondes corticales
Décision et multistabilité
Séance 4!: Traitement de la parole audiovisuelle
Perception audiovisuelle
Visages parlants
Débruitage et compression de la parole audiovisuelle
Reconnaissance de la parole audiovisuelle

I. Les objets temps-fréquence
temps
fréquence
intensité
Le trièdre fertile
timbre
hauteur
sonie
onsets / offsets
modulations
(attaque, noyau, coda)
50 100
Temps (ms)
H1
H2
H3
H4
H1234
H1234-dec
Son Signal Spectre Représentation temps-fréquence
(sonagramme)
Fréquence (Hz)
Fréquence (Hz)
Temps (ms)
Air issu des
poumons
Vibration des
cordes vocales
Source
laryngienne
Transformation de
la source
Signal de parole
La production des voyelles
Fo
©Sophie Jacopin

Conduit vocal d’homme
Fonction de transfert
0 0.5 1 1.5 2
-20
-15
-10
-5
0
5
fréquence (kHz)
[a]
©Sophie Jacopin
F1 F2
F3 F4
Excitateur Résonateur
Hauteur Timbre
Fréquence
Fondamentale Enveloppe spectrale
Battements
Son 1
Son 2
Son 1 +
Son 2
Son 1 +
Son 2
Avec fréq. 1 et
2 très proches
Fréquence (Hz)
Relations temps fréquence et analyse de Fourier
50 100
Temps (ms)
Fréquence (Hz)
0 0.5 1 1.5 2
-20
-15
-10
-5
0
5
fréquence (kHz)
0 0.5 1 1.5 2
-20
-15
-10
-5
0
5
fréquence (kHz)
Son périodique :
« série de Fourier »
Son non périodique :
« transformée de Fourier »

Les objets temps-fréquence
temps
fréquence
intensité
Le trièdre fertile
timbre
hauteur
sonie
onsets / offsets
modulations
(attaque, noyau, coda)
Impulsions glottiques (F0)
Formants (F1, F2)
Explosion (burst)
Bruit de friction
Le système auditif périphérique

L’oreille externe :
une protection,
un filtre passe-tout
L’oreille moyenne :
un sas,
un filtre passe-bande
La cochlée (oreille interne)
La cochlée (suite)
La membrane basilaire
base
apex
HF
BF