Séance 2 - GIPSA-Lab
publicité
1. La communication parlée Communiquer – Les niveaux de la communication parlée – les objets sonores de la parole et leur production - la nature des sons (signal, représentation temps-fréquence), entre cause physique et expérience perceptive Perception auditive et perception de la parole 2. Traitements auditifs et centraux, représentations perceptives Les représentations du signal acoustique dans les neurones du nerf auditif et des premiers centres nerveux - Traitement de l’information dans le cerveau, représentations et cartes corticales 3. Voyelles et consonnes, théories de l’invariance Jean-Luc Schwartz, GIPSA-Lab Grenoble-Image-Parole-Signal-Automatique ICP-Département Parole & Cognition Perception des voyelles, normalisation, réduction vocalique – perception des plosives, coarticulation Invariance et variabilité / Les théories «!phare!» : théories auditives vs. motrice, théorie quantique, théorie H&H, PACT 4. Perception-Action, phylogenèse Des questions philosophiques sur idéalisme et réalisme vers les théories de la cognition motrice et de la simulation, jusqu’aux neurones miroir – neurones miroir, système miroir – éléments de phylogenèse du langage 5. La parole multisensorielle La perception multisensorielle, des architectures cognitives aux interfaces multimodales 2. Traitements auditifs et centraux, représentations perceptives Les représentations du signal acoustique dans les neurones du nerf auditif et des premiers centres nerveux – Traitement de l’information dans le cerveau, représentations et cartes corticales Analyse du signal sonore dans le système auditif périphérique La production des voyelles Les objets temps-fréquence Transformation de la source Signal de parole sonie ©Sophie Jacopin intensité timbre fréquence hauteur Source laryngienne onsets / offsets temps Fo modulations (attaque, noyau, coda) Le trièdre fertile Vibration des cordes vocales Conduit vocal d’homme Fonction de transfert 5 0 -5 -10 [a] Explosion (burst) ©Sophie Jacopin Bruit de friction -15 -20 0 0.5 1 fréquence (kHz) 1.5 2 Formants (F1, F2) Impulsions glottiques (F0) Air issu des poumons Le système auditif périphérique L’oreille externe : une protection, un filtre passe-tout L’oreille moyenne : un sas, un filtre passe-bande La cochlée (oreille interne) apex base La cochlée (suite) Pour un point, une fréquence Pour une fréquence, un point Tonotopie (bijection fréquence<—>abscisse) BF HF La membrane basilaire Tonotopies multiples ... Le mouvement de la membrane basilaire est capté par les cellules ciliées (organe de Corti) Conséquence : un premier «!spectrogramme cochléaire!» Conversion mécanique —> électrique dans les cellules ciliées Spikes (potentiels d’action, influx nerveux) Période réfractaire 1 ms I1 I2 I3 dendrites soma axone O O = f( !"wij Ii ) f(x) = 1 si x > seuil 0 sinon Codage en spikes dans les neurones : Un codage binaire stochastique I4 Le neurone, atome de traitement de l’intégration Une information de piètre qualité ? Nombre de spikes / s Saturation Activité spontanée Intensité de stimulation Codage en activité moyenne Le neurone primaire, un «!guetteur spectral!» apex base Courbes d’accord : les champs récepteurs de l’audition Tonotopie (suite) : les fréquences caractéristiques de neurones primaires Entrée (stimulus) HF Filtre cochléaire Cellule ciliée E(t) Neurone primaire temps Réponse (spikes) Signal acoustique Oreille externe / moyenne Filtre cochléaire Cellule ciliée Neurone primaire dE/dt E(t) temps BF Filtre cochléaire Cellule ciliée Neurone primaire L’adaptation nerveuse dans les neurones primaires : Un processus en d/dt 1. Un son excitateur t à la fréquence caractéristique 2. On ajoute un second ton à une autre fréquence La réponse (nombre de spikes) diminue ! La suppression dans les neurones primaires : Un processus en d/df d/dt Cellule ciliée Neurogramme Neurone primaire d/df Signal acoustique Oreille externe / moyenne Filtre cochléaire Cellule ciliée Neurone primaire d/df BF Filtre cochléaire Cellule ciliée Neurone primaire d/dt Représentation temps-fréquence dans les neurones primaires HF Filtre cochléaire Spectrogramme Stimulation temps Réponse (spike dans un neurone) temps La synchronisation des décharges nerveuses Son de fréquence F Fibre de FC = F Eléments de psychoacoustique Les deux codages de la fréquence : codage géographique et codage temporel Psychoacoustique Principe : par une méthode de type stimulus - réponse, caractériser la perception des sons, et tenter de découvrir les mécanismes de traitement «!cachés!» dans le cerveau Audition des sons purs (audiogramme) 0 dB SPL - seuil d!’audition - d ’où la touche «!loudness!» des amplis Intensité des sons purs (sonie) 10-12 W/m2 / 20µPa 20 dB SPL - voix chuchotée à 1 m - 10-10 W/m2 / 200µPa 60 dB SPL - rue calme - 70 dB SPL - conversation à 1 m - 120 dB SPL - seuil douleur /discothèque - 1 W/m2 / 20 Pa 140 dB SPL - avion à réaction - 220 dB SPL - canon à 4 m - 10-6 W/m2 / 20mPa 100 W/m2 / 200 Pa 1010 W/m2 / 2MPa I T test Son Seuil d’audibilité S1 (audiogramme) F Son masq uant M Seuil d’audibilité S2 > S1 I T test Son F La perte des aigus avec l’âge Le son vert est un son «!masquant!» masquage simultané (T et M synchros) masquage avant (M avant T) masquage arrière (M après T) Masquage Application MPEG3 Vers les traitements centraux : le noyau cochléaire D’une carte à plusieurs : le point d’entrée du noyau cochléaire Propriétés spectrales : Zones excitatrices et inhibitrices Propriétés temporelles : Adaptation nerveuse Propriétés spectro-temporelles des champs récepteurs auditifs Implications pour la parole Dérivations spatiales Dérivations spectrales 1. Les neurones «!on!» : précis en temps, imprécis en fréquence De bons candidats pour les détections d’attaques ? 2. Les neurones «!build-up!» ou «!pauser!» : imprécis en temps, précis en fréquence De bons candidats pour les détections de formants ? L’architecture «!phasique - tonique!» de Chistovich L’exemple des plosives signal nerf auditif Fréquence Quand ? Quoi ? Système phasique Système tonique burst S(t) ti Impulsions d’interrogation ti, Si Identification Si = S(ti ) prévoisement Noyau vocalique temps En route vers le cortex … De la cochlée au cortex : les relais du tronc cérébral Bienvenue dans le cerveau ! Tonotopies dans le système auditif Aires de Brodmann Représentations Représentations Deux exemples illustratifs Shepard et les représentations 3D issues des expériences de rotation mentale Dehaene et les représentations spatiales de nombres La notion de cartes (et de primitives) en vision Qu’est-ce qu’un objet ? Un flux, une source ? Éléments principaux de l’architecture d’identification Rétinotopie (V1 Human) Parallélisme / spécialisation Cartes / champs récepteurs de complexité croissante Quel code commun permet de relier les représentations d’un même objet dans des cartes multiples ? Problème du binding 1 mm Orientation (V1, Monkey) Dominance oculaire (V1, H puis M) Liage, synchronisations, ondes corticales Cours Master Olivier Bertrand, INSERM Lyon Oscillateurs couplés I1 I2 dendrites soma axone O = f( !"wij Ii ) f(x) = 1 si x > seuil 0 sinon O I3 I4 Le neurone, un corrélateur ? Des assemblées de neurones-oscillateurs couplés 1. Trois types d’oscillations Des assemblées de neurones-oscillateurs couplés 2. Oscillations directes et modulations d’amplitude Oscillation imposée par le stimulus 50 100 Temps (ms) Oscillation «!phase locked!» Oscillation induite Tallon-Baudry & Bertrand, 1999 Des assemblées de neurones-oscillateurs couplés 3. Partage de l’espace des fréquences ou de l’espace des phases Un même neurone ou groupe de neurones peut porter plusieurs cadences à la fois Un même neurone ou groupe de neurones peut porter plusieurs phases à la fois A. Input – B. valeurs initiales C à F : activité à 4 instants différents … et à l’analyse de scènes auditives Les ondes corticales Ondes delta (< 4 Hz) Les ondes corticales Ondes theta (4 - 8 Hz) Ondes alpha (8 - 12 Hz) Ondes beta (12 - 30 Hz) Ondes gamma (30 - 80 Hz) Ondes et liage perceptif Rodriguez et al., 1999 Perception's shadow: long-distance synchronization of human brain activity. Ondes et liage perceptif (suite)
