Analyse du signal sonore dans le système auditif périphérique

Transcription

1 Perception auditive et perception de la parole 1. La communication parlée Communiquer Les niveaux de la communication parlée les objets sonores de la parole et leur production - la nature des sons (signal, représentation temps-fréquence), entre cause physique et expérience perceptive 2. Traitements auditifs et centraux, représentations perceptives Les représentations du signal acoustique dans les neurones du nerf auditif et des premiers centres nerveux - Traitement de l information dans le cerveau, représentations et cartes corticales Jean-Luc Schwartz, GIPSA-Lab Grenoble-Image-Parole-Signal-Automatique ICP-Département Parole & Cognition 3. Voyelles et consonnes, théories de l invariance Perception des voyelles, normalisation, réduction vocalique perception des plosives, coarticulation - Invariance et variabilité / Les théories «!phare!» : théories auditives vs. motrice, théorie quantique, théorie H&H, PACT 4. Perception-Action, phylogenèse Des questions philosophiques sur idéalisme et réalisme vers les théories de la cognition motrice et de la simulation, jusqu aux neurones miroir neurones miroir, système miroir éléments de phylogenèse du langage 5. La parole multisensorielle La perception multisensorielle, des architectures cognitives aux interfaces multimodales 2. Traitements auditifs et centraux, représentations perceptives Les représentations du signal acoustique dans les neurones du nerf auditif et des premiers centres nerveux Traitement de l information dans le cerveau, représentations et cartes corticales Analyse du signal sonore dans le système auditif périphérique

2 Les objets temps-fréquence La production des voyelles Transformation de la source sonie intensité Signal de parole fréquence temps timbre hauteur onsets / offsets modulations (attaque, noyau, coda) Source laryngienne Sophie Jacopin Fo Le trièdre fertile Vibration des cordes vocales Air issu des poumons Conduit vocal d homme Fonction de transfert 5 0 Bruit de friction Explosion (burst) [a] Sophie Jacopin fréquence (khz) Formants (F1, F2) Impulsions glottiques (F0)

3 Le système auditif périphérique L oreille externe : une protection, un filtre passe-tout L oreille moyenne : un sas, un filtre passe-bande La cochlée (oreille interne)

4 apex BF base HF La cochlée (suite) La membrane basilaire Pour un point, une fréquence Pour une fréquence, un point Tonotopie (bijection fréquence< >abscisse)

5 Tonotopies multiples... Conséquence : un premier «!spectrogramme cochléaire!» Le mouvement de la membrane basilaire est capté par les cellules ciliées (organe de Corti) Conversion mécanique > électrique dans les cellules ciliées

6 Spikes (potentiels d action, influx nerveux) Période réfractaire 1 ms I 1 I 2 I 3 I4 dendrites soma axone O O = f(!"w ij I i ) f(x) = 1 si x > seuil 0 sinon Codage en spikes dans les neurones : Un codage binaire stochastique Le neurone, atome de traitement de l intégration Une information de piètre qualité? Nombre de spikes / s Saturation Activité spontanée Intensité de stimulation Codage en activité moyenne Le neurone primaire, un «!guetteur spectral!»

7 apex base Courbes d accord : les champs récepteurs de l audition Tonotopie (suite) : les fréquences caractéristiques de neurones primaires Entrée (stimulus) E(t) HF Filtre cochléaire Cellule ciliée Neurone primaire temps Réponse (spikes) de/dt Signal acoustique Oreille externe / moyenne Filtre cochléaire Cellule ciliée Neurone primaire E(t) temps BF Filtre cochléaire Cellule ciliée Neurone primaire L adaptation nerveuse dans les neurones primaires : Un processus en d/dt

8 1. Un son excitateur t à la fréquence caractéristique 2. On ajoute un second ton à une autre fréquence La réponse (nombre de spikes) diminue! La suppression dans les neurones primaires : Un processus en d/df d/dt Neurogramme Signal acoustique Oreille externe / moyenne HF BF Filtre cochléaire Filtre cochléaire Filtre cochléaire Cellule ciliée Cellule ciliée Cellule ciliée Neurone primaire Neurone primaire Neurone primaire d/df d/df Représentation temps-fréquence dans les neurones primaires Spectrogramme d/dt

9 Stimulation temps Réponse (spike dans un neurone) temps La synchronisation des décharges nerveuses Son de fréquence F Fibre de FC = F Eléments de psychoacoustique Les deux codages de la fréquence : codage géographique et codage temporel

10 Psychoacoustique Principe : par une méthode de type stimulus - réponse, caractériser la perception des sons, et tenter de découvrir les mécanismes de traitement «!cachés!» dans le cerveau Audition des sons purs (audiogramme) 0 db SPL - seuil d! audition W/m 2 / 20µPa 20 db SPL - voix chuchotée à 1 m W/m 2 / 200µPa 60 db SPL - rue calme W/m 2 / 20mPa 70 db SPL - conversation à 1 m db SPL - seuil douleur /discothèque - 1 W/m 2 / 20 Pa d où la touche «!loudness!» des amplis 140 db SPL - avion à réaction W/m 2 / 200 Pa 220 db SPL - canon à 4 m W/m 2 / 2MPa Intensité des sons purs (sonie)

11 I Son test T F Seuil d audibilité S1 (audiogramme) Son masquant M I Seuil d audibilité S2 > S1 Son test T F Le son vert est un son «!masquant!» masquage simultané (T et M synchros) masquage avant (M avant T) masquage arrière (M après T) La perte des aigus avec l âge Masquage Application MPEG3

12 Vers les traitements centraux : le noyau cochléaire D une carte à plusieurs : le point d entrée du noyau cochléaire

13 Propriétés spectrales : Zones excitatrices et inhibitrices Propriétés temporelles : Adaptation nerveuse Propriétés spectro-temporelles des champs récepteurs auditifs Implications pour la parole

14 Dérivations spatiales Dérivations spectrales 1. Les neurones «!on!» : précis en temps, imprécis en fréquence De bons candidats pour les détections d attaques? 2. Les neurones «!build-up!» ou «!pauser!» : imprécis en temps, précis en fréquence De bons candidats pour les détections de formants? L architecture «!phasique - tonique!» de Chistovich L exemple des plosives signal nerf auditif Fréquence Quand? Quoi? Système phasique Système tonique burst S(t) t i Impulsions d interrogation S i = S(t i ) prévoisement Noyau vocalique t i, S i temps Identification

15 En route vers le cortex De la cochlée au cortex : les relais du tronc cérébral Bienvenue dans le cerveau! Tonotopies dans le système auditif

16 Aires de Brodmann

17 Représentations Représentations Deux exemples illustratifs Shepard et les représentations 3D issues des expériences de rotation mentale Dehaene et les représentations spatiales de nombres

18 La notion de cartes (et de primitives) en vision Qu est-ce qu un objet? Un flux, une source? Éléments principaux de l architecture d identification Rétinotopie (V1 Human) Parallélisme / spécialisation Cartes / champs récepteurs de complexité croissante Quel code commun permet de relier les représentations d un même objet dans des cartes multiples? Problème du binding 1 mm Orientation (V1, Monkey) Dominance oculaire (V1, H puis M) Liage, synchronisations, ondes corticales Cours Master Olivier Bertrand, INSERM Lyon

19 Oscillateurs couplés I 1 dendrites I 2 soma axone O O = f(!"w ij I i ) f(x) = 1 si x > seuil 0 sinon I 3 I 4 Le neurone, un corrélateur? Des assemblées de neurones-oscillateurs couplés 1. Trois types d oscillations Des assemblées de neurones-oscillateurs couplés 2. Oscillations directes et modulations d amplitude Oscillation imposée par le stimulus Oscillation «!phase locked!» Temps (ms) Oscillation induite Tallon-Baudry & Bertrand, 1999

20 Des assemblées de neurones-oscillateurs couplés 3. Partage de l espace des fréquences ou de l espace des phases Un même neurone ou groupe de neurones peut porter plusieurs cadences à la fois Un même neurone ou groupe de neurones peut porter plusieurs phases à la fois A. Input B. valeurs initiales C à F : activité à 4 instants différents et à l analyse de scènes auditives

21 Les ondes corticales Ondes delta (< 4 Hz) Les ondes corticales Ondes theta (4-8 Hz) Ondes alpha (8-12 Hz) Ondes beta (12-30 Hz) Ondes gamma (30-80 Hz) Ondes et liage perceptif Rodriguez et al., 1999 Perception's shadow: long-distance synchronization of human brain activity. Ondes et liage perceptif (suite)