Analyse et Traitement de la Parole Année

Transcription

1 Analyse et Traitement de la Parole Année Pascal Perrier Gipsa-lab Grenoble INP 1

2 Plan du cours 0. Introduction (Cours1) 1. Parole & Cerveau (Cours 1) 2. Production de la parole (Cours 2 3) 3. Perception de la parole (Cours 4) 4. Traitement du signal de parole (Cours 5 6 7) 5. Langues du monde - systèmes phonologiques (Cours 8) 6. Synthèse audio et audiovisuelle de la parole (Cours 8) BE : Analyse de la parole par spectrogramme BE : Analyse cepstrale de la parole 2

3 1. Parole et Cerveau Crédits: Marc Sato (Gipsa-lab) 3,

4 Les grandes subdivisions anatomiques du cortex 4

5 Les grandes subdivisions anatomiques du cortex Schiebler, T.H., Anatomie, Springer Verlag, 2005 (9ème Edition) 5

6 Les aires de Brodmann 6

7 Principales regions corticales Supplementary motor area (programming of complex movement) Primary motor cortex (Voluntary movement) Somatosensory cortex (Somesthetic sensation and proprioception) Premotor cortex (coordination of complex movements) Prefrontal association cortex (planning for voluntary activity; decision making; personality traits) Frontal lobe Broca s area (speech formation) Primary auditory cortex Central sulcus Posterior parietal cortex (integration of somatosensory and visual input) Parietal lobe Wernicke s area (speech understanding) Parietal-temporal-occipital association cortex (integraton of all sensory inputimp in language) Occipital lobe Limbic association cortex (motivation, emotion, memory) Temporal lobe 7 Primary visual cortex

8 L homonculus de Penfield & Rasmussen (1950) Wilder Penfield

9 Somatotopie de la parole 9

10 Le lexique Incarné? Verbes d action Jambe Kick Bras Pick Visage Lick 10

11 Les aires de la parole? 11

12 Les aphasies : Broca Paul Broca Extrait de «Au début sera le verbe», Editions UCB Pharma B. Michel, C. Gallant, C. Argemi, I. Galletti, I. Ginouves & C. Grangier C.H.U. Marseille 12

13 Les aphasies : Wernicke Karl Wernicke Extrait de «Au début sera le verbe», Editions UCB Pharma B. Michel, C. Gallant, C. Argemi, I. Galletti, I. Ginouves & C. Grangier C.H.U. Marseille 13

14 Monosyllables versus repos (vision) Ghosh S.S., Guenther F.H. & Tourville, J.A. (2008). An fmri study of the overt production of simple speech sounds. Journal of Speech Language and Hearing Research, 51: Boston University 14

15 Monosyllabes versus bisyllabes Ghosh S.S., Guenther F.H. & Tourville, J.A. (2008). An fmri study of the overt production of simple speech sounds. Journal of Speech Language and Hearing Research, 51: Boston University 15

16 Les circuits corticaux de la perception de la parole Hickok, G. & Poeppel, D. (2004). Dorsal and ventral streams: a framework for understanding aspects of the functional anatomy of language. Cognition, 92, UC Irvine. 16

17 Les circuits corticaux de la perception de la parole Hickok, G. & Poeppel, D. (2007). The cortical organization of speech processing. Nature Review, 8, UC Irvine. 17

18 Oscillations cérébrales Electroencéphalographie (EEG) Delta Theta Alpha Beta Gamma Hz 4-8 Hz 8 12 Hz Hz > 30 Hz 18

19 Interface cerveau machine Mesure de l activité cérébrale par ElectroCorticographie. 19 Hill et al. (2012) J. Vis. Exp. (64), e3993

20 Parole silencieuse Thèse de Florent Bocquelet INSERM/CLINATEC GIPSA-lab 20

21 Parole silencieuse 21 Heger et al. (2015) Interspeech 2015

22 Modèle de Levelt Levelt (1989) Speaking MIT Press 22