Analyse et Traitement de la Parole Année 2016-2017 Pascal Perrier Gipsa-lab Grenoble INP Pascal.Perrier@gipsa-lab.grenoble-inp.fr 1
Plan du cours 0. Introduction (Cours1) 1. Parole & Cerveau (Cours 1) 2. Production de la parole (Cours 2 3) 3. Perception de la parole (Cours 4) 4. Traitement du signal de parole (Cours 5 6 7) 5. Langues du monde - systèmes phonologiques (Cours 8) 6. Synthèse audio et audiovisuelle de la parole (Cours 8) BE : Analyse de la parole par spectrogramme BE : Analyse cepstrale de la parole 2
1. Parole et Cerveau Crédits: Marc Sato (Gipsa-lab) 3,
Les grandes subdivisions anatomiques du cortex http://www.hss.iitb.ac.in/courses/hs435/neurolinguistics_files 4
Les grandes subdivisions anatomiques du cortex Schiebler, T.H., Anatomie, Springer Verlag, 2005 (9ème Edition) 5
Les aires de Brodmann 6 http://spot.colorado.edu/~dubin/talks/brodmann/outline.gif
Principales regions corticales Supplementary motor area (programming of complex movement) Primary motor cortex (Voluntary movement) Somatosensory cortex (Somesthetic sensation and proprioception) Premotor cortex (coordination of complex movements) Prefrontal association cortex (planning for voluntary activity; decision making; personality traits) Frontal lobe Broca s area (speech formation) Primary auditory cortex Central sulcus Posterior parietal cortex (integration of somatosensory and visual input) Parietal lobe Wernicke s area (speech understanding) Parietal-temporal-occipital association cortex (integraton of all sensory inputimp in language) Occipital lobe Limbic association cortex (motivation, emotion, memory) Temporal lobe 7 Primary visual cortex
L homonculus de Penfield & Rasmussen (1950) Wilder Penfield 1891-1976 8
Somatotopie de la parole 9
Le lexique Incarné? Verbes d action Jambe Kick Bras Pick Visage Lick 10
Les aires de la parole? 11
Les aphasies : Broca Paul Broca 1824-1880 Extrait de «Au début sera le verbe», Editions UCB Pharma B. Michel, C. Gallant, C. Argemi, I. Galletti, I. Ginouves & C. Grangier C.H.U. Marseille 12
Les aphasies : Wernicke Karl Wernicke 1848-1904 Extrait de «Au début sera le verbe», Editions UCB Pharma B. Michel, C. Gallant, C. Argemi, I. Galletti, I. Ginouves & C. Grangier C.H.U. Marseille 13
Monosyllables versus repos (vision) Ghosh S.S., Guenther F.H. & Tourville, J.A. (2008). An fmri study of the overt production of simple speech sounds. Journal of Speech Language and Hearing Research, 51:1183-1202. Boston University 14
Monosyllabes versus bisyllabes Ghosh S.S., Guenther F.H. & Tourville, J.A. (2008). An fmri study of the overt production of simple speech sounds. Journal of Speech Language and Hearing Research, 51:1183-1202. Boston University 15
Les circuits corticaux de la perception de la parole Hickok, G. & Poeppel, D. (2004). Dorsal and ventral streams: a framework for understanding aspects of the functional anatomy of language. Cognition, 92, 67-99. UC Irvine. 16
Les circuits corticaux de la perception de la parole Hickok, G. & Poeppel, D. (2007). The cortical organization of speech processing. Nature Review, 8, 393-402. UC Irvine. 17
Oscillations cérébrales Electroencéphalographie (EEG) Delta Theta Alpha Beta Gamma 0.5-4 Hz 4-8 Hz 8 12 Hz 12 30 Hz > 30 Hz 18
Interface cerveau machine Mesure de l activité cérébrale par ElectroCorticographie. 19 Hill et al. (2012) J. Vis. Exp. (64), e3993
Parole silencieuse Thèse de Florent Bocquelet INSERM/CLINATEC GIPSA-lab 20
Parole silencieuse 21 Heger et al. (2015) Interspeech 2015
Modèle de Levelt Levelt (1989) Speaking MIT Press 22