Psychologie cognitive de la musique: Comparaisons et interactions entre langage et musique

Transcription

1 Psychologie cognitive de la musique: Comparaisons et interactions entre langage et musique Pascale Lidji 14 décembre 26 Pourquoi examiner les parallèles et interactions entre langage et musique? Cerner la spécificité de ces traitements. Spécificité = modularité? Spécificité = nécessaire à la modularité. Merci à Régine Kolinsky et Isabelle Peretz Référence: Peretz, 26. Systèmes de traitement modulaires!!systèmes spécialisés! «!cognitivement impénétrables!» (Fodor 1983, Pylyshyn 198): non influençables par les connaissances générales, les croyances ou les attentes! architecture neurale fixe! rapides et irrépressibles! pas nécessairement innés (e.g., lecture)! pas nécessairement un «!système» global : divers «!sousmodules!»? (Block 1998; Coltheart 1999) Pourquoi examiner les parallèles et interactions entre langage et musique? Même modalité d entrée (auditive) Pfs: même modalité de sortie (chant) Règles communes: organisation hiérarchique, nombre limité d unités conduit à nombre quasi illimité d énoncés. Recrutent un vaste réseau de régions cérébrales, dont certaines communes (aire de Broca, e.g. Maess et al., 21).

2 Modularité: globale? Modularité: globale? musique langage musique langage Modularité: globale? Non: plusieurs sous-systèmes, certains communs, d autres pas... Lesquels? musique langage Dissociations fonctionnelles entre musique et langage Encodage tonal de la hauteur rythme sémantique Amusie et aphasie Selon Peretz, 26, L encodage tonal de la hauteur serait spécifique à la musique syntaxe??

3 Aphasie Trouble acquis de la compréhension et / ou de la production du langage, suite à une lésion cérébrale. Amusie acquise Trouble acquis de la perception et / ou de la production musicale, perte des aptitudes musicales (e.g. Hébert et Peretz, 21; Peretz et al., 24). Etude du chant Patiente CN Peretz & Kolinsky, 1993 QJEP Peretz, Kolinsky, Tramo, Labrecque & Hublet, Brain, 1994 Chant = langage et musique combinés (Patel & Peretz, 1997). Si interactions entre musique et langage: + marquées dans le chant!! patiente avec lésions bilatérales du cortex auditif temporal supérieur:! dissociations fonctionnelles dans le domaine auditif HD HG Si indépendance montrée dans le chant: argument plus fort! CT scan,, 1993

4 Chant et amusie Patiente CN (Peretz et al., 1994): Reconnaissance mélodies KO, paroles OK % correct nomination de l'air jugement de familiarité de l'air jugement de familiarité des paroles Capable de retrouver paroles sur base du titre, Capable de décider si paroles correspondent au titre. Chant et amusie Patiente CN (Peretz et al., 1994): Parler OK Chanter KO (même mélodie extrêmement familière) Frère Jacques, frère Jacques, dormez-vous?, dormez-vous? Production de CN Patiente IR (Peretz et al., 21): Amusie Dissonance et amusie Patiente IR (Peretz et al., 21): Amusique, même patron que CN - déficit de reconnaissance de mélodies, paroles OK - Ne perçoit pas la dissonance -! Expérience:

5 Dissonance et amusie Dissonance et amusie Patiente IR (Peretz et al., 21): 1) Tâche = jugement émotionnel Hyp: Contrôles influencés par dissonance, pas IR 2)Tâche : jugement plaisant / déplaisant Hyp: Contrôles influencés par dissonance, pas IR. Dissonance et amusie Dissonance et amusie Patiente IR (Peretz et al., 21): Traitement émotionnel (mode!) préservé chez amusique Dissonance n influence pas traitement émotionnel chez IR >< contrôles! La dissonance est traitée par des réseaux corticaux spécialisés!! Dissonance: basée sur traitement fin de la hauteur = déficitaire chez amusiques (Peretz et Hyde, 23).

6 Amusie: musique = module? Plupart des gens: experts en langage mais pas en musique! Si musique = sous-système du langage - amusie sans aphasie possible (et fréquente? Car moins expert = plus vulnérable) - Aphasie associée à amusie Or: Amusie: musique = module? - musiciens experts peuvent devenir amusiques => pas effet d expertise - Aphasiques sans amusie = fréquent Aphasie sans amusie Aphasiques non fluents peuvent produire des airs reconnaissables. Mais: musique aide langage (TIM)?? Thèse A. Racette Racette et al., 26 Aphasie sans amusie Tâche: - rappel notes et mots de chansons familières - Répétition paroles de chansons nouvelles! Les notes sont mieux produites que les mots par les aphasiques! Aphasiques ne produisent pas plus de mots en chantant qu en parlant! -... Sauf si on chante avec eux! (expérience 3)

7 Aphasie sans amusie Double dissociation amusie - aphasie = argument pour la spécificité de traitement de certaines dimensions musicales = encodage tonal de la hauteur. Pq hauteur? - amusiques: KO notes; OK rythme % RC Performance de CN, jugement =/ " = niveau du hasard = performance des Ss de contrôle notes isolées Dissociation hauteur/ rythme Peretz et Kolinsky, 1993 variations mélodiques variations rythmiques Si rythme et mélodie dissociés chez amusiques: Changement mélodique provoquerait un effet Stroop dans une tâche sur le rythme chez des sujets sains Le même changement ne provoquerait pas d effet Stroop chez CN

8 Peretz et Kolinsky, 1993 Tâche = jugement rythme Rythme Même Rythme différent Mélodie Même congruent incongru Mélodie différente incongru congruent % RC Peretz et Kolinsky, 1993 Sujets sains: effet Stroop mélodie = mélodie! rythme = rythme! % RC Peretz et Kolinsky, 1993 CN: pas de Stroop mélodie = mélodie! rythme = rythme! CCL: Double dissociation amusie / aphasie! Spécificité de traitement pour certaines dimensions de la musique.! Cette dimension = l encodage tonal (= dans une mélodie) de fines différences (<1 ton) de hauteur. Fines différences : explique que pas de pb pour prosodie du langage, du moins chez amusiques congénitaux (différences de hauteur plus grandes) (Peretz et al., 22)

9 Peretz & Hyde, 23 Élévation ou chute (affirmation) de F dans une phrase Interactions entre langage et musique dans le chant chez des sujets sains Variations dans le chant Sémantique et phonologie, Perception et mémoire Interaction entre dimension sémantique des paroles et mélodie Besson et al., 1998 Interaction entre dimension sémantique des paroles et mélodie Besson et al., 1998 Potentiels évoqués mesurent au moyen d électrodes placées sur le scalp, les variations de l activité électrique cérébrale en réponse à la présentation d un événement particulier: un mot, un accord de musique etc Question: les paroles et la mélodie des airs d opéra sont-elles des dimensions traitées de manière indépendante ou interactive? Hans Berger ( ) Amplification du signal, sommation, moyennage Amplitude des effets en µv; négativitn gativité au- dessus Temps (en ms)

10 Interaction entre dimension sémantique des paroles et mélodie Besson et al, 1998 extraits d opéra chantés a capella se terminaient par un mot sémantiquement congruent ou incongru sur une note attendue ou non-attendue car fausse dans ce contexte Parfois: double déviance Mots incongrus Mots congruents Mots incongrus chantés s sur chantés s sur chantés s sur Note correcte fausse note fausse note P6 P6 Violation Violation Double Violation sémantique mélodique " (N4) (P3) 2 composantes en succession, sans interaction = additivité des composantes = indépendance! Interaction entre dimension phonologique des paroles et mélodie Kolinsky, Lidji, Peretz, Besson et Morais (en préparation) Classification accélérée de pseudo-mots chantés: «!vowels sing but consonants speak!». Interactions entre dimensions: Définitions Dimensions intégrales - Dimensions psychologiquement fusionnées - Ne peuvent exister l une sans l autre - Attention sélective impossible Dimensions séparables Ex: hauteur et sonie Ex: couleur et forme - Dimensions distinctes - Peuvent exister l une sans l autre - Attention sélective possible et facile

11 3 conditions 3 conditions Corrélée Contrôle Orthogonale Corrélée Contrôle Orthogonale Variation corrélée des deux dimensions Seule la dimension pertinente varie Variation orthogonale des deux dimensions Variation corrélée des deux dimensions Seule la dimension pertinente varie Variation orthogonale des deux dimensions couleur couleur couleur forme forme Facilitation? Interférence? DIMENSIONS SEPARABLES forme couleur DIMENSIONS INTEGRALES teinte brillance Corrélée Variation corrélée des deux dimensions Contrôle = = Seule la dimension pertinente varie Orthogonale Variation orthogonale des deux dimensions Corrélée Variation corrélée des deux dimensions. < Contrôle Seule la dimension pertinente varie. < Orthogonale Variation orthogonale des deux dimensions Facilitation? Interférence? Facilitation! Interférence!

12 Tâche de classification: consonnes Tâche de classification: voyelles /damy/ I1P1 I2P1 /dal$/ I1P1 I2P1 /dany/ I1P2 I2P2 / dal#/ I1P2 I2P2 «Interactions between lyrics and tunes: Vowels sing but consonants speak!» Résultats: - Matériel consonantique : séparabilité «Interactions between lyrics and tunes: Vowels sing but consonants speak!» Résultats: - Matériel vocalique : intégralité 8 R = S = O 75 * Pseudoword Interval RT (ms) * * * redundant baseline orthogonal

13 «Interactions between lyrics and tunes: Vowels sing but consonants speak!» - Consonnes - mélodies = séparables - Voyelles - mélodies = intégrales «Interactions entre voyelles et mélodies dans le traitement de syllabes chantées synthétiques!» Tâche de classification accélérée Mais: Chant lyrique: déformation des phonèmes (e.g. Scotto di Carlo et Germain, 1985) Voyelles : - élévation F1 - Abaissement F2 => Intégralité voyelle / intervalles peut provenir de ces interactions acoustiques / dal$/ I1P1 I2P1 => Réplication avec voix synthétiques pour éviter ces déformations! /dal#/ I1P2 I2P2 Résultats: Matériel naturel Pseudoword Interval 85 8 Matériel synthétique Pseudoword Interval 85 8 Lidji, Peretz, Kolinsky, Colin & Morais (en cours) Investigation du traitement des voyelles chantées en électro- et magnetoencéphalographie RT (ms) correlate baseline orthogonal RT (ms) correlate baseline orthogonal Intégralité voyelle - intervalle Pas de différence selon le matériel Méthode : paradigme oddball - Mismatch negativity = onde négative apparaissant entre 1 et 25 ms après un stimulus inattendu au sein d une séquence répétitive, automatique. - P3 = indique orientation attentionnelle Voyelle et note: traitement additif ou interactif?

14 Investigation du traitement des voyelles chantées en électro- et magnetoencéphalographie Méthode Investigation du traitement des voyelles chantées en électro- et magnetoencéphalographie Objectifs: Tâche non attentionnelle déviant note déviant voyelle double déviant Tâche attentionnelle déviant note déviant voyelle double déviant 1) Déviant voyelle vs. note: source et amplitude MMN et P3? 2) Double déviant = déviant note + déviant voyelle = additivité? Interaction? MMN MMN + P3 Investigation du traitement des voyelles chantées en électro- et magnetoencéphalographie Investigation du traitement des voyelles chantées en électro- et magnetoencéphalographie Données préliminaires (7 sujets) Non attentionnel Cz double rs note rs phon rs Baseline Données préliminaires (7 sujets) Attentionnel Cz at souble rs at note rs at phon rs Baseline

15 Influence du contexte harmonique sur le traitement des phonèmes Bigand, Tillmann et al., 21 Influence du contexte harmonique sur le traitement des phonèmes Bigand et al., 21 Tâche = juger si la dernière syllabe est «!dee!» ou «!doo!» On varie le contexte harmonique, de manière à ce que la dernière note soit plus ou moins attendue (tonique vs. sous-dominante) = tâche d amorçage harmonique (harmonic priming). Influence du contexte harmonique sur le traitement des phonèmes Bigand et al., 21 Influence du contexte harmonique sur le traitement des phonèmes Bigand et al., 21

16 Influence du contexte harmonique sur le traitement des phonèmes Bigand et al., 21 Influence du contexte harmonique sur le traitement des phonèmes Bigand et al., 21 Le contexte harmonique influence la vitesse de traitement des phonèmes => interaction tâche implicite Le traitement du contexte harmonique semble automatique tant chez les musiciens que chez les novices. Interactions entre paroles et mélodies de chansons en mémoire Amusiques: perte de la mélodie / maintien des paroles Et chez les tous venants? Peretz, Radeau et Arguin (24): Effet d amorçage entre mélodies chantées sur la la la et paroles récitées. Amorces facilitent la reconnaissance d une cible provenant de la même chanson, indépendamment du format parlé vs. chanté des amorces et cibles Lié Dormez-vous Dormez-vous Non-Lié Mon ami Pierrot Frère Jacques Frère Jacques la la la la la la la la la la Frère Jacques la la la la Tâche: décider si cible vient d une mélodie familière

17 Peretz, Radeau & Arguin 24 Effet d'amorçage (en TR, ms): (non-liés ) - (liés) même domaine domaines! mélodique cible verbale! amorçage «!inverse!» % pas dû à stratégie liées aux attentes % ces liens ne peuvent être réduits à de simples contingences temporelles mais reflèteraient des liens réciproques de + haut niveau Effets collatéraux de la pratique de la musique - Sur la musique - Sur les autres fonctions cognitives Effets collatéraux l expertise musicale sur le traitement et les représentations mentales de la musique Ex: Elbert et al. (1995) Influence de la pratique musicale sur la structure du cerveau (Peretz et Zatorre, 25) Représentation corticale des doigts de la main gauche plus grande chez joueurs instruments à cordes que Contrôles + corrélation avec âge début

18 Etudes électrophysiologiques Koelsch et al. (1999): Traitement pré- attentif supérieur chez musiciens MMN pour accords légèrement impurs alors que pas d attention aux stimuli. Pas de MMN pour ces accords chez NM Effet de l expertise musicale sur les représentations mentales de la musique Rusconi et al., 26 Lidji et al., in press Associations entre pitch (notes / hauteur) et zones de l espace Comparaison musiciens / non-musiciens Littérature: séquences linguistiques Début : gauche, fin : droite Prédiction Association grave / gauche et aigu / droite Association grave / bas et aigu / haut Effet SPARC Notes: jugement de timbre (piano vs. violon) = tâche implicite ou jugement de hauteur = tâche explicite = Effet SPARC (spatial pitch association of response codes) Réponse Même quand traitement de la note pas nécessaire? Max 11 ms X

19 Effet SPARC gauche-droite Notes: jugement de timbre (piano vs. violon) = tâche implicite Effet SPARC gauche-droite Notes: jugement de hauteur = tâche explicite drt in ms (Right-Left) Non-musicians Musicians drt in ms (Right-Left) Non-musicians -6 C3 G3 Pitch (log Hz) E5 B5-6 C3 G3 E5 B5 Pitch (log Hz) Effet SPARC bas-haut Notes: jugement de timbre = tâche implicite drt in ms (Top-Bottom) C3 Non-musicians G3 Pitch (Log Hz) Musicians E5 B5 Résultats Musiciens : - Effet SPARC (notes) quelle que soit la tâche (timbre = implicite ou hauteur = explicite) et la position (horizontal / vertical) Non musiciens : - Effet SPARC vertical quelle que soit la tâche - Effet SPARC horizontal : juste tâche pitch (explicite)

20 Non -Musiciens : En résumé En résumé Musiciens : 2 représentations activées automatiquement. Représentation spatiale naturelle de la hauteur des notes, celle qui est automatiquement activée = verticale. Apprentissage : met en place de nouvelles associations spatiales? Ou modifie les représentations existantes? Effet de l expertise musicale sur les habiletés non musicales Schellenberg (23): critique des études montrant un effet de la pratique musicale sur la réussite scolaire / QI Raisons? - corrélation / cause - Milieu socio-écono, motivation - Choix du groupe contrôle Mais: Schellenberg (24) Music lessons enhance IQ! Etude bien contrôlée (élimine facteurs confondus comme QI antérieur, statut socioécono, influence des parents): échantillon aléatoire

21 Schellenberg (24) Schellenberg (24) 144 enfants de 6 ans 2 groupes musiciens = 2 types de cours de musique (clavier ou chant) 2 groupes contrôles = cours de théâtre ou rien. QI mesuré avant et après cours (un an) Mesures de fonctionnement social Résultats Augmentation de QI avant/ après leçons = = Clavier chant théâtre rien Résultats Augmentation moyenne de QI après leçons Schellenberg (24) +7! +4.3 Clavier chant théâtre rien Schellenberg, 24: CCL Cours de musique augmentent légèrement QI Cours de théâtre (activité similaire mais nonmusicale): pas autant d augmentation QI Mais amélioration habiletés sociales 1

22 Schellenberg, 26 2 études corrélationnelles bien contrôlées Etude 1: 147 enfants 6-11 ans, durée cours de musique positivement corrélée avec QI et réussite scolaire, alors que autres variables (niveau socioculturel, ) = constants Etude 2: 15 étudiants unif, association entre musique pendant l enfance et fct intellectuel. Conclusion Pourquoi psychologie cognitive de la musique? Nous permet de mieux comprendre le fonctionnement cognitif général (modularité) Applications pratiques: - rééducation neuropsychologique - Effets de transfert (?) = éducation - Musicothérapie: effet sur émotion / comportement / douleur - Relation mère-enfant - Etc.