Apprentissage dans le Cerveau François Rivest Université de Montréal Hiver 2003
Apprentissage dans le Cerveau Types de mémoire et d apprentissage et leurs structures associés Boucles motrices Cervelet Ganglions de la base (noyaux gris) Néocortex Interaction possible (noyaux gris et cortex) Autres mécanismes synaptiques*
Les types d apprentissage Mémoire explicite (déclarative) Faits (sémantique), événements (épisodique), Mémoire implicite (non-déclarative) Procédurale Habilités motrices, habitudes, Apprentissage associatif Conditionnement classique Conditionnement instrumental Apprentissage non-associatif Habituation, sensibilisation, Amorçage
Les boucles principales Lobes temporaux médians (hippocampe) Mémoire déclarative Striatum Mémoire procédurale Conditionnement Instrumental Cervelet Mémoire associative: musculature squelettique Amygdale Mémoire associative: réponse émotionnelle Néocortex Autre
Dissociation Double Hippocampe Mémoire Explicite Sans hippocampe, le rat ne peut se rappeler où il a été sans les indicateurs Striatum Mémoire implicite Sans striatum, le rat ne peut apprendre à utiliser les indicateurs
Dissociation Double Hippocampe Mémoire Explicite Sans hippocampe, le patient ne sait pas à quelle couleur ou à combien de couleurs le son est associé. Amygdale Mémoire émotionnelle Sans amygdale, le patient ne répond pas aux couleurs associées au son. Similairement, certaines personnes ne reconnaissent pas les visages (cortex aires 20-21) alors que d autres ne reconnaissent pas les expressions faciales émotionnelles (amygdale). Des bloqueurs de certains récepteurs peuvent empêcher la mémoire émotionnelle sans empêcher l émotion elle-même.
Liens possibles avec la théorie de l apprentissage Cortex Apprentissage non-supervisé Cervelet Apprentissage supervisé Ganglions de la base (striatum) Apprentissage par renforcement Lobe temporal médian (hippocampe) Apprentissage symbolique
Les boucles motrices
Le cervelet Mémoire associative: Musculature squelettique
Cervelet 3 sections Vestibulocervelet Spinocervelet Cérébrocervelet Différentiables par leurs entrées et sorties uniquement.
Rôles du cervelet Problèmes cérébelleux impliquent Difficultés d anticipation musculaires Difficultés de coarticulation musculaires Difficultés d adaptation musculaires
Architecture du cervelet 1 000 000 fibres parallèles Information du cortex et de la moelle épinière 1 fibre grimpante Proprioception musculaire (olive inférieure) 1 cellule de Purkinje Inhibiteur sur les noyaux sorties du cervelet
Méchanisme du cervelet Signal: Fibre grimpante + Fibre parallèle -> Diminue la connexion (LTD) Fibre parallèle vers Cellule de Purkinje Pour quelques minutes à quelques heures
1 tâche test pour le cervelet 2 balles = 2 poids 2 conditions: Sans manipulation préalable ni avertissement Avec manipulation préalable et avertissement
Résultats de la tâche test Control Patient Information préalable sans effets. Nécessité de vivre/sentir la situation. Adaptation musculaire précise locale dans le temps.
Théorie sur le cervelet Fibres grimpantes de l olive inférieur signalant l erreur de mouvement ou positionnement basé sur la proprioception. Fibres parallèles indiquant l état sensoriel, de planification et moteur. Adaptation locale dans le temps Système supervisé Cérébrocervelet -> Language?
Les ganglions de la base Apprentissage par renforcement
Les ganglions de la base Neurones Dopaminergiques GABA - Dopa + Striosome Gluta + Striatum SNpc (& VTA) Matriosome Sortie GPi GABA - GPe Cortex GABA - GABA - Gluta + STN GPi (& SNpr) Thalamus
Neurones dopaminergiques Signalent l erreur sur la récompense espéré.
Neurones du striatum
Striatum Neurones 10 000 afférences, généralement de 1000 à 10 000 sources différentes (2e après le cervelet). Réagissent principalement aux stimuli liés à des mouvements à faire. L activité peut aussi se bâtir d elle-même. Ils reçoivent aussi toutes des informations par voie dopaminergique.
Révision de TD-Learning Transformation de l apprentissage par renforcement en apprentissage supervisé. Apprendre la fonction V π (s), soit l espérance de récompense pour l état s sous la politique d action π. Ou, similairement, apprendre la fonction Q π (s,a) pour l état s et l action a (Sarsa).
Équations de TD ( ) ( ) ( ) ( ) [ ] t t t t t s V s V r s V s V π π π π γ α + + = + + 1 1 ( ) Ε = + + 0 1 k k s t r t V π π () ( ) ( ) [ ] t t t s V s V r t π π γ δ + = + + 1 1
Théorie sur le striatum Les neurones dopaminergiques fournissent le signal d erreur sur la récompense espérée δ(t). Le striatum représente la fonction V π (s). Le GPi retourne l information de sortie sur l action à privilégier.
Les ganglions de la base Neurones Dopaminergiques GABA - Dopa + Striosome Gluta + Striatum SNpc (& VTA) Matriosome Sortie GPi GABA - GPe Cortex GABA - GABA - Gluta + STN GPi (& SNpr) Thalamus
Le nécortex Apprentissage non-supervisé Hebbian
LTP NMDA/AMPA du cortex
LTP NMDA/AMPA du cortex Récepteurs AMPA représentent la connexion synaptique réelle. Récepteurs NMDA font office de détecteur Hebbian. Si le neurone post-synaptique est actif en même temps que le neurone pré-synaptique, alors le récepteur NMDA ouvre et enclenche le processus de création de récepteurs AMPA supplémentaires. (Possibilité de dédoublement synaptique.) Avec le temps, les récepteurs AMPA se détériorent si les récepteurs NMDA ne sont pas suffisamment actifs.
Les ganglions de la base Transfert de l apprentissage procédurale dans cortex
Apprentissage procédurale Hypothalamus (Récompense rélle) Sortie Récompense réelle Cortext Moteur (Couche de sortie) Favorisation d une action. Neurones DA (Erreur sur la prédiction) Erreur Récompense Prédite Striatum (Prédiction de la récompense) État actuelle État actuelle État actuelle Cortex Générale (Couches cachés) Action/Récompense Prédite Ganglion de la base (TD) GPi (Choix de l action à favoriser) Cortex Sensoriel (Couche d entré) Entrée
Habituation, Sensibilisation Mécanismes synaptiques
Réflexe du retrait de l ouïe chez l aplysie.
Questions? Merci