Multi-processeurs, multi-cœurs et cohérence mémoire et cache

Transcription

1 Multi-processeurs, multi-cœurs et cohérence mémoire et cache Intervenant : Thomas Robert Institut Mines-Télécom

2 Rappel système d exploitation & Parallélisme L unité d exécution pour un système d exploitation : le thread 1 séquence d instructions 1 état dit contexte Progression dans l exécution séquentielle (compteur ordinal) Tables de pages pour la mémoire virtuelle Pile d exécution en mémoire, et espaces d adressages Partage du processeur : le changement de contexte Sauvegarde des registres en mémoire Récupération des valeurs de registre (hors PC) Chargement des registres Affectation du registre PC à la dernière valeur 2

3 Architecture Monoprocesseur Registres de travail pipeline Mémoire principale Interface du Bus Contrôleur mémoire Bus du Système 3

4 Architecture Monoprocesseur Superscalaire Registres de travail Pipeline Mémoire principale Interface du Bus Contrôleur mémoire Bus du Système 4

5 Registres de travail Architecture Monoprocesseur Multi-threadée Pipeline Mémoire principale Interface du Bus Contrôleur mémoire Bus du Système 5

6 Architecture Multi processeur Registres de travail Registres de travail pipeline pipeline Interface du Bus Interface du Bus Bus du Système 6

7 Architecture Multi processeur mémoire partagée Registres de travail pipeline Mémoire principale Registres de travail pipeline Interface du Bus Contrôleur mémoire Interface du Bus Bus du Système 7

8 Rappel sur les bus Définition Bus : Dispositif permettant la communication entre deux parties d un processeur à travers un ensemble de câbles transmettant en un instant un certain nombre de bits La largeur du bus (ou capacité) est le nombre de bit transmis à un instant donné Un bus peut servir à diffuser des données à l ensemble des éléments connectés ou à réaliser des transferts «point à point» Une partie des câbles servent à coordonner le transfert d information sur le bus (qui émet, qui lit) ces câbles sont la partie «contrôle» du bus (et parfois appelés bus de contrôle) Bus adressable : une adresse est un identifiant unique permettant d indiquer un espace de stockage Les opération élémentaires d émission et de lecture sur le bus sont appelés lectures et écritures lorsqu elles concernes des adresses Un bus adressable permet au minimum de deux opérations lecture et écriture sur les adresses L adressage (transfert de l adresse) se fait souvent sur des câbles séparés (ces cables sont identifiés parfois comme un bus séparé) 8

9 Modèles d interaction et placement de la mémoire 9

10 Le problème des accès concurrents à la mémoire Rappel processeur RISC A=A+4 => ld add r3,4,r4; sw 3 instructions pour lire incrémenter et mémoriser A Principe du data race 2 activités séquentielles comportant au moins 3 étapes Lecture, calcul et écriture Accès à une même variable en lecture/écriture Non déterminisme Solution : Désentrelacer les lectures/écritures Par contrôle d exécution passif (verrous) Par contrôle d exécution actif (ordonnancement) 10

11 Mémoire partagée propriétés clés La mémoire est organisée sous la forme d un ensemble d adresses accessibles par tous les processeurs Dans le cas d accès à des adresses distinctes Chaque processeur doit avoir accès à sa donnée de manière similaire au cas mono processeur Chaque processeur peut exécuter un thread accédant à ses pages mémoire Dans le cas d accès à une même adresse L accès à la variables doit être «sérialisé»de sorte à ce que l intégrité des données La sérialisation doit être réalisée au niveau du programme ou du processeur 11

12 Gérer le problème dans le programme Instructions de synchronisation : Test and Set Lock tsl A, lock Copier la valeur du verrou (présent en mémoire) vers le registre A du processeur Mettre la valeur du verrou à 1 L Operation est atomique pour N processeurs Comment : Le bus mémoire est verrouillé durant l opération de lock (signifie qu aucun autre accès mémoire ne peut être réalisé) Optimisation : le principe des mémoires distribuées (couteux en communication et dur à programmer) 12

13 Les désavantages d une mémoire partagée «distante» Problème de verrous basé sur le verrouillage du bus Le verrou bloc tous les accès (ceux qui doivent l être et les autres) =>Le temps passé en section critique limite le parallélisme Solution : Disposer d une mémoire locale à chaque cœur pour accélérer les traitements Utiliser la mémoire local comme un cache pour les accès indépendant Continuer à gérer les exclusions mutuelles par des verrous Attention cela ne résout pas le problème d accès concurrent, cela limite l impact des verrous sur des exécutions indépendantes En diminuant le nombre d accès à la mémoire principale En accélérant le temps passé dans les sections critiques 13

14 Complément sur le fonctionnement du cache : politique d écriture Une donnée dans un cache == un emplacement Peut servir pour les lectures et écritures PB : l état d une ligne et des adresses mémoire que la ligne représente peut différer suite à une écriture Ecriture différée (write-back) Les écritures sont stockées dans le cache Les valeurs sont mise à jour en mémoire lorsque le contenu du cache doit en sortir Avantage : peu de transferts entre le cache et le processeur Écriture synchrone (write through) Les écritures sont stockées dans le cache Elles sont aussi réécrites en mémoire Avantage : la mémoire et le cache correspondent 14 19/11/13 Institut Mines-Télécom

15 Cohérence Mémoire / dans le cas mono processeur Soit X à l adresse 4092, on considère un cache direct mapped (par simplicité) qui charge X dans dans l entrée numéro 0 processor L0: (invalid) Programme I1 : ld 4000, r1 I2 : add, r1, 4 I3 : st r1, 4000 Main memory x= /11/13 Institut Mines-Télécom

16 Cohérence Mémoire / dans le cas mono processeur Soit X à l adresse 4092, on considère un cache direct mapped (par simplicité) qui charge X dans dans l entrée numéro 0 processor L0: Programme I1 : ld 4000, r1 I2 : add, r1, 4 I3 : st r1, 4000 Main memory x=15213 L instruction ld a pour effet de mettre dans L0 le contenu de X 16 19/11/13 Institut Mines-Télécom

17 Cohérence Mémoire / dans le cas mono processeur Soit X à l adresse 4092, on considère un cache direct mapped (par simplicité) qui charge X dans dans l entrée numéro 0 processor L0: Programme I1 : ld 4000, r1 I2 : add, r1, 4 I3 : st r1, 4000 Main memory x=15213 L instruction add n a pas d effet sur le cache 17 19/11/13 Institut Mines-Télécom

18 Cohérence Mémoire / dans le cas mono processeur Soit X à l adresse 4092, on considère un cache direct mapped (par simplicité) qui charge X dans dans l entrée numéro 0 Cas write back Cas write through processor processor L0: Main memory x=15213 Transfert vers la mémoire L0: Main memory x=15217 Programme I1 : ld 4000, r1 I2 : add, r1, 4 I3 : st r1, 4000 L instruction stna un effet différent en write back ou write through 18 19/11/13 Institut Mines-Télécom

19 Architecture Multi processeur mémoire partagée avec cache Registres de travail pipeline Mémoire principale Registres de travail pipeline Interface du Bus Local Contrôleur mémoire Interface du Bus Local Bus du Système 19

20 Problème de la cohérence du cache (1) : ou comment avoir un data race alors qu on utilise des verrous Coeur 1 Coeur 2 Coeur 3 Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Main memory x=15213 Les deux cœurs exécutent Programme lock vaut 0 à l origine et 1 si après exécution de tsl, I0,I1 permettent de prendre le verrou I5 le rend 20 19/11/13 Institut Mines-Télécom

21 Problème de la cohérence du cache (1) : ou comment avoir un data race alors qu on utilise des verrous Coeur 1 Coeur 2 Coeur 3 x=15217 Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Main memory x=15213 On suppose dans un premier temps, Que lock ne va pas dans le cache Après une première exécution de Programme par cœur /11/13 Institut Mines-Télécom

22 Problème de la cohérence du cache (1) : ou comment avoir un data race alors qu on utilise des verrous Coeur 1 Coeur 2 Coeur 3 x=15217? Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Main memory x=15213 Supposons que cœur 2 exécute I0 juste après que cœur 1 exécute I5 Cœur 2 prend le verrou et va charger X au moment de l exécution de I2 Pb : quelle sera la valeur chargée? 22 19/11/13 Institut Mines-Télécom

23 Problème de la cohérence du cache Si L0 est invalide en write-back Coeur 1 Coeur 2 Coeur 3 x=15217 L0 : Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Main memory x=15213 En write back, l exécution de I4 n entraine pas la mise à jour de x en mémoire principale la valeur chargée par le cœur 2 en I2 sera de 15213, une valeur qui n est plus à jour! 23 19/11/13 Institut Mines-Télécom

24 Problème de la cohérence du cache en write-trough? (1) Coeur 1 Coeur 2 Coeur 3 x=15217 L0 : 15217) Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Write through lors de I4 sur Cœur 1 Main memory x=15217 En write through, l exécution de I4 entraine la mise à jour de x en mémoire principale la valeur chargée par le cœur 2 en I2 sera bien /11/13 Institut Mines-Télécom

25 Problème de la cohérence de cache en write through Hypothèse : 2 cœurs C1, C2 avec chacun un cache permettant de mettre en cache X Identification du problème : 2 cœurs avec une donnée identique au contenu mémoire Ecriture de X sur cœur C1 => X dans le cache de C1 avec pour valeur V et et idem en mémoire Lecture, puis écriture de X sur cœur C2 => X dans le cache de C2 avec pour valeur V et la mémoire contient x=v Le contenu du cache de C1 est périmé!!! (vaut V contenu mémoire) 25

26 Protocole de cohérence Définition : un protocole de cohérence de cache est un ensemble de messages échangés par les contrôleurs de cache pour éviter une situation de data race sur une adresse chargée en cache. L envoi des messages dépend de l état des lignes de caches Le protocole est défini en fonction de l action réalisée sur la ligne (read / write), de l état du cache (Invalid ) et des messages reçus Les sources d incohérences : Lorsqu un cache contient déjà l adresse, il ne va pas accéder à la mémoire (source d incohérence pour write through et write back) Lorsqu un cache contient déjà une adresse et en modifie le contenu, cette modification n est pas répercutée en mémoire (source d incohérence pour write-back) 26 19/11/13 Institut Mines-Télécom

27 Protocole d invalidation de ligne : Cohérence des caches write through Principe : Dès qu un cœur écrit une variable dans son cache, il en informe tous les autres cœurs Le cœur qui écrit son cache envoi un message sur les lignes de contrôle du bus inter-cœurs, indiquant l adresse écrite Chaque cœur qui reçoit ce message met à jour l état des lignes de cache si nécessaire Besoin de 2 états pour chaque ligne : valid / invalid On peut classer les instructions en deux catégories : Instructions entrainant une lecture mémoire (load /adressage) Instructions entrainant une écriture mémoire (store /adressage) opération Sur le cache local Bus Autres Proc Read (hit) Read - - Read (miss) Read (après chargement) chgt - Write (hit) Write WT Invalidation si ligne en cache Write (miss) Write WT Idem 27

28 Problème de la cohérence du cache (1) : Principe d invalidation de ligne en write trough Coeur 1 Coeur 2 Coeur 3 x=15217 L0 : (invalid) Programme I0 : tsl r1, lock i1 : bnz I0 I2 : ld 4000, r1 I3 : add, r1, 4 I4 : st r1, 4000 I5 : st r0,lock ; //r0=0 I6 : jmp I0 Write through lors de I4 sur Cœur 1 Main memory x=15217 Invalidation de l0 sur Cœur 2 En write through avec invalidation, Même si L0 de Cœur 2 contient une copie de X, dès l exécution de I4 sur Cœur 1, L0 devient invalide => retour cas précédent 28 19/11/13 Institut Mines-Télécom

29 La cohérence de cache pour cache write-back Le protocole MSI Principe : On utilise l invalidation pour toute écriture dans le cache (idem au cas write through) On assure en plus que lorsqu un cœur veut charger une adresse dans son cache, si il existe un cœur ayant une valeur plus récente que celle stockée en mémoire, alors on laisse au cœur ayant la valeur la plus récente le temps de la recopier dans la mémoire avant de la charger Mise en œuvre : ajout de l état M(odified) à l état des lignes de cache Pour la suite cf TD 29 19/11/13 Institut Mines-Télécom