Hiérarchie de Mémoire: Principale, Cache, Virtuelle

Transcription

1 Hiérarchie de Mémoire: Principale, Cache, Virtuelle IFT5 Dép. d IRO, Université de Montréal (professeur E. Cerny) 6-oct-99 ift5 6. Planches et modules de mémoire Plus grandes (nb de mots) et larges (nb de bits/mot) mémoires construites avec les puces de base Assemblée sur une planche de circuit imprimé séparée du processeur ou intégrée sur la planche mère du système; bientôt intégrée avec le processeur Module ou banque de mémoire est formé de plusieurs planches Mémoire système assemblée de plusieurs modules Modules satisfait le protocole d'interface avec le processeur ajout de modules permet l'expansion de la mémoire peut contenir le circuit de rafraîchissement de DRAM peuvent être interlacés pour accélérer l'accès aux blocs de mots 6-oct-99 ift5 6.

2 Formation de plus large mémoire Select CS Data s CS... CS Data Data p s s p s Placés en parallèle p puces de largeur s bits élargissent la mémoire à largeur de p x s bits 6-oct-99 ift5 6.3 Formation de plus grande mémoire m+k k m k to k decoder... k bits d'adresse sont décodés et sélectionnent puce ou planche ou module La largeur de Memoire est de s bits Peut avoir ou 3 décodeurs othogonaux si chaque puce possède ou 3 CS : simplifie le décodeur ( ou 3 plus petits plutôt qu'un grand) CS Data s CS Data s CS Data s s 6-oct-99 ift5 6.4

3 m + q + k Mémoire à -D avec décodeurs m k CS CS Horizontal decoder q Data Vertical decoder Deux CS combinés par une porte ET à l'intérieur s One of m+q+k 6-oct-99 ift5 s-bit words 6.5 Module DRAM k+m register Chip/board selection k m/ m/ m/ Interface avec CPU Refresh clock and control Refresh counter multiplexer m/ Module select Read Write Ready Request Refresh Memory timing generator Grant Board and chip selects RAS CAS Dynamic RAM array Data lines w lines Data w Data register 6-oct-99 ift

4 Entrelacement msbs lsbs j + k = m-bit address bus msbs lsbs k + j = m-bit address bus Accélère accès aux blocs de mots j k Module Module select Module Module select.. Module k Module select k j Module Module select Module Module select.. Module k Module select Par bits inférieurs Par bits supérieurs Mots consecutifs dans modules différents mêmes Meilleure tolérance aux pannes 6-oct-99 ift5 6.7 Entrelacement par bits inférieurs Adresse: Word Module No. Bus Read module address Write module 3 address and data Module Data return Module Module read Module 3 Module 3 write t b t c t b Si t bus < t cycle alors transfert d'un bloc des mots consécutifs peut procéder avec le taux /t bus Faut équilibrer le nombre des modules m = k = t cycle /t bus où k est le nombre des bits d'adresse inférieurs décodés 6-oct-99 ift

5 Séquencement d'un accès à la mémoire Read or write Read or write Read or write Write Write Read Command to to decode Complete Precharge Write data to Write data Return data t a tc Mémoire statique Normal Read or write Read or write Read Write Pending refresh Avec rafraîchissement Row address & RAS Column address & CAS Return data Write data to t a Precharge Complete Refresh Precharge Complete t c Mémoire dynamique 6-oct-99 ift5 6.9 Exemple de temps d'accès Paramètres approximatifs de SRAM: Activation des pilots de bus d'adresse: 4 ns. Temps de propagation sur bus + tolérance: ns. Sélection de la planche: ns. Délai de propagation de sélection: 3 ns. Sélection de puce: ns. Temps total de propagation d'adresse: ns. Temps d'accès dans le circuit intégré: 7 ns. Délai du CI au bus de données de planche: 3 ns. Délai de pilots et du bus même: 5 ns. Temps d'accès total: 7 ns. Conclusion: Circuit Intégré (CI) de mémoire de temps d'accès de 7 ns ne donnent pas nécesairement un temps d'accès à la mémoire de 7 ns! 6-oct-99 ift5 6. 5

6 Hiérarchie de mémoire Objecif: Faire semblance d'avoir une mémoire de la taille de la mémoire sécondaire avec la vitesse de la mémoire primaire (la plupart de temps) Cache - Memoire principale : équilibrer la vitesse avec le CPU Mémoire principale - Disque : Mémoire virtuelle : augmenter la taille apparent de la memoire principale Pourquoi ca fonctionne: Localité d'accès temporelle et spaciale Notion de Working set, ensemble de travail des blocs ou pages accédés en intervale de temps T (fenêtre de temps) change lentement grâce aux "localités". CPU + rapide, + petits Primaire + lente, + grande Sécondaire Deux niveaux adjacents de mémoire 6-oct-99 ift5 6. Niveaux primaire et sécondaire Transfert entre deux niveaux en terme de blocs (de mots, octets) CPU - cache: quelques octets cache - mémoire principal: bloc de 6 à 64 octets mémoire - disque: k à 4k octets (taille de page virtuelle) Latence: temps pour obtenir le er mot cache - mémoire principale: 4 à 5 top d'horloge mémoire principale - disque: top d'horloge Débit: nombre des mots transmis par seconde entre les niveaux Lorsque l'ensemble de travail change, les bloc sont déplacés d'un niveau à l'autre pour satisfaire la demande Adresse changent d'un niveau à l'autre - besoin de traduction d'adresse P.E.: mémoire principale = entier; disque = (surface, piste, secteur, deplacement dans secteur) Adresse primaire vs Adresse sécondaire 6-oct-99 ift5 6. 6

7 Adressage et accès dans niveaux Memory management unit (MMU) Miss Défaut in secondary Secondary level System address Translation function (mapping tables, permissions, etc.) H/W ou S/W Block Hit Succès in primary Primary level Word 6-oct-99 ift5 6.3 Calcul d'adresse primaire System address System address Block Word Block Word Lookup table Lookup table Block Word Primary address Système paginé (blocs de taille fixe) Base address + Primary address Word Système segmenté (blocs de taille variable) 6-oct-99 ift

8 Caractéristiques d'accès, terminologie 6XFFqV GDFFqV OH PRW D pwp WURXYp DX QLYHDX R GHPDQGp 'pidxw GDFFqV OH PRW QpWDLW SDV WURXYp DX QLYHDX R GHPDQGp,O IDXW DORUV UFKHUFKHU XQ EORF DX QLYHDX VXSpULHXU TXL FRQWLHQW OH EORF GHPDQGp 7DX[ GH VXFFqV K QRPEUH GH VXFFqV GDFFqV QRPEUH WRWDO GDFFqV 7DX[ GH GpIDXWV K W S WHPSV GDFFqV jppp 3ULPDLUH W V WHPSV GDFFqV j PpP VpFRQGDLUH 7HPSV GDFFqV HIIHFWLI W D K W S K W V 3DJH KDELWXHOOHPHQW XQ EORF GH GLVTXH 'pidxw GH SDJH 3DJH IDXOW 3DJLQDWLRQ VXU GHPDQGH SDJHV WUDQVIpUpHV GX GLVN j OD PpPRLUH VHXOHPHQW VL XQ PRW HVW GHPDQGp SDU SURFHVVHXU YV 3UpSDJLQDWLRQ 'pflvlrqv GH SODFHPHQW HW GH UHPSODFPHQW IDXW IDLUH FKDTXH IRLV XQ EORF HVW GpSODFp 6-oct-99 ift5 6.5 Mémoires Caches Cache - mémoire rapide entre le CPU et la mémoire principale Agit comme un tampon pour accélérer des accès aux instructions et aux données (cache commun ou caches séparés) Décisions: Procédure de traduction d'adresses Taille de bloc Placement primaire: direct, associatif ou combinaison (associatif par ensemble de blocs) Politique de remplacement (FIFO, LRU, aléatoire, ) Accès au travers (direct) à la mémoire au cas de défaut Écriture immédiate (write through) Écriture au remplacement Lecture immédiate lors de chargement du bloc au cache À cause de la vitesse d'opération, les mécanismes sont implantés en matériel 6-oct-99 ift

9 4? 9 Valid bits Cache associatif Mémoire associative Cache Main Cache block MM block? MM block Cache block MM block field, 3 bits Valid, bit Adresse mémoire 55 Cache block 55 One cache line, 8 bytes 3 3 Byte MM block 9 MM block 4 MM block 89 One cache line, 8 bytes 6-oct-99 ift5 6.7 Cache associatif (suite) Associative tag Argument register Match bit Valid bit Réalisation d'accès Cache block 3 Match? Cache block 4 Cache block Main address Byte Selector One cache line, 8 bytes 6 To CPU 8 6-oct-99 ift

10 Cache associatif (suite) Avantages: Le plus flexible, bloc peut être placé n'import où dan le cache Inconvénients: Une grande mémoire associative est chère produit beaucoup chaleur recherche de tout mots en parallèle est compliquée politique de remplacment oeut être un problème Autres solutions associativité directe: Chaque bloc de mémoire ne peut parraitre que dans un bloc de cache associativité par ensemble de blocs: Chaque bloc ne peut exister que dans un sousensemble fixe de bloc de cache. 6-oct-99 ift5 6.9 Cache à associativité directe Valid bits Cache Main block numbers Group #: #: field, 5 bits One cache line, 8 bytes One cache line, 8 bytes le bloc de mémoire à l'adresse B reside dans le bloc de cache b = B mod (Nb. bloc dans le cache) Cache address: 8 Main address: 5 8 Group } No de bloc 3 3 Byte 6-oct-99 ift5 6.

11 Cache à associativité directe - opération. Sélectionner groupe de cache. Verifier si valide 3. Si oui, comparer 4. Si même, lire le bloc 5. Sélectionner le mot, octet, Valid bits 5 Main address Group Byte decoder 56 Hit 4 Cache field, 5 bits Cache miss 3 5-bit comparator = 3 Cache hit 5 Selector 8 Très restrictif, si deux blocs actifs de mémoire résident dans le meme bloc de cache. 6-oct-99 ift5 6. Cache à associativité par ensemble de blocs Élargir le groupe de cache à associativitée directe à contenir plus d'un bloc, avec une recherche associative dans le groupe sélectionné 3 9 Cache Main block numbers Group #: field, 5 bits Associative par ensemble de blocs One cache line, 8 bytes #: Cache group address: Main address: Set Byte 6-oct-99 ift One cache line, 8 bytes

12 The Intel Pentium Cache caches séparés de niveau (L) intructions (P.I: 8k, assoc. par ens. de blocs; P.Pro: 8k, assoc. par ens. de 4 blocs; P.II: 6k, assoc. par ens. de 4?) donnees (P.I: 8k, assoc. par ens. de blocs; P.Pro: 8k, assoc. par ens. de blocs; P.II: 6k par ens. de blocs) Assoc. par ens. de dans Pentium I: 8 K = 3 octets 3 = 5 octets par ligne (bloc) 64 or 6 bytes per set (= blocs x 3 octets/bloc) 3 / 6 = 7 = 8 groupes = bits pour le tag Set (group) Word oct-99 ift5 6.3 Politiques de lecture et d'écriture Sur succès d'accès: écriture immédiate (write through) - mise-à-jour de la mémoire et du cache lors d'écriture écriture au remplacement (write back) - écriture du bloc lors de l'enlèvement du cache. bit "sale" indique si le bloc a été modifié lors de son séjour dans le cache Sur défaut d'accès: Lecture mise-à-jour du bloc de cache avec le transfert du mot au CPU relancement de la lecture après avoir chargé le bloc au complet Écriture Allouer avant écrire (write allocate) - emmener le bloc dans cache et écrire écriture sans allocation (write non-allocate) - écrire dans la mémoire sans mise-à-jour du cache 6-oct-99 ift5 6.4

13 Politique de remplacement Associativité directe - pas besoin de politique Associativité complète ou par ensemble LRU (Least Recently Used) mesurer l'usage à l'aide d'un compteur pare ensemble à l'accès d'un bloc, remise à zero de son compteur incrémenter par un chaque compteur ayant son compte plus petit que celui du compteur du bloc accédé les autres restent inchangés Lors que l'ensemble est plein et on doit remplacer, alors éliminer le bloc avec le compte le plus grand approximation de un algorithme basé sur une pile qui toujours replace le No du bloc accédé au sommet de la pile; sur remplacement le bloc au fond de la pile est éliminé Remplacement aléatoire fonctionne aussi assez bien 6-oct-99 ift5 6.5 Performance de cache Avec le cache: t accès = h succès t Cache + ( - h succès ) t Mémoire Faut connaitre les temps d'accès, le temps de remplissage du bloc de cache, et le taux de succès sur des programmes tests et ensuite calculer le temps d'accès effectif l'accéleration S = T sans cache / T avec cache 6-oct-99 ift

14 Set of 8 Cache du PowerPC 6 Cache Line Sector Sector 64 sets Line 63 tag bits 8 words 8 words 8 words 8 words 8 8 words words 8 8 words words 64 bytes 8 8 words words 8 words bytes bytes 8 words 64 bytes 64 bytes 64 bytes Physical address: Line (set) # 6 Octet # un cache unifié - instructions et données 3k octets, 64 groupes x 8 blocs / groupe associative par ensemble, un bloc = 6 mots de 4 octets chacun, organisés en secteurs de 8 mots chacun pour faciliter la mise-à-jour Mise-à-jour en tops d'horloge, 4 mots transférés chaque fois écriture sur remplacement, mais peut aussi programmer immédiate ou inhiber le cache complètement 6 6-oct-99 ift5 6.7 Mémoire virtuelle CPU Chip CPU Logical MMU Mapping Tables Virtual Physical Cache Main Memory Disk MMU (Memory Management Unit) s'occupe de la gestion de l'espace de mémoire et de la traduction d'adresse virtuelle à adresse physique Adresse effective calculée par le processeur est une adresse (logique) dans un espace virtuel (plus grand que l'espace physique). Pour accéder à l'information à une adresse virtuelle V, il faut d'abord emmener l'info dans la mémoire physique et lui associer une adresse physique P. Tout accès à V est traduit à un accès à P. Cache peut voir soit adresses virtuelles soit adresses physiques (ce qui est plus habituel) 6-oct-99 ift

15 PowerPC 6 - adresses virtuelles / physiques CPU génère des adresses logiques de 3 bits Élargies par le MMU à 5 bits d'adresse virtuelle (pour identifier le processus à qui le programme appartient); cette adresse virtuelle est ensuite traduite à une adresse physique de 3 bits. Différents modèles de PPC ont des configurations différentes de taille d'adresses virtuelle et physique, selon les applications visées 6-oct-99 ift5 6.9 Mémoire virtuelle - avantages Écriture des programme simplifiée, espace d'adresses assez grand Multiprogrammation améliore l'utilisation du CPU Donc pas de fragmentation du programme et recouvrements (overlays) Mémoire disque moins chère remplace mémoire principale plus couteuse Contrôle d'accès au niveau élémentaire des blocs - vérification des privilèges sur lecture, écriture, et exécution Peut protéger contre erreur dans programme (OS, ou autres processus) Peut protéger contre des attaques intentionnels C'est l'origine des messages "segmentation error", "bus error" Inconvenient - pour des programmes avec une pauvre localité d'accès, la performance peut être très mauvaise pour des programme complexes (simulation, CAO, etc., Faut programmer en tennant compte de la présence de mémoire virtuelle) 6-oct-99 ift

16 Gestion de mémoire par segmentation Problème: Fragmentation externe Solution: Compaction périodique des segments dans la mémoire Virtual addresses Main Segment 5 Gap Segment Segment 6 FFF Physical addresses Gap Segment 9 Segment 3 6-oct-99 ift5 6.3 Mémoire virtuelle segmentée Main Segment 5 Virtual address from CPU Bounds error No + Offset in segment Segment base register Gap Segment Segment 6 Gap Segment 9 Segment 3 Segment limit register Plusieurs registres de base 6-oct-99 ift

17 Segmentation dans l'intel 886 Adresse "virtuelle" de 6 bits Adresse physique de bits 4 registre de base de segments CODE, DATA, STACK et EXTRA Utilisé pour augmenter l'espace d'adresses logiques Existe dans Pentium, mais aussi avec pagination et des segments plus grands 6-bit segment register 6-bit logical address -bit physical address 6-oct-99 ift Gestion de mémoire par pagination Pages,, sont résidentes Page n- n'est que sur le disque, sera charge si référée par le programme MMU gère l'affectation Pages de trames aux pages et traduction d'adresses Virtual Trames (Frames) Physical Secondary Secteurs / Blocs Program unit Page n.. Page Page Page 6-oct-99 ift

18 Traduction d'adresses avec pagination Virtual address from CPU Page number Offset in page Main Desired word Physical address Physical page Word Table de pages à un niveau Peut être grande! Une table / usager Bounds error No + Page table limit re gis te r Offset in page table Page table base register Problème: Fragmentation interne (aux pages) Page table Accesscontrol bits: presence bit, dirty bit, usage bits Physical page number or pointer to secondary storage Hit. Page in primary. Mis s (page fault). Page in secondary. Translate to Disk address. 6-oct-99 ift Placement et remplacement de pages Tables de pages: correspondance d'adresses directe Pages de programe - traduites via la table, résident dans des trames physiques sans ordre quelconque Table des pages risque d'être très grande Utilisation des tables à deux niveaux ou des tables de hashage qui ne contiennent que des pages référées Politique de remplacement généralement LRU (ou une approximation), masi aussi un simple bit de usage à l'intérieurr d'une fenêtre de temps Bits Valide et Sale nécessaires avec chaque trame Problème avec la lenteur de la traduction d'adresses Utilisation d'un tampon de traduction (Translation Lookaside Buffer - TLB) - une sorte de mémoire cache pour des adresses Complètement associatif 6-oct-99 ift

19 TLB Main or cache Desired word Virtual address from CPU Page number Word Physical address Physical page Word Associative lookup of virtual page number in TLB Y Hit N TLB TLB hit. Page is in primary. TLB miss. Look for physical page in page table. To page table Virtual page number Accesscontrol bits: presence bit, dirty bit, valid bit, usage bits Physical page number 6-oct-99 ift Sommaire de l'opération de la hiérarchie CPU Cache Main Secondary Virtual address Search TLB Search cache Search page table Page fault. Get page from secondary Y TLB Cache Y Y hit hit Page table hit Miss Miss Miss Update MM, cache, and page table Update cache from MM Generate physical address Generate physical address Return value from cache Update TLB 6-oct-99 ift

20 Power PC MMU Seg # 4 4 Virtual pg # Word Segments: Blocs de 56MB! 7 5 Access control and misc. 4-bit virtual segment ID (VSID) UTLB Set Set Hit to CPU 3 Cache d d 3 -bit physical page 4-bit virtual page.. Compare Compare Hit 4 Miss cache load Miss to page table search 7.. mux -bit physical address 6-oct-99 ift Cache, mémoire virtuelle et E/S CPU Cache Main Paging DMA Disk I/O DMA I/O 6-oct-99 ift5 6.4