Plan : Master IM2P2 - Calcul Scientifique

Transcription

1 Plan : Les systèmes HPC Typologie des systèmes : Machines Mémoire partagée Machines à Mémoire Distribuées Machine NUMA Exemples Architectures Processeurs HPC Processeurs scalaires, superscalaires, vectoriels Concepts d optimisation Optimisation de codes Technique d optimisation Compilo, librairies 23/10/09 Page 38

2 Architecture Processeurs : MIMD Processeurs Généralistes ( ) Processeurs HPC ( ) Jeu d instruction complexe : multimedia, add, mult, Spécialisé Entiers 32 bit Exemple : Pentium IV Jeu d instruction simple : Mult., Add, Div., Sub. Spécialisé Flottants 64 bit Exemple : Itanium II 3,2 GHz Cache 500 ko 6,4 Gflop/s peak Linpack 0,7 Gflop/s 1,5 GHz Cache 6 Mo 6 Gflop/s peak Linpack 5,4 Gflop/s Temps de restitution 8 fois + rapide! Fondeurs : Intel (Itanium), AMD (Opteron), IBM (Power), SUN (UltraSparc), NEC (Processeurs Vectoriels) 23/10/09 Page 39

3 Architecture Processeurs HPC Définition : cycle Fréquence d horloge = nombre d impulsions par seconde 200 Mhz 200 Millions de cycles par seconde Restitution d une opération n cycles avec n 1 Spécificités processeur HPC: Instruction Level Parallelism (ILP) : Pipeline multiple Functional unit (FPU) Memoire Hierarchique Accès mémoire rapide Différents niveaux de cache L1, L2, L3 Exécution Spéculative Branch prediction Prefetching 23/10/09 Page 40

4 Architecture Processeurs HPC Exemple schéma Architecture Proc. Superscalaire: Itanium 23/10/09 Page 41

5 Architecture Processeurs HPC Exemple schéma Architecture Proc. Superscalaire: Itanium Architecure «massively parallel»: 2 FPU 4 I&MM Units 3 Branch Prediction 23/10/09 Page 42

6 Proc. Scalaire : Pentium 4 IA32 Pas de cache L3 1 FPU Pipeline Branch prediction 23/10/09 Page 43

7 Objectif Pipeline 1 cycle = 1 résultat Architecture Processeurs HPC Vision très schématique A1 = B1 + C1 load exec write 3 phases 1 phase/cycle Pipeline : exemple 3 Opérations indépendantes A1 = B1 + C1 A2 = B2 + C2 A3 = B3 + C3 23/10/09 Page 44

8 Objectif Pipeline 1 cycle = 1 résultat Architecture Processeurs HPC Opérations indépendantes A1 = B1 + C1 A2 = B2 + C2 A3 = B3 + C3 load exec write Cycle 1 Load B1,C1 Cycle 2 Add B1,C1 Cycle 3 Store in A1 Cycle 4 Load B2,C2 Add B2,C2 Store in A2 Résultats des 3 opérations : 9 cycles Load B3,C3 Cycle 8 Add B3,C3 Cycle 9 Store in A3 Cycles (Time) Ressources «idle» 23/10/09 Page 45

9 Architecture Processeurs HPC Objectif Pipeline 1 cycle = 1 résultat Opérations indépendantes A1 = B1 + C1 A2 = B2 + C2 A3 = B3 + C3 Résultats des 3 opérations : 9 cycles load exec write Pipelining : Latence : 3 cycles 1 res/cycle Cycle 1 Cycle 2 Cycle 3 Cycle 4 Load B1,C1 Load B2,C2 Load B3,C3 Add B1,C1 Add B2,C2 Add B3,C3 Store in A1 Store in A2 Cycle 5 Store in A3 Cycles (Time) Opérations indépendantes Exhiber le maximum d opérations indépendantes alimenter Pipiline 23/10/09 Page 46

10 Architecture Processeurs HPC Plusieurs niveaux de pipeline : Beaucoup d opération atomiques (dépend micor-architecture, jeu instruction) : A1 = B1 + C1 load exec write instruc. fetch decode instruc. exec Mem Store ou load Write back 23/10/09 Page 47

11 Architecture Processeurs HPC longueur pipeline : 23/10/09 Page 48

12 Architecture Processeurs HPC Alimenter le processeur : Mémoire Hiérarchique Temps Unité de Calcul «travaille» sur données dans les registres Mo 23/10/09 Page 49

13 Architecture Processeurs HPC Alimenter le processeur : Mémoire Hiérarchique Temps Unité de Calcul «travaille» sur données dans les registres Registre : taille très petite Mo A1 = B1 + C1 load B1 Hit? yes load C1 no = miss Cache? Coût n cycles Unité de Calcul «attend» n cycles 23/10/09 Page 50

14 Architecture Processeurs Plusieurs Niveaux de Cache : exemple processeur Itanium2 d INTEL Débits et Latences 1,5 Ghz => 1 cycle = 0,6 ns 2 cycles 5 cycles 12 cycles 1 ko 128 Integer Registers 1 ko 128 FP Registers 16 ko L1D cache 16 Go/s 32 Go/s 16 Go/s 32 Go/s 16 Go/s 5+1 cycles L2U cache 256 ko Mo-9 Mo 32 Go/s 6.4 Go/s 12+1cycles L3U cache 16Rd / 6Wr Altix : 145+ ns 23/10/09 Page 51

15 Architecture Processeurs Effet taille de cache : 23/10/09 Page 52

16 Exécution Spéculative : Alimenter le Pipeline Architecture Processeurs HPC If (cond1) then a1 = b1 + c1 else a1 = b1 * c1 End if «Casser» dépendances Dépendances : Cond1 a1 = b1 + c1, Branch prediction On «parie» Cond1 vraie On calcule a1 = b1 + c1,. On vérifie plus tard. 23/10/09 Page 53

17 Exécution Spéculative : Alimenter le Pipeline Architecture Processeurs HPC Prefetching Charger 1 instruction ET voisins mémoire On remplit les registres 23/10/09 Page 54

18 Concepts : ILP, Pipeline, speculation : Architecture Processeurs HPC Mie en œuvre pour différentes micro-architectures (jeux d instructions machine scalaire) x86 32 bit : Pentium (IA_32), Athlon AMD CISC : Complex instruction Set Computer x86 : Xeon, Opteron (AMD) 32 et/ou 64 bit Pour le HPC Prix, mais 32 bit bon rapport prix/performance RISC : Power6 Reduce Instruction Set Computer VLIW : Itanium Intel (co-dev. HP ex. Alpha) Very Long Instruction Word Puissance In-order Bande passante mémoire 23/10/09 Page 55

19 Architecture Processeurs HPC Différentes approches : x86 vs. EPIC (Explicit Parallel Instruction Computing) 23/10/09 Page 56

20 Architecture Processeurs HPC Le core c est quoi? 23/10/09 Page 57

21 Architecture Processeurs HPC Tendance Actuelle : processeurs multi-cœur (core) Fondeurs : Intel, AMD, IBM, SUN(Sparc) Cache Cache Cache Cache core Réduction taille gravure (45 nm) core core core core 1 processeurs mono-core 1 processeurs ( ou socket) multi-core (multi = 2, 4, 6, 8 ) Plus de puissance BRUTE ( 2, 4, 6, 8 ) Plus de mémoire Cache / core Meilleur ratio flop/watt, flop/m 2 Même niveau fréquence, même concept architectural Adaptation carte mère débit vers la RAM 23/10/09 Page 58

22 Architecture Processeurs HPC TOP /10/09 Page 59

23 TOP 500 : evolution processeurs 23/10/09 Page 60

24 Architecture Processeurs : Vectoriel Processeur Vectoriel opération sur vecteurs (non plus sur scalaire) : Single instruction multiple data (SIMD) Potentiellement très très puissant adaptation du code : meteo, Onera,etc très très très cher NEC Peak Gflop 100 Gflop/s Debit mémoire 4TB/s 23/10/09 Page 61

25 Architecture Processeurs : Vectoriel Processeur Vectoriel NEC Peak Gflop 100 Gflop/s Debit mémoire 4TB/s TOP 500 Approche/ principe(simd) utilisé dans les architecture scalaire : X86 (32bit) SSE : Streaming SIMD Extension Altivec Superscalaire (2 FPU) 23/10/09 Page 62

26 Accélérer les processeurs Accélérateurs GP-GPU : General Purpose Graphic process Unit Adaptation des cartes graphiques Précision, compilateurs, langages (CUDA), etc Stream processing (data centric process) Flop intensif (Double Precision?) parallèlisme de données localité des données Futur : Intégration dans les processeurs GP-GPU Tesla (Nvidia) Peak Gflop 500 Gflop/s Debit mémoire 80GB/s Accélérateurs FPGA : Processeur reconfigurables (CRAY, SGI) CELL : 9 cores : 1 cpu + 8 SPE IBM Roadrunner 23/10/09 Page 63

27 Architecture Processeurs HPC Comment on calcule le peak de perf. : Peak = Freq. * (Nbre opération par cycle) Nbre Opération par cycle : Combien de FPU?(scalaire, super scalaire) Vectoriel Multicore : Somme puissance core Exemple (itanium) Fréquence : 1.5 Ghz, Puissance crête : 6 Gflops/s : 1500 MHz * 2 madd/cycle 6 GFLOP/s Fréquence Peak Gflop Debit mémoire Byte/flop Processeurs Vectoriels (NEC) 100 Gflop/s 4TB/s 40 GP-GPU (Nvidia) 600 Mhz 500 Gflop/s 80 Gb/s 0,16 Itanium mono-core 1,5 Ghz 6 Gflop/s 6,4 Gb/s 1,06 Xeon Quad-Core 3 Ghz 40 Gflop 9,7 Gb/s 0,24 Xeon «NHM» 2,8Ghz 38Gflop 32 Gb/s 0,84 Power6 Bi-core 4,7 Ghz 36 Gflop? 23/10/09 Page 64

28 Calcul Haute Performance : TOP 500 List Les plus grands systèmes de calcul actuellement : classement TOP 500 Juin 2009 Benchmark : Linpack (kw) Puissance Centrale nucléaire de 40 MW à 1450 MW 23/10/09 Page 65