Eléments d architecture des. machines parallèles et distribuées. Notions d architecture de. machines parallèles et distribuées

Transcription

1 M2-ILC Parallélisme, systèmes distribués et grille Eléments d architecture des Stéphane Vialle Stephane.Vialle@centralesupelec.fr 2 Depuis 24 les CPU sont multi-cœurs (suite à la réinterprétation de la loi de Moore) : de plus en plus de cœurs par «socket» (processeur) la puissance d un cœur reste stable (n évolue presque plus), sauf en utilisant des unités vectorielles au sein de chaque cœur Stabilisation de la puissance d un cœur et impact du multi-cœurs : L accroissement de performance d un cœur CPU est du au parallélisme depuis plusieurs années et il faut aller le chercher! de plus en plus de cœurs concourent pour accéder à la RAM une hiérarchie de mémoires caches apparait de plus en plus et les vitesses du cache et de la RAM ne cessent de s écarter difficile d exploiter ces architectures au maximum de leurs capacités 3 W. Kirshenmann EDF & EPI AlGorille, d après une première étude menée par SpiralGen 4 Intel Core i7 - Nehalem Des cœurs hyper-threadés Des mémoires caches Un sheduler de threads Des pipelines. Des unités de calcul vectorielles : «SSE» Un processeur contient beaucoup de composants différents, pouvant fonctionner en parallèle, interconnectés et ayant tous besoin d être alimentés en données : très difficile d exploiter à l optimum! les «optimisations sérielles» sont une démarche essentielle 5 Le «médium» de partage de mémoire entre les cœurs est l élément clé d un CPU multi-cœurs : un bus mémoire rapide une hiérarchie de caches cohérents et rapides des protocoles d accès aux bus et aux bancs mémoires De grosses différences de performances entre différents processeurs, avec des étapes d évolution importantes dans l architecture. Rmq : la plupart des codes sont «memory bound» et non pas «CPU bound» (c est l accès aux données qui limite les perfs). 6 1

2 MFlops Pendant très longtemps les PC multiprocesseurs (monocoeurs) étaient mauvais en partage de mémoire : Relaxation de Jacobi 1 proc 2 procs-omp Mauvais! Problem Size (KBytes) MFlops proc 2 procs 4 procs Bien! Problem Size (KBytes) 7 PC bi-processeurs (2) SUN quadri-processeurs (2) La situation change entre 28 et 29 avec l architecture Nehalem d Intel (la technologie «bi-bus» d AMD n était pas aussi performante) : MegaFlops Mauvais! 4 th 2th 1 th Pb size (MBytes) Intel 4-cœurs avant le Nehalem Relaxation de Jacobi 1 MegaFlops th 4 th 2th 1 th Assez bien Pb size (MBytes) Intel 4-cœurs Nehalem Sorti du cache les accès à la RAM étaient sérialisées Le «smart memory bus» d Intel est une grosse amélioration (en fait ce n est plus un bus, voir + loin) 8 La situation change entre 28 et 29 avec l architecture Nehalem d Intel (la technologie «bi-bus» d AMD n était pas aussi performante) : MegaFlops Produit de matrices denses 12 4 th 2th 1 Très bien! Assez bien 1 th Pb size (MBytes) Intel 4-cœurs avant le Nehalem On peut programmer en parallèle en sortant du cache On perd la vitesse du cache mais pas l accélération MegaFlops 8 th 4 th 2th 1 th Pb size (MBytes) Intel 4-cœurs Nehalem 9 On est passé d une interconnexion en bus + protocole de partage de bus à un réseau d interconnexion avec des brins et des switchs. un «vrai réseau» dans chaque processeur multi-cœurs INTEL 1 Evolutions des CPU multi-cœurs : des cœurs de technologies différentes dans le même «socket» : o AMD/ATI et INTEL ont produit des processeurs avec des cœurs CPU et un cœur GPU, mais de faible puissance des mécanismes d optimisation de la consommation énergétique : o mise en sommeil des cœurs non utilisés o des cœurs pouvant fonctionner à des fréquences différentes o auto-adaptation de la fréquence des cœurs après le prototype SCC, INTEL sort le Xeon phi/mic (Many Integrated Cores) fin 212, avec 61 cœurs x86 en 214 Intel 48-core x86 Processor: «Singlechip Cloud Computer» des centaines de cœurs par «socket»? 2

3 3 grands types d architectures parallèles MIMD, et démarche de réalisation Une première classification Classification des architectures parallèle : 1972 classification de FLYN : simple et suffisante en classes d architectures Flot de données : Simple Multiple Flot Simple SISD SIMD d instructions : Multiple MISD MIMD Machines séquentielles Machines parallèles généralistes 3 grands types d architectures 1 - Shared-memory MIMD machines (SMP) : Un principe, mais : - plusieurs techniques de réalisation, - plusieurs coûts, - plusieurs efficacités. 211 : : beaucoup d autres classifications peu convaincantes Overview of Recent Supercomputers A ce jour 3 grand types d architectures MIMD : Aad J. van der Steen SMP, Distributed memory, DSM. 15 Jack J. Dongarra16 Mem proc Mem proc 3 grands types d architectures 2 - Distributed-memory MIMD machines : network Mem proc Principe des clusters, mais le coût et la perf. sont dans le réseau d interconnexion! Hypercubes Fat trees Autres 17 3 grands types d architectures 3 - Hybrid MIMD architectures : Overview of Recent Supercomputers Aad J. van der Steen Jack J. Dongarra «Distributed Shared Memory» ou «Virtual Shared Memory» S-COMA (th.) ou ccnuma (réalisée) Espace unique (super!) ou segmenté. Réalisation : Hardware (bien) Soft lent! 18 3

4 Démarche de réalisation d une machine parallèle Créer un processeur + une machine + un OS + un compilateur prend du temps (et de l argent)! perf Début de conception T trop grand! Perf archis concurrentes génériques!!! Fin de réalisation Perf de l archi spécifique années Risque d être dépassé par la technologie standard avant de naître! 19 Démarche de réalisation d une machine parallèle Architectures parallèles à base de composants «du marché» : démarche apparue clairement depuis 1993 profite des évolutions des technologies séquentielles/standards investissements limités à l assemblage des processeurs, du réseau d interconnexion, et du logiciel (déjà beaucoup) temps de développement réduit des nouvelles machines ex : machines MIMD à base de CPU du marché (Intel ou AMD) machines MIMD avec réseau Gigabit-Ethernet ou Infiniband machines hétérogènes à base de CPU + GPU du marché Rmq : beaucoup de critiques des machines originales IBM Blue Gene vs Super-Ordinateurs en «cluster de PCs», car beaucoup de bibliothèques de calcul ne sont pas disponibles sur BG 2 Histoire (instructive) des ordinateurs CRAY Cray-1, Mflops Cray-2, gigaflops Cray-YMP, Cray-T9, 6 gigaflops Cray-J9 Cray-C9, gigaflops 22 NEC (SX) Accord d importation Apparition du Earth Simulator : gros cluster vectoriel NEC : 64-nœuds de 8 processeurs : 512 processeurs 4 Tflops crête, a atteint les 35 Tflops en juin 22 Cray-T9, 6 gigaflops Cray-SV1 1 teraflop Cray est démembré et semble avoir disparu. Puis en 22 un évènement survient. Cray-SV2 Cray-SX-6 23 Le vectoriel revient à la 1 ère place du Top5 (en 22)! Vector MPP 24 4

5 CRAY était de nouveau là, avec de grandes ambitions: Forte inquiétude des USA! Vector MPP Cray-T9, 6 gigaflops Vector MPP Machine annoncée Cray-SV1 1 teraflop Cray-X Tflops Cray-XT3 Cray-XT5 cluster de CPU multicoeurs, Linux Cray-XT4 Cray-X Tflops Cray-SV2 Cray-SX-6 27 Cray-XT6 ou XT6h (?) Opteron 6-cores Tore 2D Réseau Cray Cray-XT5h (hybrid) cluster de noeuds CPU/Vectoriels/FPGA, Unicos (Cray Unix) 28 Cray XT6 : 1 er au top5 en novembre 29 : 1.7 Pflops avec 6.9 Mwatt Architecture : réseau d interconnexion propriétaire + Opteron 6-cœurs Architectures traditionnelles et très consommatrices d énergie mais très efficace et sous Linux (logiciels disponibles) Machine dénommée «Jaguar» Cray de nouveau à la 1 ère place en nov 29 avec des Opteron Cray XK7 : 1 er au top5 en novembre 212 : 17.6 Pflops avec 8.2 Mwatt Architecture : réseau d interconnexion propriétaire chaque nœud : Opteron 16-cœurs + GPU NVIDIA Tesla K nœuds 2998 CPU cores GPU K «cores» pour exécuter le benchmark 7 terabytes of memory. Cray à la 1 ère place en nov Machine dénommée «Titan» 212 avec Opteron + GPU 5

6 ré-interprétation Loi de Moore (électronique) : 2 fois plus de transistors intégrés sur la même surface de silicium tous les 18 mois. G. Moore pense que sa loi devrait se vérifier jusqu en 217 Traduction : Par le passé : la fréquence des processeurs double tous les «un peu plus que 18 mois» et donc la vitesse des processeurs suivait une exponentielle un peu plus faible que l électronique. Puis un (nouveau) problème énergétique est apparu en 23/24 31 On ne pouvait plus dissiper autant de puissance ni financer autant d énergie ré-interprétation Limiter la fréquence et augmenter le nombre de cœurs est énergétiquement rentable ré-interprétation =.8 Auteur : Jack Dongara Auteur : Jack Dongara ré-interprétation Loi de Moore (électronique) : 2 fois plus de transistors intégrés sur la même surface de silicium tous les 18 mois. G. Moore pense que sa loi devrait se vérifier jusqu en 217 Traduction : Par le passé : la fréquence des processeurs double tous les «un peu plus que 18 mois» et donc la vitesse des processeurs suivait une exponentielle un peu plus faible que l électronique. Actuellement : le nombre de cœurs double tous les 2 ans la vitesse d un cœur reste à peu près stable pour aller plus vite sur son PC il faut exploiter le parallélisme du processeur. Prochainement : ré-interprétation Exploiter quelques dizaines de threads sur son PC (dans une même application) Exploiter quelques millions et milliards de threads sur les super-calculateurs (dans une même application) La loi de Moore électronique se traduit maintenant par un défi algorithmique et logiciel «de masse». 6

7 37 Réseaux d'interconnexion des machines parallèles Caractéristiques importantes Caractéristiques d un réseau d interconnexion de nœuds de calculs : La bande passante La latence La résistance aux engorgements : en général on implante des algorithmes synchrones tous les nœuds calculent puis en même temps se mettent à communiquer Les performances en communications point-à-point Les performances en communications collectives (broadcast, scatter, gather, reduce, all_to_all, ) La capacité d extension, pour permettre d agrandir les machines (une topologie hypercubique n est pas très extensible) La distance et le temps maximal entre deux nœuds de l architecture. Réseaux d'interconnexion des clusters GigabitEthernet et Infiniband Gigabit Ethernet : Bientôt du 1G Utilisé dans beaucoup de machines du Top5 dans la plupart Mais pas dans les plus performantes des clusters bon Réseau bon marché comparé aux autres marché Technologie connue en dehors du HPC la compétence est déjà dans l institution/la société. Infiniband : Utilisé dans beaucoup de machines du Top5 Souvent des machines plus performantes que celles en Gigabit Plus cher que le Gigabit La différence avec le Gigabit est d autant plus marquée que le nombre de nœuds est grand Plusieurs versions d Infiniband, avec des vitesses différentes Peu utilisé en dehors du HPC compétence spécifique Réseaux d'interconnexion des clusters Myrinet et Quadrics Myrinet : un réseau propriété de Myricom, mais insérable dans tout cluster au départ plus répandu que Infiniband qui est un standard open puis a perdu régulièrement du terrain vis-à-vis de Infiniband produit par plusieurs entreprises. En 212 Myricom propose des solutions Myri-1G Quadrics : S est positionné comme le plus cher et le plus rapide des réseaux d interconnexion pour cluster. Mais vraiment très cher! Dès le début capable de routage dynamique pour contourner les engorgements. A perdu en partie son avance de performances et a disparu! Réseaux d'interconnexion des clusters Réseaux propriétaires Réseaux d'interconnexion des clusters Répartition des réseaux du Top5 (215) Réseaux propriétaires : Les plus grands constructeurs proposent leurs supercalculateurs avec leurs propres réseaux d interconnexion : CRAY/IBM/Fujitsu/ Des topologies et des protocoles différents selon l usage : réseau de données pt-à-pt, réseau de ctrl, réseau de données collectives, Ils sont l élément clé d un supercalculateur Ex : Le Cray T3D a été une machine décisive car elle fut la 1 ère à posséder un réseau d interconnexion à la hauteur de la puissance de calcul de ses nœuds. En fonction de la puissance des machines 1GigaEth Infiniband Cray 1G Custom En fonction du nbr de cœurs des machines 1GigaEth Infiniband Cray Custom 1G misc Les réseaux GigabitEth équipent bien des machines moins puissantes (ces réseaux sortiront bientôt du top5) misc 7

8 Optimisation du refroidissement 43 Des processeurs moins gourmands en énergie : on essaie de limiter la consommation de chaque processeur les processeurs passent en mode économique s ils sont inutilisés on améliore le rendement flops/watt Mais une densité de processeurs en hausse : une tendance à la limitation de la taille totale des machines (en m² au sol) Besoin de refroidissement efficace et bon marché (!) Souvent estimé à 3% de la dépense énergétique! Une carte d un IBM Blue Gene 44 Refroidissement «liquide par immersion» Refroidissement eau/air par porte froide Refroidissement par immersion des cartes dans un liquide électriquement neutre, et refroidi. Refroidissement liquide par immersion testé par SGI & Novec en 214 On refroidit par eau une «porte/grille» dans laquelle circule un flux d air, qui vient de refroidir la machine Le refroidissement se concentre sur l armoire. Refroidissement liquide par immersion sur le CRAY-2 en Refroidissement «liquide direct» On amène de l eau froide directement sur le point chaud, mais l eau reste isolée de l électronique. Expérimental en 29 Adopté depuis (IBM, BULL, ) Carte expérimentale IBM en 29 (projet Blue Water, abandonné) Lame de calcul IBM en 212 Commercialisée Refroidissement par air Optimisation des flux d air : en entrée et en sortie des armoires Architecture Blue Gene : haute densité de processeurs Objectif d encombrement minimal (au sol) et de consommation énergétique minimale Formes triangulaires ajoutées pour optimiser le flux d air IBM Blue Gene

9 Refroidissement par air : «Extreme cooling» Refroidissement avec de l air à température ambiante : - circulant à grande vitesse - circulant à gros volume Notions d architecture de Les CPUs fonctionnent proche de leur température max supportable (ex : 35 C sur une carte mère sans pb) Il n y a pas de refroidissement du flux d air. Economique! Mais arrêt de la machine quand l air ambiant est trop chaud (l été)! Une machine de Grid 5 à Grenoble (la seule en Extreme Cooling) 49 5 Le Top5 Evolution de la puissance de calcul mondiale Tassement? 1 perf 1 cores/nœud 1 nœuds 5 IO 1 énergie (seulement) 1.3 Petaflops : juin 28 RoadRunner (IBM) Opteron + PowerXCell «cores» 5 Gb/s (IO) 2.35 MWatt Du Petaflops à l Exaflops 1. Exaflops : Tb/s (IO) 2MWatt max Petaflops : juin juin 215 Tianhe-2 (NUDT - China) Xeon + Xeon-phi 3 12 «cores» 17.8 MWatt Comment programmer ces machines parallèles hétérogènes? Comment former massivement des développeurs? 52 Eléments d architecture des FIN 53 9