Parallélisme et Répartition

Transcription

1 Parallélisme et Répartition Master Info Françoise Baude Université de Nice Sophia-Antipolis UFR Sciences Département Informatique web du cours : deptinfo.unice.fr/~baude Septembre 2008 Chapitre 1 : Introduction générale 1 Organisation 2h C x 7 2h TD x 7 2h TD Machine x 7 (F. Huet) Examen final Projet de programmation Devoir/exercices papier et/ou présentations De nombreux ouvrages+sites indiqués sur le site web du cours 2 1

2 Plan 1. Motivation 2. Un premier tour d horizon des architectures parallèles 3. Suite des cours 3 1. Introduction Justification de cet enseignement Thread = activité = fil/flot/chemin d exécution Ordonnancée sur une unité de traitement/calcul De plus en plus, un CPU contient plus d 1 unité (core) Car la puissance d une unité ne progresse plus Les architectures multi-cpu (parfois en réseau : grilles de calcul) sont aussi de + en + répandues Recourir systématiquement au Multi-threading avoir suffisamment de threads d exécution issues de l exécution d un programme afin d occuper le maximum d unités en parallèle Pour tout cela & pour «survivre à la révolution du software due à l avènement des CPUs multi-cœur»!: Savoir «penser une application en parallèle» Avoir les notions d architectures parallèles utiles Maitriser patterns et langages de programmation // éviter de tomber dans le piège «progr // en assembleur», cad prog multi-thread & multi-processus explicite 4 2

3 Un petit exemple: fibonacci Algo séquentiel pas performant On recalcule 2 fois fib(n-2) dans fib(n) Complexité est donc exponentielle mais ce n est pas le propos 5 Gestion explicite du multi-thread Ce programme utilise Pthread (Posix Threads) Portable (sous Unix) Ce serait la même chose avec des threads Java! Overhead incompressible dû à la gestion des threads C est très verbeux Sujet à plein d erreurs de programmation n a engendré que 2 threads Et si on veut profiter de X cœurs? Le réécrire pour avoir X+ threads 6 3

4 Qualité du code : Souhaits Extensibilité («scalability») Le nombre de threads effectif «s adapte» au nombre de cœurs cibles et bien sûr, la gestion du placement et ordonnancement de ces threads sur les cœurs n est pas à la charge du programme Simplicité du code La logique de l algorithme (seq ou //) doit rester visible Ne pas retomber dans de la programmation trop bas niveau d il y a 50 ans Ex. passage non typé des arguments des fonctions des threads Et n oublions pas la gestion de la concurrence des threads concernant le partage de données communes Mémoire commune synchro. des accès lect. et écriture Mémoire répartie échange de messages=valeurs données 7 Suite de l exemple (en Cilk) cilk_spawn crée une tache La plateforme gère autant de threads que le nombre de cœurs cibles Et schedule les taches sur les threads Le code est quasi identique à la version séquentielle Et même mieux : retrait des mots clés donne exactement la version séquentielle 8 4

5 En bref La raison d être du parallélisme, c est la performance de traitement (+vite, sur +gros) Mais à quel prix? Coût d achat (ou de location!) de la puissance de calcul Temps et difficulté de conception, de développement et d optimisation des applications Coût supplémentaire d exécution à cause de la présence d activités parallèles Comme toujours, c est une affaire de compromis Pour faire les bons, cela nécessite des connaissances théoriques, historiques, pratiques "Students graduating with a competence in engineering software for parallel systems will have a distinct advantage in the work force over those who do not." --- M. Oskin, The Revolution Inside the Box, Comm. ACM 51(7), July Un premier tour d horizon des architectures parallèles Comment exploiter le parallélisme dans un processeur 10 5

6 Pipeline (et donc parallélisme) au sein d une instruction 11 Processeurs super-scalaires : plusieurs instructions en parallèle Il faut que les instructions qui se suivent dans un code binaire soient le plus indépendantes possible c est en général le rôle du compilateur de tenter de réordonnancer les instructions 12 6

7 Processeurs vectoriels Exploitation de données multiples : un vecteur sur lesquelles appliquer le même traitement

8 Loi de Moore Source, cours CS194 U.Berkeley 15 et ses conséquences Source, cours CS194 U.Berkeley 16 8

9 Limite à la loi de Moore Source, cours CS194 U.Berkeley 17 Conséquences des Limites à la loi de Moore Source, cours CS194 U.Berkeley 18 9

10 Explosion des chip multicore Source, cours CS194 U.Berkeley 19 bien que ce ne soit pas la seule solution! 20 10

11 21 mais elles peuvent se combiner 22 11

12 Bilan: Exploitation du parallélisme intra-cpu Illustre (déjà!) toute la panoplie de méthodes d exploitation du parallélisme Parallélisme issu de la mise en pipeline Borné par la longueur du pipeline Parallélisme issu de données requérant un même traitement Borné par la dimension maximum autorisée pour une donnée (ex, la longueur d un registre vectoriel, 64 par ex) Parallélisme issu de la duplication de taches indépendantes Borné par le degré de duplication (de quoi?) : Des instructions que l on exécute en même temps : superscalaires Des unités de traitement (+ ou complètes) Multi-threading quand c est virtuel, entrelacement de plusieurs Un premier tour d horizon des architectures parallèles Comment exploiter le parallélisme dans un processeur Calculateur parallèle Comment exploiter du parallélisme en dupliquant les processeurs eux-mêmes Historiquement justifié par le besoin de traiter des problèmes plus gros, gourmands en temps Vieille histoire! Prémisses en

13

14

15 Classifications de Flynn [1972] selon mémoire (+/-archi) SMP=Symmetric Multi Processing CC-NUMA=CacheCoherent NonUniformMemoryAccess 29 Mémoire physique (virtuellement?) partagée 30 15

16 Bilan: les supercalculateurs nombre de nœuds du cluster > potentialité de parallélisme au sein d un nœud Ex, SIMD 8 SPEs + 1 PPE du Cell Mise à jour, potentialité de parallélisme au sein d un nœud > nombre de nœuds => Et on ne parle même pas ici des Grilles de Calcul: «Internet wide Cluster» 31 L IBM Blue Gene/L SuperComputer Un ex. des multiples combinaisons One Cabinet 1024 PowerPC 700Mhz 256 Go RAM ( up to 2Go RAM per chip possible) 5.7 teraflops of processing power IBM version of a Linux Kernel on each processor Simple OS per chip MPI programming model 2x256MB 4MB de Mem. mem (cache) Partagée externe cohérente par soft, Recourir à un réseau interconnectant les chips (1 chip = 1 node sur figure 4), voir a) où chaque chip a 6 liens sur le tore 3D 32 16

17 Chip du Blue Gene/L 33 Top 500 Classement international des supercalculateurs Selon leurs performances en FLOPS Floating Point Operations Per Second sur un benchmark (Linpack : résolution d un système Ax=b) décrit les caractéristiques du 2eme en Juin 2008, une Blue Gene / L d IBM est la dernière liste est le 1er IBM Roadrunner Blade Center Cluster with IBM PowerXCell 8i + AMD Opteron, Voltaire infiniband 34 17

18 Top 500 vert des supercalculateurs La suite des cours : fil conducteur Comment programmer? Le plus simplement possible Tout en ayant des performances Et en ayant un programme portable, extensible («scalable») et efficace 2 approches / écoles concernant les lges // proposés Partir des spécificités du hardware, et essayer d abstraire Sélectionner un modèle de //sm générique, et espérer qu il sera implanté sur la + large gamme possible d architectures cibles Dans les 2 cas, délégation de nombreux pbms aux couches compil+os Le compilateur qui extrait automatiquement du parallélisme (ex. vectorisation), fabrique des taches (ex. à partir de boucles +/- agrégées) L OS qui sait placer et ordonnancer ces taches sur les threads système, voire les fusionner (load balancing versus work stealing) le + souvent, programmer d une manière qui génère des taches Au sein d une même application, et actives en même temps Difficultés car (données) dépendantes (données communes avec accès mémoire, ou envoi messages explicite) Eviter au minimum les blocages dus à la gestion concurrence Pertes de performances en cas de défaut de cache mémoire («cache miss») Rmq: on exclut ici les applications type «serveur» naturellement multithread (cf. cours Gestion concurrence L3) 36 18

19 Thèmes utiles à étudier Patterns d exploitation du parallélisme Introduction à OpenMP Notions d algorithmique PRAM Algorithmes parallèles classiques (en PRAM, OpenMP) Critères d évaluation de performances et optimisations En prenant en compte les modes d accès mémoire (NUMA) Introduction à MPI comme modèle de prog.// répartie Algorithmes parallèles et distribués classiques Tendances : émergence de nouvelles architectures parallèles et leur programmation IBM/Sony/Toshiba CELL NVIDIA GPUs permet de faire du «general purpose computing on graphical processing units»: GPGPU 37 En résume: cet enseignement est indispensable et de + en + dispensé 38 19