Programmation Parallèle

Transcription

1 Programmation Parallèle Les modèles - le paradigme par passage de messages - Intro MPI Mathias Bourgoin, Sébastien Limet et Sophie Robert Université d'orléans - LIFO 1

2 Les modèles du parallélisme Qu'est ce qui est indépendant? Le parallélisme de contrôle * Faire plusieurs choses en même temps Le parallélisme de données * Répéter une action sur des données similaires Le parallélisme de ux * Travailler à la chaine 2

3 Le parallélisme de contrôle ou le parallélisme de tâches (répartition statique des tâches) Le graphe des tâches indépendantes permet de les répartir * de bénécier de la localité des données (min des échanges) * d'exploiter au mieux les ressources la dépendance entre deux tâches due - au séquencement de l'algorithme initial, - aux communications d'une tâche à l'autre. 3

4 The work pool model Cas particulier de parallélisme de tâches Avec une gestion centralisée ou non et une répartition dynamique des tâches * Utilisée lorsque la taille des données est petite par rapport à la complexité des calculs * Le pool de tâches peut être statique ou dynamique Cas particulier : le modèle maître-esclaves 4

5 Le parallélisme de données Chaque processeur fait la même chose sur des données diérentes Le découpage en tâches est issu de la répartition des données pour optimiser les échanges Mémoire partagée : on exploite ce parallélisme lorsque les échanges sont importants entre deux étapes de calculs Mémoire distribuée : on utilise ce paradigme pour mieux exploiter la localité Ce modèle est le plus scalable 5

6 Le parallélisme de ux Le ux de données passe à travers une succession de blocs de calculs Le produit matrice vecteur f1 e1 d1 c1 e2 d2 c2 b2 d3 c3 b3. b1.. a11 a12 a13 a21 a22 a23 a31 a32 a33 6

7 Le parallélisme de ux Le ux de données passe à travers une succession de blocs de calculs Le produit matrice vecteur f1 e1 d1 c1 e2 d2 c2 b2 d3 c3 b3. a11.b1 a11 b1 a21 a12 a22 a13 a23 a31 a32 a33 6

8 Le parallélisme de ux Le ux de données passe à travers une succession de blocs de calculs Le produit matrice vecteur f1 e1 d1 e2 d2 c2 d3 c3 b3 a11.c1 a11.b1+ a11 a12 a13 a12.b2 c1 b2 a21.b1 a21 a22 a23 b1 a31 a32 a33 6

9 Le parallélisme de ux Le ux de données passe à travers une succession de blocs de calculs Le produit matrice vecteur f1 e1 e2 d2 d3 c3 a11.d1 a11.c1 a11 a12 a13 +a12.c2 d1 c2 a21.c1 a21.b1 a21 a22 a23 +a22.b2 c1 a31 a32 a33 6

10 Le parallélisme de ux Le ux de données passe à travers une succession de blocs de calculs Le produit matrice vecteur y x a y a.y+x 6

11 La combinaison des 3 Exemple X, Y, Z tableau de 100 valeurs A tableau de 10 valeurs FOR k FROM 0 to 9 FOR j FROM 0 to 99 IF (Xj*Yj+Yj*Zj == 100) Ak = Ak*(Ak+1) ELSE Ak = 1-Ak 7

12 La combinaison des 3 // de contrôle 100 X 100 X 100 Y X Z Y Z A * * + = +1 * * Y Z A // de flux A // de données 8

13 Systèmes concurrents / Algorithmique parallèle Systèmes concurrents Parallélisme de contrôle Diculté : le placement Algorithmique parallèle * Parallélisme de données * Diculté : pré traitement de l'application pour la spatialiser (processus le plus identique possible exprimé sur une structure régulière) 9

14 Les modèles d'exécution Un peu dépendant de l'architecture SIMD : un seul programme séquentiel mais exécuté sur des données multiples VLIW : plusieurs instructions possibles mais par compilation (lié à l'architecture du processeur et des opérations disponibles) SPMD : un seul programme copié sur chaque processeur qui s'exécute de manière asynchrone MIMD : des programmes diérents sur chaque processeur qui s'exécutent de manière asynchrone Modèle dominant : SPMD 10

15 Les modèles de programmation Architecture à mémoire partagée PRAM = Parallel Random Access Machine (modèle abstrait) OpenMP, HPF Architecture à mémoire distribuée BSP = Bulk Synchronous Parallelism Programmation parallèle par passage de messages * PVM, MPI 11

16 PRAM = Parallel Random Access Machine Une machine parallèle idéale et un modèle de parallélisme p machines RAM (avec petite mémoire locale) synchronisées mémoire partagée : comment se font les accès concurrents? modèle de coût très simplié : le nombre d'opérations eectuées. 12

17 Bulk Synchronous Parallelism (BSP) Naissance du modèle BSP Fin des années 80 par Valiant et McColl Trois modèles architecture exécution modèle de coût Machine BSP p paires processeur-mémoire un réseau pour les communications point-à-point une unité de synchronisation globale 13

18 BSP: modèle d'exécution Programme = séquence de super-étapes. Une super-étape 14

19 BSP: modèle de coût Coût d'une super-étape s où avec { h + i h i T (s) = max 0 i<p w i + h g + L h = max 0 i<p {h+ i, h i } nombre total de mots envoyés par i nombre total de mots reçus par i 15

20 BSP: modèle de coût Paramètres BSP p est le nombre de processeurs L est le temps (ou le nombre d'opérations) requis pour synchroniser tous les processeurs (en secondes ou ops) g est le temps requis pour l'échange d'une 1-relation qui est un motif de communications dans lequel chaque processeur envoie ou reçoit au plus 1 mot de données (en seconde/mot ou op/mot) r la puissance de calcul des processeurs (en op/seconde) Coût d'un programme BSP Somme des coûts de chacune de ses super-étapes 16

21 Modèle de programmation par passage de messages le modèle pour les machines parallèles à mémoire distribuée Il nécessite de la parallélisation explicite L'utilisateur doit coder le parallélisme dans son programme. Pour exprimer le rôle de chaque processeur dans les phases de lecture ou de lecture/écriture de données distribuées. P P P P P P P P P M M M M M M M M M Reseau / Bus 17

22 Modèle de programmation par passage de messages asynchrone ou faiblement synchrone Il est adapté pour des programmes asynchrones * Tous les processeurs eectuent des tâches concurrentes sans s'occuper des autres participants ou faiblement synchrones * Les étapes de lecture/écriture des données synchronisent les processeurs mais sinon les tâches s'eectuent de manière asynchrone. Les programmes respectent l'approche SPMD (Single Program Multiple Data) où le plus grand nombre de processeurs eectue les mêmes tâches sur des données diérentes. Seuls quelques processeurs peuvent eectuer des tâches diérentes. 18

23 Les échanges de messages Les opérations Send/Receive Les opérations de lecture/écriture nécessitent un moyen de partager des données distribuées. La base de ce modèle de programmation s'appuie sur les opérations élémentaires * d'envoi de messages : send(void *sendbuf, int nelems, int dest) * de réception de messages : receive(void *recvbuf, int nelems, int source) 19

24 La sémantique des opérations send/recv La garantie des données P0 P1 a=100 receive(&a,1,0) send(&a,1,1) printf(%d,a); a=0; Le processeur P1 reçoit 0 ou 100? 20

25 Les opérations send/receive bloquant Caractéristiques Négociation entre l'émetteur et le récepteur avant la transmission Reprise des tâches à la n de la transmission (n envoi / n réception) Les inconvénients Un taux d'attente important pour l'émetteur ou le récepteur. Des situations d'interblocage entre processeurs P0 P1 send(&a,1,1) send(&a,1,0) receive(&b,1,1) receive(&b, 1, 0) 21

26 Les opérations send/receive bloquant Déroulement Cas symétrique récepteur en avance - Temps d'attente -> perte de performances + Les processeurs sont équilibrés en charge de travail + Peut constituer une forme de synchronisation 22

27 Les opérations send/receive avec buerisation Caractéristiques L'émetteur et le récepteur disposent d'un buer pour stocker le message Une opération send est décomposée en 1 une buerisation du message à transmettre (les données peuvent être modiées sans altérer la transmission) 2 un envoi du buer de manière asynchrone ou non selon le mode de communication sous jacent Une opération receive ne copie pas directement le message mais utilise également une buerisation et 1 elle vérie si le buer contient le message à lire 2 ou attend jusqu'à réception du message dans ce buer 23

28 Les opérations send/receive avec buerisation Avec support hardware 24

29 Les opérations send/receive avec buerisation Sans support hardware 24

30 La buerisation à un côté? Du côté émetteur 25

31 Buerisation ou pas? Avantages/Inconvénients La buerisation peut régler des temps d'attente et certains interblocages. Elle génère également un coût supplémentaire * compensable par du recouvrement calcul/communication, Si la taille des buers n'est pas susante, des coûts supplémentaires d'attente vont diminuer les performances Et il reste des cas d'interblocage!! P0 P1 receive(&a,1,1) receive(&a, 1, 0) send(&b,1,1) send(&b,1,0) Si le programme est très synchrone les opérations lecture/écriture ont lieu au même moment et on peut se passer du coût de la buerisation 26

32 Les opérations send/receive non bloquant Altération des données L'envoi et la réception non bloquantes impliquent de pouvoir gérer la partie où l'altération de la donnée peut modier le comportement du programme. * check-status 27

33 MPI - Message Passing Interface MPI, qu'est-ce que c'est? MPI est une spécication et un standard Les implémentations de MPI sont fournies sous forme de bibliothèques libres ou commerciales Les deux principales: MPICH2, OpenMPI Langage supportés: C/C++, Fortran (python, java, perl...) MPI permet de gérer l'environnement d'exécution les communications point à point (Send, Recv) les communications collectives (Bcast, Reduce, Scatter,...) les groupes de processus et les communicateurs la topologie d'inter-connexion des processus(grilles, arbres,...) des types de données dérivés etc 28

34 Quelques liens Distributions Documents, Forums et tutoriaux

35 MPI sous language C (1) Fichier mpi.h Il doit être inclus en entête de tous les programmes MPI. Déclaration des prototypes de toutes les routines MPI Déclaration de l'ensemble des constantes MPI Déclaration de toutes les structures de données Routines MPI Les routines MPI (en C) sont sous deux formes 1 MPI_Xxxx(), 2 MPI_Xxxx_xxx(). Il y a six routines MPI de base : 1 MPI_Init, 2 MPI_Finalize, 3 MPI_Comm_size, 4 MPI_Comm_rank, 5 MPI_Send, 6 MPI_Recv. 30

36 MPI sous langage C (2) Inclure le fichier mpi.h La structure d'un programme MPI Initialiser l'environnement MPI Faire des calculs Appeler des routines MPI : - communiquer - se synchroniser Terminer l'environnement MPI 31

37 Initialisation et terminaison de MPI Routine MPI_Init int MPI_Init(int* argc, char*** argv); C'est la première routine MPI exécutée par tous les processus Elle permet de débuter l'exécution parallèle Elle permet de diuser les arguments donnés en ligne de commande Elle renvoie MPI_SUCCESS si l'appel n'a eu aucun problème Routine MPI_Finalize int MPI_Finalize(void); Elle termine proprement l'exécution parallèle et doit être appelée par tous les processus Elle renvoie MPI_SUCCESS si l'appel n'a eu aucun problème 32

38 Domaines de communication MPI_COMM_WORLD MPI dénit la notion de communicateur (MPI_Comm). MPI_Init initialise le communicateur par défaut MPI_COMM_WORLD. Routines MPI_Comm_size et MPI_Comm_rank int MPI_Comm_size(MPI_Comm comm, int* nprocs); Cette routine retourne dans nprocs le nombre total de processus du communicateur comm int MPI_Comm_rank(MPI_Comm comm, int* pid); initialise pid l'identiant relatif au communicateur comm du processus appelant pid est un nombre entier unique dans le communicateur comm Initialement, chaque processus a un identiant unique pid [0, nprocs 1] dans MPI_COMM_WORLD. 33

39 Programme MPI en C exemple 1 #i n c l u d e <mpi. h> 2 #i n c l u d e <s t d i o. h> 3 i n t main ( i n t argc, char a r g v ) 4 { 5 i n t pid, n p r o c s ; 6 7 MPI_Init(& argc, &a r g v ) ; 8 MPI_Comm_rank(MPI_COMM_WORLD, &p i d ) ; 9 MPI_Comm_size (MPI_COMM_WORLD, &n p r o c s ) ; 10 p r i n t f ( " P r o c e s s %d/%d\n", pid, n p r o c s ) ; 11 MPI_Finalize ( ) ; return 0 ; 14 } // end o f f u n c t i o n main 34

40 Installation et compilation d'un programme MPI Installation Ubunbtu - Package $ sudo apt-get install openmpi openmpi-common libopenmpi-dev Compilation habituelle mais avec mpicxx mpicxx -c exemple.c mpicxx -o exemple exemple.o 35

41 Exécution sans hostle Exécution sans hostle mpirun -np 4./exemple Résultat Process 3/4 Process 0/4 Process 2/4 Process 1/4 36

42 Exécution avec hostle Contenu du chier hostle machine_1 machine_2... machine_n Exécution mpirun --hostfile hostfile./exemple1 Résultat Process 3/4 Process 0/4 Process 2/4 Process 1/4 37

43 Les routines de communications : mode bloquant MPI_Send int MPI_Send(void *buf, int count, MPI_Datatype dtype, int dest, int tag, MPI_Comm comm); 1 void *buf : Adresse initiale du buer d'envoi 2 int count : Nombre d'éléments envoyés 3 MPI_Datatype datatype : Type de chaque élément envoyé 4 int dest : Identiant du processus récepteur 5 int tag : Étiquette du message 6 MPI_Comm comm: Communicateur Deux types de communications sont gérées en mode buerisé ou synchrone. Le choix automatique dépend de La taille du message à échanger, L'implémentation de MPI. 38

44 Les 2 premières routines de communications MPI_Recv int MPI_Recv(void *buf, int count, MPI_Datatype dtype, int source, int tag, MPI_Comm comm,mpi_status *status) 1 void *bu: Adresse du tampon de reception 2 int count: Nombre d'éléments dans le tampon de données 3 MPI_Datatype datatype: Type de chaque élément envoyé 4 int src: Identiant du processus émetteur, 5 int tag: Étiquette de message distinguer les messages reçu au niveau récepteur, prendre la valeur MPI_ANY_TAG (le récepteur accepte tous les messages quelque soit l'étiquette). 6 MPI_Comm comm: Communicateur, 7 MPI_Status *status 39

45 Types de données en MPI Types de base Type MPI MPI_CHAR MPI_SHORT MPI_INT MPI_LONG MPI_UNSIGNED_CHAR MPI_UNSIGNED_SHORT MPI_UNSIGNED MPI_UNSIGNED_LONG MPI_FLOAT MPI_DOUBLE MPI_LONG_DOUBLE MPI_BYTE Type C signed char signed short int signed int signed long int unsigned char unsigned short int unsigned int unsigned long int oat double long double octet par octet 40