Cours sur Open MPI. Christophe Dumez Laboratoire SeT. 5 septembre Introduction 2

Transcription

1 Cours sur Open MPI Christophe Dumez Laboratoire SeT 5 septembre 2008 Table des matières 1 Introduction 2 2 Programmation en C avec Open MPI Structure minimale du programme Le communicateur Fonctions importantes Échanges synchrones Échanges asynchrones Autres fonctions utiles Constantes Jokers Types élémentaires Opérations MPI Communicateurs reservés Exemples Hello World Token Ring Compilation et exécution 9 1

2 1 Introduction MPI (Message Passing Interface) est une norme conçue en 1993 indépendante de toute language de programmation, utilisée pour le calcul parallèle. Elle permet d exploiter des ordinateurs distants ou multiprocesseurs par passage de messages. MPI est le standard le plus utilisé dans l informatique haute-performance actuelle. Ses principaux atouts sont ses performances, son évolutivité, et sa portabilité. Une deuxième version de MPI nommée MPI-2 est disponible depuis Open MPI est une implémentation libre de MPI-2 utilisable en C, C++ et Fortran. 2 Programmation en C avec Open MPI L objectif de cette partie est de vous fournir les bases afin de pouvoir commencer à developper en langage C avec la bibliothèque Open MPI. 2.1 Structure minimale du programme Il est important de noter que tout programme utilisant Open MPI possède la structure présentée par le listing 1. #include <mpi.h> int main(int argc, char** argv) { /* declare variables */ MPI_Init(&argc, &argv); /* parse arguments */ /* main program */ MPI_Finalize(); Listing 1 Structure minimale pour Open MPI 2.2 Le communicateur MPI définit un communicateur (Communicator) comme étant un groupe de processus. Au sein de chaque communicateur, chaque processus possède un identificateur qui est son rang. Lors de l initialisation à l aide de MPI_Init(), un communicateur par défaut est créé : MPI_COMM_WORLD. Celui-ci contient tous les processus. Si vous n utilisez pas d autres groupes, vous pouvez utilisez MPI_COMM_WORLD en paramètre de toutes les fonctions nécessitant un Communicator (MPI_Comm). 2

3 2.3 Fonctions importantes Voici les principales fonctions que vous aurez à utiliser Échanges synchrones int MPI_Send(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm) Permet de réaliser un envoi bloquant de message. buf est un pointeur sur la variable à envoyer. count permet d indiquer le nombre d éléments à envoyer (à utiliser pour les tableaux). datatype indique le type de l élement envoyé (détaillé dans la section 2.4.2). dest indique le rang du processus destinataire. tag est un entier servant d identification pour le message et comm est le Communicator. int MPI_Recv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Status *status) Permet de se mettre en réception d un message. Cette routine est bloquante tant qu il n y a pas de nouveau message. buf est un pointeur vers le message reçu. count indique le nombre maximum d éléments à recevoir. datatype indique le type de message à recevoir. source identifie le rang de l émetteur du message. tag est un entier identifiant le message et comm est le Communicator. int MPI_Reduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm) Réduction des valeurs de tous les processus au sein d un groupe. op est un opérateur MPI (détaillés dans la section 2.4.3). MPI applique la fonction de réduction MPI indiquée en paramètre sur les tampons d entrée (sendbuf) de tous les processus et met le résultat dans le tampon de sortie (recvbuf) du processus possédant le rang root. int MPI_Bcast(void *buffer, int count, MPI_Datatype datatype, int root, MPI_Comm comm) Permet de diffuser un message (broadcast) depuis le processus ayant le rang root vers tous les autres processus du groupe. Le reste des paramètres est identique à ceux de la fonction MPI_Send(). int MPI_Probe(int source, int tag, MPI_Comm comm, MPI_Status *status) Test bloquant de la disponibilité d un message. Met le processus en attente tant que le message attendu n est pas disponible mais ne lit pas le message. Le développeur est alors libre d aller lire le message. Cette commande peut-être utile 3

4 pour effectuer de l allocation dynamique de mémoire en fonction de la taille du message testé retourné par MPI_Probe() via la structure status. Les champs de la structure MPI_STATUS sont les suivants : - int MPI_SOURCE ; - int MPI_TAG ; - int MPI_ERROR ; - int _count ; - int _cancelled ; Échanges asynchrones int MPI_Isend(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request) Permet de réaliser un envoi non bloquant de message. Un pointeur request vers une structure MPI_Request est retourné. Via cette requête, il est possible de consulter son statut ou de se mettre en attente. int MPI_Irecv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Request *request) Permet de réaliser une réception non bloquante de message. Un pointeur request vers une structure MPI_Request est retourné. Via cette requête, il est possible de consulter son statut ou de se mettre en attente. int MPI_Wait(MPI_Request *request, MPI_Status *status) Attente de terminaison d une opération d envoi ou de réception de message asynchrone. La request retournée par l opération d envoi est à passer en paramètre. int MPI_Waitany(int count, MPI_Request *array_of_requests, int *index, MPI_Status *status) Se met en attente de n importe quelle opération d envoi ou de réception dont la requête a été passée en paramètre via le tableau array_of_requests. int MPI_Waitall(int count, MPI_Request *array_of_requests, MPI_Status *array_of_statuses) Met en attente de toutes les opérations d envoi ou de réception dont la requête a été passée en paramètre via le tableau array_of_requests. Cette fonction ne retourne pas tant que toutes les requêtes n ont pas abouti. int MPI_Test(MPI_Request *request, int *flag, MPI_Status 4

5 *status) Test permettant de vérifier la terminaison (ou non) d une opération d envoi ou de réception spécifique.flag est mis à vrai si l opération est terminée, false sinon. int MPI_Testany(int count, MPI_Request *array_of_requests, int *index, int *flag, MPI_Status *status) Test si une des opérations d envoi ou de réception (précédentes) est terminée. Les requêtes correspondantes aux opérations à tester sont passées en paramètre via array_of_requests. flag est mis à vrai si une des opérations est terminée, faux sinon. int MPI_Testall(int count, MPI_Request *array_of_requests, int *flag, MPI_Status *array_of_statuses) Test si toutes les opérations d envoi ou de réception (précédentes) sont terminées. Les requêtes correspondantes aux opérations à tester sont passées en paramètre via array_of_requests. flag est mis à vrai si toutes les opérations sont terminées, faux sinon. int MPI_IProbe(int source, int tag, MPI_Comm comm, int* flag, MPI_Status *status) Test non-bloquant de la disponibilité d un message. Le développeur est alors libre d aller lire le message s il est arrivé. flag est mis à true si un message correspondant au profil est disponible Autres fonctions utiles int MPI_Init(int *argc, char ***argv) Cette fonction est utilisée pour initialiser l environnement d exécution de MPI. Les paramètres sont les mêmes que pour la fonction main. Cette fonction doit être appelée avant n importe quelle autre routine MPI (à part MPI_Initialized()). int MPI_Comm_rank(MPI_Comm comm, int *rank) Détermine le rang du processus appelant au sein du système de Communicator comm passé en paramètre. Le processus principal (master) possède le rang 0. MPI_Comm_rank() est donc utile pour connaitre le rôle du processus actuel. int MPI_Comm_size(MPI_Comm comm, int *size) Indique le nombre de processus au sein du Communicator comm passé en paramètre. int MPI_Finalize() 5

6 Arrête l environnement d exécution de MPI. Tous les processus doivent appeler cette routine avant de s arreter. int MPI_Barrier(MPI_Comm comm) Définit un point de synchronisation. Cette routine bloque tant que tous les processus ne l ont pas exécutée. int MPI_Get_count(MPI_Status *status, MPI_Datatype datatype, int *count) Retourne le nombre d éléments reçus lors de l opération de réception. status est un pointeur vers le statut retourné par la précédente opération de réception (MPI_Recv()). 2.4 Constantes Jokers Open MPI définit des constantes de type joker : MPI_ANY_TAG est à utiliser à la place du tag identifiant le message (par exemple dans MPI_Recv()) afin d indiquer que l on ne désire pas tenir compte de celui-ci. MPI_ANY_SOURCE est à utiliser à la place du rang de l émetteur (par exemple dans MPI_Recv()) afin d indiquer qu on ne désire pas se limiter à un émetteur. MPI_STATUS_IGNORE permet d indiquer que le status ne nous intéresse pas (par exemple dans la commande MPI_Recv()) Types élémentaires Les types élémentaires MPI (MPI_Datatype) sont les suivants : MPI_CHAR, MPI_SHORT, MPI_INT, MPI_LONG, MPI_FLOAT, MPI_DOUBLE, MPI_LONG_DOUBLE, MPI_UNSIGNED, MPI_UNSIGNED_CHAR, MPI_UNSIGNED_SHORT, MPI_UNSIGNED_LONG, MPI_LOGICAL, MPI_BYTE, MPI_PACKED, Opérations MPI Les opération MPI (MPI_Op) supportées sont les suivantes : MPI_MAX : Maximum MPI_MIN : Minimum MPI_SUM : Somme MPI_PROD : Produit MPI_LAND : ET logique (AND) 6

7 MPI_BAND : ET bit à bit (AND) MPI_LOR : OU logique (OR) MPI_BOR : OU bit à bit (OR) MPI_LXOR : OU Exclusif logique (XOR) MPI_BXOR : OU Exclusif bit à bit (XOR) Communicateurs reservés Les communicateurs (Communicator) reservés sont les suivants : MPI_COMM_WORLD, MPI_COMM_SELF. MPI_COMM_WORLD est le communicateur par défaut initialisé par la fonction MPI_Init(), il contient tous les processus. Utilisez celui-ci en paramètre de toutes les fonctions réclamant le Communicator. 3 Exemples Dans cette partie, nous présentons deux exemples utilisant Open MPI. La section 3.1 présente le traditionnel Hello World et la section 3.2 présente un exemple un peu plus complexe, nécessitant l envoi de messages. 3.1 Hello World Le listing 2 présente un exemple simple de Hello World distribué utilisant MPI. Ce code permet de demander à chaque processus d afficher le texte "Hello World" ainsi que son rang et le nombre total de processus. #include <stdio.h> #include <mpi.h> int main(int argc, char* argv[]) { int rank, size; MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank); MPI_Comm_size(MPI_COMM_WORLD, &size); printf("hello, world, I am %d of %d\n", rank, size); MPI_Finalize(); return 0; Listing 2 Exemple : HelloWorld distribué Le listing 3 présente un exemple où les processus sont organisés en structure d anneau (ring). Le processus principale (possèdant le rang 0) initialise la variable message à 10 puis il fait passer le message au processus suivant. Ensuite, chaque processus fait passer le message au processus d après de manière à ce que le message fasse le tour de l anneau. A chaque passage du message, au niveau du 7

8 processus principal, celui-ci décrémente la valeur du message. Lorsque le message atteint la valeur 0, les processus transmettent une dernière fois le message avant de s arreter. 3.2 Token Ring #include <stdio.h> #include <mpi.h> int main(int argc, char *argv[]) { int rank, size, next, prev, message, tag = 201; /* Start up MPI */ MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank); MPI_Comm_size(MPI_COMM_WORLD, &size); /* Calculate the rank of the next process in the ring. Use the modulus operator so that the last process "wraps around" to rank zero. */ next = (rank + 1) % size; prev = (rank + size - 1) % size; /* If we are the "master" process (i.e., MPI_COMM_WORLD rank 0), put the number of times to go around the ring in the message. */ if (0 == rank) { message = 10; printf("process 0 sending %d to %d, tag %d (%d processes in ring)\n", message, next, tag, size); MPI_Send(&message, 1, MPI_INT, next, tag, MPI_COMM_WORLD); printf("process 0 sent to %d\n", next); /* Pass the message around the ring. The exit mechanism works as follows: the message (a positive integer) is passed around the ring. Each time it passes rank 0, it is decremented. When each processes receives a message containing a 0 value, it passes the message on to the next process and then quits. By passing the 0 message first, every process gets the 0 message and can quit normally. */ while (1) { MPI_Recv(&message, 1, MPI_INT, prev, tag, MPI_COMM_WORLD, MPI_STATUS_IGNORE); if (0 == rank) { --message; printf("process 0 decremented value: %d\n", message); MPI_Send(&message, 1, MPI_INT, next, tag, MPI_COMM_WORLD); if (0 == message) { printf("process %d exiting\n", rank); 8

9 break; /* The last process does one extra send to process 0, which needs to be received before the program can exit */ if (0 == rank) { MPI_Recv(&message, 1, MPI_INT, prev, tag, MPI_COMM_WORLD, MPI_STATUS_IGNORE); /* All done */ MPI_Finalize(); return 0; Listing 3 Exemple : Token Ring 4 Compilation et exécution Pour compiler les programmes utilisant la bibliothèque Open MPI, il suffit d utiliser le compilateur fourni par Open MPI : mpicc. Un exemple est fourni dans le listing 4. Les paramètres sont similaires à ceux de gcc. mpicc hello_c.c -o hello_c Listing 4 Commande de compilation L exécution de programme MPI est réalisée à l aide du programme mpirun. Un exemple est fourni dans le listing 5. mpirun -hostfile hosts -np 3 hello_c Listing 5 Commande d exécution Les principaux paramètres de mpirun sont présentés dans le listing 6. -np <#> : indique le nombre de processus a utiliser -hostfile <path> : indique le chemin vers le fichier contenant les liste des hotes -nolocal : indique a MPI de ne pas lancer de processus sur la machine locale Listing 6 Paramètres de mpirun Il est important de noter que le programme à exécuter doit être présent sur toutes les machines présentes dans le fichier d hôte. Le fichier hostfile possède une structure comme celle présentée dans l exemple du listing 7. Le paramètre slots permet d indiquer à MPI combien de processus peuvent êtres exécutés sur une machine. Si une machine possède plusieurs processeurs, il est utile de préciser le nombre de slots afin qu ils soient tous utilisés. 9

10 localhost slots=2 #Dual-Processor node1 slots=1 #Single processor node2 slots=4 #Quadri-processor Listing 7 Fichier d hôtes 10