Introduction au calcul parallèle: MPI Pascal Viot September 3, 2016 Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 1 / 24
Avant-propos La puissance individuelle d un processeur croît encore actuellement, mais à un rythme qui s est ralenti car la fréquence maximum des processeurs est encore limitée à 3GHz. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 2 / 24
Avant-propos La puissance individuelle d un processeur croît encore actuellement, mais à un rythme qui s est ralenti car la fréquence maximum des processeurs est encore limitée à 3GHz. L évolution récente des processeurs va dans le sens de plusieurs coeurs (plusieurs unités de calcul à l intérieur d un seul chip) Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 2 / 24
Avant-propos La puissance individuelle d un processeur croît encore actuellement, mais à un rythme qui s est ralenti car la fréquence maximum des processeurs est encore limitée à 3GHz. L évolution récente des processeurs va dans le sens de plusieurs coeurs (plusieurs unités de calcul à l intérieur d un seul chip) Les programmes scientifiques sont parfois des calculs qui peuvent être réalisés de manière indépendante pour certaines parties et donc utiliser cette puissance disponible est très judicieux Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 2 / 24
Avant-propos La puissance individuelle d un processeur croît encore actuellement, mais à un rythme qui s est ralenti car la fréquence maximum des processeurs est encore limitée à 3GHz. L évolution récente des processeurs va dans le sens de plusieurs coeurs (plusieurs unités de calcul à l intérieur d un seul chip) Les programmes scientifiques sont parfois des calculs qui peuvent être réalisés de manière indépendante pour certaines parties et donc utiliser cette puissance disponible est très judicieux Il existe deux principales méthodes pour permettre de rendre un programme utilisable par de nombreuses unités de calcul: MPI et OPENMP Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 2 / 24
Avant-propos (2) Utiliser une bibliothèque qui va gérer l échange d information (et de données) entre les unités de calcul et donc structurer le programme en fonction de la répartition des calculs sur des unités disponibles et des échanges de données entre elles. La bibliothèque de référence est MPI (Message Passing Interface). Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 3 / 24
Avant-propos (2) Utiliser une bibliothèque qui va gérer l échange d information (et de données) entre les unités de calcul et donc structurer le programme en fonction de la répartition des calculs sur des unités disponibles et des échanges de données entre elles. La bibliothèque de référence est MPI (Message Passing Interface). Cette bibliothèque ainsi que l environnement associé permet d executer un programme (qui est différent sur chaque unité de calcul) et qui peut transmettre de manière simple des informations aux autres unités de calcul qui sont identifiées dès le lancement du programme. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 3 / 24
Avant-propos (2) Utiliser une bibliothèque qui va gérer l échange d information (et de données) entre les unités de calcul et donc structurer le programme en fonction de la répartition des calculs sur des unités disponibles et des échanges de données entre elles. La bibliothèque de référence est MPI (Message Passing Interface). Cette bibliothèque ainsi que l environnement associé permet d executer un programme (qui est différent sur chaque unité de calcul) et qui peut transmettre de manière simple des informations aux autres unités de calcul qui sont identifiées dès le lancement du programme. Cette méthode est la plus générale car elle permet de le faire sur des unités de calcul virtuelles et sur des machines différentes reliées par un réseau (rapide si possible). La deuxième méthode qui s applique exclusivement sur une seule machine possèdant une mémoire commune et plusieurs unités de calcul. La bibliothèque est OPENMP Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 3 / 24
Plan MPI: définition et différentes versions Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Limitations physiques des communications Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Limitations physiques des communications Envoi de messages: communication point à point Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Limitations physiques des communications Envoi de messages: communication point à point Envoi de messages: broadcast, scatter et gather Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Limitations physiques des communications Envoi de messages: communication point à point Envoi de messages: broadcast, scatter et gather Réduction répartie Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
Plan MPI: définition et différentes versions Définition du monde de calcul, initialisation et fin d execution Compilation et exécution d un programme parallèle Limitations physiques des communications Envoi de messages: communication point à point Envoi de messages: broadcast, scatter et gather Réduction répartie Conclusion et références. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 4 / 24
MPI: définition et différentes versions MPI version 1 et 2 : compatibilité ascendante. Version 3.1: 21 Juin 2015. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 5 / 24
MPI: définition et différentes versions MPI version 1 et 2 : compatibilité ascendante. Version 3.1: 21 Juin 2015. Site: http://www.mpi-forum.org/docs/docs.html. Doc version 3.1, un document téléchargeable de 868 pages. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 5 / 24
MPI: définition et différentes versions MPI version 1 et 2 : compatibilité ascendante. Version 3.1: 21 Juin 2015. Site: http://www.mpi-forum.org/docs/docs.html. Doc version 3.1, un document téléchargeable de 868 pages. MPiCH version 2 (contient les communications à travers de nombreux supports physiques (Ethernet, Infiniband, Myrinet) existe sur de nombreuses distributions. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 5 / 24
MPI: définition et différentes versions MPI version 1 et 2 : compatibilité ascendante. Version 3.1: 21 Juin 2015. Site: http://www.mpi-forum.org/docs/docs.html. Doc version 3.1, un document téléchargeable de 868 pages. MPiCH version 2 (contient les communications à travers de nombreux supports physiques (Ethernet, Infiniband, Myrinet) existe sur de nombreuses distributions. MVAPICH est une distribution MPI dédié à l Infiniband et aux cartes ethernet 10Gb. Expérience personnelle: très buggé il y a deux ans. Pas testé depuis Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 5 / 24
MPI: définition et différentes versions MPI version 1 et 2 : compatibilité ascendante. Version 3.1: 21 Juin 2015. Site: http://www.mpi-forum.org/docs/docs.html. Doc version 3.1, un document téléchargeable de 868 pages. MPiCH version 2 (contient les communications à travers de nombreux supports physiques (Ethernet, Infiniband, Myrinet) existe sur de nombreuses distributions. MVAPICH est une distribution MPI dédié à l Infiniband et aux cartes ethernet 10Gb. Expérience personnelle: très buggé il y a deux ans. Pas testé depuis OPENMPI contient de nombreux supports physiques. Elle est sous forme de package compilé pour le compilateur GNU. Pour le calcul MPI, il faut utiliser les compilateurs GNU sur les machines de la salle du master. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 5 / 24
Définition du monde de calcul, initialisation et fin d execution Mémoire Unité Code Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 6 / 24
Définition du monde de calcul, initialisation et fin d execution(2) Mémoire Réseau Unité Code Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 7 / 24
Définition du monde de calcul, initialisation et fin d execution(3) #include<stdio.h> #include<mpi.h> char processor_name[mpi_max_processor_name]; int numprocs,myid,namelen; int main (int argc, char *argv[]) { MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Get_processor_name(processor_name,&namelen); printf("hello, Process %d of %d on %s\n", myid, numprocs, processor_name); MPI_Barrier( MPI_COMM_WORLD); MPI_Finalize(); } Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 8 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer La fonction MPI Finalize détruit le monde des unités qui ont communiqué Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer La fonction MPI Finalize détruit le monde des unités qui ont communiqué la fonction MPI Barrier est un signal qui permet que toutes les unités de calcul sont synchronisés Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer La fonction MPI Finalize détruit le monde des unités qui ont communiqué la fonction MPI Barrier est un signal qui permet que toutes les unités de calcul sont synchronisés la valeur numprocs récupère le le nombre d unités choisi à l exécution Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer La fonction MPI Finalize détruit le monde des unités qui ont communiqué la fonction MPI Barrier est un signal qui permet que toutes les unités de calcul sont synchronisés la valeur numprocs récupère le le nombre d unités choisi à l exécution processor name est la chaine de caractères correspondant au nom de l unité de calcul. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Définition du monde de calcul, initialisation et fin d execution(3) la fonction MPI Init initialise le monde des unités qui vont communiquer La fonction MPI Finalize détruit le monde des unités qui ont communiqué la fonction MPI Barrier est un signal qui permet que toutes les unités de calcul sont synchronisés la valeur numprocs récupère le le nombre d unités choisi à l exécution processor name est la chaine de caractères correspondant au nom de l unité de calcul. les valeurs entières myid et namelen récupère le numéro de l unité de calcul courante et la taille de chaine de caractères associé comme nom de l unité de calcul Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 9 / 24
Compilation et exécution d un programme parallèle Pour compiler le précédent programme appelé hello.c, on exécute dans une fenêtre terminal mpicc hello.c -O3 -o hello Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 10 / 24
Compilation et exécution d un programme parallèle Pour compiler le précédent programme appelé hello.c, on exécute dans une fenêtre terminal mpicc hello.c -O3 -o hello Pour exécuter ce programme en parallèle, on tape dans une fenetre terminal mpirun -np 8 hello Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 10 / 24
Compilation et exécution d un programme parallèle Pour compiler le précédent programme appelé hello.c, on exécute dans une fenêtre terminal mpicc hello.c -O3 -o hello Pour exécuter ce programme en parallèle, on tape dans une fenetre terminal mpirun -np 8 hello On peut choisir le nombre de processeurs que l on veut, car les unités de calcul sont virtuelles. C est le système qui s adapte. Dans la pratique, il vaut mieux ne pas dépasser un nombre d unités supérieur au nombre de coeurs de la machine. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 10 / 24
Limitations physiques d un programme parallèle Pour échanger des informations entre unités de calcul, la bibliothèque dispose d instructions spécifiques permettant d invoyer des messages. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 11 / 24
Limitations physiques d un programme parallèle Pour échanger des informations entre unités de calcul, la bibliothèque dispose d instructions spécifiques permettant d invoyer des messages. Ces messages ne sont pas transmis instantanément aux autres unités de calcul. Pour commencer une communication passant par exemple par une carte réseau, le temps de réponse est supérieur à 10µs. La vitesse de transfert est limitée par la capacité du réseau (par ex 1Gb/s) et est très inférieur à ce qui se passe à l intérieur d une unité de calcul. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 11 / 24
Limitations physiques d un programme parallèle Pour échanger des informations entre unités de calcul, la bibliothèque dispose d instructions spécifiques permettant d invoyer des messages. Ces messages ne sont pas transmis instantanément aux autres unités de calcul. Pour commencer une communication passant par exemple par une carte réseau, le temps de réponse est supérieur à 10µs. La vitesse de transfert est limitée par la capacité du réseau (par ex 1Gb/s) et est très inférieur à ce qui se passe à l intérieur d une unité de calcul. On peut transmettre des messages soit entre deux unités de calcul (message point à point) soit globalement (par ex la première unité envoie à tous les autres ou tous envoient des infos à tous. Dans ce dernier cas, on peut observer des chutes de performance importantes. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 11 / 24
Envoi de messages: communication point à point #include<stdio.h> #include<mpi.h> char processor_name[mpi_max_processor_name]; int numprocs,myid,namelen; MPI_Status status; int main (int argc, char *argv[]) { MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Get_processor_name(processor_name,&namelen); int entier=myid; printf("hello, Process %d of %d on %s valeur de entier %d\n", myid, numprocs, processor_name,entier); if(myid==0) { MPI_Send(&entier,1,MPI_INT,3,10,MPI_COMM_WORLD); } if(myid==3) { MPI_Recv(&entier,1,MPI_INT,0,10,MPI_COMM_WORLD,&status); } MPI_Barrier( MPI_COMM_WORLD); printf("hello, Process %d of %d on %s valeur de entier %d\n", myid, numprocs, processor_name,entier); MPI_Finalize(); } Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 12 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui recoit le message. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui recoit le message. Cinquième argument : une marque caractérisant le message: la valeur 10 peut être changée mais il faut garder la même pour la réception. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (2) Pour envoyer des données entre deux unités: MPI Send(&entier,1,MPI INT,3,10,MPI COMM WORLD); Premier argument: adresse de la variable Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui recoit le message. Cinquième argument : une marque caractérisant le message: la valeur 10 peut être changée mais il faut garder la même pour la réception. Sixième argument: le communicateur MPI COMM WORLD Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 13 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui envoie le message. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui envoie le message. Cinquième argument : une marque caractérisant le message: la valeur 10 peut être changée mais il faut garder la même pour la réception. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui envoie le message. Cinquième argument : une marque caractérisant le message: la valeur 10 peut être changée mais il faut garder la même pour la réception. Sixième argument: le communicateur MPI COMM WORLD Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: communication point à point (3) Pour recevoir des données entre deux unités: MPI Recv(&entier,1,MPI INT,0,10,MPI COMM WORLD,&status); Premier argument: adresse de la variable où la donnée sera stockée (ici le nom est identique mais ce n est pas obligatoire Deuxième argument: nombre d éléments: 1 par défaut, sinon le nombre d éléments du tableau, Troisième argument: le type de la variable, ici MPI INT, Quatrième argument: l unité de calcul qui envoie le message. Cinquième argument : une marque caractérisant le message: la valeur 10 peut être changée mais il faut garder la même pour la réception. Sixième argument: le communicateur MPI COMM WORLD Septième argument: une variable entière qui est returnée indiquant si la réception s est bien passée. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 14 / 24
Envoi de messages: broadcast Pour envoyer un message d une unité à toutes les autres, l instruction à utiliser est le broadcast. #include<stdio.h> #include<mpi.h> char processor_name[mpi_max_processor_name]; int numprocs,myid,namelen; MPI_Status status; int main (int argc, char *argv[]) { MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Get_processor_name(processor_name,&namelen); double reel=(double) myid; printf("hello, Process %d of %d on %s valeur de reel %e\n", myid, numprocs, processor_name,reel); MPI_Bcast(&reel,1, MPI_DOUBLE,3, MPI_COMM_WORLD); MPI_Barrier( MPI_COMM_WORLD); printf("hello, Process %d of %d on %s valeur de reel %e\n", myid, numprocs, processor_name,reel); MPI_Finalize(); } Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 15 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Premier argument: adresse de la variable pour la valeur est stockée Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Premier argument: adresse de la variable pour la valeur est stockée Deuxième argument: taille du type de la variable Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Premier argument: adresse de la variable pour la valeur est stockée Deuxième argument: taille du type de la variable Troisième argument: Type de variable; ici MPI DOUBLE Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Premier argument: adresse de la variable pour la valeur est stockée Deuxième argument: taille du type de la variable Troisième argument: Type de variable; ici MPI DOUBLE Quatrième argument: numéro de l unité qui envoie le message global Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: broadcast (2) Les différents arguments de l instruction: MPI Bcast(&reel,1, MPI DOUBLE,3, MPI COMM WORLD); Premier argument: adresse de la variable pour la valeur est stockée Deuxième argument: taille du type de la variable Troisième argument: Type de variable; ici MPI DOUBLE Quatrième argument: numéro de l unité qui envoie le message global Cinquième argument: communicateur Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 16 / 24
Envoi de messages: scatter Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 17 / 24
Envoi de messages: gather Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 18 / 24
Envoi de messages: allgather Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 19 / 24
Envoi de messages: gatherv Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 20 / 24
Envoi de messages: alltoall Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 21 / 24
Reduction répartie On peut réaliser des opérations au moment de la collecte d information sur les autres unités de calcul Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 22 / 24
Reduction répartie On peut réaliser des opérations au moment de la collecte d information sur les autres unités de calcul La liste des opérations prédéfinies sont : la somme, le produit, recherche du maximum ou du minimum et quelques autres opérations Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 22 / 24
Reduction répartie On peut réaliser des opérations au moment de la collecte d information sur les autres unités de calcul La liste des opérations prédéfinies sont : la somme, le produit, recherche du maximum ou du minimum et quelques autres opérations Pour faire cette opération, l instruction est MPI Reduce avec une liste d arguments Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 22 / 24
Reduction répartie On peut réaliser des opérations au moment de la collecte d information sur les autres unités de calcul La liste des opérations prédéfinies sont : la somme, le produit, recherche du maximum ou du minimum et quelques autres opérations Pour faire cette opération, l instruction est MPI Reduce avec une liste d arguments Pour faire une réduction avec une propagation globale de l ensemble des résulats, on peut utiliser MPI Reduce suivi de MPI Bcast ou plus simplement MPI AllReduce Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 22 / 24
Premier programme scientifique #include "mpi.h" #include <stdio.h> #include <stdlib.h> #include <math.h> double f( double );double f( double a ) { return (4.0 / (1.0 + a*a)); } int main( int argc, char *argv[]) { int n, myid, numprocs, i,namelen; double PI25DT = 3.141592653589793238462643; double mypi, pi, h, sum=0.0, x; double startwtime = 0.0, endwtime; char processor_name[mpi_max_processor_name]; MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Get_processor_name(processor_name,&namelen); fprintf(stderr,"process %d on %s\n",myid, processor_name); n = 1000000;h = 1.0 / (double) n; if (myid == 0) {startwtime = MPI_Wtime();} MPI_Bcast(&n, 1, MPI_INT, 0, MPI_COMM_WORLD); for (i = myid + 1; i <= n; i += numprocs){ x = h * ((double)i - 0.5);sum += f(x);} mypi = h * sum; MPI_Reduce(&mypi, &pi, 1, MPI_DOUBLE, MPI_SUM, 0, MPI_COMM_WORLD); if (myid == 0){ printf("pi is approximately %.16f, Error is %.16f\n", pi, fabs(pi - PI25DT)); endwtime = MPI_Wtime(); printf("wall clock time = %f\n",endwtime-startwtime); } MPI_Finalize(); exit(0);} Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 23 / 24
Conclusion et références La bibliothèque MPI a été développée pour plusieurs langages Fortran, C, C++ et de nombreux matériels physiques de réseau. Elle manque d outils de mise au point. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 24 / 24
Conclusion et références La bibliothèque MPI a été développée pour plusieurs langages Fortran, C, C++ et de nombreux matériels physiques de réseau. Elle manque d outils de mise au point. Développer un programme parallèle est une tâche bien plus délicate que celle d un programme séquentiel usuel. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 24 / 24
Conclusion et références La bibliothèque MPI a été développée pour plusieurs langages Fortran, C, C++ et de nombreux matériels physiques de réseau. Elle manque d outils de mise au point. Développer un programme parallèle est une tâche bien plus délicate que celle d un programme séquentiel usuel. Ces quelques règles peuvent aider pour gérer le flot d information venant de l exécution simulanée de programmes. Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 24 / 24
Conclusion et références La bibliothèque MPI a été développée pour plusieurs langages Fortran, C, C++ et de nombreux matériels physiques de réseau. Elle manque d outils de mise au point. Développer un programme parallèle est une tâche bien plus délicate que celle d un programme séquentiel usuel. Ces quelques règles peuvent aider pour gérer le flot d information venant de l exécution simulanée de programmes. Quelques sites à consulter: http://www.idris.fr/data/cours/parallel/mpi/choix doc.html, http://www.open-mpi.org/,... Pascal Viot Introduction au calcul parallèle: MPI September 3, 2016 24 / 24