Initiation au HPC - Programmation concurrente

Initiation au HPC - Programmation concurrente Éric Ramat et Julien Dehos Université du Littoral Côte d Opale M2 Informatique 12 octobre 2015 Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 1/35

Plan du cours 1 Introduction 2 Erlang : concurrent 3 Erlang : distribué 4 MPI : concurrent 5 C++ : concurrent Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 2/35

Introduction Définition programmation concurrente = paradigme de programmation plusieurs contextes (threads, processus, tâches, ) d exécution en interaction avec ou sans partage d informations concurrence parallélisme deux tâches sont concurrentes si l ordre dans laquel elles sont exécutées est non prédéterminée deux processus concurrents ordonnancés par l OS sur un système mono-coeur peuvent être concurrents mais pas parallèle le parallélisme est possible sur des systèmes multi-coeurs, multi-processeurs ou distribués la concurrence est une propriété d un algorithme ou d un programme c est un concept plus général que le parallélisme Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 3/35

Introduction concurrence parallélisme En général, les langages, les outils et les techniques pour le parallélisme ne sont pas adaptés à la programmation concurrente et vice versa concurrence distribué comme pour le parallélisme, la distribution est un moyen de réaliser du calcul en parallèle sur plusieurs machines c est une technique et non un paradigme Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 4/35

Introduction Types disjointe : les entités concurrentes ne communiquent et n interagissent pas compétitive : ensemble d entités concurrentes en compétition pour l accès à certaines ressources partagées (un périphérique, une zone mémoire, par exemple) coopérative : un ensemble d entités concurrentes qui coopèrent pour atteindre un objectif commun en communiquant Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 5/35

Introduction Les modèles de communication par mémoire partagée (sharing memory) : partage d emplacements mémoires nécessité de mécanisme d exclusion mutuelle (mutex, sémaphore, moniteur, ) par envoi de message (message passing) : les composants s envoyent des messages asynchrones (ou synchrones - rendez-vous) modèle d acteurs, par exemple Ce que l on va étudier Ḍans ce cours, on se limite aux modèles par envoi de messages Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 6/35

Introduction Les modèles de conception acteur : envoi de message et pas de mémoire partagé future/promise : proxy d opérations asynchrones (modèle Producteur / Consommateur) coroutine : suspension/reprise d opérations pour la synchronisation channel : communication interprocessus et synchronisation par envoi de message Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 7/35

Introduction Le modèle Acteur la concurrence par envoi de message est introduit par Carl Hewitt en 1973 une solution pour résoudre les problèmes lié au modèle par mémoire partagée des acteurs autonomes qui réalisent des calculs aucune donnée partagée entre acteur envoi de messages les messages sont stockés dans des boîtes de réception les acteurs réagissent aux messages reçus Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 8/35

Introduction Le modèle Acteur - les messages messages asynchrones messages non mutables : les données transportées ne peuvent pas être modifiées pas de mécanisme de blocage pour l attente des réponses de ses messages Le modèle Acteur - la boîte de réception les messages sont bufferisés une boîte de récetion est une file d attente multi-producteur / mono-consommateur aussi connu sous le nom de Channel Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 9/35

Introduction Future / Promise un moyen de spécifier des opérations asynchrones Promise est utilisé par la partie Producteur de l opération elle déclare ce qu elle va produire et met à jour lors de la production Future est utilisé par la partie Consommateur elle spécifie ce qu elle désire consommer et elle consommera dès que ce sera produit Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 10/35

Introduction Un exemple en C++ auto promise = std::promise<std::string>(); auto producer = std::thread([&] { promiseset_value("hello World"); }); auto future = promiseget_future(); auto consumer = std::thread([&] { std::cout << futureget(); }); producerjoin(); consumerjoin(); Explications deux processus : un producteur / un consommateur le producteur produit une chaîne de caractères le consommateur attend la chaîne pour faire une sortie console Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 11/35

Introduction Les langages pour la concurrence les natifs : Erlang : acteur Clojure : mémoire partagée Ada : tâche + message synchrone + moniteur (mutex + condition) les adaptations ou bibliothèques : Scala : acteur Concurrent Haskell : acteur (channel + thread) C++11 : thread, mutex, condition, future/promise et atomic Java : thread + mécanisme synchronized Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 12/35

Erlang : concurrent Définition la progammation concurrente est une organisation du code en processus parallèles communicants en Erlang, il est possible de définir énormément de processus les processus Erlang sont des sortes de threads allégés et sans partage d état les processus communiquent par envoi de messages asynchrones C est facile en Erlang! Seulement trois primitives : spawn pour la création des processus send pour l envoi de message receive pour la réception des messages L absence de mémoire partagée simplifie! Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 13/35

Erlang : concurrent Définition les processus sont créés par la fonction BIF spawn spawn(module, Fonction, Parametres) les paramètres sont représentés par une liste la fonction spawn retourne le pid ( Process Identifier) du processus Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 14/35

Erlang : concurrent Exemples lancement d un serveur défini dans le module my_server via la fonction start avec un seul paramètre entier 8081 : Pid1 = spawn(my_server, start, [8081]) lancement d une fonction anonyme dans un processus : Pid2 = spawn(fun() -> 2 * 2 end) Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 15/35

Erlang : concurrent Définition chaque processus a une file d attente de messages cette file d attente est de type FIFO (First In Firt Out) la syntaxe d envoi est très simple : Pid! Message le message peut être un atome, une liste, un tuple, un entier, par convention, s il y a des données dans le message, on utilise un tuple dont le premier élément est un atome représentant le type du message pour envoyer un message à un processus, il faut connaître son pid Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 16/35

Erlang : concurrent Exemples Pid! start Pid! {check, 3} Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 17/35

Erlang : concurrent Définition la réception des messages par un processus se fait via un bloc receive un bloc receive est une sorte de case : receive pattern1 -> actions1; pattern2 -> actions2; patternn actionsn end à la réception d un message, le message est unifié avec le premier pattern valide et l action est réalisée Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 18/35

Erlang : concurrent Définition en général, le bloc receive est défini dans une fonction récursivement infinie le receive est bloquant Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 19/35

Erlang : concurrent Exemple loop() -> receive start -> % do something loop(); {check, X} -> % do something loop(); finish -> ok end Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 20/35

Erlang : concurrent Asynchrone par défaut, les messages sont asynchrones : le message est envoyé par un processus vers un autre processus il est traité dans le recepteur dès qu il a le temps aucune réponse n est retournée par l opérateur! par défaut, le récepteur ne connait pas l expéditeur Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 21/35

Erlang : concurrent Comment implémenter des messages synchrones? en plaçant dans le message le pid de l expéditeur via la fonction self : Pid! { self(), check, 3 }, receive Response -> Response end Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 22/35

Erlang : concurrent Comment implémenter des messages synchrones? du côté du récepteur : loop() -> receive start -> % do something loop(); {Pid, check, X} -> % do something Pid! ok, loop(); finish -> ok end Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 23/35

Erlang : concurrent Timeout les blocs receive sont bloquants on peut définir un délai maximum d attente à l aide de timeout la durée des timeouts est exprimée en millisecondes Exemple receive after 100 -> io:format("stop") end Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 24/35

Erlang : concurrent Définition au lieu d ajouter le pid dans le message, il est possible d enregistrer un processus et d utiliser le nommage lors d un envoi de message la fonction register est utilisée : register(some_atom, Pid) Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 25/35

Erlang : concurrent Exemple register(my_process, spawn(my_module, my_function, [])) my_process! message Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 26/35

Erlang : distribué Pourquoi? la vitesse : découper une application en plusieurs parties exécutées sur des machines ou processeurs ou coeurs différents (on parlera de noeud) la tolérance aux fautes : augmenter la résistance aux pannes en faisant coopérer plusieurs noeuds qui peuvent potentiellement tomber en panne (possibilité de redondance) accessibilité aux ressources : certains services ne sont disponibles que sur certains matériels spécifiques (une base de données, par exemple) extensibilité : pouvoir ajouter des noeuds supplémentaires pour augmenter la capacité du système certaines applications sont intrinsèquement distribuées (système de chat irc, par exemple) Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 27/35

Erlang : distribué Définition la programmation distribuée en Erlang consiste à déployer une application sur plusieurs machines les processus sont alors distants Erlang offre un mécanisme simple de sécurité basé sur les cookies Les fonctions BIF spawn(node, Module, Function, Args) : création d un processus sur un noeud distant monitor_node(node, Flag) : vérification du bon fonctionnement du noeud node() et nodes() : nom du noeud courant et des noeuds communs node(pid) : nom du noeud du processus identifié par Pid disconnect_node(nodename) : suppression de la connexion du noeud courant vers le noeud Nodename Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 28/35

Erlang : distribué Authentification lors de la communication entre 2 noeuds, un atome (le cookie) est échangé afin de vérifier l authentification de l expéditeur chaque noeud possède son propre atome (secret) par défaut, l atome vaut nocookie ; la fonction erlang :get_cookie() permet de le connaître erlang :set_cookie(node,cookie) définit le cookie du noeud courant (Node = node()) ou tente de définir le cookie d un noeud distant Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 29/35

Erlang : distribué Nommage des machines afin de communiquer entre machines, il est nécessaire de nommer les machines on parlera de noeud (node) ce nommage est fait lors du lancement de la machine virtuelle Erlang deux possibilités : -sname xxxx : la machine appartient à un seul domaine ; on peut désigner une machine par un simple nom (sous Linux, on se base sur les fichiers hostname et hosts) -name xxxx : les machines ont besoin d un adressage complet nécessitant un DNS Exemple eric@ultramars:~> erl -sname node1 Erlang/OTP 17 [erts-62] [source] [64-bit] [smp:4:4] [async-threads:10] [kernel-poll:false] Eshell V62 (abort with ^G) (node1@ultramars)1> Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 30/35

Erlang : distribué Envoi de messages un message est maintenant envoyé à un processus appartenant à un autre noeud l un des processus doit être enregistré afin d amorcer la communication {Named_processus, Named_Node}! Message l envoi de messages peut aussi se faire de manière classique on peut connaître le nom d un noeud via la fonction BIF node Exemple {my_processus, node1@ultramars}! Message Lancement à distance On peut lancer un processus sur un autre noeud : spawn(node, Module, Function, Parameters) Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 31/35

Erlang : distribué Monitoring Le test de fonctionnement se fait en 3 temps : déclaration du monitoring attente de l état réception de la réponse : si on reçoit le tuple nodedown, Node alors le noeud n est pas actif Exemple monitor_node(node, true), receive {nodedown, Node} -> end, Fin du monitoring On peut désactiver le monitoring en faisant appel à monitor_node avec l atome false en deuxième paramètre Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 32/35

Erlang : distribué Connexion / deconnexion un noeud N1 est connecté à un noeud N2, dès qu une fonction invoquée par N1 mentionne N2 au démarrage, la fonction nodes() retourne la liste vide la fonction disconnect_node peut être utilisée pour supprimer le lien de connexion avec un noeud Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 33/35

MPI : concurrent Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 34/35

C++ : concurrent Éric Ramat et Julien Dehos Initiation au HPC - Programmation concurrente 35/35