Communication de Groupe protocoles pour la diffusion. L.A. Steffenel Master 2 STIC-Informatique 1

Transcription

1 Communication de Groupe protocoles pour la diffusion Steffenel Master 2 STIC-Informatique 1

2 Plan Communication de Groupe définitions, motivation Classes de algorithmes de diffusion diffusion simple diffusion fiable diffusion FIFO diffusion avec ordre causal diffusion avec ordre total Sujets de recherche Steffenel Master 2 STIC-Informatique 2

3 Communication de Groupe Un groupe de processus est un ensemble spécifié de processus, pour lequel on définit des fonctions liées à l appartenance (group membership) : changement de composition du groupe, connaissance à tout instant de la composition courante du groupe la diffusion (broadcast ou multicast) : communication d information à un ensemble de processus (avec des propriétés spécifiées) La composition d un groupe peut changer soit par entrée ou sortie volontaire soit par suite de défaillances ou réinsertions certaines spécifications restreignent les changements possibles Steffenel Master 2 STIC-Informatique 3

4 Motivations Tolérance aux fautes ensemble de processus se comportant comme un processus unique : groupe de serveurs, gestion de données dupliquées, etc. Applications parallèles répartition des données entre les tâches parallèles, cohérence des caches/mémoire partagée virtuelle Travail coopératif, partage d information Gestion des modifications, cohérence des vues Steffenel Master 2 STIC-Informatique 4

5 Problèmes Difficultés de spécification : la spécification rigoureuse d un protocole de groupe est une tâche délicate. La plupart des spécifications publiées sont incomplètes, incorrectes ou ambiguës Difficultés algorithmiques : la réalisation des protocoles de groupe est difficile en présence de pannes. Certains problèmes sont insolubles en asynchrone (appartenance, diffusion atomique, vues synchrones). La réalisation de nombreux protocoles de groupe implique l application répétée du consensus Difficultés d'implémentation : la plupart des algorithmes existants supposent des environnements relativement stables. L'arrivée des dispositifs mobiles et des réseaux pair-à-pair, très dynamiques, impose des restrictions supplémentaires pour garantir les propriétés Liveness et Security Steffenel Master 2 STIC-Informatique 5

6 Définition (1) La diffusion est un mode de communication dans lequel un processus émetteur envoie un message à un ensemble de processus destinataires Dans la diffusion générale (broadcast), les destinataires sont tous les processus d un seul ensemble défini implicitement. L émetteur est également destinataire exemples : les membres d un groupe unique, vus de l intérieur du groupe ; tous les processus du système Dans la diffusion de groupe (multicast), les destinataires sont les membres d un groupe spécifié, les groupes pouvant ne pas être disjoints. L émetteur peut ne pas appartenir au(x) groupe(s) destinataires(s) Les primitives sont notées broadcast (p, m) et multicast (p, m, g) Steffenel Master 2 STIC-Informatique 6

7 Protocoles de Groupe - Interface broadcast view change Appartenance Service de Groupe send receive Diffusion Dét. Défaillances Système de Communication Steffenel Master 2 STIC-Informatique 7

8 Diffusion (Broadcast) - Intuition Le broadcast est un outil intéressant pour certaines applications où des processus attendent des informations publiées par d'autres processus cotation bourse de valeurs, jeux multi-joueur en ligne,... Les processus peuvent demander des garanties de service QoS Qualité de Service Implémentation simple (?) faire une boucle pour envoyer le message à tous les processus Steffenel Master 2 STIC-Informatique 8

9 Diffusion (Broadcast) - Algorithm Implements BestEffortBcast Uses: - PerfectLinks <pp2p> BestEffortBcast (m) forall pi in S do pp2p.send (pi, m) pp2p. (pi, m) BestEffortBcast. (pi, m) Steffenel Master 2 STIC-Informatique 9

10 Diffusion simple (Best-Effort) Propriétés presque «instinctives» Validité : si un processus correct diffuse un message m, tous les processus corrects délivrent le message m (au bout d un temps fini) Intégrité : Quel que soit le message m, il est délivré au plus une fois à tout processus correct, et seulement s'il a été diffusé par un processus correct p1 p2 p3 Steffenel Master 2 STIC-Informatique 10

11 Diffusion simple (Best-Effort) Problèmes Et si les liens perdent les messages? Et si un processus tombe em panne après une émission partielle des messages? p1 p2 p3 Steffenel Master 2 STIC-Informatique 11

12 Propriétés parfois Souhaitées Propriétés indépendantes de l ordre d émission (concernent uniquement les récepteurs) Diffusion fiable : un message est délivré à tous ses destinataires ou à aucun Diffusion totalement ordonnée (ou atomique) : la diffusion est fiable et les messages sont délivrés dans le même ordre à tous leurs destinataires Propriétés liées à l ordre d émission Diffusion FIFO : deux messages issus du même émetteur sont délivrés à tout récepteur dans leur ordre d émission Diffusion causale : pour tout récepteur, l ordre de réception de deux messages respecte leur ordre causal d émission (implique FIFO) Steffenel Master 2 STIC-Informatique 12

13 Certaines Classes d'algorithmes rajoute Ordre Totale Diffusion Fiable Diffusion Atomique rajoute FIFO rajoute FIFO Diffusion Fiable FIFO Diffusion Atomique FIFO rajoute Ordre Causale Diffusion Fiable Causale rajoute Ordre Causale Diffusion Atomique Causale Steffenel Master 2 STIC-Informatique 13

14 D'autres Propriétés Propriétés liées au temps Certaines spécifications imposent un délai maximal au-delà duquel aucun message n est plus délivré. Ce type de contraintes ne peut être satisfait que si le système de communication sous-jacent est synchrone Propriétés d uniformité Une propriété est dite uniforme si elle s applique à tous les processus (corrects ou fautifs) et pas seulement aux processus corrects L uniformité est nécessaire lorsqu un processus fautif peut (avant sa défaillance) exécuter des actions irréversibles comme conséquence de la délivrance d un message Steffenel Master 2 STIC-Informatique 14

15 Diffusion Fiable (Reliable) On veut s'assurer qu'un message délivré par un processus sera délivré par tous les processus corrects On rajoute une propriété à la diffusion best-effort : Validité, Intégrité : identiques à best-effort Accord : si un processus correct délivre m, alors tous processus correct délivrent m Cela doit être valable autant pour des pannes de processus que pour des messages égarés il faut connaître l'état des processus il faut garder l'historique des messages délivrés (buffer) Steffenel Master 2 STIC-Informatique 15

16 Diffusion Fiable Algorithme (1) Implements ReliableBcast () Uses: - BestEffortBcast () init() ed := empty; ReliableBcast (m) ed := ed {m}; RBDeliver (self, m); BestEffortBcast (self, m); Steffenel Master 2 STIC-Informatique 16

17 Diffusion Fiable Algorithme (2) (pi, sm, m) if m ed do ed := ed {m}; RBDeliver (sm, m); BestEffortBcast (sm, m); Steffenel Master 2 STIC-Informatique 17

18 Diffusion Fiable - Fonctionnement Transmission redondante : p1 p2 p3 p1 p2 p3 Steffenel Master 2 STIC-Informatique 18

19 Diffusion avec Ordre FIFO Ordre FIFO : Deux messages issus du même émetteur sont délivrés à tout récepteur dans leur ordre d émission (First In, First Out) rien n'est dit par rapport à l'ordre des messages de processus différents Propriété simple à rajouter numéro de séquence d'émission Exemple typique : transmission TCP p1 p2 m1 m2 p3 m2 Steffenel Master 2 STIC-Informatique 19 m1

20 Diffusion avec Ordre Causal - Intuition Jusqu'à présente, les messages de processus différents ont été considérés indépendants deux messages diffusés par des processus différents peuvent être délivrés dans des ordres différents Considérez un système de le message m1 est envoyé à p2 et p3; en réponse, p2 envoie un message m2. Sans ordre causal, le processus p3 peut recevoir le message m2 avant le message m1 p1 p2 m1 m2 p3 m2 Steffenel Master 2 STIC-Informatique 20 m1

21 Diffusion avec Ordre Causal - Propriétés L'ordre causal est une généralisation de l'ordre FIFO Propriété Ordre Causal : Si un processus correct pi délivre un message m2, alors pi doit avoir déjà délivré tout message m1 tel que m1 m2 (m1 a «causé» l'invoi de m2) Dépendance Causale? p1 p2 m1 m2 p3 m2 m1 Steffenel Master 2 STIC-Informatique 21

22 Diffusion avec Ordre Causal - Propriétés L'ordre causal est une généralisation de l'ordre FIFO Propriété Ordre Causal : Si un processus correct pi délivre un message m2, alors pi doit avoir déjà délivré tout message m1 tel que m1 m2 (m1 a «causé» l'invoi de m2) Dépendance Causale? p1 p2 m1 m2 p3 m2 m1 Steffenel Master 2 STIC-Informatique 22

23 Diffusion avec Ordre Causal - Algorithmes On suppose la diffusion fiable avec ordre causale Deux types d'algorithmes peuvent être utilisés A - diffusion causale avec transport du passé (non-bloquant) chaque message transport l'ensemble des messages qui l'on précédé à la réception, un processus peu délivrer immédiatement le message (et les messages précédents qu'il n'a pas reçu) B - diffusion causale avec un vecteur d'horloges (bloquant) chaque message contient un vecteur avec le dernier message délivré pour chaque processus s'il manque des messages préalables, le processus retarde la livraison (en attendant leur réception) Steffenel Master 2 STIC-Informatique 23

24 Diffusion Causale Algorithme A (1) Implements CausalPastBcast () Uses: - ReliableBcast () init() ed := empty; past := empty; CausalPastBcast(m) ReliableBcast(past,m); past := past {[self, m]}; Steffenel Master 2 STIC-Informatique 24

25 Diffusion Causale Algorithme A (2) ReliableBcast.(pi,[past m,m]) if m not in ed then forall [sn, n] in pastm do if n not in ed do CausalPastBcast.(sn,n); ed := ed {n}; past := past {[sn, n]}; CausalPastBcast.(pi, m) ed := ed {m}; past := past {[pi, m]}; Steffenel Master 2 STIC-Informatique 25

26 Ordre Causal avec Transport du Passé p1 del(m1) del(m2) m2(m1) p2 m1 del(m1) del(m2) p3 m2(m1) del(m1) del(m2) m1 Steffenel Master 2 STIC-Informatique 26

27 Ordre Causal avec Transport du Passé p1 del(m1) del(m2) m2(m1) p2 m1 del(m1) del(m2) p3 m2(m1) del(m1) del(m2) m1 Steffenel Master 2 STIC-Informatique 27

28 Diffusion Causale Algorithme B (1) Implements CausalVectorBcast () Uses: init() - ReliableBcast () forall pi in S do VC[pi] := 0; CausalVectorBcast(m) VC[self] := VC[self] + 1; ReliableBcast([self, VC, m]); Steffenel Master 2 STIC-Informatique 28

29 Diffusion Causale Algorithme B (2) ReliableBcast.(pi,[sm, VCm, m]) wait until ((VC[sm] >= VCm[sm]-1) and (forall pj not in sm : VCm[pj] <= VC[pj])); CausalVectorBcast.(sm,m); if sm not self then VC[sm] := VC[sm] + 1; Steffenel Master 2 STIC-Informatique 29

30 Ordre Causal avec Vecteur d'horloges p1 del(m1) del(m2) m2[2,0,0] p2 m1[1,0,0] del(m1) del(m2) p3 m2[2,0,0] m1[1,0,0] del(m1) del(m2) Steffenel Master 2 STIC-Informatique 30

31 Ordre Causal avec Vecteur d'horloges p1 del(m1) del(m2) m2[1,1,0] p2 m1[1,0,0] del(m1) del(m2) p3 m2[1,1,0] m1[1,0,0] del(m1) del(m2) Steffenel Master 2 STIC-Informatique 31

32 Diffusion avec Ordre Total - Intuition Diffusion Fiable les processus sont libres pour délivrer les messages dans n'importe quel ordre Diffusion FIFO les processus doivent respecter l'ordre «interne» du processus émetteur Diffusion Causale les messages doivent être délivrés selon un ordre causal cependant, cet ordre est partiel : certains messages peuvent être délivrés dans d'ordres différents Steffenel Master 2 STIC-Informatique 32

33 Ex: Ordre Causal p1 m1 m1 m2 m2 m3 p2 m3 m1 m2 p3 m3 m3 m1 m2 Steffenel Master 2 STIC-Informatique 33

34 Diffusion avec Ordre Total Intuition (2) Dans une Diffusion avec Ordre Total, les processus doivent délivrer les messages selon le même ordre L'ordre de livraison n'a pas besoin de suivre l'ordre causal ou même l'ordre FIFO p1 Bien sûr, on peut modifier l'algorithme de diffusion avec ordre total pour respecter l'ordre causal (ou FIFO) m1 m2 m2 m1 m3 p2 m2 m1 m3 p3 m3 Steffenel Master 2 STIC-Informatique 34 m2 m1 m3

35 Diffusion avec Ordre Total - Applications Un service de réplication où les copies doivent traiter les requêtes dans le même ordre pour préserver la consistance des données bases de données répliquées Un service de notification où les clients doivent recevoir les nouvelles dans le même ordre système qui connecte les différentes bourses de valeurs Un service de suivi des modifications dans le code source d'un programme genre cvs, subversion L'édition collaborative d'un document Word, GoogleDocs Steffenel Master 2 STIC-Informatique 35

36 Diffusion avec Ordre Total - Propriétés La diffusion avec Ordre Total partage les propriétés de la diffusion fiable, avec l'addition de la propriété suivante : Propriété Ordre Total : Soit pi et pj deux processus qui délivrent deux messages m et m'. Si pi délivre m' avant m, alors pj délivre m' avant m La propriété Ordre Total agit comme une propriété d'accord étendue : les processus doivent se mettre d'accord avant toute décision (même si les messages ne sont pas dépendants) équivalence avec le problème du Consensus on peut faire un consensus avec une diffusion à ordre total on peut faire diff. à ordre total avec consensus + diff. fiable Steffenel Master 2 STIC-Informatique 36

37 Diffusion avec Ordre Total Algorithme fondé sur le Consensus Implements TOBcast Uses ReliableBcast Consensus init (sm, m) unordered := empty; wait := false; sn := 1; Steffenel Master 2 STIC-Informatique 37

38 Diffusion avec Ordre Total Algorithme fondé sur le Consensus TOBcast (m) ReliableBcast (m); ReliableBcast.(sm, m) unordered := unordered U {[sm, m]}; upon (unordered not empty) and not (wait) do wait := true; Consensus.propose (sn, unordered); unordered := unordered \ ed; Steffenel Master 2 STIC-Informatique 38

39 Diffusion avec Ordre Total Algorithme fondé sur le Consensus Consensus.decide (decided, sn) unordered := unordered \ decided; ordered := deterministicsort (decided); forall (sm, m) in ordered do TOBcast.(sm, m); ed := ed U decided; sn := sn + 1; wait := false; Steffenel Master 2 STIC-Informatique 39

40 Diffusion avec Ordre Total Le consensus est la seule manière d'implémenter la Diffusion avec Ordre Total? NON! Le consensus est seulement «pratique» Parfois, le consensus est trop cher (# msgs, étapes de comm.) Autres options : historique des communications; diffusion par privilège; séquenceur fixe; séquenceur tournant Steffenel Master 2 STIC-Informatique 40

41 Exemple : Séquenceur Tournant Un processus (séquenceur) indique l'ordre de livraison des messages séquenceur déterminé par un jeton, passé entre les processus «Ordre total» Un processus ne peut accepter le jeton que s'il a obtenu tous les messages manquants «Validité» Lorsque le jeton a complété un tour, tous les processus ont le même ensemble de messages «ordonnés» «Accord» Steffenel Master 2 STIC-Informatique 41

42 Fonctionnement p p s m q s id(m),seqnum, next=r q r r time = 0 time = 1 p p p m s q s token {id(m)} q s request (id(m)) q r r r t=0 t=1 t=2 Steffenel Master 2 STIC-Informatique 42

43 Exemple : Séquenceur Tournant Avantages : algorithme léger nombre réduit de messages échangés 2 x (n 1) messages contre (4 + 2n) x (n 1) pour le consensus Inconvénients passage du jeton dans un anneau «fixe» besoin de tout arrêter lors d'une défaillance latence de livraison plus le groupe est grand, plus de temps faut pour obtenir «l'accord» entre les processus Steffenel Master 2 STIC-Informatique 43

44 Exemple : Séquenceur Tournant Directions actuelles : Ordre Total pour les environnements mobiles/pervasifs Organisation hiérarchique des processus Meilleure utilisation des détecteurs de défaillance pour réduire le nombre de suspicions incorrectes Possibilité de continuer le passage du jeton malgré certaines défaillances Objectifs court terme Utiliser les marches aléatoires pour le passage du jeton Steffenel Master 2 STIC-Informatique 44