Consensus - 2. Plan. Pannes byzantines synchrones asynchrones

Transcription

1 Éole Dotorle de Grenoble Mster 2 Reherhe Systèmes et Logiiel Pln Consensus - 2 Pnnes byzntines Consensus et vlidtion Sh Krkowik Université Joseph Fourier Projet Srdes (INRIA et IMAG-LSR) Pnnes byzntines synhrones synhrones Compléments sur le onsensus onsensus uniforme onsensus et vlidtion non bloqunte onsensus et tolérne ux futes , S. Krkowik 2 Pnnes byzntines Un résultt d impossibilité! Rppel " Pnne byzntine (ou rbitrire) : omportement quelonque, y ompris mlveillnt! Pourquoi onsidérer les pnnes byzntines? " Intérêt théorique : mode de défillne le plus générl ; toute solution à un problème de pnnes byzntines est universellement pplible " Intérêt prtique : pplition ux onditions extrêmes (environnement hostile, besoin élévé de disponibilité)! Pln " Consensus ve ommunition synhrone " Consensus ve ommunition synhrone r 1 Il est impossible de résoudre le onsensus entre 3 proessus si un seul d entre eux un omportement byzntin (plus générlement, 3f et f) Supposons le onsensus possible entre p, q, r. Soit, q 0, r 0, p 1, q 1, r 1 opies de p, q, r 1 q r 0 Sénrio ), q 0, r 0 proposent 0 p 1, q 1, r 1 proposent 1 Sénrio ') Sénrio '') p et q orrets, r futif p et q doivent déider 0 dns ' don dns q et r orrets, p futif q et r doivent déider 1 dns '' don dns Sénrio ''') p et r orrets, q futif q 1 p 1 p et r doivent déider l même vleur dns ''' don dns. Contrdition! , S. Krkowik , S. Krkowik 4

2 Consensus synhrone ve pnnes byzntines (1) Consensus synhrone ve pnnes byzntines (2) Hypothèses Système de ommunition ssurnt l délivrne synhrone des messges (soit! une borne supérieure du temps de trnsmission) Proessus ve pnnes byzntines (omportement rbitrire) Le problème On rmène le problème du onsensus à elui de l diffusion fible temporisée : diffusion fible (tout ou rien, ord) + temps borné. Si hun diffuse insi s vleur ux utres, le hoix peut se fire près un temps fixé, sur le même ensemble de vleurs Résultt (Lmport, Shostk, Pese, 1982) On sit résoudre le onsensus synhrone pour f pnnes byzntines ve 3f + 1 proessus. Cette limite est strite (impossible ve 3f) Algorithme pour n proessus. Soit f le nombre de pnnes tolérées. On exéute P(f), l lgorithme P(i) étnt défini réursivement omme suit. P(0) 1. L émetteur envoie vl à tous les n 1 destintires p i 2. Si p i reçoit vl, lors v i = vl, sinon v i = def (vleur pr défut) (rppel : borne! sur temps trnsmission) P(m), m > 0 1. L émetteur envoie vl à tous les destintires p i 2. Si p i reçoit vl, lors v i = vl, sinon v i = def 3. p i git omme émetteur en exéutnt P(m 1) vers les n 2 destintires ve vl = v i 4. Pour tout i, et tout j! i : soit v j l vleur que p i reçoit de p j lors de P(m 1) phse 2 ; v j = def si ps de vleur reçue (vnt!). 5. vl = vleur mjoritire dns {v 0,v 1, v i 1, v i+1, v n 1 } ; si ps de mjorité, vl = def. L vleur déidée dns e tour est vl , S. Krkowik , S. Krkowik 6 Consensus synhrone ve pnnes byzntines : exemple (1) Consensus synhrone ve pnnes byzntines : exemple (2) Algorithme pour 4 proessus, 1 pnne tolérée émetteur, p 1, p 2, p 3 réepteurs. On suppose p 2 byzntin Algorithme pour 4 proessus, 1 pnne tolérée émetteur, p 1, p 2, p 3 réepteurs. On suppose byzntin P(1) phses 1,2 P(1) phse 3 Phse P(1) tions 1,2 b rien Phse P(1) tion 3 def p 1 p 2 p 3 p 1 p 2 p b 3 p 1 p 2 p 3 p 1 p 2 p b 3 b reçu : [,-,-] [,-,-] reçu : [,-,-] [b,-,-] [-,-,-] def phse 4 reçu : [, b, ] [,, ] tion 4 reçu : [, b, def] [b,, def] [def,, b] phse 5 déide : tion 5 déide : def def def , S. Krkowik , S. Krkowik 8

3 Consensus synhrone ve pnnes byzntines Consensus synhrone ve pnnes byzntines Conlusion Le onsensus est résoluble en synhrone ve une redondne de 3f + 1 L lgorithme est nénmoins peu effie Le onsensus étnt impossible en synhrone ve pnnes frnhes, il est fortiori impossible ve pnnes byzntines Nénmoins des solutions imprfites de type best effort peuvent être trouvées. Le point intéressnt est que l redondne requise reste 3f + 1, omme en synhrone. u moins f + 1 tours omplexité exponentielle en nombre de bits trnsmis L lgorithme peut être mélioré (redondne f + 1) si les messges sont uthentifiés, et néessite f + 1 tours u pire L omplexité est inhérente u omportement rbitrire Algorithme nien (Brh, Toueg, 1985) pour l diffusion fible Si l émetteur est orret, tous les réepteurs orrets délivrent l vleur orrete en temps fini (non borné) Si l émetteur est futif (byzntin) ou bien tous les réepteurs orrets délivrent l même vleur ou bien uun ne déide et uune vleur n est délivrée Algorithme réent (Cstro, Liskov, 2000) Extension de Pxos - intérêt prtique Améliortions diverses (trvux en ours) : rpidité vs redondne , S. Krkowik , S. Krkowik 10 Diffusion synhrone ve pnnes byzntines (1) Diffusion synhrone ve pnnes byzntines (2) Diffusion en système synhrone (ommunition fible), pnnes byzntines. Soit n le nombre de proessus, f le nombre mximl de pnnes tolérées On suppose n! 3f + 1 Desription informelle Trois phses suessives, ve 3 types de messges : initil, eho, redy L émetteur ommene pr envoyer à tous un messge initil, pour lner l lgorithme, puis (eho,v) [v = l vleur diffusée] Chque destintires trnsmet à tous l vleur reçue ve un messge (eho, v). Si un proessus reçu plus de (n+f)/2 messges (eho,v), ou plus de f messges (redy, v) il trnsmet à tous [y ompris lui-même] un messge (redy, v) Si un proessus reçu 2f + 1 messge (redy, v) ve l même vleur, il déide ette vleur G. Brh, S. Toueg, Asynhronous Consensus nd Brodst Protools, Journl of the ACM, 32, 4, Otober 1985, pp Preuve. On suppose que les vleurs possibles sont 0 et 1 Deux proessus orrets p et q ne peuvent ps envoyer des messges redy ve des vleurs différentes. Supposons que e soit possible. Alors p reçu plus de (n + f)/2 messges (eho, 1) ou u moins f +1 messges (redy, 1). Prmi es derniers, un u moins vient d un proessus orret r il y u plus f futifs. De même, q reçu plus de (n + f)/2 messges (eho, 0) ou u moins un messge (redy, 0) vennt d un proessus orret. Don (en rison des onditions pour l envoi de redy), deux proessus orrets différents ont reçu plus de (n + f)/2 messges (eho, 0) et plus de (n + f)/2 messges (eho, 1). Mis l intersetion des deux ensembles de plus de (n+f)/2 proessus ynt envoyé (eho, 0) et (eho, 1) ontient plus de f proessus (r l somme de leur tilles est supérieure à n+f, et il y n proessus u totl). Don ette intersetion ontient u moins un proessus orret. Contrdition (un proessus orret ne peut ps envoyer à l fois 0 et 1) [à suivre] , S. Krkowik , S. Krkowik 12

4 Diffusion synhrone ve pnnes byzntines (3) Comprison entre Pxos lssique et Pxos byzntin Deux proessus orrets ne peuvent ps envoyer des messges (redy, v) ve des vleurs différentes. Un proessus doit voir 2f+1 messges (redy, v) pour déider v. Puisque n " 3f+1, on n f " 2f + 1. Mis omme il y u moins n f proessus orrets, un de es messges redy u moins été envoyé pr un proessus orret. Don deux proessus orrets ne peuvent ps déider des vleurs différentes. Si p déide v, il reçu 2f + 1 messges (redy, v), dont u moins f + 1 venient d un proessus orret. Don tout proessus orret v lui ussi reevoir u moins f + 1 messges et v envoyer un messge (redy, v). Ainsi u moins n# #f proessus vont envoyer (redy, v), et tout proessus orret reevr u moins 2f + 1 messges (redy, v), puisque n f " 2f + 1, et déider v Don si un proessus orret déide v, tous les proessus orrets déident v. p p p p hngement de vue fontionnement dns une vue p p Si l émetteur est orret et trnsmet v, tous les proessus orrets déident v. Si l émetteur est futif, on peut seulement dire que tous les proessus orrets, s ils déident, déident l même vleur , S. Krkowik 13 d près Lmpson, The ABCDs of Pxos, Pro. PODC, 2001, à lire pour nlyse détilée 14 Consensus uniforme Résolution du onsensus uniforme (1) Dns le onsensus uniforme (en synhrone ve pnnes frnhes), l ondition d ord devient : Aord uniforme : deux proessus (orrets ou non) ne peuvent déider des vleurs différentes On les deux résultts suivnts (Guerroui, 1995) Résultt 1: tout lgorithme qui résout le onsensus ve un déteteur de pnnes de lsse "P ou S ou "S résout églement le onsensus uniforme Résultt 2 : il existe des lgorithmes qui résolvent le onsensus ve un déteteur de pnnes de lsse P, mis ne résolvent ps le onsensus uniforme Intuitivement, dns un lgorithme de onsensus utilisnt P, les proessus orrets peuvent déteter sns erreur l pnne d un proessus futif, et peuvent déider indépendmment de l déision éventuelle de e dernier , S. Krkowik 15 Tout lgorithme qui résout le onsensus ve un déteteur de pnnes de lsse "P, S, "S résout églement le onsensus uniforme Preuve pr l bsurde : supposons qu il existe un lgorithme A ve un déteteur D ("P, S, "S) qui résout le onsensus, mis non le onsensus uniforme. Soit R une exéution prtiulière de A qui ssure le onsensus, mis non le onsensus uniforme. On v montrer qu il existe lors une exéution R1 de A qui ne résout ps le onsensus. Soit une exéution R de A qui ssure le onsensus mis non le onsensus uniforme. Dns R, 2 proessus p i et p k déident différemment et l un d eux u moins (soit p i ) est futif. p i déide v i u temps t i et p k déide v k u temps t k (v i! v k ). Soit l exéution R1, ve les mêmes défillnes que R, suf que p i et p k sont orrets dns R1. Dns R, on onsidère tous les messges envoyés pr p i et p k et non reçus vnt mx(t i, t k ). Dns R1, on retrde l réeption de es messges jusqu à un temps t' > mx(t i, t k ) ; est possible à use de l synhronisme. mx(t i, t k ) t' R , S. Krkowik p i p k t i t k p i p k R1 16

5 Résolution du onsensus uniforme (2) Consensus et vlidtion tomique Soit HD et HD1 l histoire des détetions de pnnes ve D (liste des proessus soupçonnés, en fontion du temps) dns R et R1 respetivement. On onstruit HD1 insi : Jusqu u temps t', HD1 est identique à HD Après t', dns R1, uun proessus orret n est plus soupçonné et tous les proessus futifs sont soupçonnés en permnene HD1 vérifie don l omplétude forte, l extitude finlement forte et l extitude finlement fible. Comme HD1 ne ontient ps plus de proessus soupçonnés que HD, HD1 vérifie l extitude fible si D est de lsse S. Don HD1 peut être engendré pr le déteteur utilisé Pour p i l exéution de R1 est indistinguble de R jusqu à t i (p i exéute les mêmes événements dns R et R1). De même pour p k l exéution de R1 est indistinguble de R jusqu à t k (p k exéute les mêmes événements dns R et R1) Don, dns R1, p i déide v i et p k déide v k! v i. Mis p i et p k étnt orrets dns R1, R1 viole l ondition d ord du onsensus, et l lgorithme A onsidéré ne résout ps le onsensus, ontrirement à l hypothèse. Don un tel lgorithme A n existe ps. Résultt : tout lgorithme qui résout le onsensus ve un déteteur de lsse "P, S, "S résout ussi le onsensus uniforme ( est le s des lgorithmes présentés préédemment pour S et "S). vlidtion non bloqunte Résultt 1. L vlidtion tomique non bloqunte n est ps rédutible u onsensus Résultt 2. On peut définir une forme fible (mis eptble en prtique) de vlidtion non bloqunte qui est rédutible u onsensus Vlidité : L déision est soit vlider, soit nnuler Intégrité : Tout proessus déide u plus une fois (une déision est définitive) Aord uniforme : Tous les proessus (orrets ou non) qui déident prennent l même déision Justifition : Si l déision est vlider, lors tous les proessus ont voté OUI Obligtion : Si tous les proessus votent OUI, et si tous les proessus sont orrets, lors l vleur déidée est vlider Terminison : tout proessus orret déide u bout d un temps fini L vlidtion fible remple l ondition d obligtion (ou non-trivilité) pr l suivnte : Obligtion fible : Si tous les proessus votent OUI, et si uun proessus n est soupçonné, lors l vleur déidée est vlider , S. Krkowik , S. Krkowik 18 L VANB n est ps rédutible u onsensus (1) L VANB n est ps rédutible u onsensus (2) Dns un système synhrone ve pnnes frnhes, l vlidtion tomique non bloqunte ne peut ps être résolue ve un déteteur de pnnes "P ou S (Guerroui, 1995) Don l vlidtion tomique non bloqunte (VANB) n est ps rédutible u onsensus Preuve (pr l bsurde) Supposons qu un lgorithme A résolve l VANB ve un déteteur de lsse "P ou S. Soit D de lsse "P ou S et une exéution R de l lgorithme, où tous les prtiipnts votent oui. Un prtiipnt p 1 défille imméditement (sns voir envoyé uun messge, et tous les utres sont orrets. Considérons un prtiipnt p 2 (orret). Il doit déider dns R (terminison). Soit t le moment de s déision. Deux s possibles. 1) p 2 déide vlider u temps t. Soit une exéution R1 identique à R, suf que p 1 vote non. Alors p 2 voit extement les mêmes événements dns R1 et R, et déide vlider dns R1. Mis lors R1 viole l ondition de justifition. [à suivre] Soit t le moment de l déision de p 2 (orret) dns R. Deux s possibles. 2) p 2 déide nnuler u temps t. Soit une exéution R2, dns lquelle tous les prtiipnts sont orrets (y ompris p 1 ) et l délivrne de tous les messges de p 1 est retrdée jusqu à un temps t' > t. Soit HD l histoire des détetions dns R et supposons que HD2 est identique à HD, suf que p 1 n est plus soupçonné dns R2 près t'. HD2 vérifie don l omplétude forte puisqu il n y ps de pnnes dns R2. Considérons l extitude : si D est de lsse "P, HD vérifie l extitude finlement forte. D près l définition de HD2, HD2 vérifie ussi ette propriété. si D est de lsse S, HD vérifie l extitude fible : un prtiipnt orret p k n est jmis soupçonné dns HD. Comme p 1 est futif dns R, p k! p 1. Don HD2 vérifie l extitude fible. Jusqu u temps t, p 2 exéute les mêmes événements dns R2 que dns R, don déide nnuler u temps t. Comme tous les prtiipnts sont orrets et ont voté oui dns R2, R2 viole l ondition d obligtion. Don l lgorithme A n existe ps , S. Krkowik , S. Krkowik 20

6 Vlidtion tomique non bloqunte fible (1) Vlidtion tomique non bloqunte fible (2) L vlidtion fible remple l ondition d obligtion, ou non-trivilité, pr l suivnte : uun proessus soupçonné (u lieu de tous orrets) Obligtion fible : Si tous les prtiipnts votent OUI, et si uun prtiipnt n est soupçonné, lors l vleur déidée est vlider Résultt : l vlidtion tomique non bloqunte fible est rédutible u onsensus uniforme (don u onsensus). Algorithme (pour un prtiipnt p i ) tomicommitment (vote i ) send(p i, vote i ) to ll for j = 1 to n wit until [reeived(p j, vote j ) or p j # D i ] if p j # D i or vote i = no then deision = uniformconsensus(bort) ; return deision ; deision = uniformconsensus(ommit) ; return deision ; tomicommitment (vote i ) send(p i, vote i ) to ll for j = 1 to n wit until [reeived(p j, vote j ) or p j # D i ] if p j # D i or vote i = no then deision = uniformconsensus(bort) return deision deision = uniformconsensus(ommit) return deision Aord uniforme. Toute déision est obtenue pr pplition du onsensus uniforme. Don il y ord uniforme Justifition. Si l déision est vlider, un proessus dû proposer vlider u onsensus. Il ne peut le fire que s il reçu un vote oui de tous (et qu uun n est soupçonné) Terminison. Si un prtiipnt p reçoit un vote oui de tous, il lne le onsensus uniforme. Même hose s il reçoit u moins un vote non. Sinon, puisque tout prtiipnt orret voté, il y u moins un proessus futif, que p v finir pr déteter (grâe à l omplétude forte) et p v lner le onsensus. Comme elui-i se termine, l vlidtion se termine églement. Obligtion. Si uun prtiipnt n est soupçonné et si tous les votes sont oui, lors tout prtiipnt qui lne le onsensus propose vlider. D près l ondtion de vlidité du onsensus, tout prtiipnt orret déide vlider , S. Krkowik , S. Krkowik 22 Consensus et Vlidtion Consensus et tolérne ux futes (1) Deux problèmes fondmentux d ord dns les systèmes réprtis Le onsensus est un outil générique pour l tolérne ux futes Pourquoi l vlidtion non bloqunte est-elle plus diffiile? Réponse : l ondition d obligtion (non-trivilité) de l VANB impose une onnissne forte des pnnes (l ondition dit s il n y ps de défillnes, e qui implique un déteteur prfit). En revnhe le onsensus se ontente d une onnissne plus fible (déteteurs imprfits) Une spéifition plus fible de l ondition d obligtion ( si uun prtiipnt n est soupçonné rend les deux problèmes équivlents tout en restnt eptble en prtique. L vlidtion peut lors être résolue si on dispose d un servie de onsensus Autre exemple d pplition : Vlidtion ve Pxos J.Gry, L. Lmport, Consensus on Trnstion Commit, Mirosoft Reserh Teh. Report MSR-TR , April 2004 Un système informtique (déterministe) peut être onsidéré omme une mhine à étts finis. (new stte, output) = f(stte, input) Comment ssurer l disponibilité d un tel système? On rélise n opies identiques de l mhine à étts. Si es n opies prtent du même étt initil et reçoivent l même séquene d entrées, elles psseront pr l même séquene d étts et fourniront l même séquene de sorties. Il fut don ssurer l même séquene d entrées. C est possible si on sit réliser le onsensus (voir plus loin équivlene entre onsensus et diffusion totlement ordonnée). Dns e s, on peut tolérer n 1 défillnes si on n exemplires du système initil. Nénmoins l rélistion du onsensus luimême peut imposer une redondne plus forte, selon les hypothèses de défillne , S. Krkowik , S. Krkowik 24

7 Consensus et tolérne ux futes (2) L duplition totle de l mhine à étts est oûteuse. On peut envisger des solutions plus effies. Une solution onsiste à voir une seule exéution tive (pr exemple, un seul proessus pour une ressoure prtiulière, représentée pr l mhine à étts), mis lors le système est vulnérble à une défillne de e proessus Don on n lloue l ressoure que pour un temps déterminé ( bil ). A l fin de e temps, ou bien le proessus est orret, et on renouvelle le bil (impliitement ou expliitement) ou bien il est défillnt, et il fut reonstituer un étt orret de l ressoure. Il fut en prtique des horloges synhronisées (don une hypothèse de synhronisme) On retrouve indiretement l utilistion du onsensus pour l llotion de l ressoure (il fut déterminer quel proessus l gère et quel proessus triter le s de défillne) Exemple d pplition : les deux solutions pour serveurs disponibles (redondne tive et opie primire) , S. Krkowik 25