INTRODUCTION À L ALGORITHMIQUE RÉPARTIE

Transcription

1 INTRODUCTION À L ALGORITHMIQUE RÉPARTIE Chargée de cours: Transparents : lelia.blin@lip6.fr

2 ALGORITHMIQUE SÉQUENTIELLE Une tâche / un calcul Série d opérations élémentaires Les unes après les autres Souvent sur une même machine

3

4

5 RÉSEAUX

6 INTERNET Représentation d une partie du réseau Internet en 2005

7 UN RESEAU C EST QUOI DE NOS JOURS?! Très grand réseaux: Explosion combinatoire du nombre de machines connecté Non homogène Explosion combinatoire du type de machines connectées Filaire ou non Non statique

8 NON HOMOGENES

9 UN RÉSEAUX POUR QUOI FAIRE? Echanger de l information s fichiers: textes son images...

10 UN RÉSEAUX POUR QUOI FAIRE? Echanger de l information Partager des ressources mémoire base de données matériel Tout cela s organise...

11 PAS DE GRAND ORDONNATEUR

12 QUESTION? Comment réaliser une tâche commune sur un réseaux à grande échelle?

13 TÂCHE COMMUNE Tâche: Répondre à la question: «Qui est né en Mars?» Première approche: L enseignant demande à tout le monde Approche centralisée

14 TÂCHE COMMUNE Tâche: Répondre à la question: «Qui est né en Mars?» Deuxième approche: Chaque élève demande à ses voisins qui demandent à leurs voisins... Approche collaborative Approche distribuée

15 SYSTÈME ET ALGORITHMIQUE RÉPARTIE

16 SYSTÈME RÉPARTIE (DISTRIBUÉ) C est un réseaux qui est constitués: d entités de calcul Homogène ou non: Mémoire puissance de calcul..

17 SYSTÈME RÉPARTIE (DISTRIBUÉ) C est un réseaux qui est constitués: d entités de calcul Reliées par des liens de communications filaire, wifi, radio...

18 MODÉLISATION DU RÉSEAUX

19 PROCESSUS

20 VOCABULAIRES message Processus Noeud Processeurs Lien Canaux de communications Sites arêtes

21 PROGRAMME DISTRIBUÉ Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Tous les processus ont le même programme

22 PROGRAMME DISTRIBUÉ Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Begin while end Cela ne veut pas dire que les processus exécute forcement en même temps et à la même vitesse leurs programme

23 MÉMOIRE DES PROCESSUS Chaque processus a sa propre mémoire. Il n y a pas de mémoire commune partagée.

24 HORLOGES DES PROCESSUS Chaque processus a sa propre horloge (son propre temps). Il n y a pas d horloge commune partagée.

25 IDENTIFIANTS PROCESSUS AAAAAA 5555 Chaque processus pocède ou pas un identifiant unique.

26 PROCESSUS Un processus est une puissance de calcul qui: Exécute un ensemble d'instructions Réagit à un événement local: Un calcul interne la réception d un message l envoie d un message

27 PROCESSUS Un processus possède Une mémoire locale Un état local Ensemble de données et de variables locales

28 PROCESSUS Un processus possède ou pas d identifiant Peu ou pas de connaissance! Les processus d'un système s'exécutent indépendamment les uns des autres

29 CONNAISSANCES LOCALES Un processus p possède peu ou pas de connaissance Connaissance sur les iens de communications: Le processus p connait qu il a d liens de communications 2.Le processus p peu numéroter ses liens (numéro de ports) 3.Le processus p connait les identifiants de ses voisins On supposera par la suite le cas 3

30 CONNAISSANCES LOCALES Un processus p possède: Aucune connaissance du réseau: le plus réaliste La connaissance de la taille du réseau (nombre de processus) peu réaliste (grande taille, dynamique) La connaissance du diamètre du réseaux la connaissance de la topologie du réseaux grille, anneaux,......

31 LIENS DE COMMUNICATIONS

32 COMMUNICATIONS Chaque processus envoie ou reçoit des messages à travers des liens de communications

33 CANAUX DE COMMUNICATIONS Ces liens peuvent être bidirectionel

34 CANAUX DE COMMUNICATIONS Ces liens peuvent être unidirectionel

35 CANAUX DE COMMUNICATIONS Le transit des messages à l interieur des liens peuvent être FIFO ou pas

36 LA NOTION DE TEMPS

37 RÉSEAUX SYNCHRONE Processus: temps de calcul identiques Canaux de communications temps de circulation des messages identiques

38 NON HOMOGÈNES

39 RÉSEAUX ASYNCHRONE Processus: temps de calcul différents Canaux de communications temps de circulation différents

40 UN PREMIER ALGORITHME REPARTI

41 ALGORITHME RÉPARTIE Tous les processus ont le même algorithme séquentiel (code) qui réagit aux réceptions de messages qui envoie des messages

42 VARIABLES LOCALES Tous les processus ont le même algorithme séquentiel donc des variables locales qui porteront le même nom Vision extérieure globale: Pour reconnaitre de quelle variable on parle On ajoutera l identifiant du processus à la variable

43 VARIABLES LOCALES Vision extérieure globale: Pour reconnaitre de quelle variable on parle On ajoutera l identifiant du processus à la variable Exemple: di sera la variable distance du site ayant pour identifiant i dj sera la variable distance du site ayant pour identifiant j

44 PSEUDO-CODE C est un pseudo-code classique (séquentiel) avec des tests, des boucles... Il se présente par blocs: Un bloc Initialisation intialisation des variables locales Un bloc par réception de message Lors de la réception du message <Message1> du site q instructions... Il y aura autant de blocs que de types de messages

45 QUI COMMENCE? Les processus qui veulent faire une tâche: effectueront un réveil spontané Les autres processus se réveilleront à la réception d un premier message

46 ALGORITHME DE DIFFUSION Initialisation site i:! vali=idi! Pour j Ni Envoyer <Valeur,vali> à j!! Lors de la réception de <Valeur,valq> depuis q:! if vali<valq:! vali:=valq! Pour j Ni Envoyer <Valeur,vali> à j!!

47 EXEMPLE

48 QUALITÉES DE CET ALGORITHME Avantages de cet algorithme: Simplicité Inconvenients de cet algorithme: Processeurs recevoivent plusieurs fois une même information Grand nombre de messages échangés Comment mesurer la qualité d un algorithme?

49 COMPLEXITÉ

50 COMPLEXITÉ Algorithme séquentiel (centralisé) Nombre d opérations élémentaires Espace mémoire occupé! Complexité temporelle Complexité spaciale

51 COMPLEXITÉ EN RÉPARTIE Mesure le nombre de message échangés Est-ce suffisant? la taille des messages échangés

52 TAILLE DES MESSAGES C est quoi la taille d un message: le nombre d information que contient le message Exemples: Un mot clé: taille constante-> O(1) bits Un identifiant: Si il y a n noeuds dans le réseaux Et qu on note de 1 à n les identifiants des noeuds Il faut log n bits pour noter l identifiant n => O(log n) bits

53 COMPARAISON D ALGORITHME Exemple: Soit A un algorithme échangeant: O(n) message de taille O(n log n) bits Et B un algorithme échangeant: O(n 2 ) message de taille O(log n) bits Quel est le meilleur algorithme?

54 COMPARAISON D ALGORITHME Quel est le meilleur algorithme? L algorithme A échange au total n x n log n bit O(n 2 log n) bit L algorithme B échange au total n 2 x log n bit O(n 2 log n) bit A et B sont donc équivalent en terme d information échangées

55 TAILLE DES MESSAGES Que ce passe t-il sur des réseaux avec du routage IP? Citation wikipédia: Sur une interface déterminée, une trame a une taille maximale, appelée Maximum Transmission Unit ou MTU. Lorsque la longueur du paquet (datagramme) est supérieure, l'information sera fragmentée. La taille maximum supportée par IPv4 (car codée sur 16 bits) est de 64 Ko mais les réseaux ne prennent généralement pas en charge de trames de telles longueurs, en général on trouve des MTU de l'ordre de octets (Ethernet)." Conclusion: les gros messages seront divisés en petits messages

56 TAILLE DES MESSAGES En algorithmique répartie: La taille de message «raisonnable» communément admise est O(log n) Ou n est le nombre de processus

57 AUTRE MESURES DE COMPLEXITÉ Doit-on considérer la complexité temporelle et la complexité spatiale?

58 LA COMPLEXITÉ TEMPORELLE Comment la mesurer? Asynchrone/ Synchrone Une transmission: envoie et réception de messages compte une unité de temps les calculs internes ne comptent pas La complexité temporelle est le nombre d unité de temps dans l exécution la plus longue (pire des cas)

59 LA COMPLEXITÉ SPATIALE Caractéristiques des réseaux de capteurs: Batterie de durée limitée Communications réseaux ou wifi Peu de capacité mémoire Réseaux non homogènes répondre à tout type d appareil But: minimisation de la mémoire

60 COMPLEXITÉ DES ALGORITHMES RÉPARTIES Nombre de messages échangés Taille des messages (exprimé en bits) Temps d exécution (exprimé en unité de temps) Espace mémoire utilisé par chaque machine " Rm: en TDs nous nous intéresserons essentiellement à la complexité en nombre de message échangé.

61 EXEMPLE COLORATION

62 COLORIAGE DE SOMMETS Définition 1 Soit un graphe non orienté G=(V,E), soit cu la couleur de chaque noeuds u V tel que : e=(v,w) E cv cw

63 he application often asks us to use few colors! In a TDMA MAC or example, less colors immediately imply higher throughput. EXEMPLE n distributed computing we are often happy with a solution whi ptimal. There is a tradeoff between the optimality of a solution nd the work/time needed to compute the solution (efficiency) Figure 1.1: 3-colorable graph with a valid coloring.

64 Supposition 1 Chaque noeud à un identifiant unique On suppose que chaque identifiant peut-être codé en log n bits Sans perte de généralité, on suppose que les identifiants sont noté de 1 à n

65 NOMBRE CHROMATIQUE Définition 2 Soit un graphe non orienté G=(V,E), le nombre chromatique x(g) est le nombre minimum de couleur qu il faut pour résoudre le problème de la définition 1

66 APPROCHE CENTRALISÉ 1. Tant qu il existe un sommet non-coloré v faire! 2. Colorié v avec la couleur minimale! 3. qui n entre pas en conflit avec ces voisins! 4. Fin tant que

67 DEGRÉ DU GRAPHE Définition 3 Le nombre de voisins d un noeud v, est noté par d(v), et appelé degré de v. Le degré du graphe est le degré maximum de tout les noeuds du graphe, on le note Δ(G) ou simplement Δ.

68 Théorème Théorème 1 L algorithme glouton centralisé est correct et termine en n étapes. Il utilise Δ+1 couleurs.

69 COLORATION D ARBRE APPROCHE DISTRIBUÉE

70 PROCÉDURE PREMIER LIBRE Pour un noeud v prendre la première couleur disponible c est-à-dire la couleur minimum non utilisé par les voisins

71 REMARQUES Nous devons vérifier en répartie que deux noeuds adjacents ne choisissent pas une couleur en même temps Sinon les deux noeuds qui prennent une décision en même temps peuvent choisir la même couleur

72 REMARQUES

73 REMARQUES

74 REMARQUES

75 REMARQUES

76 REMARQUES

77 SYMÉTRIE L exemple précédent est un cas typique de ce que l on appelle un cas de symétrie en distribué Les cas de symétrie peuvent être dur à «casser»

78 SYNCHRONE: RONDES Définition 4 Dans les algorithmes synchrones, les noeuds calculent par rondes synchrones. Dans une rounde, chaque noeuds exécutes les étapes suivantes: 1. Effectuer des calculs locaux 2. Envoyer des messages à ces voisins 3. Recevoir des messages de ces voisins

79 PSEUDO-CODE Procedure CHOIX_COLOR(i):! si i n a pas de un voisin n_d avec un id plus grand que lui! i choisi une couleur la couleur c i avec la procédure PREMIER LIBRE! " i envoie <Color,c i > à tous ces voisins! Initialisation du noeud v:! c v =n_d # non decidé! " v envoie <n_d> à tous ses voisins! Lors de la réception de <n_d> du noeud u:! Tab_color v [u]:=n_d! " CHOIX_COLOR(v)! Lors de la réception de <Color,c u > du noeud u:! Tab_color v [u]:=c u! CHOIX_COLOR(v)

80 EXEMPLE

81 SYNCHRONE: COMPLEXITÉ TEMPORELLE Définition 5 Pour un algorithme distribué synchrone la complexité temporelle est le nombre de rondes nécessaires.

82 THÉORÈME Théorème 2 L algorithme synchrone pour le choix des couleurs a une complexité temporelle de n. Il utilise Δ+1 couleurs.

83 LEMME Lemme 1 Le nombre chromatique d un arbre est inférieur ou égal à 2. Preuve (constructive) Si la distance du noeud à la racine est paire, la couleur est 1, sinon (impair) la couleur est 0. Les noeuds à une distance pair on uniquement des voisins à une distance impair et vice versa. Si on suppose que chaque noeud connait son parent (la racine n a pas de parent) et ses enfants dans l arbre, cette preuve donne l algorithme suivant.

84 ALGORITHME LENT DE COLORIAGE D ARBRE Initialisation de la racine:! couleurr=0! envoyer <Couleur,0> à tous ses enfants

85 ALGORITHME LENT DE COLORIAGE D ARBRE Lors de la réception de <Color,c> de parentv:! couleurv=c-1! envoyer <Couleur,couleurv> à tous ses enfants

86 EXEMPLE

87 EXEMPLE 0

88 EXEMPLE 0 1 1

89 EXEMPLE

90 REMARQUES Pour la preuve de l algorithme on utilise le lemme 1 Cette algorithme fonctionne si une racine est désignée. La complexité temporelle: égale à la hauteur de l arbre O(log n) Algorithme synchrone ou asynchrone?

91 ALGORITHMES ASYNCHRONES Définition 6 En asynchrone, l algorithme fonctionne grâce à la réception et envoie de message. Les processus non pas d horloge, de mémoire communes. Un message envoyer par un processeur à un autre processeur finira par arriver en un temps fini mais non borné.

92 REMARQUES Les modèles synchrones et asynchrones sont les fondements de l algorithmique distribuée (répartie) Il existe d autres modèles.

93 ALGORITHMES ASYNCHRONES COMPLEXITÉ TEMPORELLE Définition 7 Pour les algorithmes asynchrones la complexité temporelle est le nombre d unité de temps du début de à la fin de l exécution dans son pire des cas. Chaque transmission de message est compté comme une unité de temps.

94 ALGORITHMES ASYNCHRONES COMPLEXITÉ EN MESSAGES Définition 8 La complexité en message pour un algorithme synchrone ou asynchrone est déterminé par le nombre de message échangé dans la «pire» des exécution.

95 ALGORITHMES ASYNCHRONES COMPLEXITÉ EN MESSAGES Théorème 3 L algorithme «lent de coloriage» est correct. Si chaque noeud connait son parent et ses enfants. Le temps (asynchrone) est la hauteur de l arbre qui est borné par le diamètre de l arbre. La complexité en message est de n-1 dans un arbre à n noeuds.

96 REMARQUES Pour cette algorithme la complexité temporelle est la même dans le cas asynchrone et synchrone. Existe t-il un algorithme plus efficaces?

97 ALGORITHMES ASYNCHRONES COMPLEXITÉ EN MESSAGES Définition 9 (Log-étoile) x 2: log*x:=1 x > 2: log*x:=1+log*(log x)

98 REMARQUES Log-étoile est une fonction qui croie de façon «incroyablement» lentement. Log-étoile du nombre d atomes observable dans l univers (estimé à ) est de 5.

99 ALGORITHME 6-COULEURS Topologie: arbre Modèle: synchrone

100 ALGORITHME 6-COULEURS Pour chaque site v:! cv:= id v(en binaire)! Lv:= cv! si v est la racine! Lv:=0! envoie <cv> à ses enfants

101 ALGORITHME 6-COULEURS Réception de <cp> du parent:! Jusqu à ce que cv 6! Lv:=min{i cv[i] cp[i]}! cv:=(lv;cv[lv])! envoie <cv> aux enfants

102 EXEMPLE

103 EXEMPLE

104 Théorème 4 L algorithme 6-couleurs se termine en log*n étapes.

105 MODÈLE Pour pouvoir comparer des programmes réparties il faut savoir si ils fonctionnent sur le même modèle A savoir système synchrone ou asynchrone topologie du réseau: arbitraire, complet, arbre, cycle... Information globale ou pas Nombre de noeuds du réseau, diamètre, degré...

106 REMARQUES La couleurs 11* (en notation binaire, c est à dire 6 ou 7 en notation décimale) ne sera pas choisi

107 BIBLIOGRAPHIE La partie de ce cours sur la coloration est basé sur le cours de: Roger Wattenhofer intitulé «Principles of Distributed Computing»

108 TOPOLOGIE Bien sur un algorithme est plus efficace si il fonctionne sur n importe quel graphe Mais les algorithmes sur une topologie particulière peuvent servir on utilisera pour cela les réseaux virtuels c est à dire une topologie particulière crée grâce par exemple aux tables de routages sur le réseau réel

109 DYNAMISME / PANNES La réalité des réseaux c est leur grande «mobilité» cette mobilité ou dynamisme est dû au départ ou arrivée de machines aux pannes aux malveillances Avant de savoir gérer ce dynamisme il faut déjà réussir à gérer des réseaux statiques c est le but de ce cours