Communications collectives et ordonnancement en régime permanent pour plates-formes hétérogènes

Transcription

1 Loris MARCHAL Laboratoire de l Informatique du Parallélisme Équipe Graal Communications collectives et ordonnancement en régime permanent pour plates-formes hétérogènes Thèse réalisée sous la direction d Olivier BEAUMONT et d Yves ROBERT

2 Parallélisme et nouvelles plates-formes de calcul Pour répondre à une forte demande de calcul : utilisation simultanée de plusieurs ressources de calcul Évolution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins coûteuses : réseau de stations grilles de calcul (grappes de grappes) Introduction 2/ 55

3 Parallélisme et nouvelles plates-formes de calcul Pour répondre à une forte demande de calcul : utilisation simultanée de plusieurs ressources de calcul Évolution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins coûteuses : réseau de stations grilles de calcul (grappes de grappes) Introduction 2/ 55

4 Parallélisme et nouvelles plates-formes de calcul Pour répondre à une forte demande de calcul : utilisation simultanée de plusieurs ressources de calcul Évolution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins coûteuses : réseau de stations grilles de calcul (grappes de grappes) Introduction 2/ 55

5 Parallélisme et nouvelles plates-formes de calcul Pour répondre à une forte demande de calcul : utilisation simultanée de plusieurs ressources de calcul Évolution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins coûteuses : réseau de stations grilles de calcul (grappes de grappes) Introduction 2/ 55

6 Paralle lisme et nouvelles plates-formes de calcul Pour re pondre a une forte demande de calcul : utilisation simultane e de plusieurs ressources de calcul E volution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins cou teuses : re seau de stations grilles de calcul (grappes de grappes) Introduction 2/ 55

7 Parallélisme et nouvelles plates-formes de calcul Pour répondre à une forte demande de calcul : utilisation simultanée de plusieurs ressources de calcul Évolution de plates-formes de calcul : super-calculateurs, grappes de calcul (cluster) moins coûteuses : réseau de stations grilles de calcul (grappes de grappes) tendances : hétérogénéité et dynamicité Introduction 2/ 55

8 Techniques traditionnelles d ordonnancement Modélisation : Applications : graphe de tâches Plate-forme de calcul : processeurs homogènes ou hétérogènes réseau de communication avec ou sans congestion Objectifs : X = D X allocation alloc(t ) : processeur traitant la tâche T ,5 15 C = A B D = C ,3 V = D T Y ordonnancement σ(t ) : date de début d exécution de T. temps d exécution total (Makespan) optimal Résultats : problème NP-complet pour des tâches indépendantes algorithmes d approximation (heuristiques de liste) Introduction 3/ 55

9 Techniques traditionnelles d ordonnancement Modélisation : Applications : graphe de tâches Plate-forme de calcul : processeurs homogènes ou hétérogènes réseau de communication avec ou sans congestion Objectifs : allocation alloc(t ) : processeur traitant la tâche T ordonnancement σ(t ) : date de début d exécution de T. temps d exécution total (Makespan) optimal Résultats : problème NP-complet pour des tâches indépendantes algorithmes d approximation (heuristiques de liste) P1 P2 P3 P4 Introduction 3/ 55

10 Techniques traditionnelles d ordonnancement Modélisation : Applications : graphe de tâches Plate-forme de calcul : processeurs homogènes ou hétérogènes réseau de communication avec ou sans congestion Objectifs : allocation alloc(t ) : processeur traitant la tâche T ordonnancement σ(t ) : date de début d exécution de T. temps d exécution total (Makespan) optimal P1 P2 P3 temps Résultats : problème NP-complet pour des tâches indépendantes algorithmes d approximation (heuristiques de liste) Introduction 3/ 55

11 Techniques traditionnelles d ordonnancement Modélisation : Applications : graphe de tâches Plate-forme de calcul : processeurs homogènes ou hétérogènes réseau de communication avec ou sans congestion Objectifs : allocation alloc(t ) : processeur traitant la tâche T ordonnancement σ(t ) : date de début d exécution de T. temps d exécution total (Makespan) optimal Résultats : problème NP-complet pour des tâches indépendantes algorithmes d approximation (heuristiques de liste) Introduction 3/ 55

12 Conception d ordonnancements efficaces Algorithme d approximation exemple : 3/2-approximation optimal : 2 secondes 3 secondes optimal : 2 heures 3 heures Algorithme asymptotiquement optimal exemple : T opt + O(1) optimal : 2 secondes 5 minutes + 2 secondes optimal : 2 heures 2 heures + 5 minutes On se concentre sur un seul des problèmes soulevés : concevoir des ordonnancements efficaces pour les plates-formes hétérogènes à grande échelle. On s intéresse à des plates-formes statiques. La dynamicité des plates-formes émergentes reste à prendre en compte... Introduction 4/ 55

13 Conception d ordonnancements efficaces Algorithme d approximation exemple : 3/2-approximation optimal : 2 secondes 3 secondes optimal : 2 heures 3 heures Algorithme asymptotiquement optimal exemple : T opt + O(1) optimal : 2 secondes 5 minutes + 2 secondes optimal : 2 heures 2 heures + 5 minutes On se concentre sur un seul des problèmes soulevés : concevoir des ordonnancements efficaces pour les plates-formes hétérogènes à grande échelle. On s intéresse à des plates-formes statiques. La dynamicité des plates-formes émergentes reste à prendre en compte... Introduction 4/ 55

14 Introduction au régime permanent L exemple du routage de paquets

15 Routage de paquets Problème P 3 P 5 P 1 P 2 P 4 D. Bertsimas & D. Gamarnik, «Asymptotically optimal algorithm for job shop scheduling and packet routing» Journal of Algorithms, Plusieurs ensembles de paquets à acheminer depuis leur source jusqu à leur destination Routage non fixé Les paquets d un même ensemble peuvent emprunter des chemins différents Un paquet parcourt une arête en temps 1 Une arête transporte un seul paquet à chaque instant Introduction Routage de paquets 6/ 55

16 Routage de paquets Problème P 3 P 5 P 1 P 2 P 4 D. Bertsimas & D. Gamarnik, «Asymptotically optimal algorithm for job shop scheduling and packet routing» Journal of Algorithms, Plusieurs ensembles de paquets à acheminer depuis leur source jusqu à leur destination Routage non fixé Les paquets d un même ensemble peuvent emprunter des chemins différents Un paquet parcourt une arête en temps 1 Une arête transporte un seul paquet à chaque instant Introduction Routage de paquets 6/ 55

17 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

18 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

19 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

20 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

21 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

22 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

23 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

24 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

25 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

26 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

27 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

28 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

29 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

30 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

31 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

32 Routage de paquets P 3 P 5 P 1 P 4 P 2 n k,l i,j : nombre total de paquets acheminés de k à l, transmis par l arête (i, j). Congestion : C i,j = (k,l) n k,l >0 n k,l i,j C max = max i,j C i,j C max : borne inférieure sur le temps total d exécution Introduction Routage de paquets 7/ 55

33 Routage de paquets Équations 1/2 P k P k 1 Paquets émis par une source : j (k,j) A 2 Paquets reçus par une destination : 3 Loi de conservation (nœud relais i) : i (i,j) A n k,l i,j = i (j,i) A n k,l j,i n k,l k,j = nk,l i (i,l) A n k,l i,l = n k,l (k, l), j k, j l Introduction Routage de paquets 8/ 55

34 Routage de paquets Équations 1/2 P k Pl 1 Paquets émis par une source : j (k,j) A 2 Paquets reçus par une destination : 3 Loi de conservation (nœud relais i) : i (i,j) A n k,l i,j = i (j,i) A n k,l j,i n k,l k,j = nk,l i (i,l) A n k,l i,l = n k,l (k, l), j k, j l Introduction Routage de paquets 8/ 55

35 Routage de paquets Équations 1/2 P i 1 Paquets émis par une source : j (k,j) A 2 Paquets reçus par une destination : 3 Loi de conservation (nœud relais i) : i (i,j) A n k,l i,j = i (j,i) A n k,l j,i n k,l k,j = nk,l i (i,l) A n k,l i,l = n k,l (k, l), j k, j l Introduction Routage de paquets 8/ 55

36 Routage de paquets Équations 2/2 4 Congestion C i,j = (k,l) n k,l >0 nk,l i,j 5 Fonction objective : C max C i,j, i, j Minimiser C max Programme linéaire en rationnels : résolu en temps polynomial Introduction Routage de paquets 9/ 55

37 Algorithme de routage 1 Calculer une solution optimale C max, n k,l i,j 2 Ordonnancement périodique : du programme linéaire On pose Ω = Cmax On utilise Cmax Ω périodes de durée Ω Pendant chaque période, l arête (i, j) transmet (au plus) n k,l m k,l i,j = i,j Ω paquets de k à l C max 3 Terminaison : on traite séquentiellement les paquets résiduels Ordonnancement valide, asymptotiquement optimal : C max C C max + O( C max ) Introduction Routage de paquets 10/ 55

38 Étude du régime permanent Principe : Relaxation de la fonction objective (temps d exécution débit) Nombres rationnels de paquets dans le programme linéaire Construction d un ordonnancement périodique Grand nombre de périodes obtention d un régime permanent Intérêt : Ordonnancement asymptotiquement optimal, adapté à : grands volumes de données applications constituées d un grand nombre de tâches indépendantes Permet aussi d obtenir une description plus compacte de l ordonnancement : période, décrite par intervalles au lieu de la route empruntée par chaque paquet Introduction Routage de paquets 11/ 55

39 Diffusion en régime permanent Position du problème et bibliographie Résolution efficace sous le modèle bidirectionnel Complexité sous le modèle unidirectionnel Heuristiques à un seul arbre Expérimentations

40 Diffusion en régime permanent Position du problème et bibliographie Résolution efficace sous le modèle bidirectionnel Complexité sous le modèle unidirectionnel Heuristiques à un seul arbre Expérimentations

41 Communications collectives en régime permanent Communication collective : opération de communication faisant intervenir plusieurs interlocuteurs Hypothèse de régime permanent : communications pipelinées un grand nombre de messages suivant le même schéma diffusion : distribution : multicast : réduction : Diffusion en régime permanent Introduction 13/ 55

42 Communications collectives en régime permanent Communication collective : opération de communication faisant intervenir plusieurs interlocuteurs Hypothèse de régime permanent : communications pipelinées un grand nombre de messages suivant le même schéma diffusion : distribution : multicast : réduction : Diffusion en régime permanent Introduction 13/ 55

43 Bibliographie Diffusion sur des architectures spécialisées homogènes (utilisation d arbres de diffusion concurrents) grille, tore hypercube graphe de De Bruijn réseaux pair-à-pair Topologies hétérogènes : optimisation d une diffusion bibliothèques de communication pour environnements hétérogènes (ECO, MagPIe, MPICH-G2,... ) NB : en optimisant le débit d une série de diffusions, on résout de façon asymptotique le problème de la diffusion d un message de grande taille Diffusion en régime permanent Introduction 14/ 55

44 Modèle de communications plate-forme : graphe G = (V, E, c) P 1, P 2,..., P n : machines (processeurs) P source (possède les données à diffuser) (P j, P k ) E : lien de communication enter pondération sur les arêtes : c(j, k)= temps d un transfert d un message de taille 1 de P j à P j congestion au niveau d une machine : modèle de communication un-port, avec 2 variantes : 10 P 4 P P bidirectionnel : un processeur peut émettre et reçoit un message à la fois unidirectionnel : un processeur peut émettre ou reçoit un message à la fois P 2 Diffusion en régime permanent Introduction 15/ 55

45 Modèle de communications plate-forme : graphe G = (V, E, c) P 1, P 2,..., P n : machines (processeurs) P source (possède les données à diffuser) (P j, P k ) E : lien de communication enter pondération sur les arêtes : c(j, k)= temps d un transfert d un message de taille 1 de P j à P j congestion au niveau d une machine : modèle de communication un-port, avec 2 variantes : bidirectionnel : un processeur peut émettre et reçoit un message à la fois unidirectionnel : un processeur peut émettre ou reçoit un message à la fois P 4 P 1 P 2 P 3 Diffusion en régime permanent Introduction 15/ 55

46 Modèle de communications plate-forme : graphe G = (V, E, c) P 1, P 2,..., P n : machines (processeurs) P source (possède les données à diffuser) (P j, P k ) E : lien de communication enter pondération sur les arêtes : c(j, k)= temps d un transfert d un message de taille 1 de P j à P j congestion au niveau d une machine : modèle de communication un-port, avec 2 variantes : bidirectionnel : un processeur peut émettre et reçoit un message à la fois P 4 P 1 bidirectionnel unidirectionnel : un processeur peut émettre ou reçoit un message à la fois P 2 P 3 Diffusion en régime permanent Introduction 15/ 55

47 Modèle de communications plate-forme : graphe G = (V, E, c) P 1, P 2,..., P n : machines (processeurs) P source (possède les données à diffuser) (P j, P k ) E : lien de communication enter pondération sur les arêtes : c(j, k)= temps d un transfert d un message de taille 1 de P j à P j congestion au niveau d une machine : modèle de communication un-port, avec 2 variantes : bidirectionnel : un processeur peut émettre et reçoit un message à la fois P 4 P 1 unidirectionnel unidirectionnel : un processeur peut émettre ou reçoit un message à la fois P 2 P 3 Diffusion en régime permanent Introduction 15/ 55

48 Diffusion en régime permanent Position du problème et bibliographie Résolution efficace sous le modèle bidirectionnel Complexité sous le modèle unidirectionnel Heuristiques à un seul arbre Expérimentations

49 Approche par programmation linéaire Adaptation de la méthode de Bertsimas et Gamarnik Quantités moyennes de messages transmis par unité de temps Débit = quantité moyenne reçue par chaque destination, par unité de temps Une source / plusieurs destinations On distingue tout de même la destination des messages : send(p i P j, k) : Nombre moyen de messages envoyés à destination de k, traversant l arête (P i, P j ) en une unité de temps. Diffusion en régime permanent Modèle bidirectionnel 17/ 55

50 Approche par programmation linéaire Adaptation de la méthode de Bertsimas et Gamarnik Quantités moyennes de messages transmis par unité de temps Débit = quantité moyenne reçue par chaque destination, par unité de temps Une source / plusieurs destinations On distingue tout de même la destination des messages : send(p i P j, k) : Nombre moyen de messages envoyés à destination de k, traversant l arête (P i, P j ) en une unité de temps. Diffusion en régime permanent Modèle bidirectionnel 17/ 55

51 Contraintes On peut écrire les mêmes contraintes que pour le routage de paquets : tous les messages sont émis par la source cible P k send(p source P j, k) = ρ (P source,p j ) E tous les messages sont reçus par une destination cible P k send(p j k, k) = ρ (P j,p k ) E conservation du nombre de messages cible P k, P i P k, P source send(p j P i, k) = send(p i P j, k) (P j,p i ) E (P i,p j ) E Diffusion en régime permanent Modèle bidirectionnel 18/ 55

52 Contraintes On peut écrire les mêmes contraintes que pour le routage de paquets : tous les messages sont émis par la source cible P k send(p source P j, k) = ρ (P source,p j ) E tous les messages sont reçus par une destination cible P k send(p j k, k) = ρ (P j,p k ) E conservation du nombre de messages cible P k, P i P k, P source send(p j P i, k) = send(p i P j, k) (P j,p i ) E (P i,p j ) E Diffusion en régime permanent Modèle bidirectionnel 18/ 55

53 Contraintes On peut écrire les mêmes contraintes que pour le routage de paquets : tous les messages sont émis par la source cible P k send(p source P j, k) = ρ (P source,p j ) E tous les messages sont reçus par une destination cible P k send(p j k, k) = ρ (P j,p k ) E conservation du nombre de messages cible P k, P i P k, P source send(p j P i, k) = send(p i P j, k) (P j,p i ) E (P i,p j ) E Diffusion en régime permanent Modèle bidirectionnel 18/ 55

54 Nombre de message sur une arête La distinction des messages par destination est fictive Quel est le nombre total de messages sur l arête (i, j)? s(p i P j ) = k send(p i P j, k)? Certains messages à destination de k et k sont en fait deux copies du même message : on ne veut pas les transmettre deux fois Hypothèse optimiste : s(p i P j ) = max {send(p i P j, k)} k il existe une destination k 0 (réalisant le max k ) telle que les messages envoyés vers toute autre destination k forment un sous-ensemble des messages envoyés à k 0 Pas de justification de cette hypothèse ici : on cherche d abord une majoration du débit, pas forcément réalisable Diffusion en régime permanent Modèle bidirectionnel 19/ 55

55 Nombre de message sur une arête La distinction des messages par destination est fictive Quel est le nombre total de messages sur l arête (i, j)? s(p i P j ) = k send(p i P j, k) non Certains messages à destination de k et k sont en fait deux copies du même message : on ne veut pas les transmettre deux fois Hypothèse optimiste : s(p i P j ) = max {send(p i P j, k)} k il existe une destination k 0 (réalisant le max k ) telle que les messages envoyés vers toute autre destination k forment un sous-ensemble des messages envoyés à k 0 Pas de justification de cette hypothèse ici : on cherche d abord une majoration du débit, pas forcément réalisable Diffusion en régime permanent Modèle bidirectionnel 19/ 55

56 Nombre de message sur une arête La distinction des messages par destination est fictive Quel est le nombre total de messages sur l arête (i, j)? s(p i P j ) = k send(p i P j, k) non Certains messages à destination de k et k sont en fait deux copies du même message : on ne veut pas les transmettre deux fois Hypothèse optimiste : s(p i P j ) = max {send(p i P j, k)} k il existe une destination k 0 (réalisant le max k ) telle que les messages envoyés vers toute autre destination k forment un sous-ensemble des messages envoyés à k 0 Pas de justification de cette hypothèse ici : on cherche d abord une majoration du débit, pas forcément réalisable Diffusion en régime permanent Modèle bidirectionnel 19/ 55

57 Nombre de message sur une arête La distinction des messages par destination est fictive Quel est le nombre total de messages sur l arête (i, j)? s(p i P j ) = k send(p i P j, k) non Certains messages à destination de k et k sont en fait deux copies du même message : on ne veut pas les transmettre deux fois Hypothèse optimiste : s(p i P j ) = max {send(p i P j, k)} k il existe une destination k 0 (réalisant le max k ) telle que les messages envoyés vers toute autre destination k forment un sous-ensemble des messages envoyés à k 0 Pas de justification de cette hypothèse ici : on cherche d abord une majoration du débit, pas forcément réalisable Diffusion en régime permanent Modèle bidirectionnel 19/ 55

58 Contrainte du modèle un-port Temps moyen d utilisation de l arête (P i, P j ) : T (i, j) = s(i j) c i,j Un processeur ne peut émettre deux message à la fois temps moyen d émission par unité de temps borné : P i T (i, j) 1 (P i,p j ) E Un processeur ne peut recevoir deux message à la fois temps moyen de réception par unité de temps borné : P i T (k, i) 1 (P k,p i ) E Diffusion en régime permanent Modèle bidirectionnel 20/ 55

59 Contrainte du modèle un-port Temps moyen d utilisation de l arête (P i, P j ) : T (i, j) = s(i j) c i,j Un processeur ne peut émettre deux message à la fois temps moyen d émission par unité de temps borné : P i T (i, j) 1 (P i,p j ) E Un processeur ne peut recevoir deux message à la fois temps moyen de réception par unité de temps borné : P i T (k, i) 1 (P k,p i ) E Diffusion en régime permanent Modèle bidirectionnel 20/ 55

60 Contrainte du modèle un-port Temps moyen d utilisation de l arête (P i, P j ) : T (i, j) = s(i j) c i,j Un processeur ne peut émettre deux message à la fois temps moyen d émission par unité de temps borné : P i T (i, j) 1 (P i,p j ) E Un processeur ne peut recevoir deux message à la fois temps moyen de réception par unité de temps borné : P i T (k, i) 1 (P k,p i ) E Diffusion en régime permanent Modèle bidirectionnel 20/ 55

61 Programme linéaire obtenu Maximiser ρ opt P k V cibles P k V cibles ( Pk V cibles, P i P i P k, P source (i, j) E, P i V, P i V, X send(p source P j, k) = ρ opt (P source,p j ) E X (P j,p k ) E send(p j P k, k) = ρ opt X send(p j P i, k) = X send(p i P j, k) (P j,p i ) E X (P i,p j ) E send(p i P j, k) c i,j T i,j P k V cibles X T i,j 1 (i,j) E X (j,i) E T j,i 1 P i, P j, P k V send(p i P j, k) 0 O(n 2 ) contraintes (non triviales) pour O(n 3 ) variables Diffusion en régime permanent Modèle bidirectionnel 21/ 55

62 Construction d un ensemble d arbres de débit optimal On cherche à atteindre la borne ρ opt calculé par le programme linéaire. G s = (V, E, s) : graphe dont les arêtes sont étiquetées par la valeur de s(p i P j ) dans une solution optimale du programme linéaire Propriété Dans G s, il existe un flot de valeur ρ opt de la source vers tout nœud. ρ opt est la valeur de la coupe minimale entre P source et tout autre sommet P i Diffusion en régime permanent Modèle bidirectionnel 22/ 55

63 Construction d un ensemble d arbres de débit optimal Version pondérée du théorème d Edmonds sur les arborescences Étant donné le graphe dirigé pondéré G s, on peut trouver un ensemble d arbres A 1,..., A k et un ensemble de poids x 1,... x k tels que k x it i G s et x i = ρ opt en temps fortement polynomial, et k V 3 + E. i Ce résultat permet d obtenir : un ensemble d arbres réalisant ρ opt, leur pondération le nombre d arbres est borné par V 3 + E Diffusion en régime permanent Modèle bidirectionnel 23/ 55

64 Exemple d extraction d arbres 1 Résultat du programme linéaire : P 0 P /2 1/2 P 1 1/ /2 P 2 = P 1 1 1/2 1/2 P 2 ρ opt = 1 1 P 3 P 4 P 3 P 4 2 Découpage en arbres (théorème d Edmonds) : = 1 2 P 1 P 0 P P 0 P 1 P 2 P 3 P 4 P 3 P 4 Diffusion en régime permanent Modèle bidirectionnel 24/ 55

65 Organisation des communications Équations du modèle un-port organisation des communications { un processeur pour les émissions P out processeur P i un processeur pour les réceptions P in P in source P out source G B : P1 in P1 out P2 int P2 out P3 in P3 out P in 4 P out 4 Ensemble de communications pouvant se faire simultanément : couplage dans le graphe biparti G B Diffusion en régime permanent Modèle bidirectionnel 25/ 55

66 Extraction de couplages Version pondérée du théorème de König Il est possible de décomposer G B en une somme pondérée de couplages, telles que la somme des pondérations est au plus égale au degré maximal d un nœud dans G B. nombre de couplages borné par E Le degré maximal d un nœud dans le graphe biparti dont les arêtes sont étiquetées par la valeur s(p i P j ) vaut 1 (d après les contraintes un-port). P1 in P3 in 1/2 1/2 P1 out 1/2 P3 out P in source P out source 1/2 1/2 P2 int P4 in P2 out 1/2 P4 out = 1 2 P1 in P3 in P1 out P3 out P in source P out source P2 int P4 in P2 out P4 out P1 in P3 in P1 out P3 out P in source P out source P2 int P4 in P2 out P4 out Diffusion en régime permanent Modèle bidirectionnel 26/ 55

67 Reconstruction d une période Quantités rationnelles de messages dans chaque couplage Durée de la période = PPCM des dénominateurs des quantités de messages dans chaque couplage Période découpée en intervalles représentant les couplages Affectation des transferts en respectant les dépendances (un processeur retransmet lors d une période les messages reçus à la période précédente) Liens t Ps P1 Ps P2 P1 P2 P2 P1 P1 P3 P2 P4 Diffusion en régime permanent Modèle bidirectionnel 27/ 55

68 Reconstruction d une période Quantités rationnelles de messages dans chaque couplage Durée de la période = PPCM des dénominateurs des quantités de messages dans chaque couplage Période découpée en intervalles représentant les couplages Affectation des transferts en respectant les dépendances (un processeur retransmet lors d une période les messages reçus à la période précédente) Liens t Ps P1 Ps P2 P1 P2 P2 P1 P1 P3 P2 P4 Diffusion en régime permanent Modèle bidirectionnel 27/ 55

69 Reconstruction d une période Quantités rationnelles de messages dans chaque couplage Durée de la période = PPCM des dénominateurs des quantités de messages dans chaque couplage Période découpée en intervalles représentant les couplages Affectation des transferts en respectant les dépendances (un processeur retransmet lors d une période les messages reçus à la période précédente) Liens t Ps P1 Ps P2 P1 P2 P2 P1 P1 P3 P2 P4 Diffusion en régime permanent Modèle bidirectionnel 27/ 55

70 Reconstruction d une période Quantités rationnelles de messages dans chaque couplage Durée de la période = PPCM des dénominateurs des quantités de messages dans chaque couplage Période découpée en intervalles représentant les couplages Affectation des transferts en respectant les dépendances (un processeur retransmet lors d une période les messages reçus à la période précédente) Liens t Ps P1 Ps P2 P1 P2 P2 P1 P1 P3 P2 P4 Diffusion en régime permanent Modèle bidirectionnel 27/ 55

71 Reconstruction d une période Période de l ordonnancement Quantités rationnelles de messages dans chaque couplage Durée Liensde la 2k période 2k = + 1 PPCM 2k des + 2 dénominateurs t des quantités de messages P s P 1 dans chaque couplage M 1 k Période découpée en intervalles représentant les couplages P s P 2 Mk 2 Affectation des transferts en respectant les dépendances (un processeur retransmet lors d une période les messages reçus à la période P 1 précédente) P 2 Mk 1 1 description d une période par intervalles P 2 P 1 M 2 k 1 P 1 P 3 M 1 k 1 M 2 k 2 P 2 P 4 M 1 k 2 M 2 k 1 Diffusion en régime permanent Modèle bidirectionnel 27/ 55

72 Résultats sous le modèle bidirectionnel Pour la diffusion de messages ordonnancement périodique de débit optimal asymptotiquement optimal pour le temps d exécution description compacte (période décrite par intervalles) Extension à d autres primitives de communications collectives : Étude similaire pour la réduction, la distribution Par contre le multicast (diffusion restreinte) est NP-complet, et non-apx Diffusion en régime permanent Modèle bidirectionnel 28/ 55