C09: Conception parallèle

Transcription

1 méthodologie de conception en quatre étapes virtualisation applications structurées et non structurées aspect analytique: S, E Accélération Amdahl Accélération Gustafson Surcharge de parallélisation

2 Conception d un SPTR Méthodologie en quatre étapes. 1. Décomposition fonctionnelle 2. Partitionnement 3. Allocation 4. Mise à l échelle Une application est divisée en TÂCHES formées de PROCESSUS concourants et temps réel partageant des RESSOURCES et qui sont placés sur des PROCESSEURS reliés par un RÉSEAU D INTERCONNEXION pour échanger des données.

3 Décomposition fonctionnelle Exigences du problème: tâches à accomplir (besoins); modules (sous-tâches) et fichiers (données); relations entre modules (e.g. flot des données); ressources disponibles; contraintes temporelles pour sous-tâches. Étape de spécification (UML, CSP).

4 Décomposition fonctionnelle Objectifs: cibler les exigences importantes du problème; identifier sa structure de base; limiter sa complexité.

5 Partitionnement Solution par traitement concourant: classes et objets (OOD); processus et relations: communications (IPC) et synchronisations (IPC); contraintes temporelles des processus; données utilisées par chaque processus; entrées-sorties. Étape de conception.

6 Partitionnement Objectifs: maximiser la performance du traitement; minimiser les communications entre processus; limiter la complexité de la solution concourante.

7 Virtualisation Segmentation et assignation des données aux processus: étape du partitionnement; plus simple pour une application structurée; méthode choisie dépend des données et traitements.

8 Virtualisation hiérarchique Un bloc de données par processus: 4 blocs de données.

9 Virtualisation couper-et-empiler Une donnée par processus dans chaque bloc: blocs de 4 données.

10 Allocation Application de la solution au traitement parallèle: assignation des processus et données à un ou plusieurs processeurs et mémoires; topologie pour le réseau d interconnexion; ordonnancement temps réel pour une application non structurée (plusieurs processus par processeur); choix statiques ou dynamiques.

11 Allocation Objectifs: maximiser la performance du traitement (parallélisme maximal?, charge équilibrée?); minimiser les communications entre processeurs; assurer la réalisabilité de l ordonnancement; limiter la complexité de la solution parallèle.

12 Mise à l échelle Dimensionnement de l architecture matérielle: détermination du nombre optimal de processeurs; inclusion de redondance pour la tolérance aux fautes.

13 Mise à l échelle Objectifs: maximiser le ratio performance/coût; assurer la réalisabilité de l ordonnancement; maximiser la fiabilité.

14 Applications structurées Traitements (calculs et communications): faits selon des patrons globaux fixes et prédéterminés; identiques pour tous les processus; fonction du format et de la quantité de données.

15 Applications non structurées Traitements: incluent des interactions variées et imprévisibles; différents d un processus à l autre; fonction du contenu des données.

16 Aspect analytique du traitement parallèle Performance d un algorithme séquentiel: mesurée par le taux de croissance du temps et de la quantité de mémoire requise pour réaliser des traitements de dimension de plus en plus grande. Performance d un algorithme parallèle: mesurée par rapport au meilleur algorithme séquentiel.

17 Complexité du traitement séquentiel Mesure de la performance potentielle: on compare l ordre de grandeur des complexités. Dimension d un traitement: n Complexité temporelle d un algorithme: T(n) Complexité spatiale: M(n) Borne supérieure à la complexité: O(n) Borne inférieure à la complexité: Ω(n) Équivalence en complexité: Θ(n)

18 Complexité temporelle du traitement parallèle Complexité dépend de n (la quantité de données) et de P (le nombre de processeurs utilisés). Complexité temporelle d un algorithme: T(n,P) T(n,P)=T 1 (n,p)+t 2 (n,p) Typiquement: T 1 (n,p) = n/p T 2 (n,p) = log P

19 Mesures de performance Mesure de base: accélération. T ( n,1) S ( n, P) T ( n, P)

20 Mesures de performance Mesure dérivée: efficacité. S ( n, P ) E ( n, P) P

21 Loi générale Gain de performance S d un système obtenu par l amélioration d un module ayant une influence partielle. S (1 influence) 1 influence amélioration

22 Exemple Amélioration = 10. Influence = S = 1.29 S max = 1/(1-influence) = 1.3 pour une amélioration infinie.

23 Accélération de Amdahl P S ( n, P ) (1 s ( P 1)) s: proportion non-parallélisable des traitements. p: proportion parallélisable des traitements (influence). s+p=1 P: nombre de processeurs (amélioration).

24 Hypothèses d application Les deux algorithmes (séquentiel et parallèle) effectuent exactement les mêmes traitements. Il n y a pas de surcharge pour la version parallèle. La proportion non-parallélisable n est pas accélérée. La proportion parallélisable est accélérée proportionnellement au nombre de processeurs.

25 Illustration a: p=1 b: p=0.95 c: p=0.9 d: p=0.8 e: p=0.6 S P

26 Exemple avec des durées Avant parallélisation: durée du traitement non-parallélisable: 10 u.t. durée du traitement parallélisable: 30 u.t. durée totale du traitement: 40 u.t. (s = 10/40 = 0.25 et p = 30/40 = 0.75) Après parallélisation: durée du traitement non-parallélisé: 10 u.t. durée du traitement parallélisé (P=3): 10 u.t. durée totale du traitement: 20 u.t. Accélération: S = T1/TP = 40/20 = 2 S = 1/(s+(p/P)) = 1/(0.25+(0.75/3)) = 1/0.5 = 2 S = P/(1+s(P-1)) = 3/(1+0.25(2)) = 3/1.5 = 2

27 Exemple 1 Soit l algorithme suivant ayant s > 0. non-parallélisable parallélisable for (1 n) { for (1 n) { opération 1; opération 2; } } for (1 n) { opération 3; opération 4; }

28 Exemple 1 1. Calculez l accélération obtenue par la parallélisation du fragment de code précédent pour quatre processeurs et avec n = Trouvez la proportion non-parallélisable (séquentielle) s et la proportion parallélisable p des traitements. 3. Trouvez S max (100,P). 1. S = s = S max = 1.01

29 Exemple 2 Soient les résultats expérimentaux suivants: Algorithme Nombre de processeurs Temps Séquentiel optimal 1 75 s Parallèle s Parallèle s Parallèle s

30 Exemple 2 1. Calculez l accélération pour chaque algorithme parallèle. 2. Identifiez l algorithme parallèle le plus efficace. 3. Calculez la proportion non-parallélisable (séquentielle) s et la proportion parallélisable p de l algorithme séquentiel à partir des résultats obtenus pour l algorithme Parallèle3. 1. S1=1.875 S2=2.143 S3=15 2. E1= E2=0.714 E3= s = p=1-s

31 Proportion de l accélération maximale Nombre de processeurs pour avoir S = 90% de (S max = 1/s)? S s = 0.05 S max = 20 P = ps/(1-ss)

32 Exemple 3 Soit un algorithme avec proportion parallélisable p = Calculez l accélération pour 24 processeurs. 2. Calculez le nombre de processeurs à utiliser pour obtenir 75% de l accélération maximale. 1. S = P = 2

33 Accélération de Gustafson On compare l implantation sérialisée (ralentie) par rapport à l implantation parallèle, au lieu de l inverse comme pour la loi de Amdahl. S '( n, P) P s ( P 1) s: proportion non-parallélisée des traitements. p: proportion parallélisée des traitements. s + p = 1 P: nombre de processeurs.

34 Exemple avec des durées Avant sérialisation: durée du traitement non-parallélisé: 10 u.t. durée du traitement parallélisé: 10 u.t. durée totale du traitement: 20 u.t. (s = 10/20 = 0.5 et p = 10/20 = 0.5) Après sérialisation: durée du traitement non-parallélisable: 10 u.t. durée du traitement parallélisable (P=3): 30 u.t. durée totale du traitement: 40 u.t. Accélération: S = T1/TP = 40/20 = 2 S = s+pp = 0.5+3(0.5) = = 2 S = P-s(P-1) = 3-0.5(2) = 3-1 = 2

35 Exemple 4 Soit un algorithme avec une proportion parallélisable p = Calculez l accélération obtenue en parallélisant cet algorithme sur 10 processeurs. 2. Calculez la proportion séquentielle et la proportion parallèle du programme ainsi parallélisé. 3. Vérifiez votre réponse en calculant l accélération de Gustafson à partir de ces proportions. 1. S = s G =0.909 p G = S G = 1.818

36 Accélération Amdahl avec surcharge S( n, P) (1 (1 c) P s((1 c) P 1)) s: proportion non-parallélisable des traitements (sans surcharge). p: proportion parallélisable des traitements (sans surcharge). s + p = 1 p x : proportion parallélisable des traitements (avec surcharge). p x = p / (1 - c) c: proportion des traitements parallélisés en surcharge; c est indépendant de P, le nombre de processeurs.

37 Exemple avec des durées Avant parallélisation: durée du traitement non-parallélisable: 10 u.t. durée du traitement parallélisable: 30 u.t. durée totale du traitement: 40 u.t. (s = 10/40 = 0.25 et p = 30/40 = 0.75) Après parallélisation: durée du traitement non-parallélisé: 10 u.t. durée du traitement parallélisé (P=3; c =0.2): 10/0.8 = 1.25(10) = 12.5 u.t. durée totale du traitement: 22.5 u.t. Accélération: S = T1/TP = 40/22.5 = 1.7 S = 1/(s+(p x /P)) = 1/(s+(p/(1-c)P)) = 1/(0.25+((0.75/0.8)/3) = 1/ = 1.7 S = (1-c)P/(1+s((1-c)P-1)) = 2.4/(1+0.25(1.4)) = 2.4/1.35 = 1.7

38 Accélération Gustafson avec surcharge S '( n, P) (1 c) P s ((1 c) P 1) s: proportion non-parallélisée des traitements (avec surcharge). p x : proportion parallélisée des traitements (avec surcharge). s + p x = 1 p: proportion parallélisée des traitements sans surcharge sur les traitements avec surcharge (p est inférieur à p x ). p = (1 c) p x c: proportion des traitements parallélisés en surcharge; c est indépendant de P, le nombre de processeurs.

39 Exemple avec des durées Avant sérialisation: durée du traitement non-parallélisé: 10 u.t. durée du traitement parallélisé: 12.5 u.t. durée totale du traitement: 22.5 u.t. (s = 10/22.5=0.4 et p x = 12.5/22.5=0.5) Après sérialisation: durée du traitement non-parallélisable: 10 u.t. durée du traitement parallélisable (P=3; c=0.2): 3(12.5(0.8)) = 30 u.t. durée totale du traitement: 40 u.t. Accélération: S = T1/TP = 40/22.5 = 1.7 S = s + pp = s+p x (1-c)P = 0.4+ (0.5)(0.8)3 = = 1.7 S = (1-c)P-s((1-c)P-1) = (0.8)3-0.4(((0.8)3)-1) = = 1.7