Programmation efficace des multicœurs Application a la visualisation scientifique

Transcription

1 Programmation efficace des multicœurs Application a la visualisation scientifique Marc Tchiboukdjian Doctorant 3e me anne e Jean-Philippe Nomine Encadrant CEA Vincent Danjean Directeur de the se Bruno Raffin Directeur de the se M. Tchiboukdjian Programmation efficace des multicœurs 1/32

2 Nouveaux multicœurs AMD Istanbul 6 cœurs Ghz 6x512KB L2 privés 6MB L3 partagé AMD Magny-Cours 2x6 cœurs Ghz 12x512KB L2 privés 2x6MB L3 partagé Intel Gulftown 6 cœurs Ghz 6x256KB L2 privés 12MB L3 partagé Intel Nehalem-EX 8 cœurs?? Ghz 8x256KB L2 privés 24MB L3 partagé M. Tchiboukdjian Programmation efficace des multicœurs 2/32

3 Programmation efficace des multicœurs Caractéristiques Nombreux cœurs avec une mémoire partagée Hiérarchie de caches Architectures complexes avec de nombreux paramètres Challenges Répartition de charge Localité des accès mémoires Sans paramètres ajustables M. Tchiboukdjian Programmation efficace des multicœurs 3/32

4 Plan de l exposé 1 Introduction 2 Localité des accès mémoire 3 Localité pour les programmes parallèles 4 Parallélisme à grain fin avec XKaapi 5 Le cas de l isosurface 6 Conclusion M. Tchiboukdjian Programmation efficace des multicœurs 4/32

5 La hiérarchie mémoire Vitesse CPU L1 L2 L3 RAM Taille Mémoire Taille Latence L1 16kB 1 cycle L2 256kB 20 cycles L3 8MB 50 cycles RAM 8GB 200 cycles Caractéristiques Gestion automatique par le processeur Transfert par blocs (64B) M. Tchiboukdjian Programmation efficace des multicœurs 5/32

6 Le modèle Cache-Oblivious [FLPR99] Performance d un algorithme : nombre de transferts de blocs Modélise la localité des accès mémoires Indépendant de l architecture de la machine M. Tchiboukdjian Programmation efficace des multicœurs 6/32

7 Améliorer la localité des accès mémoire Localité des accès mémoires Localité spatiale : utiliser toutes les données d un bloc Localité temporelle : réutiliser le plus rapidement possible 2 techniques pour améliorer la localité Réorganiser les calculs Réorganiser les données M. Tchiboukdjian Programmation efficace des multicœurs 7/32

8 Exemple : la multiplication de matrices Réorganisation des calculs par blocs Technique utilisée par les BLAS M. Tchiboukdjian Programmation efficace des multicœurs 8/32

9 Réorganisation de maillage Cache-Oblivious [TDR10a] Idée Stocker à proximité dans la mémoire les éléments voisins dans le maillage. Tetgen Tri géométrique Cache-Oblivious Garantie de performance Le parcours cohérent d un maillage de taille S cause au plus S/B + O(S/M 1/3 ) défauts de cache. M. Tchiboukdjian Programmation efficace des multicœurs 9/32

10 Maillage Cache-Oblivious : re sultats expe rimentaux ori Speedup ttopt Re duction des de fauts de cache cori copt Filtres VTK (non modifie s) sauf Iso (code maison) Ame lioration du maillage Cache-Oblivious par rapport au maillage original M. Tchiboukdjian Programmation efficace des multicœurs 10/32

11 1 Introduction 2 Localité des accès mémoire 3 Localité pour les programmes parallèles 4 Parallélisme à grain fin avec XKaapi 5 Le cas de l isosurface 6 Conclusion M. Tchiboukdjian Programmation efficace des multicœurs 11/32

12 Localité des accès mémoires en parallèle Caractéristiques L1,L2 : caches privés (1 cache par cœur) L3 : cache partagé (1 cache pour 4 cœurs) Problème Comment garantir un nombre de défauts de cache aussi bon en parallèle qu en séquentiel? M. Tchiboukdjian Programmation efficace des multicœurs 12/32

13 Inefficacité des programmes MPI sur multicœurs Parallélisme pour mémoire distribuée partitionnement des données répartir un sous-ensemble de données par unité de calcul phases de communications globales (éventuellement) code en MPI Problème Remplacer un processeur monocœur par un multicœur n améliore pas les performances des applications intensives en accès mémoire. Explication Mauvaise utilisation de la hiérarchie mémoire partagée bande passante mémoire / #cœurs taille du cache / #cœurs M. Tchiboukdjian Programmation efficace des multicœurs 13/32

14 Solution : parallélisme à deux niveaux Parallélisme à deux niveaux A l échelle des nœuds : garder le code MPI existant A l intérieur d un nœud : parallélisme adapté à la hiérarchie mémoire partagée A l intérieur d un nœud Parallélisme pour mémoire partagée (surcout plus faible) Les cœurs travaillent sur des données proches en mémoire (taille du cache) M. Tchiboukdjian Programmation efficace des multicœurs 14/32

15 Schéma de parallélisation qui conserve la localité C_1 C_2 C_3 C_4 C_1 C_2 C_3 C_4 Shared Cache Shared Cache Memory Memory Parallélisation classique Parallélisation locale Résultat Chaque cœur profite des défauts de cache des autres cœurs On obtient le même nombre de défauts de cache qu en séquentiel. Besoin de parallélisme efficace à grain fin paralléliser un ensemble de données de la taille du cache M. Tchiboukdjian Programmation efficace des multicœurs 15/32

17 Répartition de charge : statique vs dynamique parallel for for ( int i = 0 ; i < n ; ++i ) { do_work ( i ) ; } Répartition statique n/p itérations par processeur Les processeurs inactifs attendent les processeurs actifs ex : Threads, OpenMP Répartition dynamique par vol de travail Découper le travail en tâches Les processeurs inactifs volent des tâches aux procs actifs ex : Cilk, Intel TBB, Microsoft TPL, XKaapi M. Tchiboukdjian Programmation efficace des multicœurs 17/32

18 Parallel for en vol de travail [0, 127] [0, 63] [64, 127] [0, 31] [32, 63] [0, 15] [16, 31] tâches terminées tâches prêtes tâches en cours d exécution M. Tchiboukdjian Programmation efficace des multicœurs 18/32

19 Parallel for en vol de travail [0, 127] vol [64, 127] [0, 63] [64, 95] [96, 127] [0, 31] [32, 63] [64, 79] [80, 95] [0, 15] [16, 31] tâches terminées tâches prêtes tâches en cours d exécution M. Tchiboukdjian Programmation efficace des multicœurs 18/32

20 XKaapi : réduire le surcout du vol de travail [BLTG09] XKaapi nouvelle libraire implémentant le vol de travail but : parallélisme à grain fin développé par Thierry Gautier et Fabien Le Mentec de l équipe MOAIS Coût de création de tâches Cilk : Création de toutes les tâches a priori XKaapi : Création d une tâche au moment du vol Coût des synchronisations Cilk : vol concurrent Prise de verrou pour chaque extraction de tâche Xkaapi : vol coopératif Lire une variable en mémoire et répondre aux voleurs M. Tchiboukdjian Programmation efficace des multicœurs 19/32

21 XKaapi : moteur exécutif M. Tchiboukdjian Programmation efficace des multicœurs 20/32

33 XKaapi : exemple de parallel for typedef struct { InputIterator InputIterator } Work_t ; // Task ibeg; iend; void par_do_work(...) { complete_work: while (iend!= ibeg) { kaapi_stealpoint(..., &splitter); for(i=0; i<grain; ++i, ++ibeg) do_work ( ibeg ) ; kaapi_preemptpoint(..., &reducer); } if ( kaapi_preempt_next_thief(...) ) goto complete_work ; } // no more work -> become a thief void reducer(work_t *victim, Work_t *thief) { victim->ibeg = thief->ibeg; victim->iend = thief->iend; } // victim -> par_do_work / thief -> try to steal void splitter( Work_t *victim, int count, kaapi_request_t* request ) { int i = 0; size_t size = victim->iend - victim->ibeg; size_t bloc = size / (1+count); InputIterator local_end = victim->iend; Work_t *thief; if (size < gain) return; while (count >0) { if (kaapi_request_ok(&request[i])) { thief->iend = local_end; thief->ibeg = local_end - bloc; thief->obeg = intermediate_buffer; thief->osize = 0; local_end -= bloc; kaapi_request_reply_ok(thief, &request[i]); --count; } ++i; } victim->iend = local_end; } // victim and thieves -> par_do_work M. Tchiboukdjian Programmation efficace des multicœurs 21/32

34 Performances expérimentales parallel for : x2 sur un tableau de doubles Speedup sur 8 cœurs Speedup > 1 à partir de éléments ( 40µs) M. Tchiboukdjian Programmation efficace des multicœurs 22/32

36 Algorithme d extraction d isosurface Extraction d isosurface : Marching Tetrahedra Filtre de visualisation classique Extraire une surface de même valeur scalaire Interpolation linéaire de la surface par tétraèdre M. Tchiboukdjian Programmation efficace des multicœurs 24/32

37 Parallélisations : classique et locale [TDR10b] Algorithme séquentiel void dowork(int i) lire les coordonnées et la valeur scalaire de chaque point du tétraèdre i calculer l interpolation linéaire écrire 0,1 ou 2 triangles for ( int i = 0; i < n; ++i ) dowork(i); Parallélisation classique parallel for ( int i = 0; i < n; ++i ) dowork(i); Parallélisation locale for ( int j = 0 ; j < n/m ; ++j ) parallel for ( int i = m*j; i < m*(j+1); ++i ) dowork(i); Un sous-ensemble du maillage de m tétraèdres rentre dans le cache M. Tchiboukdjian Programmation efficace des multicœurs 25/32

38 Analyse théorique des défauts de cache Algorithme séquentiel Maillage de taille S Ligne de cache de taille B, cache de taille M S/B + O(S/M 1/3 ) défauts de cache Parallélisation classique Chaque cœur utilise un cache de taille M/p S/B + O(p 1/3 S/M 1/3 ) défauts de cache Parallélisation locale Chaque cœur utilise tout le cache Même nombre de défauts de cache que l algorithme séquentiel Plus de synchronisations M. Tchiboukdjian Programmation efficace des multicœurs 26/32

39 Résultats expérimentaux : défaut de caches 5 Locale Sequentiel Classique 10 7 L3 cache misses window size m M. Tchiboukdjian Programmation efficace des multicœurs 27/32

40 Résultats expérimentaux : temps d exécution 4 Speedup T seq /T par Fraction de défauts de cache L 3 C par /C seq Classique Locale Classique Locale PThread XKaapi M. Tchiboukdjian Programmation efficace des multicœurs 28/32

41 Algorithme à fenêtre glissante Fenêtre glissante Un processus particulier, le master, positionné au début de la fenêtre, libère de nouveaux éléments Traiter l élément i au début de la fenêtre libère l élément i + m Pas plus de défauts de cache, plus de parallélisme Facile à implémenter avec XKaapi ibeg iend ilast Processed Elements Master Work Stolen Work Remaining Elements Requêtes de vol m size window Sur le master, vol dans [ibeg, iend] et dans [ilast, ibeg + m] 2.5x moins de requêtes de vol comparé à la parallélisation locale M. Tchiboukdjian Programmation efficace des multicœurs 29/32

42 Résultats expérimentaux : temps d exécution Speedup T seq /T par Fraction de défauts de cache L 3 C par /C seq Classique Locale Classique Locale Glissante PThread XKaapi M. Tchiboukdjian Programmation efficace des multicœurs 30/32

43 Conclusion et perspectives Localité en séquentiel Algorithme de réorganisation de maillage Performances garanties Indépendant de l architecture Validation sur de nombreux filtres de visualisation M. Tchiboukdjian Programmation efficace des multicœurs 31/32

44 Conclusion et perspectives Localité en séquentiel Algorithme de réorganisation de maillage Performances garanties Indépendant de l architecture Validation sur de nombreux filtres de visualisation Localité en parallèle Schéma générique de parallélisation qui conserve la localité Validation sur des filtres au parallélisme simple M. Tchiboukdjian Programmation efficace des multicœurs 31/32

45 Conclusion et perspectives Localité en séquentiel Algorithme de réorganisation de maillage Performances garanties Indépendant de l architecture Validation sur de nombreux filtres de visualisation Localité en parallèle Schéma générique de parallélisation qui conserve la localité Validation sur des filtres au parallélisme simple Perspectives Appliquer ce schéma de parallélisation à d autres filtres (lancer de rayons) M. Tchiboukdjian Programmation efficace des multicœurs 31/32

46 X. Besseron, C. Laferrière, D. Traore, and T. Gautier. X-Kaapi : Une nouvelle implémentation extrême du vol de travailpour des algorithmes à grain fin. In RenPar, M. Frigo, C. E. Leiserson, H. Prokop, and S. Ramachandran. Cache-Oblivious Algorithms. In Proceedings of the 40th Annual Symposium on Foundations of Computer Science, page 285, M. Tchiboukdjian, V. Danjean, and B. Raffin. Binary mesh partitioning for cache-efficient visualization. Transactions on Visualization and Computer Graphics, (PrePrints), M. Tchiboukdjian, V. Danjean, and B. Raffin. Cache-efficient isosurface extraction for shared-cache multicores. In EGPGV, M. Tchiboukdjian Programmation efficace des multicœurs 32/32