Installation, configuration et exploitation d un cluster pour le calcul scientifique (en contexte opérationnel) : développement application parallèle

Transcription

1 Installation, configuration et exploitation d un cluster pour le calcul scientifique (en contexte opérationnel) : développement application parallèle par Bertrand FERRET GIP MERCATOR OCEAN Parc Technologique du Canal 8-10 Rue Hermès Ramonville St Agne O6 Décembre

2 GIP Mercator Océan Etude comparative Distribution HPC OSCAR Logiciels d exploitation Conclusion Océanographie Opérationnelle à l échelle globale 1/ Équipe Systèmes et Réseaux Responsable et Encadrement Thierry De PRADA / Etienne GONDET Quel océan fera t il demain? 2

3 Plan GIP Mercator Océan Objectifs Océanographie opérationnelle Modèles régionaux et globaux Moyens de calcul Externe Interne Distribution HPC OSCAR Remplacement ALINKA Pourquoi cette distribution? Composants principaux Modifications Recommandations Benchmarks Déploiement Logiciels d exploitation Présentation Traitement par lots TORQUE Ordonnanceur et répartiteur Maui Surveillance Ganglia Comptabilité Qbank & Gold Etude comparative Construire un cluster Distributions Linux et HPC Différents types de cluster Paramètres d étude Analyse Résultats Quelques conseils Conclusion 3

4 GIP Mercator Océan : Objectifs Développement, mise en œuvre et validation d un système : - simulation haute résolution de l état physique de l océan à l échelle du globe - assimilation de données satellitaires et in situ - exploitation opérationnelle Applications : - environnement (pollution, marée noire) - recherche (océanographie physique, climatologie et prévision saisonnière) - industrie (pêche, offshore) - courses au large (Pacifique à la rame, Vendée Globe) - public (questions des citoyens) Mercator est la contribution française à l'expérience internationale GODAE (Global Ocean Data Assimilation Experiment) 4

5 GIP Mercator Océan : Océanographie Opérationnelle OBSERVATION SATELLITE SSALTO MODELISATION ASSIMILATION OBSERVATION IN SITU MERCATOR CORIOLIS Analyser et prévoir en tout point du globe l état physique 3D de l océan Observer, Comprendre et Prévoir 5

6 GIP Mercator Océan : Modèles régionaux et globaux Assimilation temps réel des données Altimétriques et In Situ Régional au Global -- R&D à l Opérationnel /12 1/ / /4 1/15 1/12 GODAE... Modèles régionaux (Atlantique Nord et Méditerranée) : Moyenne (1/3 ) et Haute résolution (1/15 ) Modèles globaux : Basse (2 ) et Moyenne résolution (1/4 ) 6

7 GIP Mercator Océan : Moyens de calcul externe Fujitsu VPP5000 (Météo France) IBM SP4 (ECMWF) Puissance théorique : ~ 1200 GFLOPS Pays : France (2003) 108 processeurs Vectoriels 0.3 GHz Fujitsu CPU Système d exploitation : Unix Mémoire RAM : 516 Go Puissance théorique : ~ GFLOPS Pays : Angleterre (2004) 2176 processeurs Scalaires 1.9 GHz Power4+ IBM CPU (eserver pseries 690) Système d exploitation : AIX Mémoire RAM : 2688 Go 7

8 GIP Mercator Océan : Moyens de calcul interne Cluster de calcul Fujitsu/Siemens (rack) SCALI Optiplex GX270 Cluster de stations de travail DELL (NoW) 9 ALINKA 15 5 Optiplex GX280 Précision Précision 650 Puissance théorique : ~ 232 GFLOPS 27 nœuds (2 groupes) 54 processeurs Scalaires 2 à 2.2 GHz Opteron AMD CPU (64 bits) Système d exploitation : Linux RedHat Mémoire RAM : 252 Go Puissance théorique : ~ 627 GFLOPS 41 nœuds (4 groupes) 58 processeurs Scalaires 2.4 à 3.4 GHz INTEL CPU (32 bits) Système d exploitation : Linux RedHat Mémoire RAM : 44 Go 8

9 Plan GIP Mercator Océan Objectifs Océanographie opérationnelle Modèles régionaux et globaux Moyens de calcul Externe Interne Etude comparative Construire un cluster Distributions Linux et HPC Différents types de cluster Paramètres d étude Analyse Résultats Distribution HPC OSCAR Remplacement ALINKA Pourquoi cette distribution? Composants principaux Modifications Recommandations Benchmarks Déploiement Logiciels d exploitation Présentation Traitement par lots TORQUE Ordonnanceur et répartiteur Maui Surveillance Ganglia Comptabilité Qbank & Gold Quelques conseils Conclusion 9

10 Étude comparative : Construire un cluster Les questions à se poser??? Le rôle : Quelle est l utilisation finale de ce cluster? Quels sont les utilisateurs qui l utiliseront et comment? Quels sont les critères de succès? L architecture des nœuds : Quelles seront les caractéristiques de chaque nœud? L architecture réseau : Comment les différents éléments seront ils interconnectés? Les entrées/sorties et sauvegarde : Comment les utilisateurs accèdent et sauvegardent leurs données? Le logiciel : Quels seront les logiciels utilisés sur chaque nœud et comment seront-ils gérés? The Production Cluster Construction Checklist ANL (ARGONNE NATIONAL LABORATORY) 10

11 Étude comparative : Distributions Linux et HPC Distribution HPC Distribution Linux HPC (High Performance Computing) 11

12 Étude comparative : Différents types de cluster Cluster de calcul (diskless ou en rack) Cluster de stations de travail (NoW) 12

13 Étude comparative : Paramètres d étude TYPE Réseau de stations de travail (NoW) Cluster dédié au calcul sans disques durs (diskless) Cluster dédié au calcul dans une baie (rack) SUPPORT Mailing list Support commercial Support dédié (réparation en moins de 4 heures) Support SCALI Type Scalabilité SCALABILITE >1024 RESEAU GigaEthernet Infiniband Infinipath Myrinet Quadrics Dolphin Réseau Coût Logiciel Plateforme PLATEFORME Pentium 4 (ou Xeon) Nacona (ou Em64t) Itanium Athlon Opteron Powerpc COUT Commercial prix élevé Commercial prix moyen Freeware LOGICIEL Administration système Logiciels d exploitation Bibliothèque parallèle 13

14 Étude comparative : Analyse ClusterWorX NPACI-ROCKS SCALI Type Type Type Support Scalabilité Support Scalabilité Support Scalabilité Réseau Plateforme Réseau Plateforme Réseau Plateforme Coût Logiciel Coût Logiciel Coût Logiciel DISTRIBUTIONS COMMERCIALES OSCAR SCYLD WAREWULF Type Type Type Support Scalabilité Support Scalabilité Support Scalabilité Réseau Plateforme Réseau Plateforme Réseau Plateforme Coût Logiciel Coût Logiciel Coût Logiciel DISTRIBUTIONS OPEN SOURCE 14

15 Étude comparative : Résultats Type Classement Distribution HPC Réseau de stations de travail (NoW) 1 2 Exigences MERCATOR Coût moyen Cluster dédié au calcul sans disques durs (diskless) 1 2 WAREWULF Développement de codes parallèles Acquérir des connaissances et se spécialiser dans le HPC Cluster dédié au calcul dans une baie (rack)

16 Plan GIP Mercator Océan Objectifs Océanographie opérationnelle Modèles régionaux et globaux Moyens de calcul Externe Interne Distribution HPC OSCAR Remplacement ALINKA Pourquoi cette distribution? Composants principaux Modifications Recommandations Benchmarks Déploiement Logiciels d exploitation Etude comparative Construire un cluster Distributions Linux et HPC Différents types de cluster Paramètres d étude Analyse Présentation Traitement par lots TORQUE Ordonnanceur et répartiteur Maui Surveillance Ganglia Comptabilité Qbank & Gold Résultats Quelques conseils Conclusion 16

17 Distribution HPC OSCAR : Remplacement ALINKA Support ALINKA Type Scalabilité Administration système : LOGICIEL - model-command - Interface Web d administration Logiciel d exploitation : Réseau Plateforme - OpenPBS (Traitement par lots) Interface Web (Surveillance) (Ordonnanceur/répartiteur) Coût Logiciel OSCAR Administration système : Support Type Scalabilité - SIS (System Installation Suite) - Flamethrower -C3(Cluster Command and Control) - Interface graphique d administration - Environment Switcher Réseau Coût Logiciel Plateforme Logiciel d exploitation : - TORQUE (Traitement par lots) - Maui - Ganglia (Surveillance) (Ordonnanceur/répartiteur) Cluster de stations de travail (NoW) 17

18 Distribution HPC OSCAR : Pourquoi cette distribution? Adapté à un réseau de stations de travail : - Gestion de l hétérogénéité du parc Modulaire : - Logiciels Open Source indépendants Facilité de mise en œuvre et d utilisation : - Installation Linux sur serveur maître puis OSCAR - Logiciels d exploitation préconfigurés - Interface graphique pour l administration Gestion automatique des variables d environnement : - Environment Switcher Maintenance et évolution : - Logiciels Open Source (documentations, FAQ et mailing list) - Mise à jour des modules possibles - Consortium (regroupement industries et universités) Open Source Cluster Application Ressource (OSCAR) 18

19 Distribution HPC OSCAR : Composants principaux System Installation Suite (SIS) Cluster Command and Control (C3) Administration centralisée sur le nœud maître Exécution de commandes en une seule opération sur tous les nœuds du cluster Environment Switcher Gestion de différentes versions des logiciels Simplifie les Environnements de programmation Initialise les variables d environnement Gestion des machines et des images Automatise l installation et la configuration de postes de travail sous Linux en réseau Les fondations OSCAR ES C3 SIS 19

20 Distribution HPC OSCAR : Modifications Incompatibilités SIS avec matériel récent - Mise à jour et recompilation du noyau Intégration et activation de nouveaux drivers Mise à jour des produits Distribution Linux non supportée - Serveur maître : Core 2 - Nœuds de calcul : Core 3 détection clé USB clients et serveur NFS performants verrouillage écran, détection carte son - Recompilation et création de packages RPM - Intégration dans distribution OSCAR Optimisations Logiciels OSCAR 4.1 OSCAR GMO - fixe allègement serveur DHCP LAM/MPI TORQUE p p6 Maui p p13 Ganglia Synchronisation des postes par l administrateur reboot des postes clients : 2 à 3 mn - Montages NFS dynamiques accès au SAN et DAS performant Adaptation OSCAR à MERCATOR 20

21 Distribution HPC OSCAR : Recommandations Système complexe : Distribution HPC flexible : - Mise à jour d un module sans devoir réinstaller l ensemble de la distribution - Postes clients fonctionnent même si le nœud maître est arrêté Quelle que soit la distribution HPC : Matériel pas trop récent, homogène et évoluant peu ou pas Administrateur débutant Matériel récent, hétérogène et évoluant rapidement Administrateur spécialiste OSCAR : distribution HPC actuelle la plus adaptée aux matériels hétérogènes 21

22 Distribution HPC OSCAR : Benchmarks Public : STREAM Quantifie la bande passante mémoire en Mo/s Calcul sur des vecteurs de grande dimension Copy a(i)=b(i) 2444 Scale a(i)=q*b(i) 2455 Sum Triad a(i)=b(i)+c(i) a(i)=b(i)+q*c(i) Ko/s Public : IOzone Analyse du filesystem local ou distant (NFS) d une machine Opérations sur les fichiers (optimisation des transferts) Write Performance Maison : NEMO-OPA9 Modèle océanographique basse résolution utilisant MPI File size (Ko) Record size (Ko) 22

23 Distribution HPC OSCAR : Déploiement 6 / 3 9 Optiplex GX270 Cluster de stations de travail DELL (NoW) 15 Optiplex GX280 8 / 7 Phase 1 : O1 Oct / 15 Nov 3 / 2 5 Précision 530 Phase 2 : 10 Dec / 01 Fev 10 / 2 12 Précision 650 Evolution du système d exploitation : RedHat 9 Fedora Core 3 Utilisation des stations de travail pour le calcul parallèle 23

24 Plan GIP Mercator Océan Objectifs Océanographie opérationnelle Modèles régionaux et globaux Moyens de calcul Externe Distribution HPC OSCAR Remplacement ALINKA Pourquoi cette distribution? Composants principaux Modifications Recommandations Benchmarks Déploiement Interne Logiciels d exploitation Etude comparative Présentation Traitement par lots TORQUE Construire un cluster Ordonnanceur et répartiteur Maui Distributions Linux et HPC Différents types de cluster Surveillance Ganglia Paramètres d étude Comptabilité Qbank et Gold Analyse Résultats Quelques conseils Conclusion 24

25 Logiciels d exploitation : Présentation Traitement par lots / Batch Ordonnanceur / Scheduler Planification dans le temps d une succession de travaux en attente (contraintes) Gestion de l ordre dans lequel ils doivent s exécuter Fichier contenant un ensemble de commandes qui doivent être traitées séquentiellement (contraire à l interactivité) Répartiteur / Allocator Planification dans l espace Récupère les informations de l Ordonnanceur et teste la disponibilité du matériel au moment de l exécution des processus Surveillance / Monitoring Contrôle temps réel ou post mortem du fonctionnement matériel et des travaux Comptabilité / Accounting Statistiques d utilisation des ressources communes (facturation) Automatise le partage des moyens de calcul entre les différents utilisateurs 25

26 Logiciels d exploitation : Présentation Penser l organisation des travaux comme un jeu Si tout le monde peut exécuter des travaux à n importe quel moment, occuper autant de nœuds, de processeurs et de mémoire qu il le désire C est l anarchie : le système est mal exploitée. Mais en utilisant un logiciel de Traitement par lots Il peut améliorer le rendement et décide : Qui peut exécuter les travaux présents dans les queues. Quand les travaux doivent être lancés. Les décisions sont basées sur une politique définie au préalable et sur des privilèges. 26

27 Logiciels d exploitation : Traitements par lots TORQUE TORQUE pbs_mom 6 4 Slave Host 2 CLIENT Demande Réservation Batch Host 3 OSCAR Définition d une nouvelle politique des queues spécifiques au NoW TORQUE pbs_sched Database mysqld Limitation mémoire, interactif TORQUE pbs_mom 3 5 TORQUE pbs_server Master Host Optimiser l utilisation des ressources en calcul 6 4 Slave Host 1 Journées, heures creuses TORQUE pbs_mom 27

28 Logiciels d exploitation : Ordonnanceur et répartiteur MAUI OSCAR TORQUE pbs_mom 6 4 Slave Host 2 CLIENT Demande Réservation Batch Host 3 Backfilling, réservation Maui maui TORQUE pbs_server Database mysqld Master Host Différents scénarios possibles Maximiser la charge de la machine pour optimiser son occupation Minimiser le temps global d exécution des travaux sur le cluster Maui maui TORQUE 6 4 Slave Host 1 Favoriser certains travaux par rapport à d autres pbs_mom 28

29 Logiciels d exploitation : Surveillance GANGLIA Ganglia Ganglia gmond gmond TORQUE pbs_mom 6 4 Slave Host 2 CLIENT Demande Réservation Batch Host 3 OSCAR Gmetric gmond Ganglia Ganglia gmetad Maui maui TORQUE pbs_server Database mysqld Apache httpd Master Host Surveillance graphique du Matériel et du Logiciel Minimum de ressources occupées sur chaque nœud Ganglia gmond 6 4 Slave Host 1 Communications rapides TORQUE pbs_mom 29

30 Logiciels d exploitation : Surveillance GANGLIA Disponibilité et puissance de calcul maximale Anticiper les pannes Diagnostiquer les dysfonctionnements 30

31 Logiciels d exploitation : Surveillance GANGLIA 31

32 Logiciels d exploitation : Comptabilité QBANK & GOLD TORQUE pbs_mom 7 5 Slave Host 2 CLIENT Demande Réservation Batch Host 3 OSCAR Intégration de Qbank & Gold (Maquette) Qbank qbankd 3 9 Maui maui TORQUE pbs_server 6 Database mysqld Master Host Statistiques d utilisation des moyens de calcul Consommation par équipe, projet ou utilisateur 7 5 Slave Host 1 Eléments de comptabilité TORQUE pbs_mom 32

33 Quelques conseils - Ne pas sous estimer la logistique (électricité, bâtiment, climatisation) - Préparer des benchmarks Maisons (mesure des performances et optimisations) - Choisir une architecture matérielle cohérente (processeurs 32 ou 64 bits : adressage mémoire, précision des calculs) - Installer des logiciels de surveillance matérielle et logicielle & de comptabilité des ressources en calcul (TORQUE, Maui, Ganglia, Qbank & Gold) - Ne pas négliger le temps à passer pour la gestion de l exploitation (pannes, optimisations, gestionnaire de batch, politique d occupation, gestion de la charge) - Choisir des logiciels cohérents correctement interfacés (TORQUE, LAM/MPI, PGI, NetCDF) - Simplifier l utilisation du cluster pour les développeurs (environment switcher, documentations, cours) Être conscient de la complexité matérielle et logicielle d un cluster 33

34 Conclusion - Étude comparative des Distributions HPC - Remplacement d ALINKA par OSCAR - Analyse et configuration des Logiciels d exploitation A moyen terme / nœuds (8 Go RAM) 300 processeurs Scalaires AMD Opteron CPU 64 bits Total RAM : 1.2 To ~ 1.2 TFLOPS Monde du parallélisme : matériel et logiciel Synthèse des technologies indispensables au HPC 34

35 Annexes 35

36 Roadmap 2005 : Temps consacré à chaque phase Janvier Février Mars Avril Mai Juin Juillet Août Septembre Octobre Novembre Décembre Rédaction 6 7 Oral 7 Phase 1 : Découverte du GMO (réseau et applications) Analyse et modification de certains services Phase 2 : Etude comparative des distributions HPC Phase 3 : Choix et installation cluster de test OSCAR (SIS) Phase 4 : Recompilation et configuration des logiciels intégrés OSCAR Phase 5 : Analyse et formation sur les logiciels d exploitation et outils du développeur Phase 6 : Applications de benchmarks & configuration logiciel de surveillance et comptabilité Phase 7 : Déploiement OSCAR sur 14 postes puis sur les 27 restants 36

37 Diffusion information : Formation Administrateurs et Utilisateurs du GMO Terminer le déploiement de OSCAR Création d un site Web Présentation du Probatoire et Mémoire CNAM Distribution packages RPM mis à jour pour OSCAR Enregistrement cluster de stations de travail sur site OSCAR Présentations orales : liste de calcul, CUTIS Préparation de cours sur l installation d un cluster de COTS Participation à un Super Computing en

38 Océanographie opérationnelle : Prévision océanographique Cluster Fujitsu/Siemens R&D 8 h analyse + 5 h prévision : 13 h 10 nœuds AMD 248 bi-opteron 2.2 GHz 3,4 Go RAM / processeur 15 Go Input / 60 Go Output Bulletin hebdomadaire prévision à 14 jours 1/ Champs 3D : Température, Salinité, Vitesse du courant : U,V Accessibles sur le Web (cartes et données) Quel océan fera t il demain? 38

39 Océanographie opérationnelle : Évolution au GMO 2 1/4 1/ Cluster NoW 41 nœuds (4 groupes) 58 processeurs Scalaires 2.4 à 3.4 GHz INTEL CPU 32 bits Total RAM : 44 Go 627 GFLOPS Cluster Rack 27 nœuds (2 groupes) 54 processeurs Scalaires 2 à 2.2 GHz AMD Opteron CPU 64 bits Total RAM : 252 Go 232 GFLOPS Cluster Rack nœuds (8 Go RAM) 300 processeurs Scalaires AMD Opteron CPU 64 bits Total RAM : 1.2 To ~ 1.2 TFLOPS De plus en plus de puissance 39

40 Supplément 40

41 Étude comparative : Caractéristiques Distributions HPC Commerciales Caractéristiques Système d exploitation : RedHat & SuSE Cluster propriétaire possible avec Active Cooling, ICE box et LinuxBIOS Coût important Compatible : rack, diskless Système d exploitation : recompilation Open Source de RedHat Déploiement avec kickstart (outil installation) Synchronisation des nœuds homogènes : réinstallation complète Compatible : rack Système d exploitation : RedHat & SuSE Recommandé par les constructeurs DELL, HP, IBM, Fujitsu MPI propriétaire (ScaMPI) Compatible : rack, diskless, voire NoW 41

42 Étude comparative : Caractéristiques Distributions HPC Open Source WAREWULF Caractéristiques Système d exploitation : RedHat, Fedora et Mandriva Regroupement outils Open Source : meilleure offre logicielle préconfigurée Compatible : rack, diskless, NoW Système d exploitation : propriétaire basé sur RedHat Espace unifié des processus sur le nœud maître (SSI : Single System Image) Compatible : rack, diskless Système d exploitation : toutes distributions Linux avec RPM (basé sur RedHat) Pas d installation sur les nœuds : nœud maître très sensible Connexion sur les nœuds de calcul possible Filesystem vnfs performant (évite les goulôts d étranglement) Compatible : diskless Choix d une distribution HPC au GMO : - Coût moyen - Développement de codes parallèles océanographiques - Acquérir des connaissances et se spécialiser dans le HPC 42

43 Étude comparative : Paramètres d étude TYPE Réseau de stations de travail (NoW) Cluster dédié au calcul sans disques durs (diskless) Cluster dédié au calcul dans une baie (rack) SUPPORT Mailing list Support commercial Support dédié (réparation en moins de 4 heures) Support Type Scalabilité SCALABILITE >1024 RESEAU GigaEthernet Infiniband Infinipath Myrinet Quadrics Dolphin Réseau Coût Logiciel Plateforme PLATEFORME Pentium 4 (ou Xeon) Nacona (ou Em64t) Itanium Athlon Opteron Powerpc COUT Commercial prix élevé Commercial prix moyen Freeware LOGICIEL Administration système Logiciels d exploitation Bibliothèque parallèle 43

44 Étude comparative : Résultats Type Classement Distributions HPC Exigences Réseau de stations de travail (NoW) gestion de postes hétérogènes - outils d exploitation (traitement par lots, surveillance ) - scalabilité faible (100 nœuds) - système d exploitation RedHat Cluster dédié au calcul sans disques durs (diskless) 1 2 WAREWULF - filesystem performant (diminue le goulot d étranglement sur le maître) - outils d exploitation (traitement par lots, surveillance ) - plateformes -réseaux - système d exploitation RedHat Cluster dédié au calcul dans une baie (rack) scalabilité importante - coût moyen - outils d exploitation (traitement par lots, surveillance ) - plateformes -réseaux - support - système d exploitation RedHat 44

45 Logiciels d exploitation : Ordonnanceur et répartiteur MAUI Fonctionnalités single queue, priority-based reservation backfilling suspend/resume fairshare/fairness job statistics tracking Commentaires Tous les travaux sont redirigés vers une queue unique et sont orientés en fonction de leurs priorités Réservation de nœuds sur un créneau horaire fixé à l avance Algorithme de remplissage arrière. Lancement des travaux de faible priorité tant que cela ne retarde pas les travaux de plus haute priorité : - first fit : sélection de la première solution trouvée - best fit : recherche d un ensemble de solutions, puis choix Arrêt puis redémarrage de travaux Partage des ressources. Algorithme s assurant que tout job soumis sera exécuté Statistiques des travaux Allocation des ressources pour suivre une politique d exploitation définie au préalable 45

46 Logiciels d exploitation : Surveillance GANGLIA 46

47 Logiciels d exploitation : Contributions Formation : TORQUE, Maui, Ganglia, Qbank & Gold Mise à jour, recompilation, installation et configuration : Adaptation de la politique des queues TORQUE au cluster OSCAR Ajout de fonctionnalités Ganglia pour la surveillance matérielle et des travaux s exécutant sur un nœud Construction d une maquette Qbank & Gold Amélioration de l occupation du cluster Surveillance graphique du matériel et du logiciel Éléments de comptabilité 47

48 Océanographie opérationnelle : Assimilation de données État prévu par le modèle Date d Analyse Nouvel État analysé après assimilation État observé t Prise en compte des observations pour garder le modèle sur la «bonne» trajectoire - Correction séquentielle (au fur et à mesure) - Correction variationnelle (après coup et en une seule fois) t 48

49 Distribution HPC OSCAR : Composants principaux Commande cexec(s) cget cpush cpushimage cshutdown Cluster Command and Control (C3) Description Exécution d une commande sur tous les nœuds du cluster Récupération d un fichier sur tous les nœuds de calcul et place ceux-ci dans un répertoire donné Copie un fichier présent sur le nœud maître vers tous les nœuds de calcul Envoie une image disque créée par SystemImager sur le nœud maître vers les nœuds de calcul du cluster Arrêt des nœuds de calcul du cluster Environment Switcher Gestion de différentes versions des logiciels Création d un Environnement de programmation Simplifie les Environnements de programmation (initialisation des variables d environnement) # switcher --list ProgEnv idl mpi netcdf pgi # switcher --list ProgEnv ProgEnv_0605 ProgEnv_0905 # switcher ProgEnv system:default= ProgEnv_0605 # switcher ProgEnv = ProgEnv_0905 # switcher ProgEnv system:default= ProgEnv_0905 # switcher_reload 49

50 Références 1 - Un cluster dans quel but? [S6] Top 500 des supercalculateurs 2 - Evolution cluster [B5] Future of HPC cluster: R.G. Brown (Linux Magazine) : Août Etude comparative [B3] Production Linux Clusters 2003: Architecture and system software for serious computing, SC2003: Phoenix, Arizona: R. Evard, S. Coghlan and P. Beckman: Novembre OSCAR : Open Source Cluster Application Ressource [S60] Open Cluster Group (OCG) and OSCAR 5 - Gestion et performance au GMO [S32] TORQUE [S56] Cluster benchmarks 50

51 Clusters Linux : Historique Fiabilité MTBF (Mean Time Before Failure) 1998 Intergiciels 1998/2000 Gérer l ensemble des nœuds Linux Qualité de services : Batch, MPI, système de compilation Processeurs performants 2002 Réseau 2003/2005 I/O filesystems globaux synchronisés 2004 Evolution vers des fonctionnalités équivalentes à celles des supercalculateurs propriétaires 51

52 OSCAR : Open Source Cluster Application Ressource Distributions Linux : Fedora Core 2 & 3 (x86) Mandriva Linux 10.0 & 10.1 (x86) Red Hat Enterprise Linux 3 & 4 (x86, ia64, x86_64) CentOS, Scientific Linux et RHEL clones Version Novembre 2005 Administration système : "Monitor Cluster Deployment : interface graphique de monitoring "Build AutoInstall Floppy" remplacé par "Build AutoInstall CD" Remplacement tftp-server par atftp-server (scalabilité) Support logiciel RAID et HD SATA sur les noeuds du cluster Logiciels d exploitation et bibliothèques : Ganglia PVM TORQUE 1.2.0p5 SystemImager MPICH

53 Classement Top 500 : Novembre 2005 RANG SITE SUPERCALCULATEUR PROCS Rmax Rpeak (GFlops) 1 DOE/NNSA/LLNL USA 2005 BlueGene/L eserver Blue Gene Solution IBM IBM Thomas J. Watson Research Center USA 2005 BGW eserver Blue Gene Solution IBM DOE/NNSA/LLNL USA 2005 ASC Purple eserver Pseries p GHz IBM The Earth Simulator Center Japon 2002 Earth Simulator NEC Barcelona Supercomputer Center MareNostrum JS20 Cluster, PPC 970, 2.2 GHz, Myrinet Espagne 2005 IBM 53

54 HPC Clusters : Future CPU : 64 & 128 Bit, Multicore, Cell processor, Multilayered cache (L3) Memory bandwidth and latency : DDR-2 for Multicore (INTEL Hyperthreading, AMD Hypertransport) Network bandwidth and latency : Myrinet, Dolphin, Infiniband, Quadrics System packaging : Tower, rackmount or blade cluster Hard storage : Tera and Peta bytes store with SAN, NAS, Fiber Channel and RAID Price / Performance 54