DESCRIPTIF DES BESOINS DE CALCULS SCIENTIFIQUES SUR ARCHITECTURE DEDIEE

Transcription

1 DESCRIPTIF DES BESOINS DE CALCULS SCIENTIFIQUES SUR ARCHITECTURE DEDIEE Institut de recherche pour le développement DEMANDE DES UNITES DE RECHERCHE 103 ET 65 DU CENTRE DE NOUMEA, SEPTEMBRE 2004 Groupe de travail Pascal Douillet, resp. Scientifique UR 103 Alexandre Ganachaud, resp. Scientifique UMR 65 Jérôme Lefèvre, resp. Informatique UMR 65 / UR 103 (Lefevre@noumea.ird.nc) Michel Ménézo, resp. Informatique IRD, Centre Nouméa (Menezo@noumea.ird.nc) Avec la participation de : Franck Delmas, IFREMER Brest (Code MARS 3D) Patrick Marchesiello, IRD Brest (Code ROMS)

2 SOMMAIRE 1. Objet Besoins en calculs intensifs des UR 65 (Legos) et 103 (Camelia) Thèmes de recherche de l UMR Thèmes de recherche de l UR Les types d utilisation Définition du matériel informatique adapté aux besoins Critères de définition Configuration matérielle proposée et offres Avantages / inconvénients L offre OS Compétences et demande d assistance Exemple de plateformes de calcul dédiées à la dynamique des fluides installées dans d autres organismes de recherche publique en France Tour d horizon des plateformes de calcul Quelques exemples de plateformes utilisées pour des applications CFD (Computational Flow Dynamic) Bibliographie ANNEXE 1 Détail des deux configurations matérielles fondées sur des nœuds bi-processeurs ANNEXE 2 Dépouillement des offres commerciales ANNEXE 3 Extrait des notes d évaluation des performances de calcul des machines disponibles localement en vue de l implantation du code ROMS au Centre de Nouméa ANNEXE 4 Le modèle hydrodynamique Mars ANNEXE 5 A propos du processeur AMD Opteron 1

3 1. Objet Le présent dossier expose les besoins en matériel de calcul scientifique intensif exprimés par les UR 103 (CAMELIA) et UMR 65 (LEGOS) du centre IRD de Nouméa. Les activités de recherche des UR 103 et 65, axées respectivement sur les conséquences des activités anthropiques sur les eaux marines côtières en milieu tropical insulaire et sur l étude de la circulation océanique à l échelle du Pacifique Sud-Ouest, emploient des modèles numériques de circulation à grande et petite échelle, basés sur la méthode des différences finies. Les échelles des phénomènes étudiés et des domaines couverts nécessitent un minimum de moyens de calcul pour être effectués sur place. Les récentes et futures simulations portent également sur l intégration dans les modèles de circulation de modules sédimentaires, biologiques et géochimiques, certains mis au point localement. Ces développements impliquent une augmentation de la charge de calcul, assurée jusqu ici au moyen de station de travail. Les besoins actuels et exprimés à court terme impliquent des délais de calcul déraisonnables avec les moyens actuels. D autre part, les pays insulaires de la région sont intéressés par des simulations numériques dans leur lagon ou autour, et le renforcement de projet régionaux impliquera une augmentation des demandes locales. Ce dossier expose en première partie les besoins de chaque UR, replacés dans le contexte scientifique et technique. En seconde partie, une étude technique présente le matériel informatique que nous croyons adapté à ces besoins et les compétences nécessaires pour sa mise en place et son administration. Des tableaux financiers accompagnent l évaluation des solutions retenues ainsi que leur principaux avantages/inconvénients. Le troisième volet présente des exemples de solutions de calculs, utilisés dans le cadre de thématiques scientifiques similaires. 2

4 2. Besoins en calculs intensifs des UR 65 (Legos) et 103 (Camelia) Les deux UR ont en commun d employer des codes de calcul portant sur la modélisation de la circulation hydrodynamique, avec le modèle ROMS (Regional Ocean Modelling System) pour l extérieur du lagon (UMR 65) et M A R S pour l intérieur du lagon (UR 103) Thèmes de recherche de l UMR 65 Le groupe ECOP rattaché au Laboratoire en Etudes Géophysiques et Océanographie Spatiale (LEGOS) développe actuellement une étude de la circulation océanique régionale sur l'ensemble du Pacifique Sud-Ouest avec un zoom autour de la Nouvelle Calédonie et des îles de Polynésie Française. Cette étude inclura des mesures satellites. En 2005, un modèle opérationnel devrait être produit, imbriqué dans les champs de prévision du projet opérationnel Français MERCATOR. L exercice de ces thématiques nécessite l emploi d un modèle numérique de circulation capable à la fois de restituer la réponse des phénomènes climatiques de variabilité annuelle et inter-annuelle observée à l échelle régionale et rendre compte de la circulation côtière à l approche des archipels de Nouvelle- Calédonie et de la Polynèsie Française. Les enjeux économiques pour les activités de pêche hauturières et les activités environnementales nécessitent d aboutir à une restitution et une prévision de l évolution des fronts thermiques et halins et des champs de vitesse à une échelle côtière. Ce projet d'océanographie côtière est cofinancé par le programme ZoNeCo (Nouvelle Calédonie), le Ministère de l'outre Mer et l'ird. Le modèle ROMS a été retenu dans le cadre de ces chantiers. Ce code 3D et qui emploi un schéma aux différences finies, est développé sous la supervision d Herman Arango et Dale Haidvogel (Université Rutgers, New-Jersey). Au sein de l IRD, Patrick Marchesiello et Pierrick Penven (UR097, IRD Brest), apportent leur contribution à l évolution du code. Parmi les dernières options innovantes du code, citons les fonctions de zoom et de raffinement (logiciel AGRIF, INRIA) issues du travail collaboratif entre l IRD, l INRIA et l UCLA (University of California at Los Angeles). Cet outil, à condition de disposer de moyens de calculs adaptés, permet de concevoir sereinement la modélisation des écoulements côtiers à une échelle appropriée (de l ordre de 1 à 2 km à la côte et 10 km au large) en recourant aux fonctions de zoom. Aspects informatiques du code Dès les premières versions, le code a été parallélisé pour bénéficier des plateformes à mémoire partagée (Sun, SGI, etc). Le code comprend les directives OpenMP, pour être employé sur ce type de plateforme. 3

5 L algorithme de calcul fait également appel à la bibliothèque d'échanges de messages MPI (Message Passing Interface) pour les architectures à mémoire distribuée (grappe de PC). La technique de parallélisation consiste à décomposer le domaine de calcul en sous domaines, de manière explicite. Avant compilation du programme, l utilisateur déclare un nombre de sous domaine égal au nombre de processeurs (ou multiple, pour les plateformes à mémoire partagée). Chaque processus parallèle gère alors de manière autonome son propre sous domaine et est défini une seule fois pour tout le reste de l exécution du programme. La méthode de parallélisation est particulièrement efficace et offre une grande scalabilité (augmentation linéaire de la performance avec le nombre de processeurs). Localement, le compilateur fortran Intel Version 8 (qui supporte les directives OpenMP) a été employé pour des tests préliminaires (cf Annexe 3). Le code a été exécuté en mode parallèle sur un bi-processeur Pentium III sous Linux et les performances comparées avec des plateformes monoprocesseurs plus récentes. Les temps de calcul obtenus sur une grille comportant points sont les suivants : Fig.1 Temps de calcul observés pour 3 machines testées au centre de Nouméa Configuration Nb CPU 1 itération 1 mois 1 année Tiki Pentium III Bi-Processeur 1002 Mhz, cache 256 ko, SSE oui, SSE2 non, HT non Mémoire : SDR 133 Mhz 1,5 GO 1 x 1002 Mhz 2 x 1002 MHZ 36,5 s 13 s 50,5 heures 18,0 heures 606 heures 216 heures Boris Pentium IV 1615 Mhz, cache 512 ko, SSE oui, SSE2 oui, HT non Mémoire : DDR 266 Mhz 512 MO Pentium IV P4P8X 2940 Mhz, cache 512 ko, SSE oui, SSE2 oui, HT oui Mémoire : DDR 333 Mhz 512 MO 1 x 1615 Mhz 7 s 9,7 heures heures 1 x 2940 Mhz 4,7 s 6,5 heures 78 heures Les résultats obtenus au cours des tests mettent en relief : - le gain évident de performance de calcul en mode parallélisé (Fig. 1), qui montre les perspectives d augmentation de la vitesse d exécution sur un cluster composé de machines récentes, qui plus est composé de nœud bi-processeur - le gain appréciable apporté par le partitionnement du domaine, qui permet d aboutir à un jeu de bloc de données de taille équivalente à la mémoire cache. L exécution du code s en trouve améliorée (cf. Annexe 3). 4

6 Adéquation des moyens avec les objectifs Il apparaît que les dernières machines du Centre constituées de pentium IV monoprocesseur sont suffisantes pour l exécution du code sur des domaines à moyenne échelle, dans le cas d une résolution inférieure à 1/10 et des périodes simulées de quelques mois. Par exemple, 6 mois de simulation sur une machine cadencée à 3 GHz nécessiterait 36 heures. Au-delà, dans le cadre de l étude affinée de processus côtiers nécessitant l emploi de maillages imbriqués avec une résolution plus fine (1 à 2 km) et pour des périodes d intégration plus longue (recherche d un état d équilibre, nécessitant plusieurs années d intégration, par exemple), les temps de calculs deviennent difficilement acceptables. En effet, les fonctions de zoom pénalisent l exécution du code, en fixant un pas de temps adapté avec la maille la plus petite. De même, si l on active les modules biologique, sédimentaire et biochimique. Les solutions envisageables sont alors celles pour lesquelles le code est prévu, multiprocesseur ou grappe de PC (cluster) Thèmes de recherche de l UR 103 L Unité de Recherche 103 (Camélia) étudie l influence des apports terrigènes et anthropiques sur les lagons de Nouméa et de Suva (Fidji). Les principales questions scientifiques posées sont les suivantes : Quels sont les mécanismes de transport et de transformation des principaux agents d influence terrigènes et anthropiques au niveau de la zone côtière tropicale? Quels sont les effets des apports terrigènes et anthropiques en terme d eutrophisation des systèmes et de bioaccumulation des métaux dans les organismes marins? Dans quelle mesure la modélisation permet-elle de rendre compte de ces mécanismes de transport et de transformation? L UR Camélia a pour objectif principal de déterminer comment l homme influence les écosystèmes littoraux du Pacifique. Dans ce cadre, Camélia s intéresse plus spécifiquement aux apports : en particules entraînées par l érosion des sols et sous-sols qui sont responsables du processus d hypersédimentation, en éléments nutritifs organiques et inorganiques qui sont responsables du processus d eutrophisation, en métaux qui peuvent s avérer potentiellement toxiques pour les organismes vivant dans le lagon. 5

7 Les actions de recherche ont été définies de façon à apporter des réponses aux questions scientifiques suivantes : Quels sont les mécanismes de transport et de transformation des principaux agents d influence terrigènes et anthropiques au niveau de la zone côtière tropicale? Quels sont les effets des apports terrigènes et anthropiques en terme d eutrophisation des systèmes et de bioaccumulation des métaux dans les organismes? Dans quelle mesure la modélisation permet-elle de rendre compte de ces mécanismes de transport et de transformation? Pour répondre à ces questions, l UR à mise en place un réseau de modèles numériques couvrant les différents domaines de recherche. A la base, nous avons développé un modèle hydrodynamique du lagon sud-ouest à partir du modèle MARS3D de l IFREMER, le modèle de génération et de propagation des vagues WaveWatch III a ensuite été adjoint. Depuis nous avons couplé à ces deux modèles un modèle de transport des vases et sables. Un modèle de production primaire couplé au modèle hydrodynamique est en cours de développement dans le cadre de la thèse de Vincent Faure (Univ. Marseille) et devrait être opérationnel début Enfin l UR travaille sur les possibilités d adaptation d un modèle atmosphérique à la Nouvelle-Calédonie et au lagon sud-ouest. Bathymétrie Marée Circulation s 1998 mésoéchelle Vent Modèle 3D 2004 Courants Modèle 3D 1999 Turbulence l -> k-l 2004 Vagues Modèle Wavewatch III Transport particulaire Modèle Vases Modèle Sables Modèle Biogéochimique Fig. 1 Organisation des activités de modélisation physique au sein de l UR Camélia. La circulation mésoéchelle n a pas d influence sur la circulation dans le lagon sudouest, qui n est ouvert à l extérieur qu au niveau des passes. Le modèle MARS 3D (Cf. Annexe 4) est un modèle tri-dimensionnel qui utilise un schéma aux différences finies à surface libre. Il est développé par l IFREMER 6

8 (Pascal Lazure), qui l applique sur les façades côtières Française. Les équations hydrodynamiques sont portées sur un maillage isotrope. Le code comporte également des fonctions de zoom et de raffinement (Logiciel AGRIF). L outil est destiné à servir de module hydrodynamique principal appliqué au lagon de Nouvelle- Calédonie et de Fidji. Les développements portent sur l intégration de modules particulaires, biologiques et bio-géochimiques.. Le modèle du lagon sud-ouest de Nouvelle Calédonie couvre une zone de 170 km de long sur 50 km de large. Les grilles du maillage ont actuellement une taille de 500 mètres mais seront augmentées de manière à s adapter à la physique des phénomènes étudiés et à la bathymétrie, marquée par de fort gradient de pente. La résolution verticale est de 21 niveaux. Les travaux de mise au point et de couplage au modèle hydrodynamique des modules particulaires, biologiques la prise en compte de nouveaux paramètres tel le déplacement des larves aboutira à une augmentation des paramètres et des équations à résoudre numériquement. L étude du transport particulaire et de la production primaire est au stade de la compréhension des processus. Cette phase implique la multiplication des runs avant d aboutir à des modèles calibrés et validés. Aspects informatiques du code La version officielle du code MARS 3D incorpore déjà les directives de compilation OpenMP permettant son exécution parallèle sur une architecture à mémoire partagée. Franck Dumas (IFREMER) développe actuellement la version MPI de MARS. Les tests réalisés sur un cluster de PC montre une bonne performance d exécution du code (speed-up de l ordre de 13 pour une configuration 16 processeurs) et des conditions de simulation réalistes sur grande grille (400 x 500 mailles). Bien que le projet soit à l état de prototype, une version exécutable sur plateforme à mémoire distribuée devrait être disponible dans quelques mois. 7

9 2.3. Les types d utilisation Les objectifs d études de la circulation côtière mobilisant la ressource de calculs se traduisent par exemple de la manière suivante pour le code ROMS (UMR 65) : Courant 2004, 2 ème semestre - Etude des événements d Upwelling : Identification des sources de forçage et réponse hydrodynamique du phénomène sur la côte Ouest de la Nouvelle-Calédonie. Scénarios saison froide / saison chaude pour différentes conditions de vent. - Développement du modèle ROMS sur un maillage fermé par les latitudes 10 S et 26 S et par les longitudes 153 et 180 E autour de la Nouv elle-calédonie. Elaboration d une bathymétrie adaptée aux échelles des domaines et phénomènes physiques étudiés. Préparation et validation des données climatologiques disponibles et runs pour vérification préliminaire de la qualité des solutions. Courant 2005 (Sous condition de moyens de calculs dédiés) - Préparation des maillages emboîtés par méthode de zoom (passage progressif de 10 km à une résolution à la cote de 1 km) et vérification des conditions de convergence / critères de stabilité aux zones frontières. - à partir d une solution stable, étude de la circulation côtière sous l effet du vent, des flux de chaleur, de la marée... Amélioration des connaissances sur les phénomènes côtiers localisés (Upwelling, dynamique des structures thermo-halines, ondes internes, variabilité saisonnière des champs de température et courant ). Scénario et runs tests pour analyse des processus et qualité des solutions en fonction des données climatologiques et de forçage 2005/ Extraction des conditions aux limites de MERCATOR sur la zone régionale (Utilisation de l'interface développée par P. Marchesiello, Pierrick Penven et V. Echevin (IRD)). Etablissement d une circulation générale stable et cohérente et analyse de la circulation basse et haute fréquence, apport du forçage océanique sur les conditions de circulation côtière. Validation / Calibration des solutions - Etablissement d une plateforme d Océanographie opérationnelle appliquée à la Nouvelle-Calédonie. Cette démarche appliquée à la Nouvelle-calédonie est également prévue dans le cas de l étude de la circulation côtière dans la ZEE de la Polynésie Française. Dans le cas du code MARS 3D (UR 103), les différentes étapes de mise au point des modèles et de leur calage mobiliseront la ressource dans une proportion équivalente. La mise au point du modèle de production primaire, sa validation à l aide d imagerie spatiale nécessitera en 2005 l utilisation intensive de ce cluster. Le développement du modèle atmosphérique demandera, pour sa mise au point, de fortes capacités de calcul en 2005 et En 2005 et 2006 les résultats du chantier Calédonien, en terme de modèle, seront transposé au chantier Fidjien. 8

10 3. Définition du matériel informatique adapté aux besoins 3.1. Critères de définition Le matériel est principalement dédié au calcul scientifique intensif, faisant interface entre les ressources des centres de calcul nationaux et les applications régionales. Nœuds de calcul CLUSTER Connection Gigabit SWITCH Gigabit Serveur de calcul (job, serveur de fichiers) Sauvegarde rapide sur SATA Raid 0 Sauvegarde sécurisée sur SATA en Raid 1 Connection Gigabit Frontale (exploitation des données) Connection vers le centre Fig. 2 Synoptique de l architecture de calcul envisagée La performance de calcul (précision et rapidité) est particulièrement recherchée. Le calculateur disposera d un réseau de communication privé à haut débit, desservant les nœuds de calculs. Le calculateur est doté d un système de sauvegarde rapide des données en cours de simulation (1 er niveau), moyennant les ressources du serveur de calcul. Une sauvegarde de 2 nd niveau, visant la sécurité des données, est effectuée sur une machine frontale. Les données sauvegardées sur les disques mirorés du frontal concernent principalement les sorties validées des modèles et les tableaux de données employées pour l alimentation des modèles. La solution devra offrir une souplesse d évolutivité en fonction de la montée en puissance des besoins de calculs, avec possibilité d ajout de nœuds de calcul par exemple. Une maintenance réduite et un remplacement des pièces défectueuses avec des pièces accessibles localement constituent également un critère important, compte tenu de la position géographique du Centre. L architecture doit être compatible et offrir une bonne performance vis-à-vis des problèmes soumis et des méthodes de parallélisation adoptées dans les codes. 9

11 Côté administration, le système doit offrir une ergonomie d installation, de surveillance, de mise à jour (logiciel et matériel) et correspondre si possible à des solutions OS déjà connues au Centre (solutions Redhat, Mandrake). En outre, il devra permettre de gérer une architecture homogène ou hétérogène, dans le cas par exemple de l incorporation de nœuds de calcul basés sur une technologie différente. L architecture proposée est un cluster Beowulf de classe I, composé de nœuds mono et/ou bi-processeur. Le cluster de classe I est composé de PC accessibles dans les magasins informatiques grand public et auprès des assembleurs. Ces solutions sont couramment utilisées dans les laboratoires de calculs, notamment dans les domaines des Sciences de la mer, de la Terre, du Climat, de l Environnement, en génie Bio-Médicale, Mécanique des structures etc Configuration matérielle proposée et offres La configuration matérielle proposée est basée sur les configurations similaires utilisées dans les centres de calculs employant des clusters de PC. Les dernières technologies en la matière disponibles sur le marché et réputées fiables sous Linux sont également considérées (carte mère, processeur, switch, carte raid etc.). Pour l évaluation budgétaire de la solution, 2 pistes ont été explorées : L évaluation de 3 configurations sur la base des prix du marché métropolitain augmenté de 30 % pour taxe et frais d expédition (source : vente en ligne) L évaluation de 2 configurations sur la base des prix du marché local, après consultation des fournisseurs Une description plus complète des configurations matérielles fondées sur des nœuds bi-processeurs figure en Annexe 1. 10

12 A / Résultats des configurations issues des consultations en ligne, marché métropolitain Les 3 configurations proposées, par ordre décroissant de performance (et de coût), sont les suivantes : Configuration 1 : Serveur Bi-Opteron 2.0 Ghz 4 Nœuds Bi-Opteron 2.0 Ghz Master Nœuds 2 opterons ghz 2 opterons ghz MB : Tyan K8S MB : Tyan K8S PC x 512 Mo PC x 512 Mo 4 DD serial ATA 200 Go contrôleur raid 0 DD ATA 40 Go Carte ATI entrée de gamme Réseau Ecran 17, clavier SWITCH 3COM 12 ports 24 Gbps Wirespeed OS : ROCKS / OSCAR / CLIC Cartes PCI Gigabit Cuivre Full Duplex, câble Prix indicatif : Euros * Configuration 2 : Serveur Bi-Xeon 3.0 Ghz 4 Nœuds Bi-Xeon 3.0 Ghz Master Nœuds 2 x Xeon 3.0 cache 512 FSB x Xeon 3.0 cache 512 FSB 533 MB : ASUS PC-DL Deluxe MB : ASUS PC-DL Deluxe PC x 512 Mo PC x 512 Mo 4 DD serial ATA 200 Go contrôleur raid 0 DD ATA 40 Go Carte ATI entrée de gamme Réseau Ecran 17, clavier SWITCH 3COM 12 ports 24 Gbps Wirespeed OS : ROCKS / OSCAR / CLIC Cartes PCI Gigabit Cuivre Full Duplex, câble Prix indicatif : Euros * Configuration 3 : Serveur Bi-Xeon 3.0 Ghz 8 Nœuds Pentium IV 3.0 Ghz Master Nœuds 2 x Xeon 3.0 cache 512 FSB 533 Pentium IV FSB 800 MB : ASUS PC-DL Deluxe MB : ASUS P4P800 PC x 512 Mo PC x 512 Mo 2 DD serial ATA 200 Go contrôleur raid 0 DD ATA 40 Go Carte ATI entrée de gamme Réseau Ecran 17, clavier SWITCH 3COM 12 ports 24 Gbps Wirespeed OS : ROCKS / OSCAR / CLIC Cartes PCI Gigabit Cuivre Full Duplex, câble Prix indicatif : Euros * A ces coûts s ajoute le serveur frontal. Ce serveur permet la sauvegarde sécurisée des données sur disques mirorés (disques sata 400 Go) et leur consultation/exploitation, sans pénaliser l exécution des sessions de calculs. Il est 11

13 doté de deux cartes réseaux gigabit, l une reliée au réseau du centre, l autre au serveur de calcul : Frontale (commune aux trois configurations proposées) Frontale Pentium IV FSB 800 MB : ASUS P4P800 PC x 512 Mo 2 DD SATA 400 Go contrôleur raid 1 Carte ATI Mo Ecran 19, graveur DVD, clavier 2 cartes PCI Gigabit OS : Mandrake Prix indicatif : Euros * * Les évaluations financières sont établies sur la base des tarifs HT des composants en France 30 % (frais de port et taxe) 12

14 B / Résultats des consultations locales Les deux premières configurations précédentes, cluster composés de bi-processeurs Xeon ou Opteron, ont été soumises pour évaluation auprès des fournisseurs de la place. Les configurations matériels objets des consultations sont détaillées en Annexe 1. Le résultat du dépouillement des offres commerciales se trouve en Annexe 2. La synthèse est restituée ci-dessous. En jaune figure la proposition commerciale nous paraissant offrir le meilleur compromis Coût / Performance. Fournissseur Barrau Bureau Barrau Bureau Bull Configuration A dual Xeon Frontale , , ,01 Spécificités Bi-Pro Xeon 3.6 Ghz/800 MHz 1Mo L2 Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur) (serveur) 2 X 512 MB PC 3200 ECC (serveur) 4 x 512 MB PC 2100 ECC (serveur) IBM ServerRaid SATA Controller (serveur) Adaptec SATA RAID Controller (serveur) 2 Disques IBM 160 GB SATA 7200 RPM 2 Disques Seagate 200 GB SATA (serveur) (serveur) Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 Bi-Pro Xeon 3.4 Ghz/800 MHz 1MB L2 (noeud) (noeud) 2 X 512 MB PC 3200 ECC (noeud) 4 x 512 MB PC 2100 ECC (noeud) Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur) 2 x 1024 MB PC 2100 ECC (serveur) Carte PCI SATA RAID FastTrack S150SX4 (serveur) 2 Disques 250 GB SATA 7200 rpm (serveur) Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 (noeud) 2 x 1024 MB PC 2700 ECC (noeud) Performances Configuration B dual Opteron Frontale , ,73 / Spécificités Bi-Pro Opteron Ghz 1Mo L2 (serveur) 2 X 512 MB PC 3200 ECC (serveur) IBM ServerRaid SATA Controller (serveur) 2 Disques IBM 160 GB SATA 7200 RPM (serveur) Bi-Pro Opteron Ghz 1Mo L2 (noeud) 2 X 512 MB PC 3200 ECC (noeud) Bi-Pro Opteron Ghz 1Mo L2 (serveur) 2 x 512 MB PC 3200 ECC (serveur) Adaptec SATA RAID Controller (serveur) 2 Disques Seagate 200 GB SATA (serveur) Bi-Pro Opteron Ghz 1Mo L2 (noeud) 2 X 512 MB PC 3200 ECC (noeud) Performances Solution IBM IntelliStation Haut Solution IBM IntelliStation Version Commentaire de gamme "économique" Solution BULL Express5800 Fournissseur Office Plus Office Plus Cyber Media Configuration A dual Xeon Frontale , , ,18 Spécificités Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur) 4 x 512 MB PC 3200 ECC (serveur) Carte Adaptec SATA RAID 2410 SA Controller (serveur) 2 Disques 200 GB SATA (serveur) Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (noeud) 4 x 512 MB PC 3200 ECC (noeud) Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 (serveur) 4 x 512 MB PC 3200 ECC (serveur) Carte Adaptec SATA RAID 2410 SA Controller (serveur) 2 Disques 250 GB SATA 7200 rpm (serveur) Bi-Pro Xeon 3.06 Ghz/800 MHz 1 Mo L2 (noeud) 4 x 512 MB PC 3200 ECC (noeud) Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (serveur) 4 x 512 MB PC 3200 ECC (serveur) Carte Adaptec SATA RAID 2410 SA Controller (serveur) 2 Disques 200 GB SATA 7200 rpm (serveur) Bi-Pro Xeon 3.06 Ghz/533 MHz 512 Ko L2 (noeud) 4 x 512 MB PC 3200 ECC (noeu Performances Configuration B dual Opteron Frontale ,01 / / Spécificités Bi-Pro Opteron Ghz 1Mo L2 (serveur) 4 x 512 MB PC 3200 ECC (serveur) Carte Adaptec SATA RAID 2410 SA Controller (serveur) 2 Disques 200 GB SATA (serveur) Bi-Pro Opteron Ghz 1Mo L2 (noeud) 4 X 512 MB PC 3200 ECC (noeud) Performances Commentaire Solution assembleur Carte Asus (Xeon) Carte Tyan (Opteron) Solution DELL Precision Workstation 670 Solution assembleur Carte Asus (Xeon) Ces propositions locales ne comprennent pas le matériel portant sur le réseau (Switch et connectiques). Les tableaux suivants détaillent les propositions commerciales pour ce matériel spécifique. 13

15 Proposition INMAC ( Switch 3COM 12 ports: capacité de commutation 24 Gbps (Wirespeed performance) Départ France Rendu Nouméa 3COM SWITCH 12*10/100/1000 4*MINI-GBIC Fabricant : 3Com 1 000,00 Réduction 10% 100, ,00 Câbles pour réseaux gigabit CORDON RJ45 CAT5 3M UTP GRIS SURMOULE Fabricant : Siecor Départ France Nb Rendu Nouméa 13, ,60 Les logiciels (Compilateurs, OS, bibliothèque de fonction ) ne sont pas compris. Pour idée, le compilateur Fortran ou Portland 64 bit représente un coût de l ordre de 600 euros Avantages / inconvénients Commentaires généraux Ces architectures permettent l exécution en mode parallélisé des codes ROMS et MARS 3D, ces derniers comportant déjà les instructions de la bibliothèque de communication MPI (Message Passing Interface) leur permettant de s exécuter sur les architectures proposées. De plus, les codes ont déjà été testés avec succès sur architecture Cluster Linux. De manière générale, la configuration matérielle proposée (cluster de PC) est compatible avec les différents modes de programmation parallèle, fondés sur le parallélisme des données et des tâches, sous condition que les codes intègrent les instructions de message passing (librairie de communication MPICH, PVM, LAM ). Les codes parallélisés, qualifiés de portable, incorporent systématiquement ces instructions. Ces configurations sont également modulables en jouant par exemple sur l ajout de nœuds de calcul (mono ou bi-processeur). La configuration comportant des bi-processeurs offre l avantage de bénéficier des vitesses de communication entre les processeurs embarquées sur la même carte. La configuration comportant des Opterons (AMD) permet en outre de profiter de la mémoire cache de second niveau élevé (1024 ko) et de la performance de ce processeur en raison de sa technologie. L Opteron cadencée 2 ghz offre en effet des 14

16 performances supérieures comparées au Xeon cadencée 3 ghz ou au pentium IV (cf. Annexe 5). Les derniers Xeons avec mémoire cache 1 Mo et 2 Mo arrivent tout juste à le concurrencer mais présentent un coût élevé. Par contre, pour gagner en performance, l architecture 64 bit (Opteron) nécessite l achat d un compilateur fortran dédié (de l ordre de 600 euros, solution Portland ou Intel), alors que sur architecture 32 bits, des compilateurs performants sont disponibles gratuitement (solution ifc IA32 d Intel, libre sous Linux). Pour des raisons de performance, le nœud de calcul bi-processeur Opteron est préféré. Commentaires sur les offres Les réponses des fournisseurs locaux nous ont permis de constater que du matériel répondant à nos attentes était disponible localement, à des prix finalement comparables avec les solutions d achat direct en France. Ainsi, à configuration égale, on peut tabler, à partir de l offre Office Plus, sur un coût matériel de euros (Serveur Nœuds Frontal Réseau) contre euros en Métropole (frais de port et taxes inclus). Le principal avantage à se fournir localement est de permettre une maintenance et un retour pour pièces défectueuses plus rapide et sans frais d expédition. Les offres basées sur les marques (IBM, DELL, Bull) n offrent pas davantage de performances par rapport à des solutions assembleurs, sauf pour le haut de gamme IBM proposé par Barrau Bureau (mais dont l offre vaut l achat de 2 clusters!) L offre OS Parmi les solutions disponibles, les choix peuvent porter préférentiellement sur les produits OSCAR, ROCKS et MandrakeClustering. Ce dernier étant payant (2500 euros). ROCKS (noyau RedHat) comporte une version supportant l Opteron 64 bits. En plus d être gratuit, ce dernier comporte des outils Open Source réputés pour une installation et une administration aisée du cluster. Il intègre également les principales librairies de communication MPICH, PVM pour le calcul parallèle. D autres librairies et applications dédiées devront être installées en fonction des besoins. Certains sont payants selon les architectures. Par exemple l architecture 64 bit nécessitent l achat d un compilateur fortran dédié (solution Portland ou Intel) si l on souhaite bénéficier des gains de performance liés à cette architecture (10 à 20 % de gain selon les applications). 15

17 Fig. 3 Aperçu du moniteur de statut et gestion des ressources sous Ganglia (Outil OpenSource, sous ROCKS) 16

18 3.4. Compétences et demande d assistance L installation d un cluster Beowulf est gérable par les informaticiens du centre IRD de Nouméa. Nous recherchons ici l architecture compatible avec les applications parallèles visées et qui puisse offrir le meilleur compromis Performance/Evolutivité. Pour cela, nous avons consulté les développeurs des codes concernés (IRD Brest pour ROMS, IFREMER pour MARS 3D) et les concepteurs des nouveaux codes dont l exécution est prévue sur le Centre de Nouméa. Nous sollicitons également une assistance technique auprès de la DSI sur le conseil en matière d architecture / composants / OS, notre proposition pouvant servir de base. Une consultation interne à la DSI est jugée suffisante. De notre côté, des démarches de consultation auprès des développeurs des codes et laboratoires de calculs sont en cours, afin d affiner nos choix. Le Service Informatique du Centre de Nouméa pourra installer les matériels et les systèmes d exploitation et procéder aux premiers tests. En 2003, Jérôme Lefèvre (LEGOS) a eu l'opportunité de tester et comparer l installation des solutions OSCAR et CLIC 2 sur un cluster Beowulf composé de 3 nœuds. Son expérience sera mise à contribution lors de la configuration du système. Pour la programmation parallèle de ROMS, déjà portable sous LINUX, une assistance est assurée par l UR097 (IRD, Patrick Marchesiello et Pierrick Penven). Pour le code MARS 3D, un travail collaboratif avec Franck DELMAS (IFREMER), qui développe actuellement la version MPI, pourra être mis en place. 17

19 4. Exemple de plateformes de calcul dédiées à la dynamique des fluides installées dans d autres organismes de recherche publique en France 4.1. Tour d horizon des plateformes de calcul Le CEA, le CNRS et l'inria ont créé une structure de collaboration pour le développement et la diffusion du calcul parallèle : l organisation ORAP (ORganisation Associative du Parallélisme). Outre ses missions visant le renforcement des collaborations entre partenaires nationaux, européens et internationaux dans le cadre du calcul parallèle, l ORAP réalise une veille technologique et un état des lieux du calcul scientifique en France. Leur site Web dresse un recensement des ressources matérielles informatiques en rapport avec le calcul intensif. Sur ce site, un tour d horizon permet de s informer des architectures employées dans les grands centres technologiques, les Universités, les Laboratoires, les entreprises Quelques exemples de plateformes utilisées pour des applications CFD (Computational Flow Dynamic) IFREMER : Pôle de calcul Intensif pour la mer Le calculateur Nymphea se compose d'un «cluster» de 9 nœuds COMPAQ ES45, quadri-processeurs, connectés par «switch» Quadrix. Les processeurs sont des processeurs Alpha EV68 cadencés à 1GHz. Sa mémoire globale est de 92 GigaOctets. L OS est Tru64 UNIX. Ressource partagée avec le SHOM et l IRD. Le code ROMS est régulièrement exécuté desus. Problématiques : Hydrodynamique, Calcul de structure, Biochimie, Applications couplées (ex. : hydrodynamique et chimique), développement de code parallélisé SHOM : Serveur P655, 64 processeurs (IBM Power4 1.7Ghz), totalisant une puissance théorique de 435 Gflops. Problématique : traitement de l information des missions hydro-océanographiques. BRGM : Calculateur basé à Orléans : Grappe PCs Intel, composé de 8 nœuds bi-processeurs Xeon 3.06 GHz. Puissance théorique : 49 Gflps. Problématiques : Hydrogéologie, Environnement, Géomécanique. 18

20 CEMAGREF : Calculateur basé à Aubière : Grappe PCs Intel, composé de 24 nœuds biprocesseurs Xeon 2.4 GHz. Puissance théorique : 230 Gflps, réseau gigabit. Problématiques : Environnement, hydrologie, CFD. Les codes utilisés sont soit des codes internes écrits en C, C, Fortran et Java ou des codes propriétaires tels que FLUENT. EDF : Calculateur Nb CPU Perf. crête Réseau DELL 420 bi-piii 800MHz 4Go 8 bi-processeurs 15 Gflps myrinet cuivre 1.2 Gbit/s Dataswift bi-xeon 3.06 Ghz 16 bi-processeurs 180 Gflps Ethernet Gigabit Dataswift bi-opteron 1.8 GHz 8 bi-processeurs 60 Gflps myrinet fibre 2 Gbit/s IBM Xeon MP 2.8 GHz 8 Go 42x2 40Gflps Ethernet Gigabit HP X4000 bi-xeon 2.2 GHz 2Go 10 bi-processeurs 90 Gflp myrinet cuivre 1.2 Gbit/s Fujitsu bi Athlon Go 16 bi-processeurs 40 Gflps Scali DELL 530 bi-xeon 2.4 GHz 2Go 8 bi-processeurs 64 Gflps Ethernet 100 Mbit/s DELL 450 bi-xeon 2.6 GHz 2Go 32 bi-processeurs 275 Gflps Ethernet Gigabit DELL 450 bi-xeon 2.6 GHz 2Go 32 bi-processeurs 275 Gflps Ethernet Gigabit Problématiques : Calcul scientifique et modélisation numérique, Mathématiques financières, CFD (écoulements multiphases, couplage thermo-chimique) INRIA (Sophia Antipolis) Calculateurs : Cluster bi-xeon 2 Ghz, 16 bi-processeurs, carte intel Pro/1000 gigabit, réseau Gigabit-Ethernet, OS Linux /glibc2 Cluster bi-pentium III 933 Mhz, 19 bi-processeurs, réseau Fast-Ethernet Full Duplex (Summit48), OS Linux /glibc2 Cluster bi-pentium III 500 Mhz, 14 bi-processeurs, OS Linux /glibc2 Problématiques : Toutes disciplines impliquant du calcul scientifique Centre Commun de Calcul Intensif (C3I) de Guadeloupe Calculateur HP-Compaq SMP muni de 12 processeurs EV7 cadencés à 1.15Ghz, 12 Go de mémoire vive et de 400 Gigaoctets de mémoire de masse en disques RAID Cluster Intel muni de 17 noeuds mono-processeur Problématiques : Météorologie, Environnement. 19