Titre du livrable : Rapport sur le support plate-forme FAME2 avec indices de disponibilité (période 2007).

Transcription

1 Titre du livrable : Rapport sur le support plate-forme FAME2 avec indices de disponibilité (période 20). Partenaire émetteur : Bull Auteur : Guy Hiot Date : 14 Décembre 20 1/14

2 Table des matières 1 Le cluster Fame Eléments constitutifs du cluster Evolution du Cluster HPC Fame Interconnect Architecture d E/S Choix des sous-systèmes disque Cartes accélératrices Schéma global du cluster Fame2 (fin 20) Accès réseau Structure réseau d accueil des partenaires Gestion des demandes de Connexions à Fame Gestion des utilisateurs Administration système Règles d accès aux nœuds de calcul Accès aux fichiers et aux ressources Packaging en armoires Indice de disponibilité de la plate-forme FAME /14

3 1 Le cluster Fame2 L objectif de Bull en 20 est de mettre à disposition des partenaires du projet POPS et des projets associés (tels que PARA ou PARMA) une configuration de test composée de serveurs hébergeant des processeurs Intel de dernière génération en technologie IA64. En 20, il s agit en pratique de faire évoluer la maquette Fame2 initialement mise en place pour le projet Fame2 en Cette maquette est destinée à permettre aux partenaires de se familiariser avec les dernières versions de processeurs Intel, d analyser leur comportement et d anticiper les performances atteignables avec les futurs serveurs développés dans le cadre de la convention POPS. Cette maquette est située dans les locaux de Bull aux Clayes sous Bois, dans le département des Yvelines. Elle a aussi pour vocation de servir de vitrine technologique et, dans cette perspective, à être utilisée pour la réalisation de grands challenges nécessitant une puissance de calcul élevée. 2 Eléments constitutifs du cluster 2.1 Evolution du Cluster HPC Fame2 A la fin du troisième trimestre 20, six nœuds de calcul NovaScale 3045 ont été changés de l état technique Pass2 à Pass3 afin de permettre de les équiper des tout derniers processeurs Intel Montvale cadencés à 667 MHz. Ceci a nécessité conjointement de changer les barrettes mémoire, pour des barrettes adaptées à la nouvelle fréquence. Fin 20, le cluster Fame2 est composé des équipements suivants: Un serveur NovaScale 5165 doté de deux modules (soit 2x8 sockets équipé de processeurs Montecito C0 double cœur à 400 MHz) et 128 GB de mémoire. Ce serveur peut donc être équipé de 16 processeurs physiques et peut être configuré de 1 à 4 domaines (4 nœuds de calcul). Deux serveurs NovaScale 3045 quadri-processeurs, équipés de bus PCI-Express, eux aussi équipés de processeurs Montecito C0 à 533 MHz. Ces serveurs constituent 2 nœuds de calcul. 3/14

4 Six serveurs NovaScale 3045 quadri-processeurs, équipés de bus PCI-Express, équipés de processeurs Montvale A1 à 667 MHz. Ces serveurs constituent 6 nœuds de calcul. Un serveur NovaScale 4040 utilisé comme nœud de Management du cluster. Le nom du cluster, reflété dans la base d administration, est fmd. Un serveur NovaScale 5085 mono-module utilisé comme nœud d entrée-sortie. Ce serveur est équipé de processeurs Montecito C1. Il est utilisé, selon les demandes, comme serveur de fichiers Lustre ou comme serveur NFS V4. Ce serveur est connecté à un espace disque utile de 50 Téraoctets. Un Switch 3COM de 24 ports utilisé pour constituer un réseau d interconnexion gigabit Ethernet privé au cluster Fmd. Un interconnect Quadrix mono-rail. Cet équipement est destiné à réaliser une interconnexion à haut débit entre les nœuds de calcul et le nœud d entrée-sortie. Un interconnect Port server interconnectant par des liens série les différents équipements à des fins de maintenance. Avec ce cluster Fame2, Bull met à disposition de ses partenaires un total de 104 cœurs de calcul Itanium. Ce cluster héberge également un serveur prototype investi par le CEA à base d un module NovaScale (2 QBB, 4 processeurs Montecito), avec opérateurs programmables. 2.2 Interconnect Le réseau Gigabit Ethernet est utilisé avec NFS V4, réputé amener des gains de performances significatifs en comparaison avec la version V3 surtout lors de la manipulation de beaucoup de fichiers de petites tailles. Ce type d interconnexion offre l avantage d être beaucoup moins coûteux qu une solution à base de Quadrix. Un deuxième type d interconnexion est réalisé à base de Quadrix avec des cartes Elan4 pour bus PCI-X. 4/14

5 Il n y a pas eu de changement en 20 concernant ces interconnects. 2.3 Architecture d E/S Choix des sous-systèmes disque Le choix a été fait de deux sous-systèmes FDA 2500, chacun équipé de 105 disques de 300 GB, d un cache de 8 GB et de deux SP. Chaque SP peut être accédé depuis le nœud d E/S via 4 ports FC 4 Gbits, ce qui offre une bande passante théorique de 2 Gigaoctets par seconde par FDA, soit 4 Gigaoctets par seconde en tout. En pratique, la bande passante effective est inférieure et limitée par l architecture intrinsèque des sous-systèmes (le backend est réalisé en 2 Gigaoctets/s). Il n y a pas eu de changement en 20 concernant ces soussystèmes. 2.4 Cartes accélératrices La maquette Fame2 est également utilisée pour expérimenter des cartes accélératrices programmables. Un premier type de cartes testé est la carte Clearspeed sur bus PCI- X. Le prototype CEA, évoqué plus haut, est utilisé à cet effet. Ultérieurement, il est envisagé de tester des cartes sur bus PCI- Express. 5/14

6 3 Schéma global du cluster Fame2 (fin 20) NS5165 (4 computing nodes) 16 Montecito C0 fmd2 fmd3 fmd4 fmd5 8 cores 32 GB (nfs Gb Ethernet 8 cores 8 cores 8 cores fmd14 fmd1 3 fmd10 2 computing nodes (NS3045) Each node = 4 Montecito C0 6 computing nodes fmd9 fmd8 fmd7fmd6 8 cores 32 GB Network accesses To the FDA 2500 (home_nfs) fmd-cea NS5165 equipped with Clearspeed cards Switch 3COM (24 ports) fmd1 (I/O Node) NS Montecito C1 (8 cores Lustre 64 GB 2 IOC) MDS/OSS FDA 2500 (20 TB) Quadrics (16 ports) fmd11 NS3045 I/O node Lustre (8 cores, MDS/OSS 32GB) FDA 2500 (20 TB) Home NFS fmd0 (NS4040) Mgt Node 4 Montecito (8 cores, 10 GB) F I R E W A L L Comprehensive administration environment from a single point of control. 6/14

7 4 Accès réseau Tous les partenaires accèdent le cluster Fame2 à travers Internet. 4.1 Structure réseau d accueil des partenaires L architecture réseau mise en place est la suivante : SERVEUR FAME2 Internet Transpac concentrateurs Cisco connexion bullnet connexion internet direct filtrée connexion vpn client Intranet Bull Le choix préconisé au départ était d utiliser autant que possible des connexions VPN sécurisées. La mise en place de connexion VPN posant problème chez certains partenaires à cause de leur architecture réseau et leurs règles de sécurité, on autorise le plus souvent des connexions SSH directes. 7/14

8 Ces connexions, by-passant les serveurs d accès VPN, ont besoin d être identifiées nominativement au niveau du pare-feu d accès de Bull. Les utilisateurs désireux de travailler dans ce mode doivent alors décliner leur adresse IP source. Un délai de plusieurs jours est alors nécessaire pour que France Télécom ajoute sélectivement une nouvelle règle d accès au niveau du pare-feu. 4.2 Gestion des demandes de Connexions à Fame2 Toutes les demandes de connexion à Fame2 sont faites en utilisant un formulaire qui a été réactualisé en juin 20. Une version anglaise a été mise à la disposition des partenaires européens du projet Parma. 4.3 Gestion des utilisateurs Administration système Bull accepte des demandes de connexions des partenaires de POPS, mais également des projets associés : PARA, PARMA,. La confidentialité entre partenaires et entre projets est assurée par utilisation des droits d accès du système Règles d accès aux nœuds de calcul C est PCC (Centre de Calcul de Bull aux Clayes sous Bois) qui possède les droits root et administre l ensemble des ressources du cluster. A la réception de la demande d accès d un nouvel utilisateur autorisé, un compte utilisateur et de l espace disque lui est alloué. Les comptes créés sont nominatifs et propres à un partenaire. Chaque utilisateur est associé à un groupe qui correspond à la société partenaire (CEA, UVSQ, IFP,...). Comptes utilisateurs et groupes sont configurés par PCC au niveau de l'administration du cluster fame2. Les nœuds de calcul sont groupés dans des partitions disjointes: une partition (au sens RMS Quadrics) c'est de 1 à N nœuds. PCC fait évoluer la configuration des partitions en fonction des demandes formulées par l ensemble des utilisateurs. 8/14

9 Les utilisateurs soumettent leurs travaux dans telle ou telle partition à l'aide de la commande PRUN en précisant éventuellement le nombre de nœuds ou le nombre de processeurs qu'ils veulent utiliser au sein de la partition. Une partition n'a pas de granularité plus fine qu'un nœud: en particulier, une partition ne peut pas être définie comme un ou plusieurs processeurs. Pour le cluster Fame2 des Clayes, les nœuds sont des domaines (au sens PAM) de NovaScale (1 domaine = 1 QBB + 1 IOR). Toutes les connexions réseau à Fame2 aboutissent d abord sur le nœud de management. Cette centralisation des accès permet aux administrateurs, le cas échéant, d interdire certains accès dans le cadre de la politique d accès en vigueur. Si la connexion est validée pour la période considérée, le routage est alors effectué vers les ressources (nœuds de calcul) affectées ou autorisées pour cet utilisateur Accès aux fichiers et aux ressources Les fichiers sont créés pour un utilisateur donné sous son répertoire d accueil (home_nfs). Certains peuvent être définis comme accessibles par les autres utilisateurs du même groupe. Mais il y a étanchéité entre les groupes: un groupe ne peut pas accéder les fichiers des autres groupes. Cependant, les utilisateurs d'un groupe peuvent lister les répertoires d accueil (home directory) des autres groupes, même s'ils ne peuvent pas y accéder. Les utilisateurs créent leurs fichiers dans leur home directory. Ils peuvent demander à PCC que ces fichiers soient sauvegardés. Ces sauvegardes sont actuellement gérées manuellement sur LTO. Pour Fame2, on utilise également le système de fichier parallélisé Lustre. Plusieurs instances de Lustre (plusieurs filesystems) ont été créées pour isoler l'espace affecté aux utilisateurs (home_lustre) de l'espace utilisé pour les expérimentations Xedix. 9/14

10 5 Packaging en armoires La répartition des éléments de la maquette dans les différentes armoires est la suivante : fmd6 fmd7 fmd8 (4 montvale) fmd9 (4 montvale) fmd10 (4 montvale) FDA2500 fmd11 (4 montvale) contrôleur + fmd14 (4 montvale) fmd13 (4 montvale) 2500FDA LTO contrôleur + Port Serveur switch 3COM switch QsNet NS4040 FameD 5085 FameD 5165 bi-module avec 4 domaines fmd0 nœud de management (4 montécitos) fmd1 nœud d'i/o PAP PAP KVM ecr/clav/sou fmd2 fmd3 fmd4 fmd5 Plat. de cabl. FameD mono-module standalone- (CEA) console KVM PAP fmd-cea nœud stand-alone 10/14

11 6 Indice de disponibilité de la plate-forme FAME2 En 20, le cluster des Clayes-sous-Bois a été mis à disposition en continu aux partenaires avec un taux de disponibilité supérieur à 96%. Voici le tableau de bord des incidents et interventions pour 20 : Date Nom Matériel Nom Software Motif Description Intervention/Problème 08/10/ lynx fmd8 à fmd14 Montage des processeurs Montvale et des nouvelles barettes mémoire 24/09/ fmd10 et fmd14 disque s Reconfiguration des disques au niveau controleur SAS 10/09/ 31/08/ cluster BAS4 V5.1 version s Pass3 monta ge Installation de la BAS4 V5.1 fix8: fmd0: nœud de management fmd1: nœud I/O fmd2-fmd14: nœud de login Réception et installation des Pass3 (fmd8 à fmd14) Sont retirés des lynx et installés sur les nouveaux: Les processeurs montécito et leurs alimentation, la mémoire et les disques 70GB 25/05/ FMD-CEA clearspeed carte Réinstallation de la carte longue à la plce de la courte 23/04/ FMD1 (I/O) pb boot le système ne peut plus booter localement 18/04/ salle F9 clim pb de climatisation 13/04/ FMD1 (I/O) disque Le système met le disque sdb1 en read only suite à des errreurs I/O 11/14

12 12/04/ 10/04/ 05/04/ 09/03/ 08/03/ 02/03/ 12/02/ 09/02/ 28/02/ 22/02/ 22/02/ 22/02/ 20/02/ FDA-CEA carte remplacement carte clearspeed grand format par une carte petit format FDA2 disque alerte sur disque à droite, 3ième rangée du haut FMD0 disque Le système met le disque sdb1 en read only suite à des errreurs I/O cluster arrêt cluster pour coupure électrique le week-end FMD1 (I/O) disque FMD0 disque FMD0 disque FMD0 disque Le système met le disque sdb1 en read only suite à des errreurs I/O Le système met le disque sdb1 en read only suite à des errreurs I/O Le système met le disque sdb1 en read only suite à des errreurs I/O Le système met le disque sdb1 en read only suite à des errreurs I/O FDA 1 disque remplacement du disque 00h-C3h FMD5 hardw info: erreurs CPU corrigées FDA 1 disque disque 00h-C3h en alert -> rebuilt FMD4 hardw FMD13 install remplacement du CPU3 suite à erreurs non corrigées configuration et déploiement image lynx pour BAS4v4.3 19/02/ 01/02/ 22/01/ FMD13 FMD1 (I/O) hardw hardw FMD0 disque installation nouvelle carte mère PAS2 (les versions firmware de la carte sont conservées SAL et BMC => ) le FameD est remplacé par le FameD de la Map (J.M Gillon). Contient des processeurs C1 prêtés par Eric Deihnaut. Les disques et cartes sont conservés. Le système met le disque sdb1 en read only suite à des errreurs I/O Un de nos objectifs est de connaître et suivre au fil du temps l utilisation des ressources mises à disposition des partenaires. A cet effet, nous avons commencé à compiler les informations contenues dans les logs et à élaborer un tableau Excel synthétique (une feuille par mois) donnant, jour après jour, les informations suivantes : Date 12/14

13 Nb de cœurs max utilisés (statistique prise au niveau des PRUN) Nb de cœurs disponibles Nb de nœuds de calcul disponibles % d utilisation par tranche de 24h Nb max d utilisateurs par tranche de 24h Les partenaires qui se sont connectés au fil des jours Le fichier Excel, évoqué ci-dessus, donne une idée de la disponibilité des nœuds de calcul car il affiche le nombre de cœurs disponibles mis à disposition des partenaires. De plus, en faisant apparaître le taux d utilisation, on a une idée du niveau de saturation des ressources. Exemple de feuille synthétique de suivi: Calcul du pourcentage d'utilisation du cluster FAME2 par jour et moyenne sur le mois de novembre 20. NB max d'utilisateu rs CORES maxi utilisés CORES % d'util NB de % d'util / DATE dispo maxi nœud 24H 1/ , % 2/ , ,35 % 3/ , ,56 % 4/ , ,00 % 5/ , ,89 % 6/ , ,32 % 7/ , ,35 % 8/ , ,71 % 9/ , ,28 % 10/ , ,35 % 11/ , ,08 % 12/ , ,65 % 13/ , ,54 % 14/ , ,99 % 15/ , ,00 % 16/ , ,17 % 17/ , ,00 % 18/ , ,00 % 19/ , ,00 % 20/ , ,40 % 13/14

14 1 21/ , ,25 % 22/ , ,33 % 23/ , ,56 % 24/ , ,90 % 25/ , ,00 % 26/ , ,69 % 27/ , ,63 % 28/ , ,11 % 29/ , ,33 % 30/ , ,73 % Moyenne du mois 14,14 % 14/14