SIGAMM/CRIMSON COMMISSION UTILISATEUR du 05/12/2014

Transcription

1 SIGAMM/ COMMISSION UTILISATEUR du 05/12/2014 ORDRE DU JOUR : - Rôle de la commission, - Présentation de la nouvelle plateforme, - Accès Mésocentre, - Point sur les problèmes rencontrés, - Propositions de nouvelles règles de soumission, - Questions diverses, - Avenir de Sigamm et le projet Opal, - Définir la prochaine date de la commission.

2 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumission Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

3 Rôle de la commission:

4 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumission Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

5 Présentation de la nouvelle plateforme : SOLUTION PLURISIDCIPLINAIRE Capacité de calcul : Evolution de la plateforme précédente de 952 cores à 3024 cores Offre un environnement de calcul classique de cores Offre un environnement de calcul GPU de 64 cores Offre un environnement de calcul Grande mémoire 1To 32 cores Capacité de stockage : Evolution du scratch à 300To (GPFS) Ajout d un scratch complémentaire 40T (NFS RDMA) Sécurisation électrique: Mise en place d un groupe électrogène Rattachement total de la plateforme à l onduleur 80 Kva Sécurisation Services Réseaux : Mise en place d un PRA (ldap, svn, etc )

6 OCA MESOCENTRE SIGAMM/ 952 Cores 10,5 TFlop Infiniband QDR/40Gb/s 2 serveurs de login 2 serveurs d IO - GPFS Baie DDN S6620 Raid TB Serveur Administration 72 Nœuds -lames B500 (Bull) -type X5660 -mémoire 48Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU 2.80GHz coeurs):12 cores 5 Chassis 8 Nœuds GPU NVIDIA M2050 -lames B505 (Bull) -type E5620 -mémoire 24Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU 2.40GHz (4 coeurs) ; 8 cores Acquisition 2011 (952 cores 10,5 TFlop)

7 Quelques dates Obtention du financement CPER Diffusion de l appel d offre Ouverture des offres /Choix candidats Livraison lot1 Solution de calcul Livraison lot2 Groupe électrogène Mise en production lot2 Mise en production Lot1 Mise en production Lot3 Rédaction de l appel d offre 3 lots Lot1 solution de calcul Lot2 sécurisation électrique Lot3 PRA Publication extension lot1 Installation Lot2 Livraison lot3 Solution PRA Installation Lot3 Installation Lot1 07/ / / / / / /

8 OCA MESOCENTRE SIGAMM/ 1432 Cores -?TFlop Infiniband QDR/40Gb/s 2 serveurs de login 2 serveurs d IO - GPFS Baie DDN S6620 Raid TB Serveur Administration 72 Nœuds -lames B500 (Bull) -type X5660 -mémoire 48Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU Infiniband FDR/56Gb/s 5 Chassis 2.80GHz coeurs):12 cores 8 Nœuds GPU NVIDIA M2050 -lames B505 (Bull) -type E5620 -mémoire 24Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU 2.40GHz (4 coeurs) ; 8 cores 1 Nœud grande Mémoire 2,5Ghz Bullx R4 428-E3 32 cores 1To 5 Chassis 76 Nœuds -lames B510 (Bull) -type E5-2670v2 -mémoire 64Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) IvyBridge 2.50GHz (10 coeurs) ; 20 cores Acquisition 2011 (952 cores 10,5 TFlop) Extension (1432 cores) Solution Archivage Serveur bull R423-E3 Baie Netapp E TB brut raid 6

9 Quelques dates Déménagement de FRIPP Livraison lot1 Solution de calcul Livraison lot2 Groupe électrogène Mise en production lot2 Mise en production Lot1 Mise en production Lot3 Installation extension lot1 Mise en production Fin CPER Passage de l ensemble de la plateforme sur Onduleur 80Kva Installation Lot2 Livraison lot3 Solution PRA Installation Lot3 Installation Lot1 Livraison extension Lot1 ~ 600 cores Arrêt cluster FRIPP 06/ / / / / /

10 OCA MESOCENTRE SIGAMM/ 3024 Cores - 52 TFlop Infiniband QDR/40Gb/s 2 serveurs de login 2 serveurs d IO - GPFS Baie DDN S6620 Raid TB Serveur Administration 5 Chassis 72 Nœuds -lames B500 (Bull) -type X5660 -mémoire 48Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU 2.80GHz coeurs):12 cores 8 Nœuds GPU NVIDIA M2050 -lames B505 (Bull) -type E5620 -mémoire 24Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) CPU 2.40GHz (4 coeurs) ; 8 cores Infiniband FDR/56Gb/s 1 Nœud grande Mémoire 2,5Ghz Bullx R4 428-E3 32 cores 1To 5 Chassis 76 Nœuds -lames B510 (Bull) -type E5-2670v2 -mémoire 64Go -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) IvyBridge 2.50GHz (10 coeurs) ; 20 cores Acquisition 2011 (952 cores 10,5 TFlop) Extension (1432 cores) 1 Chassis 26 Nœuds -lames B510 (Bull), type E5-2670v2 -mémoire 64Go, -DD 250Go -Processeur : 2 x Intel(R) Xeon(R) IvyBridge 2.50GHz (10 coeurs) ; 20 cores Extension (640 cores) Solution Archivage Serveur bull R423-E3 Baie Netapp E TB brut raid 6

11 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumission Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

12 Accès au Mésocentre : Accès : - notion de projet scientifique : chef de projet responsable Responsable des ouvertures/fermetures et problèmes rencontrés du code. - Pas de restriction d accès, pas d évaluation scientifique, - Les chefs de projet sont des permanents des laboratoires partenaires (UCA), - Ouverture des logins(collaborateurs, étudiants, postdoc, etc ) sous responsabilité du chef de projet - Collaborateurs extérieurs à l UCA sont permis, si ils travaillent explicitement sur le projet (coauteurs de la publication qui en résulte) sous responsabilité du chef de projet Nb de projets en cours : 45 Nb de comptes actifs : 100

13 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumission Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

14 Points sur les problèmes rencontrés : - Electrique coupures électriques régulières (8/an ~10J-etp/coupure) => mise en œuvre groupe électrogène => protection des nœuds licallo par onduleur (les calculs ne sont plus interrompus) - I/O Perte de performance, pb de temps de réponse de la structure => De 01/14 à 05/14 constat du problème, alerte intégrateur, tuning ldap, tuning gpfs, contrôles infiniband => 05/14 à 07/14, upgrade de la plateforme, benchs OK => 08/14 à 09/14, retour des problèmes, analyse GPFS et de la baie i/o (saturation serveurs d I/O & baie) => 10/14 à 11/14, tuning de la baie, études de solutions alternatives d accueil de scratch. Mise en œuvre. => 12/14, alerte automatique détection pb de performance => CU 2014 demande de mandat de réorientation des codes sur scratch secondaire (cf point propositions de nouvelles règles de soumission)

15 - Mémoire Sur première plateforme licallo, jobs bloqués par saturation mémoire => La mise en œuvre de la nouvelle plateforme avec optimisation des soumissions ont corrigé ce problème - Soumission rejet à la soumission si la demande de l utilisateur amenait à une réservation de cores supérieure à la limite autorisée. => 05/2014 nouvelle version d OAR, soumission illimitée, jobs/cores/utilisateurs running simultanés limités - Trous Scripts de soumission optimisés pour licallo1 (cf 12c) créent des trous sur les nœuds licallo2 (cf 20c) => Légitimité d action pour l optimisation des scripts de soumission. (cf point propositions de nouvelles règles de soumission)

16 - Occupation des espaces scratch espace en constante diminution, personne ne fait le ménage. => A l heure actuelle bonne volonté (totalement inefficace) Mise en œuvre nécessaire d une procédure de purge automatique. proposition : Tous répertoires non accédés depuis plus de trois mois sont mis en «poubelle». Tous les répertoires non réclamés dans la «poubelle» au bout de 2 mois supplémentaires seront définitivement supprimés.

17 - Taux d occupation du cluster Le taux d occupation du cluster avoisine 55%, la normalité devrait atteindre les 80% - Manque de soumission - Proposition d augmentation du nb de cores simultanés/utilisateurs (cf point propositions de nouvelles règles de soumission) - Adéquation de la ressource réservée au code soumis

18 Quelques dates Livraison lot1 Solution de calcul Livraison lot2 Groupe électrogène Mise en production lot2 Mise en production Lot1 Mise en production Lot3 Modification de l architecture Initiale Déploiement d un scratch secondaire Passage de l ensemble de la plateforme sur Onduleur 80Kva Installation extension lot1 Mise en production Fin CPER Installation Lot2 Livraison lot3 Solution PRA Installation Lot3 Installation Lot1 Analyse des flux sur La nouvelle plateforme Livraison extension Lot1 ~ 600 cores 06/ / / / / /

19 SWITCH Ethernet OCA 1G/b MASTER chusuk LOGIN01 gurney LOGIN02 tagir SWITCH Ethernet Mesocentre 1G/b SWITCH INFINIBAND QDR 40G/b IO01 56G/b SWITCH INFINIBAND FDR Baie DDN IO02 FS-CALCUL Baie netapp (82)Nœuds N (103)Nœuds P

20 5 Chassis OCA MESOCENTRE SIGAMM/ 3024 Cores - 52 TFlop Serveur Administration Infiniband QDR/40Gb/s 2 serveurs de login Infiniband FDR/56Gb/s serveur d IO - GPFS 72 Nœuds 6 Chassis 864 cores Baie DDN S6620 Raid TB serveur d IO - GPFS 102 Nœuds 2040 cores 8 Nœuds GPU 64 cores Solution scratch2 Serveur nfs rdma 1 Nœud 1To 32 cores Baie Netapp E TB brut raid 6

21 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumission Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

22 Règles de soumission : - Scheduler OAR - Fenêtre de 24H (facilite le turnover, oblige les utilisateurs dans l usage de GENCI) - 50jobs 600cores => queue (default) souhaité crimson 50jobs 1024cores - 300jobs 300cores => queue (Q300) appartient groupe GRP Q300 si le code n a pas d impact sur le bon fonctionnement du cluster - Projet intense I/O => travail sur scratch2 (fs-calcul-scratch) - Machine 1To 32 cores => queue (bigsmp, «#oar -t bigsmp») - Priorité : - KARMA => Calculé à chaque soumission, Temps cpu consommé à travers une fenêtre glissante sur 1 mois. Départ de 0, fonction croissante. - Demande exceptionnelle : - Demande exceptionnelle au delà de 300jobs/600cores - Décision du comité utilisateur dans les 48H ouvrées - Gérée par Changement des quotas pour l utilisateur - Possibilité de sortir de la fenêtre de 24H

23 Règles d interventions concernant tout dysfonctionnement constaté L administration a le droit d arrêter un job qui nuirait au bon fonctionnement du cluster Exemple : job qui sollicite 100% I/O sur un scratch - explicatif à l usager & au responsable du projet, - Une réorientation sera proposée et discutée - En cas de non communication avec l équipe, la soumission de jobs dans ce projet peut être bloquée.

24 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumissions Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

25 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumissions Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission

26 OPAL CPER Laboratoires Équipes UCA Unités d'enseignement Opal est un projet d'uca. CPER financement extension Mésocentres Calcul intensif Post-traitement Expérimentation Réseau rapide BIG DATA Center Autres sources : projets 2020? A travers des projets UCA ou directement? Visualisation 3D Cave d'immersion Post-traitement et interaction - Reflexion concertée sur l'extention dans OPAL Acteur sociaux économiques (Industrie, start up, high tech Pépinière entreprise) Équipes de recherche Françaises et internationales Étudiants potentiels

27 Rôle de la commission Présentation de la nouvelle plateforme Accès Mésocentre Point sur les problèmes rencontrés Propositions de nouvelles règles de soumissions Questions diverses Avenir de Sigamm et le projet Opal Définir la prochaine date de la commission