La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle

Transcription

1 La ferme de PCs de l INRIA Sophia-Antipolis Configuration matérielle et logicielle David Geldreich, 07/2003

2 Configuration matérielle actuelle Aujourd'hui la ferme est composée de 50 PCs bi-processeurs : PC bipro Pentium 1.3 Ghz : 1 node (cluster) 1 Gb RAM, RAID-5 SCSI harddisk drive PC bipro 2 Ghz : 16 nodes (nina) 512kb L2 cache, 1 Gb RAM, IDE harddisk drive PC bipro Pentium 933 Mhz : 19 nodes (pf) 256kb L2 cache, 512 Mb RAM, IDE harddisk drive PC bipro Pentium 500 Mhz : 14 nodes (galere) 512kb L2 cache, 512 Mb RAM, SCSI harddisk drive

3 Configuration matérielle actuelle (suite) Le réseau de la ferme est composé de switches Extreme Networks : Fast-Ethernet network (100 Mbps full-duplex non-blocking using a Summit48 from Extreme Networks) Gigabit-Ethernet network (1 Gbps full-duplex non-blocking using a Summit7i from Extreme Networks)

4 Configuration matérielle actuelle (suite)

5 Évolution Nouveaux nœuds : bipro Xeon 2Ghz bipro Xeon 2Ghz bus PCI 64bits/66Mhz permettant d utiliser toute la bande passante des cartes réseau gigabit. Réseau Ethernet gigabit cuivre lien 2Gbit full-duplex avec les 33 «anciens nœuds». lien 3Gbit vers le routeur VTHD. Passage sur réseau expérimental : faciliter l'ouverture de compte d'extérieurs. expérimentations VTHD++.

6 Quelques statistiques d utilisation (07/2003) Nombre d utilisateurs : 34 comptes (25 lançant des calculs par LSF) 8 projets utilisant la ferme : CAIMAN, CHIR, COPRIN, EPIDAURE, OASIS, ODYSSEE, OPALE, SMASH Temps de calcul depuis le 1/10/2003 : Statistiques biaisées : courte période, LSF ne prend pas tout en compte,... CHIR : 144 jours CPU CAIMAN : 59 jours CPU Extérieurs : 20 jours CPU

7 Conditions d utilisation Toute personne ayant un compte à l INRIA Sophia peut avoir un compte sur la ferme de PCs. Quelques règles d utilisation : soumission de jobs par LSF, accès en interactif sur le frontal (cluster.inria.fr) Mailing-list : parallel-tech@sophia.inria.fr DREAM : équipe de support au développement et expérimentations supporte le cluster. En cas de problème : mail semir

8 Configuration logicielle : compilateurs GNU g et g Portland Group compiler (F77, F90, HPF, C/C++) file:/usr/local/pgi/doc/index.htm Vectorisation, gestion de l assembleur MMX, SSE et SSE2. Support OpenMP Intel C/C++ et Fortran file:/usr/local/intel/compiler70/docs/ccompindex.htm et fcompindex.htm Vectorisation, gestion de l assembleur MMX, SSE et SSE2. Support OpenMP Profile-guided optimization

9 Configuration logicielle : librairies MPICH (Message Passing Interface) LAM/MPI (Local Area Multicomputer) PVM (Parallel Virtual Machine) ATLAS, PETsc,BlockSolve95, pv3, SPAI, parmetis, Cours en ligne accessible à travers

10 LSF (Load Sharing Facility) Besoin d un outil de soumission de job pour partager les ressources. LSF est un ensemble d outils dont le but est de répartir la charge CPU sur un certain nombre de machines (cluster) et ce, d une manière transparente pour les utilisateurs. Notamment des outils pour la soumission de travaux (programmes non interactifs qui sont gérés dans des files d attente) qui utilisent cette notion de répartition de charge.

11 LSF: les principes LSF permet la soumission de travaux en mode batch sur la ferme de PCs via des files d attente. LSF choisit la machine la moins chargée qui possède les ressources demandées. des jobs peuvent être suspendus en cas de surcharge ou de jobs plus prioritaires. un mail est envoyé lorsque le job est terminé. pf1$ bsub -n 5 -m linux-pf uname -a Job <189199> is submitted to default queue <normal>.

12 LSF : les commandes utilisateurs Les principales commandes : bsub : soumet un job bjobs : vérifie le statut d un job bstop, bresume, bkill : modifie le statut d un job btop, bbot, bswitch : déplace un job de/dans une file d attente bqueues, bhosts, busers : info sur la configuration LSF xlsbatch : bsub graphique xlsmon : suivi de la charge du cluster

13 LSF : bsub le nombre de processeurs utilisées (-n) le nom de la file d attente (-q) les ressources demandées (-R) machines demandées (-m) lancement en interactif (-I) le nom du job (-J) fichier d entrée/sortie (-i, -o, -e) condition d éxecution (-w)

14 LSF : exemples Différentes files d attente (queues) suivant les besoins : normal : queue par défaut idle : exécutée quand les autres queues sont vides short : pour les jobs court LSF ne gère pas la notion de parallélisme, on a écrit 3 scripts : pvmjob, mpijob, lamjob bsub -n 5 mpijob mpitest bsub -n 10 -R "mem>500" mpijob mpitest bsub -n 5 -R "span[ptile=1]" -m linux-pf mpijob mpitest bsub -I -n 5 mpijob mpitest bsub -q idle -n 5 mpijob mpitest

15 LSF: bsub (suite) Comment lancer son job sur 6 processeurs des machines pf? bsub -n 6 -m linux-pf mpijob ring Comment lancer son job sur 6 machines en n utilisant qu un processeur par machine? bsub -n 6 -R "span[ptile=1]" -m linux-pf mpijob ring Lancer plusieurs jobs similaires : la solution job array bsub -n 6 -J "mon job[1-10]" -m linux-pf mpijob ring LSF définit des variables d environnement dans le job lancé : LSB_HOSTS, LSB_JOBINDEX bsub -n 6 -J "mon job[1-10]" echo $LSB_HOSTS; echo $LSB_JOBINDEX Comment ne démarrer un job que lorsqu un autre a fini? bsub -J "job1" sleep 120 bsub -J "job2" -w "done(job1)" sleep 120

16 LSF : les états

17 Le futur Subvention en attente de la région et du département. Evaluation d autres architectures processeur : AMD Opteron, Intel Itanium2 Evaluation de techno réseau à haut débit et faible temps de latence: SCI Dolphin, Myrinet Recrutement d un ingénieur associé. ACI MecaGRID (INRIA, IUSTI, CEMEF) GRID5000