La grappe de calcul à la DIO

Transcription

1 La grappe de calcul à la DIO Aurélia Marchand Stéphane Vaillant 1

2 Les grappes de calcul Type de machines de calcul : UMA : Uniform Memory Access (machines SMP) NUMA : None Uniform Memory Access (plusieurs machines SMP interconnectées par un réseau plus ou moins rapide) 2

3 Les grappes de calcul Type de machines de calcul : UMA : Uniform Memory Access (machines SMP) NUMA : None Uniform Memory Access (plusieurs machines SMP interconnectées par un réseau plus ou moins rapide) 3

4 UMA Machine à mémoire partagée, tous les processeurs accèdent à toute la mémoire Avantages : Inconvénients : Espace d'adressage unique Facile à programmer (OpenMP) Scalabilité Portabilité des applications Limitée en nombre de CPUs Limitée par la bande passante Coût 4

5 NUMA Espace mémoire distribué sur chaque nœud de calcul. L'accès à la mémoire se fait via un réseau d'interconnexion (Ethernet, infiniband) Avantages : Accès rapide à la mémoire locale Non limitée en nombre de CPUs (Top 500 : Sunway TaihuLight 10,649,600 cœurs, Rpeak 125 Pflop/s) Inconvénients : coût Plus complexe à programmer (MPI) l'utilisateur doit gérer les communications Administration système plus complexe 5

6 Les grappes de calcul à l'observatoire MesoPSL1 (2011) 216 cœurs 3.06 GHz 2 Go 29 To Lustre MesoPSL (2012) 1568 cœurs GHz 4 Go 128 To Infiniband Tycho Tier 0 PRACE TGCC Tier 1 GENCI IDRIS CINES CCRT Tier 2 Meso-centres PSL 6

7 La grappe Tycho La grappe est constituée de : 1 frontale : tycho 12 noeuds : quadri[17-28] (Juin 2010) 8 coeurs, Intel Xeon à 2.27 GHz, 24 Go de mémoire, 160 Go d'espace disque local 27 nœuds : tycho[01-20] (Oct. 2013) tycho[21-24] (Nov. 2015) Tycho[26,29-30] (2016) 16 coeurs, Intel Xeon à 2.60 GHz, 64 Go de mémoire, 1,7 To d'espace disque local 7

8 La grappe Tycho 1 nœud : tycho25 (Nov. 2015) 16 coeurs, Intel Xeon à 3.20 GHz, 96 Go de mémoire, 3,6 To d'espace disque local 2 noeuds : tycho[27-28] (2016) 24 coeurs, Intel Xeon à 2.6 GHz, 256 Go de mémoire, 2,6 et 4,5 To d'espace disque local 8

9 Tycho 9

10 La grappe Tycho Espaces de stockage : /obs/son_login = /home/son_login 4 To - 30 Go/user - Sauvegardé /data/son_login 8 To - 60 Go/user - Sauvegardé /poubelle/son_login 25 To - non sauvegardé, nettoyé tous les 120 jours /scratch/son_login 1,7 To - local, non sauvegardé, nettoyé tous les 20 jours 10

11 La grappe Tycho Accès à la grappe : Faire une demande de compte à admin.dio@obspm.fr (Compte LDAP) S'inscrire à la liste de diffusion mpopm@sympa.obspm.fr (Machine parallèle de l'observatoire de Paris-Meudon) pour être informé des arrêts programmés de la grappe 11

12 La grappe Tycho : logiciels Les logiciels sont installés à la demande, plusieurs versions peuvent être disponible (module available) Les logiciels payant nécessitant une licence : 12

13 La grappe Tycho : Compilateurs Les compilateurs C/C++ gcc, g / gcc, 4.[6,7,8] / gcc-4.[6,7,8] (module) Les compilateurs Fortran GNU Fortran / gfortran 4.[6,8] / gcc-4.[6,8] Intel Fortran / ifort NAGWare Fortran 6.0 / f95.nag (nag-server) 13

14 La grappe Tycho : Parallélisme OpenMP ifort -openmp OMP_NUM_THREADS MPI OpenMPI (module load openmpi) OMPI_FC OMPI_FCFLAGS MPICH (module load mpich) 14

15 La grappe Tycho : slurm Simple Linux Utility for Resource Management Utilisé sur MesoPSL 2 fonctions : Gestion des ressources Exécution des tâches, limitations des tâches / nœud / utilisateur Comptabilité : heures consommées Extinction des nœuds Ordonnancement des tâches Backfill, fairshare, priorité, préemption, réservation 15

16 SLURM Partitions/Queues Publiques : short, medium, long, verylong Publique basse priorité : low Accès prioritaire aux nœuds dédiés : mis, gaia, skybot, grace, virage, plato, mosaic Limitations Globale : 80 cœurs par utilisateur 16

17 SLURM Durée max. tychonn quadrinn noeud max/job Queues publiques short 1h medium 1j 01-24, long 5j sauf 03,16, verylong 15 j sauf 03, 12-16, nag 15 j 03=nag-server Queue basse priorité préemptible low 15 j

18 SLURM Durée max. tychonn quadrinn Coeurs max/util Queues pour accès prioritaire mis 15 j 01, gaia 15 j 02, 21 skybot 15 j grace 15 j 25 virage 15 j 26 plato 15 j mosaic 15 j

19 SLURM : Préemption Préemption : mise en pause et en swap par un job prioritaire Un job lancé sur short, medium, long, verylong ou low et occupant le nœud dédié tycho01 (vs tycho02, vs tycho[17-20]) sera préempté par un job lancé sur la partition mis (vs gaia, vs skybot) Un job lancé sur low pourra être interrompu par n'importe quel autre job 19

20 SLURM : Commandes sbatch : soumission d'un script tycho> sbatch monjob.slurm submitted batch job salloc : exécution interactive tycho> salloc -t 10 -J monjob salloc : Granted job allocation squeue : liste des jobs tycho> squeue 20

21 SLURM : Commandes tycho> squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST 381 long MonProg marchand R 2-23:49:59 2 tycho[03-04] 472 medium Test vaillant R 23:18 1 tycho medium MonProg marchand PD 0:00 1 (ressources) tycho> squeue -o «%.7i %.8j %.8u %Q» JOBID NAME USER PRIORITY 381 MonProg marchand Test vaillant MonProg marchand 51 21

22 SLURM : Commandes sinfo : information sur les partitions sacct : récapitulatif des jobs sur une période tycho> sacct -o jobid,user,nodelist,state tycho> sacct -helpformat scontrol : visualisation et modification d'un job tycho> scontrol show job {jobid} tycho> scontrol update JobID={jobid} TimeLimit=10:00:00 22

23 SLURM : commandes Commandes utiles : proc.use.sh : nombre de cœurs utilisés par noeud proc.use2.sh : temps de réservation des nœuds idl.slurm.sh : regroupe les jobs idl sur un nœud pdsh -a df /scratch scratch_ls : liste le contenu de /scratch/$user sur tous les nœuds scratch_du : affiche l'espace occupé par /scratch/$user sur tous les nœuds scratch_rm {liste_noeuds} : efface le contenu de /scratch/ $USER sur les nœuds passés en paramètre (option -a) 23

24 SLURM : Script #!/bin/bash #SBATCH --job-name=monprog {Nom du programme} #SBATCH --nodes=2 --ntasks-per-node=16 {Le nombre de noeud et de coeurs/noeud} #SBATCH --time=120 {Le temps en minute ou D-HH:MM:SS} #SBATCH --partition=medium {La file d'attente} #SBATCH --mem=1gb {la mémoire globale} mpiexec./monprog > MonProg.out 17/10/16 15:14 24

25 SLURM : /scratch /scratch est local à chaque nœud Rapidité d'accès Destiné aux jobs en exécution sur le nœud On utilise la commande srun : tycho> srun --ntasks=$slurm_job_num_nodes commande qui exécute une seule instance de 'commande' sur chaque nœud. Pas toujours accessible pour des raisons d'économie d'énergie : extinction automatique des nœuds après une demi journée d'inactivité 17/10/16 15:14 25

26 SLURM : /scratch #!/bin/bash #SBATCH... SCRATCH=/scratch/$USER/run.${SLURM_JOBID} srun --ntasks=$slurm_job_num_nodes mkdir -p $SCRATCH cd $SCRATCH srun --ntasks=$slurm_job_num_nodes cp /obs/$user/monprog. srun --ntasks=$slurm_job_num_nodes cp /data/$user/mesdonnees. mpiexec./monprog > MonProg.out... 17/10/16 15:14 26

27 SLURM : /scratch... mpiexec./monprog > MonProg.out srun --ntasks=$slurm_job_num_nodes mv MesResultats /data/$user cd ${SLURM_SUBMIT_DIR} mv ${SCRATCH}/MonProg.out. srun --ntasks=$slurm_job_num_nodes rm -rf ${SCRATCH} 17/10/16 15:14 27

28 SLURM : interactif Pour exécuter une application sur un des nœuds : tycho> salloc -t 04:00:00 -p medium -n 1 -c 1 srun --pty --x11 matlab Pour travailler de façon interactive : tycho> salloc -t 10 -J NomJob -p nag srun --pty bash Salloc: Job allocation quadri17> 17/10/16 15:14 28

29 Accès à l'idris Demander a conserver un compte sur siolino ~/.ssh/config Host siolino HostName siolino.obspm.fr LocalForward {LaMachineDeLIDRIS}:22 Host idris HostName User {login_idris} Port tycho > ssh -ftn siolino tycho > ssh idris tycho > scp idris... 17/10/16 15:14 29

30 Machine de post-traitement 48 coeurs Intel Xeon 3.00GHz 1,5 To de mémoire partagée entre les cœurs 17/10/16 15:14 30

31 Liens Aide en ligne Utilisation de la grappe en temps réel: Liste de diffusion 17/10/16 15:14 31

32 Discussion Retour d expérience Accès aux ressources Facilité d'utilisation Documentation Évolution de vos besoins 17/10/16 15:14 Nombre de CPU Mémoire Espace de stockage 32