Documentation NIC3. Fonctionnalité Fonction Operating System Hardware

Transcription

1 Documentation NIC3 Caractéristique de l'équipement Description matériel du cluster 1 x Supermicro SC GB RAM, 2 cpus 4 cores Intel L Ghz. 8 x Disques Hitachi 1TB SATA2 (3Gbps) 7200RPM 32MB en RAID 6. 1 x Dell Poweredge 2950: 16 GB RAM, 2 cpus 4 cores Intel L Ghz. 2 x Disques 450GB SAS 15000RPM. 13 x chassis Dell Poweredge M1000E: Power Supply 6 x 2360W GbE Pass Through Module. 54 x lames PEM600: 32 GB RAM, 2 cpus 4 cores Intel L Ghz. 1 x Disque 146GB SAS 10000RPM. 144 x lames PEM600: 16 GB RAM, 2 cpus 4 cores Intel L Ghz. 1 x Disque 146GB SAS 10000RPM. Network switches: 5 x Dell PowerConnect ports. 5 x Dell PowerConnect PCT 62xx Stacking Module 48Gbps. Fonctionnalité Fonction Operating System Hardware Portail et noeud pour le développement ClusterVisionOS 1 X Dell Poweredge2950 Master, pour le management des noeuds, pour la gestion des queues et du nfs home et scratch. ClusterVisionOS 1 X Supermicro SC743 Noeuds de calcul 8 coeurs 16GB RAM ClusterVisionOS 144 x PEM600 Noeudsde calcul 8 coeurs 32GB RAM ClusterVisionOS 54 x PEM600 Connexions Le cluster de calcul NIC3 ne dispose que d'un seul point d'entrée que nous appellerons «portail» et dont le nom dns est : nic3.ulg.ac.be. Pour se connecter sur le portail il faut utiliser un client SSH. doc/ssh.html $ ssh nic3.ulg.ac.be -lusername -Y Le portail sert également de noeud de développement interactif pour compiler et soumettre de nouveaux jobs.

2 Environnement software ClusterVisionOS, kernel el5, gcc version Les produits GNU les plus courants (bash, gawk, gdb, gnuplot, gzip, make, tar,...) Les éditeurs traditionnels en mode texte (ed, vi et emacs) ou en mode graphique (gedit et emacs). Systèmes de gestion de versions : cvs, svn, git et bzr. Les compilateurs GNU gcc standard et gcc via module add. La suite PGI Cluster Developpement Kit La suite Intel Cluster ToolKit version 11.0 avec mkl. na/eng/compilers/ htm Les librairies OpenMPI et à passage de messages MPI mpi.org/ Les librairies scientifiques : BLACS, BLAS, FFTW3, GOTOBLAS, NETCDF, DISLIN. Environnement de travail Chaque utilisateur dispose d'un HOME directory et d'un espace SCRATCH propre. Le HOME directory est sauvegardé dans le système de backup du SeGI, par contre l'espace SCRATCH ne l'est pas. L'espace SCRATCH propre est accessible par la variable d'environnement $SCRATCHDIR qui donne accès à l'espace /scratch/$user. Un deuxième espace SCRATCH local à chaque noeud est accessible par la variable d'environnement $TMPSCRATCH qui donne accès à l'espace /tmpscratch/. Étant local au noeud, cet espace de travail est plus rapide mais les données sont perdues lorsque l'exécution du job se termine. Il est obligatoire de nettoyer l'espace TMPSCRATCH à la fin de son job après avoir sauvegardé les fichiers utiles (voir exemple Abinit). Les quotas sont fixés par utilisateurs, pour le /home il est de 10GB et pour le SCARTCHDIR de 20GB, modifiables à la demande.

3 Sun Grid Engine (SGE) Introduction Le mode d'exécution batch consiste à préparer un ensemble de commandes dans un fichier script puis à le soumettre à Sun Grid Engine. Cet ensemble de commandes est appelé "job". La soumission d'un job correspond à une requête de la part de l'utilisateur et l'exécution de ce job peut être caractérisée par un ou plusieurs processus. Lorsqu'un job est soumis à SGE, celui ci va analyser le script, prendre en compte les ressources demandées par le job et chercher les noeuds disponibles pour l'exécution. Environnement parallèles disponibles Les environnements parallèles disponibles actuellement sont : snode: same node, mémoire partagée pour les jobs SMP (OpenMP) maximum 8 coeurs ou pour les jobs MPI de maximum 8 coeurs. openmpi: Communication via le réseau Gigabit ethernet pour les jobs OpenMPI. pvm: Communication via le réseau Gigabit ethernet pour les jobs PVM. Généralités Mémoire maximum disponible par coeur : 31G Temps maximum d'exécution d'un job : 480 H Nombre de coeur maximum diponible par utilisateur : 240 coeurs Utilisation de SGE Trois commandes permettent aux utilisateurs de gérer les soumissions de job. qsub: La commande qsub permet de soumettre un travail au cluster. Elle retourne immédiatement le numéro du Job. Pour pouvoir soumettre un JOB, les paramètres obligatoires sont : #$ l h_vmem=x h_vmem= hard virtual memory réservée par coeur (exemples: 512M, 1G,...). #$ l h_rt=hh:mm:ss h_rt= hard cpu run time. Le temps nécessaire pour l'exécution. Ce paramètre évite de monopoliser des cpus et de la mémoire avec un job qui boucle.

4 Pour un JOB parallèle, il faut préciser le type d'environnement et le nombre de coeurs désirés : #$ pe [openmpi,snode,pvm] nb_core (voir environnement parallèles disponibles) Les paramètres facultatifs sont : Pour forcer l'exécution sur les noeuds 16Gb : #$ l hm=false Pour forcer l'exécution sur les noeuds 32Gb : #$ l hm=true Pour être informé par (beas= begin,end,abort,stop) #$ m beas #$ m my @ulg.ac.be Exemples de soumissions en ligne de commande: pour un job série: qsub -l h_vmem=100m -l h_rt=00:60:00 example.sh pour un job parallèle openmpi avec 2 coeurs: qsub -pe openmpi 2 -l h_vmem=100m -l h_rt=00:60:00 example.sh Voir la page du manuel : man qsub! Pour la bonne utilisation du cluster veillez à optimiser les paramètres au mieux! qrsh: La commande qrsh permet d'obtenir une session interactive gérée par SGE. Les options sont les mêmes que pour la commande qsub. Exemples de soumissions en ligne de commande: pour une session interactive en mode série: qrsh -l h_vmem=100m -l h_rt=00:60:00 pour une session interactive parallèle openmpi avec 8 coeurs: qrsh -pe openmpi 8 -l h_vmem=1g -l h_rt=00:60:00 Voir la page du manuel : man qrsh qstat: La commande qstat permet d'avoir des informations sur les jobs actuellement soumis à SGE. Pour voir ses jobs : qstat Pour voir les jobs de tous les utilisateurs : qstat -u '*'

5 Voir la page du manuel : man qstat qdel: La commande qdel permet de supprimer un job à n'importe quel moment. qdel -f jobid ( f force la suppression) Voir la page du manuel : man qdel Utilisation des compilateurs, des environnements MPI et programmes particuliers: Pour utiliser les différents compilateurs, librairies et programmes particuliers, il faut utiliser la commande module. Cette commande permet de modifier dynamiquement les variables d'environnement. On peut donc d'un seul coup alterner entre les différents compilateurs, sans avoir a changer les variables d'environnement associées ou les 'paths' vers les différentes librairies et exécutables associés a ces compilateurs. Utilisation de la commande module : module av : liste les modules disponibles module add [nom du module] : charge le module module list : liste les modules chargés module rm [nom du module] : décharge le module module purge : décharge tous les modules chargés module initadd [nom du module] : module qui sera chargé automatiquement lors de chaque login. module initrm [nom du module] : supprimer le module que l'on ne désire plus charger automatiquement à chaque login. Pour plus de détail : module help. Travailler avec les différents compilateurs: Pour travailler avec les compilateurs pgi : module add pgi/8.0.2 Pour travailler avec les compilateurs intel 32 bits : module add intel/compiler/32/11.0/074 Pour travailler avec les compilateurs intel 64 bits : module add intel/compiler/64/11.0/074 Pour travailler avec les compilateurs gnu : Pas de module à charger car version du système. Pour travailler avec les compilateurs gnu : module add gcc/4.3.2 Travailler avec les compilateurs et l'environnement openmpi: Compilateurs pgi et openmpi: module add pgi/8.0.2 module add openmpi/pgi/64/1.3.0

6 Compilateurs intel et openmpi: module add intel/compiler/64/11.0/074 module add openmpi/intel/64/1.3.0 Compilateurs gnu et openmpi : module add gcc/4.3.2 module add openmpi/gcc/64/1.3.0 Travailler avec les debuggers: Debugger intel 32 bits: module add java/jdk/32/1.6.0_12 module add intel/compiler/32/11.0/074 Debugger intel 64 bits: module add java/jdk/64/1.6.0_12 module add intel/compiler/64/11.0/074 Debugger PGI (ne fonctionne pas avec compiz): module add java/jdk/64/1.6.0_12 module add pgi/8.0.2 Debugger GNU GDB : Pas de module à charger. Travailler avec d'autres produits module av module add pour lister les modules disponibles et déternimer le ou les modules à charger. pour charger les modules adéquats. Remarque: Avant de changer de produit, il est préférable de nettoyer son environement via la commande module purge. Contacts Les problèmes techniques seront centralisés par l'équipe système du SeGI : nicadm@segi.ulg.ac.be Liste nic@lists.ulg.ac.be pour échanges entre utilisateurs.

7 Création d'un script batch, exemples module add en fonction de l'environnement souhaité, semblable à celui utilisé lors de la compilation. Exemple disponible dans /u/exemples. Exemple d'un script batch pour un job série: #!/bin/sh # Nom à donner au job #$ N Serial # Ressources nécessaires pour l'exécution #$ l h_vmem=100m #$ l h_rt=0:01:30 # Pour être informé par (beas= begin,end,abort,stop) #$ m beas #$ M my @ulg.ac.be # execution dans le répertoire courant #$ cwd # Pour avoir les variables d'environement et la commande # # module sur les noeuds de calculs # source /etc/profile.d/segi.sh source /etc/profile.d/modules.sh /bin/echo Here I am. Sleeping now at: `date` time=60 sleep $time echo Now it is: `date`

8 Exemple d'un script batch pour un job parallèle Abinit openmpi avec une exécution dans le tmpscratch: #!/bin/bash # Nom du job #$ N Abinit # Ressources nécessaires pour l'exécution #$ l h_vmem=7g #$ l h_rt=05:00:00 # Pour être informé par (beas=begin,end,abort,stop) #$ m beas #$ M my @ulg.ac.be # pe=job parallèle # environnement parallèle openmpi avec 4 coeurs #$ pe openmpi 4 # execution dans le répertoire courant #$ cwd # Pour avoir les variables d'environement et la commande # # module sur les noeuds de calculs # source /etc/profile.d/segi.sh source /etc/profile.d/modules.sh module purge module add intel/compiler/64/11.0/074 intel/mkl/ openmpi/intel/64/1.3.0 abinit/5.4.4p # Copier les fichiers dans tmpscratch. subdir=$pwd datadir=$pwd/data workdir=$tmpscratch/abinit_4cores_$job_id mkdir $workdir cp $datadir/* $workdir/ # Start the calculation. cd $workdir mpirun np $NSLOTS mca btl self,sm,tcp abinip < cubic.files # Recopier les fichier dans la home mv $workdir $subdir

9 Exemple d'un script batch pour un job parallèle smp OpenMP de 30Gb: #!/bin/sh # Nom à donner au job #$ N OpenMP # Ressources nécessaires pour l'exécution #$ l h_vmem=30g #$ l h_rt=0:01:30 # Pour être informé par (beas=begin,end,abort,stop) #$ m beas #$ M my @ulg.ac.be # pe = Job parallèle # environnement parallèle snode avec 8 coeurs #$ pe snode 8 # execution dans le répertoire courant #$ cwd # Pour avoir les variables d'environement et la commande # # module sur les noeuds de calculs # source /etc/profile.d/segi.sh source /etc/profile.d/modules.sh module purge module add pgi/8.0.2 # # OpenMP environment export OMP_NUM_THREADS=$NSLOTS # #Start OpenMP Work./looper

10 Exemple d'un script batch pour un job parallèles pvm: #!/bin/sh # Nom à donner au job #$ N PVM # Ressources nécessaires pour l'exécution #$ l h_vmem=5g #$ l h_rt=0:10:30 # Pour être informé par (beas=begin,end,abort,stop) #$ m beas #$ M my @ulg.ac.be # pe = Job parallèle # environnement parallèle snode avec 4 coeurs #$ pe pvm 4 # execution dans le répertoire courant #$ cwd # # Pour avoir les variables d'environement et la commande # # module sur les noeuds de calculs # source /etc/profile.d/segi.sh source /etc/profile.d/modules.sh module purge module add gcc/4.3.2 /u/exemples/pvm/gc_master1