Règles et paramètres d'exploitation de Caparmor 2 au 11/12/2009 Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
CAPARMOR 2 La configuration actuelle Les conditions d'accès à distance règles d'exploitation Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
CAPARMOR 2 La configuration actuelle Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
Pôle de Calcul Intensif pour la Mer Remplacement de Nymphea Caparmor: phase 1 et phase 2 10.2007: Caparmor phase 1 01.2008: Adieu Nymphea 07.2009: Caparmor phase 2 10.2009: Adieu Caparmor phase 1 Actualités de Caparmor phase 2
Nymphea->caparmor: phase1,2 Cœurs Flops Mémoire Disque Nymphea 44 0.11T 136Go 2To Caparmor phase1 Caparmor phase2 x 5.8 x 28 x 7 x 7 256 3T 1To 14To x 8 x 8 x 6 x 19 2048 23T 6To 272To
Interconnexion: 4xDDR Infiniband Interconnexion: 4xDDR Infiniband Caparmor phase 2 1 Nœud = 8 cœurs 2 Quad-Core Intel Nehalem, 2.8 GHz 4 IB router pour 16 nœud 64 Nœuds /rack = 128 CPUs/rack = 512 Cores/rack 4 rack=2048 cores 2.8Ghz/Cœur =11,2 GFlops/Cœur =22.9 Tflops au total Linpack 21,345 Tflops (Top500) 24Go/Nœud => 6To au total
8 fois plus de cœurs => 8 fois plus d accès à la tête NAS => 8 fois plus lent 4 liens IB 4X DDR 2048 cores x8!! Tête NAS Altix 450 Caparmor-nas service1 Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
Métadonnées Systèmes de fichiers parallèles CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT Données CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT CLIENT SERVEUR SERVEUR
La technologie LUSTRE 2048 cores MDS(Meta Data Server) OSS(Object Storage Server) Gateway Lustre Réseau 1Go/s 180 To (Storage array and SAN fabric)
Caparmor 2 final with lustre Rack Leader Controler Admin Controler login nodes Caparmor=service4 (Back up: service0) GPU nodes Service7,8,9,10 IUEM Réseau IFREMER SHOM ENSIETA Tête NAS Altix 450, 90To /home Caparmor-nas service1 1Go/s read write 1Go/s write 2048 cores Lustre 180To /work, /temp 3.4 Go/s read 2.6 Go/s write Caparmor-sftp service2 Caparmor-lust service3
Les Nœuds GPU (service 7,8,9,10) 2048 cores stockage caparmor Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
le projet CAPARMOR les conditions d'accès à distance Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
Portail d accès EXTRANET https://portail.ifremer.fr/ https://domicile.ifremer.fr/ Comment utiliser caparmor Toutes les docs Permet de se connecter de n importe où sur caparmor Cliquer sur ssh vbannec ou Java Secure Application Manager : Demarrer ssh localhost 4022 Apres, ssh caparmor ganglia : stat de noeuds calcul
How to transfer your data Reseau IUEM, ENSIETA, SHOM, IFREMER sftp sftp-caparmor -l your-login Reseau IFREMER Montage NFS /work => /home/caparmor-work/ /temp => /home/caparmor-temp/ /home1 => /home1/caparmor/ Reseau extérieur vbannec => sftp localhost p 4022 Montage NFS. get /home9/caparmor/toto ftp eftp.ifremer.fr Caparmor: ftp eftp.ifremer.fr (login extranet) put toto Votre pc: ftp eftp.ifremer.fr (login extranet) get toto
le projet CAPARMOR quelques règles d'exploitation Pôle de Calcul Intensif pour la mer, 11 Decembre 2009
Queues batch queues nb-cores/job Elapsetime Maxcores/user sequentiel 1 96h 16 parallel8 2<n<8 72h 32 parallel32 9<n<32 48h 64 parallel64 33<n<64 24h 128 parallel256 65<n<256 12h 256 Total-cores/user : 264
Home Work Temp /export/home1 (2,3,4,5,6)/username Home is for source codes. (max 50Go) Back up. If you need temporally BIG space we will create you. (no back up) /temp/username max 5 days /work/username max 500G => creation: mail to assistance@ifremer.fr /home7,8,9 and 14 will became /work. End of usage /home7,8, 9 and 14; 31.Jan.2010 No back up on these space too!!
Home and Work:quota /work service4>1026% lfs quota -u todaka /work Disk quotas for user todaka (uid 53919): Filesystem kbytes quota limit grace files quota limit grace /work 95570224 500000000 550000000 97165 0 0 /home1 6 service4>1025% dukmyhome User ID Used Soft Hard Warn/Grace ---------- --------------------------------- todaka 10.3G 50G 55G 00 [------] If you are over the quota, you get e-mail!! If you are over soft you will be notified in how many days you have to clean. If you are over hard you can not write any more
assistance@ifremer.fr 02 98 22 42 07 ANY pb or questions: Mail to assistance or call to assistance. I lost my file on /home1/xxx. If you want an account on caparmor: send e-mail to assistance with NOM, prénom, téléphone, fax, e-mail, name of the lab, (phd student need to write who is the boss) IFREMER or CNRS etc, research topic, the program you will probably use.
Questions diverses Pôle de Calcul Intensif pour la mer, 11 Decembre 2009