Formation utilisateurs grille

Transcription

1 TP Formation utilisateurs grille 13 et 14 Décembre 2010 PARTIE 1 : AUTHENTIFICATION ET AUTORISATION PARTIE 2 : SYSTEME D INFORMATION BDII PARTIE 3 : SOUMISSION DE JOBS Chaque partie est structurée en 2 volets : - Aide et outils pour la pratique - Pratique Auteur : Nabil Talhaoui 1/30

2 OUTILS - PARTIE 1 AUTHENTIFICATION ET AUTORISATION Importation d'un certificat dans un navigateur web Netscape: Cliquez sur l'icône "sécurité" (ou passez par le menu Communicator/outils/Information sur la sécurité), puis cliquez sur le choix "vos certificats". Cliquez ensuite sur "Importer un certificat". Mozilla: Dans le menu Outils/Options aller dans l'onglet "Chiffrement" puis dans "afficher les certificats". Cliquez sur l onglet "Vos certificats". Cliquez ensuite sur le bouton "Importer ". Internet Explorer: Dans le menu Outils/Options Internet, aller dans l'onglet "contenu" et cliquer sur "certificats". Cliquez ensuite sur "Importer". Exportation ou Sauvegarde d'un certificat à partir d un navigateur web Netscape: Cliquez sur l'icône "sécurité" (ou passez par le menu Communicator/outils/Information sur la sécurité), puis cliquez sur le choix "vos certificats". Cliquez ensuite sur "Exporter un certificat". Mozilla: Dans le menu Outils/Options aller dans l'onglet "Chiffrement" puis dans "afficher les certificats". Cliquez sur l onglet "Vos certificats". Cliquez ensuite sur le bouton "Sauvegarder ". Internet Explorer: Dans le menu Outils/Options Internet, aller dans l'onglet "contenu" et cliquer sur "certificats". Cliquez ensuite sur "Exporter". NB : le nom de certificat doit être sous forme de «nom_certif.p12» Auteur : Nabil Talhaoui 2/30

3 Exportation ou Sauvegarde d'un certificat à partir d un navigateur web Cas de FireFox: Ouvrir votre navigateur. Dans le cas d utilisation de FireFox, dans le menu Outils. Choisir Options, sélectionner la section "Avancé", et l onglet "Chiffrement". Puis cliquer sur le bouton "Afficher les certificats". Cliquez sur l onglet "Vos certificats". Pour importer votre certificat dans le format PKCS#12 dans votre navigateur cliquez sur le bouton "Import". Auteur : Nabil Talhaoui 3/30

4 Pour sauvegarder, cliquez sur le bouton "Sauvegarder ". La sauvegarde du certificat doit être dotée d un mot de passe de sauvegarde "passphrase" Auteur : Nabil Talhaoui 4/30

5 Auteur : Nabil Talhaoui 5/30

6 Copier le certificat à partir d une machine windows vers une machine UNIX Utiliser FTP ou autre outils de transfert de fichier (WinSCP par exemple). Télécharger pscp.exe, puis mettez-le dans le répertoire qui contient le certificat sauvegardé. Ou bien télécharger WinSCP.exe sur votre bureau. En utilisant «pscp» 1- Lancer l invité de commande 2- cd <chemin de répertoire> 3- pscp certificat <username>@ui.magrid.ma:/home/username En utilisant «WinSCP» 1- Double cliquer sur WinSCP.exe 2- Copiez le certificat vers le répertoire user /home/username Se connecter à la machine User Interface Utiliser l outil Putty (télécharger Putty.exe) $ ssh <username>@ui.magrid.ma Créer le répertoire.globus [ui] /home/talhaoui > cd ~/ [ui] /home/talhaoui > mkdir.globus Vérifier la présence du certificat [ui] /home/talhaoui > ls Certif_file.p12 Convertir le certificat du format pk12 au format pem [ui] /home/talhaoui > openssl pkcs12 -in Certif_file.p12 -clcerts -nokeys -out ~/.globus/usercert.pem [ui] /home/talhaoui > openssl pkcs12 -in Certif_file.p12 -nocerts -out ~/.globus/userkey.pem [ui] /home/talhaoui > cd ~/.globus [ui] /home/talhaoui/.globus > ls Auteur : Nabil Talhaoui 6/30

7 usercert.pem userkey.pem Convertir le certificat du format pem au format pk12 [ui] /home/talhaoui > cd ~/.globus [ui] /home/talhaoui/.globus > openssl pkcs12 -export -in usercert.pem \ - inkey userkey.pem -out packed-cert.p12 Changer les droits des certificats [ui] /home/talhaoui/.globus > chmod 400 userkey.pem [ui] /home/talhaoui/.globus > chmod 644 usercert.pem [ui] /home/talhaoui/.globus > ls -ll total 20 -rw-r--r-- 1 talhaoui talhaoui 1813 jan 22 14:41 usercert.pem -r talhaoui talhaoui 1913 jan 22 14:41 userkey.pem Faire une copie de sauvegarde des clés du certificat [ui] /home/talhaoui > cp -rp ~/.globus ~/.globus.original Utiliser la commande openssl pour lire le contenu du certificat. [ui] /home/talhaoui > openssl x509 -text -noout -in usercert.pem Inspecter le certificat. [ui] /home/talhaoui > grid-cert-info Certificate: Data: Version: 3 (0x2) Serial Number: 61 (0x3d) Signature Algorithm: sha1withrsaencryption Issuer: C=MA, O=MaGrid, CN=MaGrid CA Validity Not Before: Dec 21 12:30: GMT Not After : Jan 20 12:30: GMT Subject: C=MA, O=MaGrid, OU=CNRST, CN=Nabil Talhaoui Subject Public Key Info: Public Key Algorithm: rsaencryption RSA Public Key: (2048 bit) Modulus (2048 bit): 00:c3:77:76:05:0b:7b:15:3a:3d:1d:21:1e:b8:8b:... [ui] /home/talhaoui > grid-cert-info -subject /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui [ui] /home/talhaoui > grid-cert-info -issuer /C=MA/O=MaGrid/CN=MaGrid CA [ui] /home/talhaoui > grid-cert-info -enddate Jan 20 12:30: GMT Auteur : Nabil Talhaoui 7/30

8 [ui] /home/talhaoui > grid-cert-info -startdate Dec 21 12:30: GMT Création d'un proxy [ui] /home/talhaoui > grid-proxy-init Ou, en utilisant VOMS : [ui] /home/talhaoui > voms-proxy-init --voms eumed Si tout est bien vous devez avoir quelque chose similaire à : [talhaoui@ui ~]$ voms-proxy-init --voms eumed Enter GRID pass phrase: Your identity: /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Creating temporary proxy... Done Contacting voms2.cnaf.infn.it:15016 [/C=IT/O=INFN/OU=Host/L=CNAF/CN=voms2.cnaf.infn.it] "eumed" Done Creating proxy... Done Your proxy is valid until Thu Dec 9 18:35: Visualisation des informations sur votre proxy Une fois que votre proxy a été créé, vous pouvez visualiser des informations sur le proxy par la commande voms-proxy-info -all. [talhaoui@ui ~]$ voms-proxy-info -all subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui/CN=proxy issuer : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui identity : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui type : proxy strength : 1024 bits path : /tmp/x509up_u511 timeleft : 11:53:46 === VO eumed extension information === VO : eumed subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui issuer : /C=IT/O=INFN/OU=Host/L=CNAF/CN=voms2.cnaf.infn.it attribute : /eumed/role=null/capability=null timeleft : 11:52:56 uri : voms2.cnaf.infn.it:15016 Et vous pouvez également détruire le proxy déjà créé. [ui] /home/talhaoui > voms-proxy-destroy [ui] /home/talhaoui > voms-proxy-info -all Couldn't find a valid proxy. Auteur : Nabil Talhaoui 8/30

9 PRATIQUE - PARTIE 1 AUTHENTIFICATION ET AUTORISATION A - La demande de certificat et l'enregistrement dans une VO 1. Connectez-vous sur le site de certification pour MaGrid : 2. Remplissez les données du premier formulaire, cliquez sur [suite]; Choisissez votre organisme, puis cliquez sur [suite]; Le résumé des informations apparaît. Si vous aviez cliqué sur [suite], la demande aurait été envoyée. A la fin de la demande vous devez imprimer la page qui contient les informations saisies, et allez au RA (ou bien le CA) avec une la photocopie de la pièce d identité (CIN), pour la validation de votre demande. Une fois la demande acceptée, vous auriez reçu un mail, contenant un lien sur lequel cliquer. A l'ouverture de la page correspondante, votre certificat aurait été importé dans votre navigateur. 3. Pour s'enregistrer comme membre d'une VO "Eumed" dans notre cas: Infos sur les VOs : B - Importation, exportation et utilisation du certificat 1. Connectez-vous sur la machine ui.magrid.ma 2. Récupérez votre certificat au format pkcs12 (~/nom_certif.p12) et importez-le dans votre navigateur 3. Vérifiez que le certificat a été importé correctement. 4. Faite une sauvegarde de votre certificat au format pkcs12 (nom_certif.p12) Auteur : Nabil Talhaoui 9/30

10 C - Installation et configuration du certificat 1. Sur la machine ui.magrid.ma, créez, dans votre home directory, le répertoire.globus 2. Importez les clés publique et privée de votre certificat au bon format et avec les bons droits 3. Faites une copie de sauvegarde des clés du certificat 4. Repérez les différents champs du certificat (sujet, validité...) en lisant son contenu avec la commande openssl 5. Effacez les fichiers du répertoire.globus et restaurez votre copie de sauvegarde D - Initialisation de l'environnement de travail : Fonctionnement en lignes de commande 1. Depuis la machine ui.magrid.ma, demandez un proxy à l'aide de la fonction voms-proxy-init 2. Affichez les informations du proxy créé 3. Détruisez le proxy déjà créé, et vérifiez l opération 4. Demandez à nouveau un proxy F - Récupération des fichiers utilisés pour les exercices suivants 1. Depuis serv1.marwan.ma, récupérez l'archive contenant ces fichiers : [ui] /home/username > wget ftp://serv1.marwan.ma/pub/grid/tp-user-grid.tgz 2. Décompressez l'archive dans votre home directory: [ui] /home/username > tar -zxvf tp-user-grid.tgz Auteur : Nabil Talhaoui 10/30

11 OUTILS PARTIE 2 SYSTEME D INFORMATION BDII Utilisation de la commande lcg-infosites Pour avoir les informations relatives aux Computing Element (CE) : [talhaoui@ui ~]$ lcg-infosites --vo eumed ce #CPU Free Total Jobs Running Waiting ComputingElement grid2.cck.rnu.tn:8443/cream-pbs-eumed ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed ce01.grid.um.edu.mt:8443/cream-pbs-eumed kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed ce1.cnrst.magrid.ma:8443/cream-pbs-eumed paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed ce2.cnrst.magrid.ma:8443/cream-pbs-eumed sbgce2.in2p3.fr:8443/cream-pbs-eumed ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed ce01.junet.edu.jo:8443/cream-pbs-eumed yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed grid01.erciyes.edu.tr:8443/cream-pbs-eumed ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed srvslngrd004.uct.ac.za:8443/cream-pbs-eumed ituce.grid.itu.edu.tr:8443/cream-pbs-eumed sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed marcream01.in2p3.fr:8443/cream-pbs-eumed marce01.in2p3.fr:2119/jobmanager-pbs-eumed ce-grid.obspm.fr:2119/jobmanager-pbs-eumed ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Pour avoir les informations relatives aux Storage Element (SE) : [talhaoui@ui ~]$ lcg-infosites --vo eumed se Avail Space(Kb) Used Space(Kb) Type SEs n.a se01.isabella.grnet.gr n.a n.a n.a se01.isabella.grnet.gr n.a se01.grid.um.edu.mt n.a torik1.ulakbim.gov.tr n.a gridsrv3-4.dir.garr.it n.a dpm01.junet.edu.jo n.a n.a prod-se-02.ct.infn.it n.a se01.grid.hiast.edu.sy n.a se01.grid.hiast.edu.sy n.a se1.cnrst.magrid.ma n.a se2.cnrst.magrid.ma n.a marsedpm.in2p3.fr Auteur : Nabil Talhaoui 11/30

12 n.a se0.m3pec.u-bordeaux1.fr n.a se0.m3pec.u-bordeaux1.fr n.a sbgse1.in2p3.fr n.a se-eugrid.eri.sci.eg n.a se-dpm-server-grid.obspm.fr n.a se-dpm-server-grid.obspm.fr n.a n.a grid02.erciyes.edu.tr n.a n.a storm-01.roma3.infn.it n.a n.a storm-01.roma3.infn.it n.a ituse.grid.itu.edu.tr n.a reyhan.grid.boun.edu.tr Pour savoir le LFC : [ui] /home/talhaoui > lcg-infosites --vo eumed lfc lfc.isabella.grnet.gr Pour avoir les informations relatives aux différentes VOs : [talhaoui@ui ~]$ lcg-infosites --vo eumed -v 1 ce --is bdii.eumedgrid.eu grid2.cck.rnu.tn:8443/cream-pbs-eumed ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed ce01.grid.um.edu.mt:8443/cream-pbs-eumed kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed ce1.cnrst.magrid.ma:8443/cream-pbs-eumed paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed ce2.cnrst.magrid.ma:8443/cream-pbs-eumed sbgce2.in2p3.fr:8443/cream-pbs-eumed ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed ce01.junet.edu.jo:8443/cream-pbs-eumed yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed grid01.erciyes.edu.tr:8443/cream-pbs-eumed ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed srvslngrd004.uct.ac.za:8443/cream-pbs-eumed ituce.grid.itu.edu.tr:8443/cream-pbs-eumed sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed marcream01.in2p3.fr:8443/cream-pbs-eumed marce01.in2p3.fr:2119/jobmanager-pbs-eumed ce-grid.obspm.fr:2119/jobmanager-pbs-eumed ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Pour avoir les informations relatives aux CEs reliés aux SEs : [talhaoui@ui ~]$ lcg-infosites --vo eumed closese Name of the CE: grid2.cck.rnu.tn:8443/cream-pbs-eumed Name of the CE: ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed se01.grid.hiast.edu.sy se01.grid.hiast.edu.sy Name of the CE: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed se01.isabella.grnet.gr se01.isabella.grnet.gr Name of the CE: grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed prod-se-02.ct.infn.it Name of the CE: ce01.grid.um.edu.mt:8443/cream-pbs-eumed se01.grid.um.edu.mt Name of the CE: kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed Auteur : Nabil Talhaoui 12/30

13 torik1.ulakbim.gov.tr Name of the CE: gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed gridsrv3-4.dir.garr.it Name of the CE: infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed Name of the CE: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed se1.cnrst.magrid.ma Name of the CE: paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed Name of the CE: ce2.cnrst.magrid.ma:8443/cream-pbs-eumed se2.cnrst.magrid.ma Name of the CE: sbgce2.in2p3.fr:8443/cream-pbs-eumed sbgse1.in2p3.fr Name of the CE: ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed se-eugrid.eri.sci.eg Name of the CE: cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed se0.m3pec.u-bordeaux1.fr se0.m3pec.u-bordeaux1.fr Name of the CE: ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed se0.m3pec.u-bordeaux1.fr se0.m3pec.u-bordeaux1.fr Name of the CE: ce01.junet.edu.jo:8443/cream-pbs-eumed dpm01.junet.edu.jo Name of the CE: yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed reyhan.grid.boun.edu.tr Name of the CE: grid01.erciyes.edu.tr:8443/cream-pbs-eumed grid02.erciyes.edu.tr Name of the CE: ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed storm-01.roma3.infn.it storm-01.roma3.infn.it Name of the CE: ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed Name of the CE: srvslngrd004.uct.ac.za:8443/cream-pbs-eumed Name of the CE: ituce.grid.itu.edu.tr:8443/cream-pbs-eumed ituse.grid.itu.edu.tr Name of the CE: sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed sbgse1.in2p3.fr Name of the CE: marcream01.in2p3.fr:8443/cream-pbs-eumed marsedpm.in2p3.fr Name of the CE: marce01.in2p3.fr:2119/jobmanager-pbs-eumed marsedpm.in2p3.fr Name of the CE: ce-grid.obspm.fr:2119/jobmanager-pbs-eumed se-dpm-server-grid.obspm.fr se-dpm-server-grid.obspm.fr Name of the CE: ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Auteur : Nabil Talhaoui 13/30

14 Utilisation de la commande lcg-info La commande lcg-info peut être utilisée pour lister les CEs et SEs qui satisfassent un certain nombre de conditions sur leurs attributs, et aussi d afficher les valeurs de ces attributs, les valeurs sont récupérées à partir du BDII Usage : lcg-info [--list-ce --list-se] [--query] [--attrs] --help Affiche le manuel d aide. --list-attrs Affiche la liste des attributs qui sont requis. --list-ce Affiche les CEs qui satisfassent les requêtes sinon tous les CEs sont affichés. --list-se Affiche les SEs qui satisfassent les requêtes sinon tous les SEs sont affichés. --query Restreints les sorties des CEs (SEs) qui satisfassent les requêtes. --bdii Permet de spécifier le BDII: --attrs Spécifie les attributs que leurs valeurs doivent être affichées --vo Restreints les sorties des CEs ou SEs au VO, si autorisé!! [ui] /home/talhaoui > lcg-info --list-attrs Attribute name Glue object class Glue attribute name WorstRespTime GlueCE GlueCEStateWorstResponseTime CEAppDir GlueCE GlueCEInfoApplicationDir TotalCPUs GlueCE GlueCEInfoTotalCPUs MaxRunningJobs GlueCE GlueCEPolicyMaxRunningJobs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs MaxCPUTime GlueCE GlueCEPolicyMaxCPUTime LRMSVersion GlueCE GlueCEInfoLRMSVersion MaxTotalJobs GlueCE GlueCEPolicyMaxTotalJobs CEStatus GlueCE GlueCEStateStatus LRMS GlueCE GlueCEInfoLRMSType CEVOs GlueCE GlueCEAccessControlBaseRule AssignedJobSlots GlueCE GlueCEPolicyAssignedJobSlots FreeCPUs GlueCE GlueCEStateFreeCPUs RunningJobs GlueCE GlueCEStateRunningJobs [..] Simple requête : Lister tous les CEs dans le BDII qui satisfassent les conditions (TotalCPUs=2) et afficher les attributs (FreeCPUs,!TotalJobs) [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --query 'TotalCPUs>=2' -- attrs 'RunningJobs,FreeCPUs' - CE: ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed - RunningJobs 0 - FreeCPUs CE: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed - RunningJobs 0 - FreeCPUs 2 - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - RunningJobs 1 - FreeCPUs 19 - CE: cream-ce-1.ba.infn.it:8443/cream-pbs-infinite - RunningJobs 3 - FreeCPUs CE: cream-ce-1.ba.infn.it:8443/cream-pbs-long - RunningJobs 24 - FreeCPUs 846 Auteur : Nabil Talhaoui 14/30

15 - CE: cream-ce-1.ba.infn.it:8443/cream-pbs-short - RunningJobs 7 - FreeCPUs CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-infinite - RunningJobs 3 - FreeCPUs CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-long - RunningJobs 24 - FreeCPUs CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-short - RunningJobs 7 - FreeCPUs CE: grid001.ts.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 43 - FreeCPUs CE: grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed - RunningJobs 0 - FreeCPUs 5 - CE: gridce.sns.it:2119/jobmanager-lcgpbs-grid - RunningJobs 0 - FreeCPUs CE: gridce0.pi.infn.it:8443/cream-lsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: gridce1.pi.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: gridce2.pi.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: infn-ce-01.ct.pi2s2.it:2119/jobmanager-lcglsf-eumed - RunningJobs 0 - FreeCPUs 0 - CE: kalkan1.ulakbim.gov.tr:2119/jobmanager-lcgpbs-eumed - RunningJobs 0 - FreeCPUs 209 L une des plus importante utilisation de "lcg-info" est de vérifier quel packages de software qui sont disponibles sur les CEs. Les packages de software sont stockés dans l attribut "Tag" et peuvent être affichés par : lcg-info --vo eumed --list-ce --attrs Tag [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --attrs Tag [..] - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - Tag ASTRA-STK CODESA3D-1.0 DEMTOOLS-1.0 EGEODE-1.0 GEANT4-6 GLITE-3_0_0 GLITE-3_0_1 GLITE-3_0_2 GLITE-3_1_0 LCG-2 LCG-2_1_0 LCG-2_1_1 Auteur : Nabil Talhaoui 15/30

16 [..] LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_5_0 LCG-2_6_0 LCG-2_7_0 MM5-3.7 MPICH MPICH R-GMA SCILAB-2.6 SF00MeanPerCPU=941 SI00MeanPerCPU=819 VO-eumed-ASTRA VO-eumed-PARAVIEW-2.4 Avec la commande "lcg-info" on peut allez plus loin. Supposez que vous voulez trouvez tous les sites qui supportent le package MPICH et vous voulez savoir combien de CPUs qui sont disponibles et d autres softwares supportés sur ces sites. Ceuxci peut être accompli par la commande: lcg-info --vo eumed --list-ce --query 'Tag=MPICH' --attrs 'FreeCPUs,Tag' [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --query 'Tag=MPICH' -- attrs 'FreeCPUs,Tag' [..] - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - FreeCPUs 19 - Tag ASTRA-STK CODESA3D-1.0 DEMTOOLS-1.0 EGEODE-1.0 GEANT4-6 GLITE-3_0_0 GLITE-3_0_1 GLITE-3_0_2 GLITE-3_1_0 LCG-2 LCG-2_1_0 LCG-2_1_1 LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_5_0 LCG-2_6_0 LCG-2_7_0 MM5-3.7 MPICH MPICH R-GMA SCILAB-2.6 SF00MeanPerCPU=941 SI00MeanPerCPU=819 VO-eumed-ASTRA VO-eumed-PARAVIEW-2.4 [..] Comme déjà cité auparavant en ce qui concerne l option closese dans la commande "lcginfosites", avec "lcg-info" il est possible d afficher les SEs les plus proches des CEs possibles. lcg-info --vo eumed --list-se -attrs 'AvailableSpace,CloseCE' Auteur : Nabil Talhaoui 16/30

17 [ui] /home/talhaoui > lcg-info --vo eumed --list-se -attrs 'AvailableSpace,CloseCE' [..] - SE: se1.cnrst.magrid.ma - AvailableSpace CloseCE ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-ops ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-eumed ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-atlas ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-dteam ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-biomed [..] En utilisant l option --bdii, il est possible d obtenir le même résultat: lcg-info --vo eumed --bdii bdii.eumedgrid.org: list-se -attrs 'AvailableSpace,CloseCE' Interrogation d'un BDII Lister les CEs répertoriés et les SEs associés : [talhaoui@ui2 ~]$ ldapsearch -x -H ldap://bdii1.cnrst.magrid.ma:2170 -b "mds-voname=ma-01-cnrst, o=grid" 'objectclass=gluecesebind' GlueCESEBindCEUniqueID GlueCESEBindSEUniqueID # extended LDIF # # LDAPv3 # base <mds-vo-name=ma-01-cnrst, o=grid> with scope subtree # filter: objectclass=gluecesebind # requesting: GlueCESEBindCEUniqueID GlueCESEBindSEUniqueID # # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-cert, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-cert,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-cert # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-eumed, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-eumed,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-atlas, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-atlas,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-atlas # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-biomed, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-biomed,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-biomed # search result search: 2 result: 0 Success # numresponses: 5 # numentries: 4 Auteur : Nabil Talhaoui 17/30

18 PRATIQUE PARTIE 2 SYSTEME D INFORMATION BDII A Utilisation de la commande "lcg-infosites" 1. Lister les informations relatives aux CE 2. Lister les informations relatives aux SE, puis LFC 3. Utiliser l option v 1 et l option v 2, à quoi sert ces options!! 4. Utiliser l option --is bdii 5. Afficher la liste des CEs en proximité des SEs B - Utilisation de la commande "lcg-info" 1. Afficher tous les attributs du CE 2. Lister tous les CEs dans le BDII qui satisfassent les conditions (TotalCPUs=10) et afficher les attributs (FreeCPUs,!TotalJobs,WaitingJobs) 3. Afficher la liste des attributs Tag 4. Afficher tous les sites qui supportent MPICH 6. Afficher les CEs qui sont en proximité avec SEs (CloseCE) et l espace disque disponible, en utilisant l option --bdii 7. Lister les SEs qui supportent votre VO, et afficher les chemin où vous avez les droits d écriture C - Interrogation d'un BDII 1. Interrogez le BDII tournant sur "bdii.eumedgrid.eu" de manière à afficher la liste des CEs répertoriés, ainsi que les SEs associés. Visualisez le résultat. NB: Toutes les commandes sont appliquées sur la VO "eumed" et le bdii " bdii.eumedgrid.eu ". Auteur : Nabil Talhaoui 18/30

19 OUTILS PARTIE 3 SOUMISSION DE JOBS Soumission d un job simple Pour pouvoir soumettre un job on doit donner une description de celui-ci (Quel programme? quelles données? quels softs, quels OS, quels besoins spécifiques...). Une fois le job est préparé sous forme d un fichier.jdl, on soumet le job par la commande: glite-wms-job-submit --autm-delegation -o JobId fichier.jdl et on récupère du système un identifiant de job unique (JobId) Pour spécifier dans le JDL un site particulier pour la soumission : Requirements=other.GlueCEUniqueID=="<CEHostname>:8443/<QueueName>" Exemple : simple.jdl: Type = "Job"; JobType = "Normal"; Executable = "/bin/hostname"; Arguments = "-f"; StdOutput = "hostname.out"; StdError = "hostname.err"; OutputSandbox = {"hostname.err","hostname.out"}; Cette soumission peut s effectuer sur la grille à travers le processus du WMS, avec la nouvelle version glite3.2 et le nouveau service CREAM, il se peut de lancer des jobs directement sur un cluster déjà choisi par les commandes IS de recherches (lcg-infosites), et avec des petites modifications des attributs du JDL : Exemple : simple.jdl: Type = "Job"; JobType = "Normal"; Executable = "/bin/hostname"; Arguments = "-f"; StdOutput = "hostname.out"; StdError = "hostname.err"; OutputSandbox = {"hostname.err","hostname.out"}; OutputSandboxBaseDestUri = "gsiftp://localhost"; La ligne OutputSandboxBaseDestUri = "gsiftp://localhost"; indique la destination des résultats du job, pour ce cas directement sur le serveur gridftp du CE, on peut choisir un autre serveur gridftp par exemple : OutputSandboxBaseDestUri = "gsiftp://se1.cnrst.magrid.ma/tmp" ;, dans ce cas les donnés sont récupérer automatiquement sur le SE1 dans le répertoire tmp, mais dans le premier cas les résultats doivent être récupérer après l exécution du job par des commandes spécifiques. Liste des sites sur lesquels un job peut être soumis En utilisant les commandes du MWS : Avant de soumettre le job il est utile de savoir la liste des sites qui peuvent accepter le job. Ceuxci peut se faire grâce à la commande glite-wms-job-list-match Auteur : Nabil Talhaoui 19/30

20 ~]$ glite-wms-job-list-match --autm-delegation simple.jdl Connecting to the service ========================================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* - ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed - ce-4.dir.garr.it:2119/jobmanager-lcgpbs-eumed - ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed - ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed - ce.eumedgrid.eun.eg:2119/jobmanager-lcgpbs-eumed ========================================================================== En utilisant les commandes du CREAM : Il suffit d utiliser la commande lcg-infosites pour savoir le site que vous désirez pour votre job Soumission du job avec wms [talhaoui@ui ~]$ glite-wms-job-submit --autm-delegation -o JobId simple.jdl Connecting to the service ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: The job identifier has been saved in the following file: /home/talhaoui/jobid ========================================================================== Le fichier /home/talhaoui/jobid est la sortie du processus de soumission. Il contient d identifiant du job retourné par le processus de soumission. Si un autre job est soumis (par la répétition de la même ligne de commande) l identifiant du job est ajouté dans le fichier. NB : la délégation du proxy est automatique on peut l écrire -a au lieu du --autm-delegation et comme on peut créer une délégation spécifique. Soumission du job avec cream-ce directement sur le cluster [talhaoui@ui ~]$ glite-ce-job-submit -a -r ce1.cnrst.magrid.ma:8443/cream-pbs-eumed -o jobid_cream simple.jdl :41:35,257 WARN - No configuration file suitable for loading. Using built-in configuration Le fichier /home/talhaoui/jobid_cream est la sortie du processus de soumission. Il contient d identifiant du job retourné par le processus de soumission Auteur : Nabil Talhaoui 20/30

21 L option -r ce1.cnrst.magrid.ma:8443/cream-pbs-eumed permet au job de s exécuter directement sur le ce1 sans passer dans le processus du WMS. Cette option est valable pour le WMS pour gagner plus de temps sur la recherche des ressources!!! Récupération du statut du job avec wms Avec la commande glite-wms-job-status -i JobId on peut savoir l état du Job et aussi l état de tous les job dont leurs identifiant inscrit dans le fichier JobId [talhaoui@ui ~]$ glite-wms-job-status -i jobid : 2 : a : all q : quit Choose one or more jobid(s) in the list - [1-2]all: (on choisi 1 ou 2 selon la lsite) Si on choisit 1 on trouve ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Running Status Reason: unavailable Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:26: WET ========================================================================== Et si on choisit 2 on trouve que le job est exécuté, on peut dire que le job 2 est exécuté avec succès et les résultats sont disponibles pour la récupération. Choose one or more jobid(s) in the list - [1-2]all:2 ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Done (Success) Logged Reason(s): - job completed - Job Terminated Successfully Exit code: 0 Status Reason: Job Terminated Successfully Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:39: WET ====================================================================================== Et avec l option "-v 3" on peut avoir plus de details (il y a aussi " v 2") on peut aussi utiliser directement l Id du job 84ONCgjekFktew Auteur : Nabil Talhaoui 21/30

22 ~]$ glite-wms-job-status -v pd.infn.it:9000/iUCst9Q-84ONCgjekFktew ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Running Status Reason: unavailable Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:26: WET Cancelling = 0 - Ce node = wn5.cnrst.magrid.ma - Children num = 0 - Condor job exit status = 0 - Condor job pid = 0 - Condor shadow exit status = 0 - Condor shadow pid = 0 - Condor starter exit status = 0 - Condor starter pid = 0 - Cputime = 0 - Destination = ce1.cnrst.magrid.ma:8443/cream-pbs-eumed - Done code = 0 - Expectupdate = 0 - Jobtype = 0 - Lastupdatetime = Thu Dec 9 07:27: WET - Location = LRMS/worknode/wn5.cnrst.magrid.ma - Network server = 01.pd.infn.it:7443/glite_wms_wmproxy_server - Owner = /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui - Payload running = 1 - Pbs exit status = 0 - Pbs pid = 0 - Possible ce nodes = wn5.cnrst.magrid.ma - Possible destinations = ce1.cnrst.magrid.ma:8443/cream-pbs-eumed - Resubmitted = 0 - Stateentertime = Thu Dec 9 07:27: WET - Subjob failed = 0 - Suspended = 0 - Remove from proxy = 0 - Ui host = ui.magrid.ma - Sandbox retrieved = 0 [..] - Stateentertimes = Submitted : Thu Dec 9 07:26: WET Waiting : Thu Dec 9 07:26: WET Ready : Thu Dec 9 07:26: WET Scheduled : Thu Dec 9 07:26: WET Running : Thu Dec 9 07:27: WET Done : --- Cleared : --- Aborted : --- Cancelled : --- Unknown : --- ========================================================================== Récupération du statut du job avec cream-ce Avec la commande glite-ce-job-status -i JobId_Cream on peut savoir l état du Job Auteur : Nabil Talhaoui 22/30

23 ~]$ glite-ce-job-status -i jobid_cream :54:09,820 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Status = [REALLY-RUNNING] Et avec l option "-L 2" on peut avoir plus de détails (il y a aussi " L 1") [talhaoui@ui ex4]$ glite-ce-job-status -L :59:13,407 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Current Status = [REALLY-RUNNING] Working Dir = [[reserved]] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [fbba61073c26c7d2a5277d d83cb629] DelegProxyInfo = [Valid From : 12/9/10 7:36 AM (GMT) Valid To : 12/9/10 6:33 PM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn5.cnrst.magrid.ma] Local User = [eumed019] CREAM ISB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/17/CREAM /ISB] CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/17/CREAM /OSB] JDL = [[ Arguments = "-f"; QueueName = "eumed"; JobType = "Normal"; Executable = "/bin/hostname"; VirtualOrganisation = "eumed"; StdOutput = "simple.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://ui.magrid.ma/tmp"; StdError = "simple.err"; BatchSystem = "pbs"; OutputSandbox = { "simple.err","simple.out" } ]] Type = [Normal] Job status changes: Status = [REGISTERED] - [Thu 09 Dec :40:48] ( ) Status = [PENDING] - [Thu 09 Dec :40:49] ( ) Status = [IDLE] - [Thu 09 Dec :40:49] ( ) Status = [RUNNING] - [Thu 09 Dec :40:53] ( ) Status = [REALLY-RUNNING] - [Thu 09 Dec :41:44] ( ) Issued Commands: *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec :40:48] ( ) Start Scheduling Time = [Thu 09 Dec :40:48] ( ) Start Processing Time = [Thu 09 Dec :40:48] ( ) Execution Completed Time = [Thu 09 Dec :40:49] ( ) *** Command Name = [JOB_START] Auteur : Nabil Talhaoui 23/30

24 Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec :40:49] ( ) Start Scheduling Time = [Thu 09 Dec :40:49] ( ) Start Processing Time = [Thu 09 Dec :40:49] ( ) Execution Completed Time = [Thu 09 Dec :40:55] ( ) ************************************************************* Si on lance un autre job avec le même fichier des identifiants on aura comme statu [talhaoui@ui ~]$ glite-ce-job-status -i jobid_cream :06:49,813 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Status = [REALLY-RUNNING] ****** JobID=[ Status = [DONE-OK] ExitCode = [0] Le 2 ème job maintenant est exécuté avec succès et les résultats sont disponibles sur le serveur gridftp du CE pour la récupération. Récupération de la sortie du job avec wms Une fois l état du job a atteint la fin "Done (Success) ", on peut récupérer les résultats grâce à la commande glite-wms-job-output on peut savoir l état du Job [ui] /home/talhaoui > glite-wms-job-output -i JobId --dir out_job Connecting to the service ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /home/talhaoui/out_job ================================================================================ Vérification de l état du job [ui] /home/talhaoui > glite-job-status -v 3 -i JobId ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Cleared Status Reason: user retrieved output sandbox Destination: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed Submitted: Thu Apr 29 11:14: WET --- [..] Auteur : Nabil Talhaoui 24/30

25 - Stateentertimes = Submitted : Thu Apr 29 11:14: WET Waiting : Thu Apr 29 11:14: WET Ready : Thu Apr 29 11:14: WET Scheduled : Thu Apr 29 11:14: WET Running : Thu Apr 29 11:23: WET Done : Thu Apr 29 11:34: WET Cleared : Thu Apr 29 11:57: WET Aborted : --- Cancelled : --- Unknown : --- ************************************************************* Vérification des résultats : [ui] /home/talhaoui > cd out_job/ [ui] /home/talhaoui/out_job > ls simple.err simple.out [ui] /home/talhaoui/out_job > cat simple.out wn03.isabella.grnet.gr Annulation du job Si le job est erroné on peut l annuler par la commande : glite-wms-job-cancel -i JobId [ui] /home/talhaoui > glite-wms-job-cancel -i JobId Are you sure you want to remove specified job(s) [y/n]y : y Error - Cancel not allowed Current Job Status is Cleared Dans ce cas le job ne peut pas être annulé car il a été exécuté avec succès et son état actuel est cleared, c-à-dire que les résultats sont déjà récupérés. Récupération de la sortie du job avec CREAM-CE Une fois l état du job a atteint la fin " Status = [DONE-OK] ", on peut récupérer les résultats à partir du serveur gridftp du ce : [talhaoui@ui ex4]$ glite-ce-job-status -L :37:40,817 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Current Status = [DONE-OK] Working Dir = [[reserved]] ExitCode = [0] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [9cf983105cb239cfae3f a8b59569b] DelegProxyInfo = [Valid From : 12/9/10 7:57 AM (GMT) Valid To : 12/9/10 6:33 PM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA Auteur : Nabil Talhaoui 25/30

26 VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn2.cnrst.magrid.ma] Local User = [eumed019] CREAM ISB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM /ISB] CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM /OSB] JDL = [[ Arguments = "-f"; QueueName = "eumed"; JobType = "Normal"; Executable = "/bin/hostname"; VirtualOrganisation = "eumed"; StdOutput = "simple.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://localhost"; StdError = "simple.err"; BatchSystem = "pbs"; OutputSandbox = { "simple.err","simple.out" } ]] Type = [Normal] Job status changes: Status = [REGISTERED] - [Thu 09 Dec :02:09] ( ) Status = [PENDING] - [Thu 09 Dec :02:10] ( ) Status = [IDLE] - [Thu 09 Dec :02:10] ( ) Status = [RUNNING] - [Thu 09 Dec :02:13] ( ) Status = [REALLY-RUNNING] - [Thu 09 Dec :02:19] ( ) Status = [DONE-OK] - [Thu 09 Dec :02:16] ( ) Issued Commands: *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec :02:09] ( ) Start Scheduling Time = [Thu 09 Dec :02:09] ( ) Start Processing Time = [Thu 09 Dec :02:09] ( ) Execution Completed Time = [Thu 09 Dec :02:09] ( ) *** Command Name = [JOB_START] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec :02:10] ( ) Start Scheduling Time = [Thu 09 Dec :02:10] ( ) Start Processing Time = [Thu 09 Dec :02:10] ( ) Execution Completed Time = [Thu 09 Dec :02:15] ( ) Cette commande nous permet de déterminer le chemin des résultats (CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrst_c N_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM /OSB]) sur le serveur gridftp du CE. Pour s assurer de l xistence des résultats, on accede au serveur gridftp du CE et on vérifie l existence des fichiers de sortie : [talhaoui@ui ~]$ uberftp ce1.cnrst.magrid.ma 220 ce1.cnrst.magrid.ma GridFTP Server 2.8 (gcc64dbg, ) [VDT patched 4.0.8] ready. 230 User eumed019 logged in. uberftp> ls /opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrst_cn_nabil_talhaoui_eumed_rol e_null_capability_null_eumed019/43/cream /osb/ Auteur : Nabil Talhaoui 26/30

27 -rw-r--r-- 1 eumed019 eumed 0 Dec 9 08:02 simple.err -rw-r--r-- 1 eumed019 eumed 20 Dec 9 08:02 simple.out uberftp> quit 221 Goodbye. Kthxbye [talhaoui@ui ~]$ Récupération des résultats : [talhaoui@ui ~]$ mkdir cream_out [talhaoui@ui ~]$ globus-url-copy gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ OU_CNRST_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM /OSB/simple.out file:///home/talhaoui/cream_out/simple.out [talhaoui@ui ex4]$ cd cream_out [talhaoui@ui cream_out]$ ls simple.out [talhaoui@ui cream_out]$ cat simple.out wn2.cnrst.magrid.ma Annulation du job Si le job est erroné on peut l annuler par la commande : glite-wms-job-cancel -i JobId [ui] /home/talhaoui > glite-wms-job-cancel -i JobId [talhaoui@ui ~]$ glite-ce-job-cancel :57:25,340 WARN - No configuration file suitable for loading. Using built-in configuration Are you sure you want to cancel specified job(s) [y/n]: y :57:38,287 ERROR - This job was not matching the status or had a status incompatible for operation: [CREAM ] - Server error Message is: [MethodName=[JOB_CANCEL] Timestamp=[Sun 12 Dec :56:43] ErrorCode=[2] Description=[the job has a status not compatible with the JOB_CANCEL command!] Dans ce cas le job ne peut pas être annulé car il a été exécuté avec succès et son état actuel est cleared, c-à-dire que les résultats sont déjà récupérés. Soumission d un job Molpro (Exemple test.com) [talhaoui@ui2 test]$ glite-ce-job-submit -a -r ce2.cnrst.magrid.ma:8443/creampbs-eumed test.jdl :40:07,127 WARN - No configuration file suitable for loading. Using built-in configuration [talhaoui@ui2 test]$ glite-ce-job-status :40:38,543 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Status = [DONE-OK] ExitCode = [0] [talhaoui@ui2 test]$ glite-ce-job-status -L 2 Auteur : Nabil Talhaoui 27/30

28 :40:54,692 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[ Current Status = [DONE-OK] Working Dir = [[reserved]] ExitCode = [0] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [9cc52a2a dbb ec2fa23b9d0643] DelegProxyInfo = [Valid From : 12/12/10 7:35 PM (GMT) Valid To : 12/13/10 7:39 AM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn008.cnrst.magrid.ma] Local User = [eumed005] CREAM ISB URI = [gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM /ISB] CREAM OSB URI = [gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM /OSB] JDL = [[ Arguments = "test.com"; QueueName = "eumed"; JobType = "Normal"; Executable = "script.sh"; VirtualOrganisation = "eumed"; InputSandbox = { "/home/talhaoui/exemples/molpro/test/script.sh","/home/talhaoui/exemples/molpro/test/t est.com","script.sh","test.com" }; StdOutput = "test.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://localhost"; StdError = "test.err"; BatchSystem = "pbs"; OutputSandbox = { "test.err","test.out" } ]] Type = [Normal] Job status changes: Status = [REGISTERED] - [Sun 12 Dec :40:09] ( ) Status = [PENDING] - [Sun 12 Dec :40:10] ( ) Status = [IDLE] - [Sun 12 Dec :40:10] ( ) Status = [RUNNING] - [Sun 12 Dec :41:08] ( ) Status = [REALLY-RUNNING] - [Sun 12 Dec :41:13] ( ) Status = [DONE-OK] - [Sun 12 Dec :40:24] ( ) Issued Commands: *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Sun 12 Dec :40:09] ( ) Start Scheduling Time = [Sun 12 Dec :40:09] ( ) Start Processing Time = [Sun 12 Dec :40:09] ( ) Execution Completed Time = [Sun 12 Dec :40:09] ( ) *** Command Name = [JOB_START] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Sun 12 Dec :40:10] ( ) Start Scheduling Time = [Sun 12 Dec :40:10] ( ) Start Processing Time = [Sun 12 Dec :40:10] ( ) Execution Completed Time = [Sun 12 Dec :40:15] ( ) [talhaoui@ui2 test]$ globus-url-copy gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ Auteur : Nabil Talhaoui 28/30

29 OU_CNRST_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM /OSB/test.out file:///home/talhaoui/exemples/molpro/test/test_ out test]$ ls -ls total rwxr-xr-x 1 talhaoui talhaoui 25 dã c 3 22:59 script.sh 20 -rw-rw-r-- 1 talhaoui talhaoui dã c 12 20:04 test_ out 4 -rwxr-xr-x 1 talhaoui talhaoui 412 mar test.com 4 -rw-r--r-- 1 talhaoui talhaoui 263 dã c 12 19:36 test.jdl 4 -rw-r--r-- 1 talhaoui talhaoui 4096 dã c 3 22:00 test_org.out [talhaoui@ui2 test]$ Fichier JDL test.jdl : [talhaoui@ui2 test]$ cat test.jdl Type = "Job"; JobType = "Normal"; Executable = "script.sh"; StdOutput = "test.out"; StdError = "test.err"; InputSandbox = {"script.sh", "test.com"}; OutputSandbox = {"test.err","test.out"}; Arguments = "test.com"; OutputSandboxBaseDestUri = "gsiftp://localhost"; Fichier exécutable (commande molpro) script.sh : [talhaoui@ui2 test]$ cat script.sh /usr/local/bin/molpro $1 [talhaoui@ui2 test]$ Fichier d entrée (programme molpro) test.com : [talhaoui@ui2 test]$ cat test.com ***,ALC4H memory,100,m gprint,orbitals basis=vdz geomtyp=xyz geometry={ 6 alc4h c,0.0,0.0, h,0.0,0.0, c,0.0,0.0, c,0.0,0.0, c,0.0,0.0, al,0.0,0.0, } {rhf;wf,38,1,0;} ---; [talhaoui@ui2 test]$ Auteur : Nabil Talhaoui 29/30

30 PRATIQUE PARTIE 3 SOUMISSION DE JOBS A Suivi d un job simple avec le processus WMS 1. Créez un proxy à l'aide de la fonction voms-proxy-init 2. Listez les sites sur lesquels vous pouvez soumettre le job "simple.jdl" en utilisant la commande glite-wms-job-list-match 3. Soumettez le job "simple.jdl" en utilisant la commande glite-wms-job-submit 4. Vérifiez le statut du job en utilisant la command glite-wms-job-status sans et avec option " v 2" et "-v 3" 5. Lorsque le job est terminé, récupérez la sortie en utilisant glite-wms-job-output 6. Vérifiez que tout s'est déroulé correctement en consultant les fichiers "simple.out" et "simple.err". 7. Modifier le fichier "simple.jdl" en utilisant l exécutable "hostname f " comme fichier d entré "simple.sh" et de manière à ce qu'il soit soumis sur un site particulier, en utilisant le paramètre "requirements" du jdl. 8. Lancer à nouveau le job modifié et faites un suivi et un débogage en utilisant la commande glite-wms-job-logging-info -i JobId 9. Modifier le fichier "simple.jdl" en utilisant différents pré-réquis et aussi des préférences 10. Soumettez le job "prog_c.jdl", et faite un suivi. B - Suivi d un job molpro avec les commandes CREAM CE 1. Idem. que la partie A en utilisant les commandes CREAM CE. 2. Utiliser le même exemple molpro en utilisant le serveur gridftp de serveur de stockage SE2 se2.cnrst.magrid.ma NB : Molpro est supporté par les deux clusters de MaGrid "ce1.cnrst.magrid.ma" et "ce2.cnrst.magrid.ma" Auteur : Nabil Talhaoui 30/30