Formation utilisateurs grille

TP Formation utilisateurs grille 13 et 14 Décembre 2010 PARTIE 1 : AUTHENTIFICATION ET AUTORISATION PARTIE 2 : SYSTEME D INFORMATION BDII PARTIE 3 : SOUMISSION DE JOBS Chaque partie est structurée en 2 volets : - Aide et outils pour la pratique - Pratique Auteur : Nabil Talhaoui 1/30

OUTILS - PARTIE 1 AUTHENTIFICATION ET AUTORISATION Importation d'un certificat dans un navigateur web Netscape: Cliquez sur l'icône "sécurité" (ou passez par le menu Communicator/outils/Information sur la sécurité), puis cliquez sur le choix "vos certificats". Cliquez ensuite sur "Importer un certificat". Mozilla: Dans le menu Outils/Options aller dans l'onglet "Chiffrement" puis dans "afficher les certificats". Cliquez sur l onglet "Vos certificats". Cliquez ensuite sur le bouton "Importer ". Internet Explorer: Dans le menu Outils/Options Internet, aller dans l'onglet "contenu" et cliquer sur "certificats". Cliquez ensuite sur "Importer". Exportation ou Sauvegarde d'un certificat à partir d un navigateur web Netscape: Cliquez sur l'icône "sécurité" (ou passez par le menu Communicator/outils/Information sur la sécurité), puis cliquez sur le choix "vos certificats". Cliquez ensuite sur "Exporter un certificat". Mozilla: Dans le menu Outils/Options aller dans l'onglet "Chiffrement" puis dans "afficher les certificats". Cliquez sur l onglet "Vos certificats". Cliquez ensuite sur le bouton "Sauvegarder ". Internet Explorer: Dans le menu Outils/Options Internet, aller dans l'onglet "contenu" et cliquer sur "certificats". Cliquez ensuite sur "Exporter". NB : le nom de certificat doit être sous forme de «nom_certif.p12» Auteur : Nabil Talhaoui 2/30

Exportation ou Sauvegarde d'un certificat à partir d un navigateur web Cas de FireFox: Ouvrir votre navigateur. Dans le cas d utilisation de FireFox, dans le menu Outils. Choisir Options, sélectionner la section "Avancé", et l onglet "Chiffrement". Puis cliquer sur le bouton "Afficher les certificats". Cliquez sur l onglet "Vos certificats". Pour importer votre certificat dans le format PKCS#12 dans votre navigateur cliquez sur le bouton "Import". Auteur : Nabil Talhaoui 3/30

Pour sauvegarder, cliquez sur le bouton "Sauvegarder ". La sauvegarde du certificat doit être dotée d un mot de passe de sauvegarde "passphrase" Auteur : Nabil Talhaoui 4/30

Auteur : Nabil Talhaoui 5/30

Copier le certificat à partir d une machine windows vers une machine UNIX Utiliser FTP ou autre outils de transfert de fichier (WinSCP par exemple). Télécharger pscp.exe, puis mettez-le dans le répertoire qui contient le certificat sauvegardé. Ou bien télécharger WinSCP.exe sur votre bureau. En utilisant «pscp» 1- Lancer l invité de commande 2- cd <chemin de répertoire> 3- pscp certificat <username>@ui.magrid.ma:/home/username En utilisant «WinSCP» 1- Double cliquer sur WinSCP.exe 2- Copiez le certificat vers le répertoire user /home/username Se connecter à la machine User Interface Utiliser l outil Putty (télécharger Putty.exe) $ ssh <username>@ui.magrid.ma Créer le répertoire.globus [ui] /home/talhaoui > cd ~/ [ui] /home/talhaoui > mkdir.globus Vérifier la présence du certificat [ui] /home/talhaoui > ls Certif_file.p12 Convertir le certificat du format pk12 au format pem [ui] /home/talhaoui > openssl pkcs12 -in Certif_file.p12 -clcerts -nokeys -out ~/.globus/usercert.pem [ui] /home/talhaoui > openssl pkcs12 -in Certif_file.p12 -nocerts -out ~/.globus/userkey.pem [ui] /home/talhaoui > cd ~/.globus [ui] /home/talhaoui/.globus > ls Auteur : Nabil Talhaoui 6/30

usercert.pem userkey.pem Convertir le certificat du format pem au format pk12 [ui] /home/talhaoui > cd ~/.globus [ui] /home/talhaoui/.globus > openssl pkcs12 -export -in usercert.pem \ - inkey userkey.pem -out packed-cert.p12 Changer les droits des certificats [ui] /home/talhaoui/.globus > chmod 400 userkey.pem [ui] /home/talhaoui/.globus > chmod 644 usercert.pem [ui] /home/talhaoui/.globus > ls -ll total 20 -rw-r--r-- 1 talhaoui talhaoui 1813 jan 22 14:41 usercert.pem -r-------- 1 talhaoui talhaoui 1913 jan 22 14:41 userkey.pem Faire une copie de sauvegarde des clés du certificat [ui] /home/talhaoui > cp -rp ~/.globus ~/.globus.original Utiliser la commande openssl pour lire le contenu du certificat. [ui] /home/talhaoui > openssl x509 -text -noout -in usercert.pem Inspecter le certificat. [ui] /home/talhaoui > grid-cert-info Certificate: Data: Version: 3 (0x2) Serial Number: 61 (0x3d) Signature Algorithm: sha1withrsaencryption Issuer: C=MA, O=MaGrid, CN=MaGrid CA Validity Not Before: Dec 21 12:30:00 2009 GMT Not After : Jan 20 12:30:00 2011 GMT Subject: C=MA, O=MaGrid, OU=CNRST, CN=Nabil Talhaoui Subject Public Key Info: Public Key Algorithm: rsaencryption RSA Public Key: (2048 bit) Modulus (2048 bit): 00:c3:77:76:05:0b:7b:15:3a:3d:1d:21:1e:b8:8b:... [ui] /home/talhaoui > grid-cert-info -subject /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui [ui] /home/talhaoui > grid-cert-info -issuer /C=MA/O=MaGrid/CN=MaGrid CA [ui] /home/talhaoui > grid-cert-info -enddate Jan 20 12:30:00 2011 GMT Auteur : Nabil Talhaoui 7/30

[ui] /home/talhaoui > grid-cert-info -startdate Dec 21 12:30:00 2009 GMT Création d'un proxy [ui] /home/talhaoui > grid-proxy-init Ou, en utilisant VOMS : [ui] /home/talhaoui > voms-proxy-init --voms eumed Si tout est bien vous devez avoir quelque chose similaire à : [talhaoui@ui ~]$ voms-proxy-init --voms eumed Enter GRID pass phrase: Your identity: /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Creating temporary proxy... Done Contacting voms2.cnaf.infn.it:15016 [/C=IT/O=INFN/OU=Host/L=CNAF/CN=voms2.cnaf.infn.it] "eumed" Done Creating proxy... Done Your proxy is valid until Thu Dec 9 18:35:05 2010 Visualisation des informations sur votre proxy Une fois que votre proxy a été créé, vous pouvez visualiser des informations sur le proxy par la commande voms-proxy-info -all. [talhaoui@ui ~]$ voms-proxy-info -all subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui/CN=proxy issuer : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui identity : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui type : proxy strength : 1024 bits path : /tmp/x509up_u511 timeleft : 11:53:46 === VO eumed extension information === VO : eumed subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui issuer : /C=IT/O=INFN/OU=Host/L=CNAF/CN=voms2.cnaf.infn.it attribute : /eumed/role=null/capability=null timeleft : 11:52:56 uri : voms2.cnaf.infn.it:15016 Et vous pouvez également détruire le proxy déjà créé. [ui] /home/talhaoui > voms-proxy-destroy [ui] /home/talhaoui > voms-proxy-info -all Couldn't find a valid proxy. Auteur : Nabil Talhaoui 8/30

PRATIQUE - PARTIE 1 AUTHENTIFICATION ET AUTORISATION A - La demande de certificat et l'enregistrement dans une VO 1. Connectez-vous sur le site de certification pour MaGrid : http://www.magrid.ma/ca 2. Remplissez les données du premier formulaire, cliquez sur [suite]; Choisissez votre organisme, puis cliquez sur [suite]; Le résumé des informations apparaît. Si vous aviez cliqué sur [suite], la demande aurait été envoyée. A la fin de la demande vous devez imprimer la page qui contient les informations saisies, et allez au RA (ou bien le CA) avec une la photocopie de la pièce d identité (CIN), pour la validation de votre demande. Une fois la demande acceptée, vous auriez reçu un mail, contenant un lien sur lequel cliquer. A l'ouverture de la page correspondante, votre certificat aurait été importé dans votre navigateur. 3. Pour s'enregistrer comme membre d'une VO "Eumed" dans notre cas: https://voms2.cnaf.infn.it:8443/voms/eumed/startregistration.do Infos sur les VOs : http://cic.gridops.org/index.php?section=home&page=volist B - Importation, exportation et utilisation du certificat 1. Connectez-vous sur la machine ui.magrid.ma 2. Récupérez votre certificat au format pkcs12 (~/nom_certif.p12) et importez-le dans votre navigateur 3. Vérifiez que le certificat a été importé correctement. 4. Faite une sauvegarde de votre certificat au format pkcs12 (nom_certif.p12) Auteur : Nabil Talhaoui 9/30

C - Installation et configuration du certificat 1. Sur la machine ui.magrid.ma, créez, dans votre home directory, le répertoire.globus 2. Importez les clés publique et privée de votre certificat au bon format et avec les bons droits 3. Faites une copie de sauvegarde des clés du certificat 4. Repérez les différents champs du certificat (sujet, validité...) en lisant son contenu avec la commande openssl 5. Effacez les fichiers du répertoire.globus et restaurez votre copie de sauvegarde D - Initialisation de l'environnement de travail : Fonctionnement en lignes de commande 1. Depuis la machine ui.magrid.ma, demandez un proxy à l'aide de la fonction voms-proxy-init 2. Affichez les informations du proxy créé 3. Détruisez le proxy déjà créé, et vérifiez l opération 4. Demandez à nouveau un proxy F - Récupération des fichiers utilisés pour les exercices suivants 1. Depuis serv1.marwan.ma, récupérez l'archive contenant ces fichiers : [ui] /home/username > wget ftp://serv1.marwan.ma/pub/grid/tp-user-grid.tgz 2. Décompressez l'archive dans votre home directory: [ui] /home/username > tar -zxvf tp-user-grid.tgz Auteur : Nabil Talhaoui 10/30

OUTILS PARTIE 2 SYSTEME D INFORMATION BDII Utilisation de la commande lcg-infosites Pour avoir les informations relatives aux Computing Element (CE) : [talhaoui@ui ~]$ lcg-infosites --vo eumed ce #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 8 8 0 0 0 grid2.cck.rnu.tn:8443/cream-pbs-eumed 24 24 0 0 0 ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed 60 52 0 0 0 ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed 15 131 0 0 0 grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed 12 12 0 0 0 ce01.grid.um.edu.mt:8443/cream-pbs-eumed 464 450 0 0 444444 kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed 4 4 0 0 0 gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed 98 88 4 4 0 infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed 10 20 0 0 0 ce1.cnrst.magrid.ma:8443/cream-pbs-eumed 28 28 0 0 0 paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed 16 16 0 0 0 ce2.cnrst.magrid.ma:8443/cream-pbs-eumed 1216 954 0 0 0 sbgce2.in2p3.fr:8443/cream-pbs-eumed 4 4 0 0 0 ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed 384 366 0 0 0 cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed 384 366 0 0 0 ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed 2 2 0 0 0 ce01.junet.edu.jo:8443/cream-pbs-eumed 26 26 0 0 0 yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed 16 14 0 0 0 grid01.erciyes.edu.tr:8443/cream-pbs-eumed 158 156 0 0 0 ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed 14 14 130 0 130 ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed 16 16 0 0 0 srvslngrd004.uct.ac.za:8443/cream-pbs-eumed 22 22 0 0 0 ituce.grid.itu.edu.tr:8443/cream-pbs-eumed 1216 954 0 0 0 sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed 631 400 0 0 0 marcream01.in2p3.fr:8443/cream-pbs-eumed 631 400 0 0 0 marce01.in2p3.fr:2119/jobmanager-pbs-eumed 96 96 0 0 0 ce-grid.obspm.fr:2119/jobmanager-pbs-eumed 0 0 51 0 51 ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Pour avoir les informations relatives aux Storage Element (SE) : [talhaoui@ui ~]$ lcg-infosites --vo eumed se Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 604831781 5246285213 n.a se01.isabella.grnet.gr n.a n.a n.a se01.isabella.grnet.gr 195391209 12921684 n.a se01.grid.um.edu.mt 482490000000 7 n.a torik1.ulakbim.gov.tr 35712122 3089469 n.a gridsrv3-4.dir.garr.it 278092214 16805105 n.a dpm01.junet.edu.jo 14652280930 n.a n.a prod-se-02.ct.infn.it 450541780 29665165 n.a se01.grid.hiast.edu.sy 450541780 29665165 n.a se01.grid.hiast.edu.sy 7350202253 400591020 n.a se1.cnrst.magrid.ma 196595879 10907041 n.a se2.cnrst.magrid.ma 4437143904 546368847 n.a marsedpm.in2p3.fr Auteur : Nabil Talhaoui 11/30

652576735 83360800 n.a se0.m3pec.u-bordeaux1.fr 7211039301 4095354081 n.a se0.m3pec.u-bordeaux1.fr 73216350891 371362052310 n.a sbgse1.in2p3.fr 888796954 48594468 n.a se-eugrid.eri.sci.eg 5502350376 321081999 n.a se-dpm-server-grid.obspm.fr 5502350376 321081999 n.a se-dpm-server-grid.obspm.fr 492380000 n.a n.a grid02.erciyes.edu.tr 2000381018 n.a n.a storm-01.roma3.infn.it 2000381018 n.a n.a storm-01.roma3.infn.it 301817794 436563742 n.a ituse.grid.itu.edu.tr 490307099 248074437 n.a reyhan.grid.boun.edu.tr Pour savoir le LFC : [ui] /home/talhaoui > lcg-infosites --vo eumed lfc lfc.isabella.grnet.gr Pour avoir les informations relatives aux différentes VOs : [talhaoui@ui ~]$ lcg-infosites --vo eumed -v 1 ce --is bdii.eumedgrid.eu grid2.cck.rnu.tn:8443/cream-pbs-eumed ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed ce01.grid.um.edu.mt:8443/cream-pbs-eumed kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed ce1.cnrst.magrid.ma:8443/cream-pbs-eumed paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed ce2.cnrst.magrid.ma:8443/cream-pbs-eumed sbgce2.in2p3.fr:8443/cream-pbs-eumed ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed ce01.junet.edu.jo:8443/cream-pbs-eumed yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed grid01.erciyes.edu.tr:8443/cream-pbs-eumed ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed srvslngrd004.uct.ac.za:8443/cream-pbs-eumed ituce.grid.itu.edu.tr:8443/cream-pbs-eumed sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed marcream01.in2p3.fr:8443/cream-pbs-eumed marce01.in2p3.fr:2119/jobmanager-pbs-eumed ce-grid.obspm.fr:2119/jobmanager-pbs-eumed ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Pour avoir les informations relatives aux CEs reliés aux SEs : [talhaoui@ui ~]$ lcg-infosites --vo eumed closese Name of the CE: grid2.cck.rnu.tn:8443/cream-pbs-eumed Name of the CE: ce01.grid.hiast.edu.sy:8443/cream-pbs-eumed se01.grid.hiast.edu.sy se01.grid.hiast.edu.sy Name of the CE: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed se01.isabella.grnet.gr se01.isabella.grnet.gr Name of the CE: grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed prod-se-02.ct.infn.it Name of the CE: ce01.grid.um.edu.mt:8443/cream-pbs-eumed se01.grid.um.edu.mt Name of the CE: kalkan1.ulakbim.gov.tr:8443/cream-pbs-eumed Auteur : Nabil Talhaoui 12/30

torik1.ulakbim.gov.tr Name of the CE: gridsrv2-4.dir.garr.it:8443/cream-pbs-eumed gridsrv3-4.dir.garr.it Name of the CE: infnlns-ce-01.ct.pi2s2.it:8443/cream-lsf-eumed Name of the CE: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed se1.cnrst.magrid.ma Name of the CE: paugrid1.pamukkale.edu.tr:8443/cream-pbs-eumed Name of the CE: ce2.cnrst.magrid.ma:8443/cream-pbs-eumed se2.cnrst.magrid.ma Name of the CE: sbgce2.in2p3.fr:8443/cream-pbs-eumed sbgse1.in2p3.fr Name of the CE: ce-eugrid.eri.sci.eg:8443/cream-pbs-eumed se-eugrid.eri.sci.eg Name of the CE: cream0.m3pec.u-bordeaux1.fr:8443/cream-pbs-eumed se0.m3pec.u-bordeaux1.fr se0.m3pec.u-bordeaux1.fr Name of the CE: ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-eumed se0.m3pec.u-bordeaux1.fr se0.m3pec.u-bordeaux1.fr Name of the CE: ce01.junet.edu.jo:8443/cream-pbs-eumed dpm01.junet.edu.jo Name of the CE: yildirim.grid.boun.edu.tr:8443/cream-pbs-eumed reyhan.grid.boun.edu.tr Name of the CE: grid01.erciyes.edu.tr:8443/cream-pbs-eumed grid02.erciyes.edu.tr Name of the CE: ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed storm-01.roma3.infn.it storm-01.roma3.infn.it Name of the CE: ce-uct-cern.uct.ac.za:8443/cream-pbs-eumed Name of the CE: srvslngrd004.uct.ac.za:8443/cream-pbs-eumed Name of the CE: ituce.grid.itu.edu.tr:8443/cream-pbs-eumed ituse.grid.itu.edu.tr Name of the CE: sbgce1.in2p3.fr:2119/jobmanager-pbs-eumed sbgse1.in2p3.fr Name of the CE: marcream01.in2p3.fr:8443/cream-pbs-eumed marsedpm.in2p3.fr Name of the CE: marce01.in2p3.fr:2119/jobmanager-pbs-eumed marsedpm.in2p3.fr Name of the CE: ce-grid.obspm.fr:2119/jobmanager-pbs-eumed se-dpm-server-grid.obspm.fr se-dpm-server-grid.obspm.fr Name of the CE: ce02.grid.arn.dz:2119/jobmanager-lcgpbs-eumed Auteur : Nabil Talhaoui 13/30

Utilisation de la commande lcg-info La commande lcg-info peut être utilisée pour lister les CEs et SEs qui satisfassent un certain nombre de conditions sur leurs attributs, et aussi d afficher les valeurs de ces attributs, les valeurs sont récupérées à partir du BDII Usage : lcg-info [--list-ce --list-se] [--query] [--attrs] --help Affiche le manuel d aide. --list-attrs Affiche la liste des attributs qui sont requis. --list-ce Affiche les CEs qui satisfassent les requêtes sinon tous les CEs sont affichés. --list-se Affiche les SEs qui satisfassent les requêtes sinon tous les SEs sont affichés. --query Restreints les sorties des CEs (SEs) qui satisfassent les requêtes. --bdii Permet de spécifier le BDII: --attrs Spécifie les attributs que leurs valeurs doivent être affichées --vo Restreints les sorties des CEs ou SEs au VO, si autorisé!! [ui] /home/talhaoui > lcg-info --list-attrs Attribute name Glue object class Glue attribute name WorstRespTime GlueCE GlueCEStateWorstResponseTime CEAppDir GlueCE GlueCEInfoApplicationDir TotalCPUs GlueCE GlueCEInfoTotalCPUs MaxRunningJobs GlueCE GlueCEPolicyMaxRunningJobs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs MaxCPUTime GlueCE GlueCEPolicyMaxCPUTime LRMSVersion GlueCE GlueCEInfoLRMSVersion MaxTotalJobs GlueCE GlueCEPolicyMaxTotalJobs CEStatus GlueCE GlueCEStateStatus LRMS GlueCE GlueCEInfoLRMSType CEVOs GlueCE GlueCEAccessControlBaseRule AssignedJobSlots GlueCE GlueCEPolicyAssignedJobSlots FreeCPUs GlueCE GlueCEStateFreeCPUs RunningJobs GlueCE GlueCEStateRunningJobs [..] Simple requête : Lister tous les CEs dans le BDII qui satisfassent les conditions (TotalCPUs=2) et afficher les attributs (FreeCPUs,!TotalJobs) [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --query 'TotalCPUs>=2' -- attrs 'RunningJobs,FreeCPUs' - CE: ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed - RunningJobs 0 - FreeCPUs 142 - CE: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed - RunningJobs 0 - FreeCPUs 2 - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - RunningJobs 1 - FreeCPUs 19 - CE: cream-ce-1.ba.infn.it:8443/cream-pbs-infinite - RunningJobs 3 - FreeCPUs 846 - CE: cream-ce-1.ba.infn.it:8443/cream-pbs-long - RunningJobs 24 - FreeCPUs 846 Auteur : Nabil Talhaoui 14/30

- CE: cream-ce-1.ba.infn.it:8443/cream-pbs-short - RunningJobs 7 - FreeCPUs 846 - CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-infinite - RunningJobs 3 - FreeCPUs 846 - CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-long - RunningJobs 24 - FreeCPUs 846 - CE: grid-ce-01.ba.infn.it:2119/jobmanager-lcgpbs-short - RunningJobs 7 - FreeCPUs 846 - CE: grid001.ts.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 43 - FreeCPUs 209 - CE: grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed - RunningJobs 0 - FreeCPUs 5 - CE: gridce.sns.it:2119/jobmanager-lcgpbs-grid - RunningJobs 0 - FreeCPUs 380 - CE: gridce0.pi.infn.it:8443/cream-lsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: gridce1.pi.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: gridce2.pi.infn.it:2119/jobmanager-lcglsf-grid - RunningJobs 0 - FreeCPUs 1 - CE: infn-ce-01.ct.pi2s2.it:2119/jobmanager-lcglsf-eumed - RunningJobs 0 - FreeCPUs 0 - CE: kalkan1.ulakbim.gov.tr:2119/jobmanager-lcgpbs-eumed - RunningJobs 0 - FreeCPUs 209 L une des plus importante utilisation de "lcg-info" est de vérifier quel packages de software qui sont disponibles sur les CEs. Les packages de software sont stockés dans l attribut "Tag" et peuvent être affichés par : lcg-info --vo eumed --list-ce --attrs Tag [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --attrs Tag [..] - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - Tag ASTRA-STK CODESA3D-1.0 DEMTOOLS-1.0 EGEODE-1.0 GEANT4-6 GLITE-3_0_0 GLITE-3_0_1 GLITE-3_0_2 GLITE-3_1_0 LCG-2 LCG-2_1_0 LCG-2_1_1 Auteur : Nabil Talhaoui 15/30

[..] LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_5_0 LCG-2_6_0 LCG-2_7_0 MM5-3.7 MPICH MPICH-1.2.7 R-GMA SCILAB-2.6 SF00MeanPerCPU=941 SI00MeanPerCPU=819 VO-eumed-ASTRA VO-eumed-PARAVIEW-2.4 Avec la commande "lcg-info" on peut allez plus loin. Supposez que vous voulez trouvez tous les sites qui supportent le package MPICH et vous voulez savoir combien de CPUs qui sont disponibles et d autres softwares supportés sur ces sites. Ceuxci peut être accompli par la commande: lcg-info --vo eumed --list-ce --query 'Tag=MPICH' --attrs 'FreeCPUs,Tag' [ui] /home/talhaoui > lcg-info --vo eumed --list-ce --query 'Tag=MPICH' -- attrs 'FreeCPUs,Tag' [..] - CE: ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - FreeCPUs 19 - Tag ASTRA-STK CODESA3D-1.0 DEMTOOLS-1.0 EGEODE-1.0 GEANT4-6 GLITE-3_0_0 GLITE-3_0_1 GLITE-3_0_2 GLITE-3_1_0 LCG-2 LCG-2_1_0 LCG-2_1_1 LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_5_0 LCG-2_6_0 LCG-2_7_0 MM5-3.7 MPICH MPICH-1.2.7 R-GMA SCILAB-2.6 SF00MeanPerCPU=941 SI00MeanPerCPU=819 VO-eumed-ASTRA VO-eumed-PARAVIEW-2.4 [..] Comme déjà cité auparavant en ce qui concerne l option closese dans la commande "lcginfosites", avec "lcg-info" il est possible d afficher les SEs les plus proches des CEs possibles. lcg-info --vo eumed --list-se -attrs 'AvailableSpace,CloseCE' Auteur : Nabil Talhaoui 16/30

[ui] /home/talhaoui > lcg-info --vo eumed --list-se -attrs 'AvailableSpace,CloseCE' [..] - SE: se1.cnrst.magrid.ma - AvailableSpace 7350202253 - CloseCE ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-ops ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-eumed ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-atlas ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-dteam ce1.cnrst.magrid.ma:8443/jobmanager-lcgpbs-biomed [..] En utilisant l option --bdii, il est possible d obtenir le même résultat: lcg-info --vo eumed --bdii bdii.eumedgrid.org:2170 --list-se -attrs 'AvailableSpace,CloseCE' Interrogation d'un BDII Lister les CEs répertoriés et les SEs associés : [talhaoui@ui2 ~]$ ldapsearch -x -H ldap://bdii1.cnrst.magrid.ma:2170 -b "mds-voname=ma-01-cnrst, o=grid" 'objectclass=gluecesebind' GlueCESEBindCEUniqueID GlueCESEBindSEUniqueID # extended LDIF # # LDAPv3 # base <mds-vo-name=ma-01-cnrst, o=grid> with scope subtree # filter: objectclass=gluecesebind # requesting: GlueCESEBindCEUniqueID GlueCESEBindSEUniqueID # # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-cert, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-cert,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-cert # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-eumed, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-eumed,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-atlas, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-atlas,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-atlas # se1.cnrst.magrid.ma, ce1.cnrst.magrid.ma:8443/cream-pbs-biomed, MA-01-CNRST, grid dn: GlueCESEBindSEUniqueID=se1.cnrst.magrid.ma,GlueCESEBindGroupCEUniqueID=ce1.cnrst.magrid.ma:8443/cream-pbs-biomed,Mds-Vo-name=MA-01-CNRST,o=grid GlueCESEBindSEUniqueID: se1.cnrst.magrid.ma GlueCESEBindCEUniqueID: ce1.cnrst.magrid.ma:8443/cream-pbs-biomed # search result search: 2 result: 0 Success # numresponses: 5 # numentries: 4 Auteur : Nabil Talhaoui 17/30

PRATIQUE PARTIE 2 SYSTEME D INFORMATION BDII A Utilisation de la commande "lcg-infosites" 1. Lister les informations relatives aux CE 2. Lister les informations relatives aux SE, puis LFC 3. Utiliser l option v 1 et l option v 2, à quoi sert ces options!! 4. Utiliser l option --is bdii 5. Afficher la liste des CEs en proximité des SEs B - Utilisation de la commande "lcg-info" 1. Afficher tous les attributs du CE 2. Lister tous les CEs dans le BDII qui satisfassent les conditions (TotalCPUs=10) et afficher les attributs (FreeCPUs,!TotalJobs,WaitingJobs) 3. Afficher la liste des attributs Tag 4. Afficher tous les sites qui supportent MPICH 6. Afficher les CEs qui sont en proximité avec SEs (CloseCE) et l espace disque disponible, en utilisant l option --bdii 7. Lister les SEs qui supportent votre VO, et afficher les chemin où vous avez les droits d écriture C - Interrogation d'un BDII 1. Interrogez le BDII tournant sur "bdii.eumedgrid.eu" de manière à afficher la liste des CEs répertoriés, ainsi que les SEs associés. Visualisez le résultat. NB: Toutes les commandes sont appliquées sur la VO "eumed" et le bdii " bdii.eumedgrid.eu ". Auteur : Nabil Talhaoui 18/30

OUTILS PARTIE 3 SOUMISSION DE JOBS Soumission d un job simple Pour pouvoir soumettre un job on doit donner une description de celui-ci (Quel programme? quelles données? quels softs, quels OS, quels besoins spécifiques...). Une fois le job est préparé sous forme d un fichier.jdl, on soumet le job par la commande: glite-wms-job-submit --autm-delegation -o JobId fichier.jdl et on récupère du système un identifiant de job unique (JobId) Pour spécifier dans le JDL un site particulier pour la soumission : Requirements=other.GlueCEUniqueID=="<CEHostname>:8443/<QueueName>" Exemple : simple.jdl: Type = "Job"; JobType = "Normal"; Executable = "/bin/hostname"; Arguments = "-f"; StdOutput = "hostname.out"; StdError = "hostname.err"; OutputSandbox = {"hostname.err","hostname.out"}; Cette soumission peut s effectuer sur la grille à travers le processus du WMS, avec la nouvelle version glite3.2 et le nouveau service CREAM, il se peut de lancer des jobs directement sur un cluster déjà choisi par les commandes IS de recherches (lcg-infosites), et avec des petites modifications des attributs du JDL : Exemple : simple.jdl: Type = "Job"; JobType = "Normal"; Executable = "/bin/hostname"; Arguments = "-f"; StdOutput = "hostname.out"; StdError = "hostname.err"; OutputSandbox = {"hostname.err","hostname.out"}; OutputSandboxBaseDestUri = "gsiftp://localhost"; La ligne OutputSandboxBaseDestUri = "gsiftp://localhost"; indique la destination des résultats du job, pour ce cas directement sur le serveur gridftp du CE, on peut choisir un autre serveur gridftp par exemple : OutputSandboxBaseDestUri = "gsiftp://se1.cnrst.magrid.ma/tmp" ;, dans ce cas les donnés sont récupérer automatiquement sur le SE1 dans le répertoire tmp, mais dans le premier cas les résultats doivent être récupérer après l exécution du job par des commandes spécifiques. Liste des sites sur lesquels un job peut être soumis En utilisant les commandes du MWS : Avant de soumettre le job il est utile de savoir la liste des sites qui peuvent accepter le job. Ceuxci peut se faire grâce à la commande glite-wms-job-list-match Auteur : Nabil Talhaoui 19/30

[talhaoui@ui ~]$ glite-wms-job-list-match --autm-delegation simple.jdl Connecting to the service https://wms-01.eumedgrid.eu:7443/glite_wms_wmproxy_server ========================================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* - ce-01.roma3.infn.it:2119/jobmanager-lcgpbs-eumed - ce-4.dir.garr.it:2119/jobmanager-lcgpbs-eumed - ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed - ce1.cnrst.magrid.ma:2119/jobmanager-lcgpbs-eumed - grid012.ct.infn.it:2119/jobmanager-lcglsf-eumed - ce.eumedgrid.eun.eg:2119/jobmanager-lcgpbs-eumed ========================================================================== En utilisant les commandes du CREAM : Il suffit d utiliser la commande lcg-infosites pour savoir le site que vous désirez pour votre job Soumission du job avec wms [talhaoui@ui ~]$ glite-wms-job-submit --autm-delegation -o JobId simple.jdl Connecting to the service https://wms-01.eumedgrid.eu:7443/glite_wms_wmproxy_server ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: https://wms-01.eumedgrid.eu:9000/pyssn8kghw99nlt-qfp-da The job identifier has been saved in the following file: /home/talhaoui/jobid ========================================================================== Le fichier /home/talhaoui/jobid est la sortie du processus de soumission. Il contient d identifiant du job retourné par le processus de soumission. Si un autre job est soumis (par la répétition de la même ligne de commande) l identifiant du job est ajouté dans le fichier. NB : la délégation du proxy est automatique on peut l écrire -a au lieu du --autm-delegation et comme on peut créer une délégation spécifique. Soumission du job avec cream-ce directement sur le cluster [talhaoui@ui ~]$ glite-ce-job-submit -a -r ce1.cnrst.magrid.ma:8443/cream-pbs-eumed -o jobid_cream simple.jdl 2010-12-09 07:41:35,257 WARN - No configuration file suitable for loading. Using built-in configuration https://ce1.cnrst.magrid.ma:8443/cream173960754 Le fichier /home/talhaoui/jobid_cream est la sortie du processus de soumission. Il contient d identifiant du job retourné par le processus de soumission https://ce1.cnrst.magrid.ma:8443/cream173960754. Auteur : Nabil Talhaoui 20/30

L option -r ce1.cnrst.magrid.ma:8443/cream-pbs-eumed permet au job de s exécuter directement sur le ce1 sans passer dans le processus du WMS. Cette option est valable pour le WMS pour gagner plus de temps sur la recherche des ressources!!! Récupération du statut du job avec wms Avec la commande glite-wms-job-status -i JobId on peut savoir l état du Job et aussi l état de tous les job dont leurs identifiant inscrit dans le fichier JobId [talhaoui@ui ~]$ glite-wms-job-status -i jobid ------------------------------------------------------------------ 1 : https://prod-lb-01.pd.infn.it:9000/iucst9q-84oncgjekfktew 2 : https://lb-4.dir.garr.it:9000/21-zooued_fe2hmfr6n5cw a : all q : quit ------------------------------------------------------------------ Choose one or more jobid(s) in the list - [1-2]all: (on choisi 1 ou 2 selon la lsite) Si on choisit 1 on trouve ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : https://prod-lb-01.pd.infn.it:9000/iucst9q-84oncgjekfktew Current Status: Running Status Reason: unavailable Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:26:00 2010 WET ========================================================================== Et si on choisit 2 on trouve que le job est exécuté, on peut dire que le job 2 est exécuté avec succès et les résultats sont disponibles pour la récupération. Choose one or more jobid(s) in the list - [1-2]all:2 ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : https://lb-4.dir.garr.it:9000/21-zooued_fe2hmfr6n5cw Current Status: Done (Success) Logged Reason(s): - job completed - Job Terminated Successfully Exit code: 0 Status Reason: Job Terminated Successfully Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:39:52 2010 WET ====================================================================================== Et avec l option "-v 3" on peut avoir plus de details (il y a aussi " v 2") on peut aussi utiliser directement l Id du job https://prod-lb-01.pd.infn.it:9000/iucst9q- 84ONCgjekFktew Auteur : Nabil Talhaoui 21/30

[talhaoui@ui ~]$ glite-wms-job-status -v 3 https://prod-lb- 01.pd.infn.it:9000/iUCst9Q-84ONCgjekFktew ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : https://prod-lb-01.pd.infn.it:9000/iucst9q-84oncgjekfktew Current Status: Running Status Reason: unavailable Destination: ce1.cnrst.magrid.ma:8443/cream-pbs-eumed Submitted: Thu Dec 9 07:26:00 2010 WET --- - Cancelling = 0 - Ce node = wn5.cnrst.magrid.ma - Children num = 0 - Condor job exit status = 0 - Condor job pid = 0 - Condor shadow exit status = 0 - Condor shadow pid = 0 - Condor starter exit status = 0 - Condor starter pid = 0 - Cputime = 0 - Destination = ce1.cnrst.magrid.ma:8443/cream-pbs-eumed - Done code = 0 - Expectupdate = 0 - Jobtype = 0 - Lastupdatetime = Thu Dec 9 07:27:32 2010 WET - Location = LRMS/worknode/wn5.cnrst.magrid.ma - Network server = https://prod-wms- 01.pd.infn.it:7443/glite_wms_wmproxy_server - Owner = /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui - Payload running = 1 - Pbs exit status = 0 - Pbs pid = 0 - Possible ce nodes = wn5.cnrst.magrid.ma - Possible destinations = ce1.cnrst.magrid.ma:8443/cream-pbs-eumed - Resubmitted = 0 - Stateentertime = Thu Dec 9 07:27:01 2010 WET - Subjob failed = 0 - Suspended = 0 - Remove from proxy = 0 - Ui host = ui.magrid.ma - Sandbox retrieved = 0 [..] - Stateentertimes = Submitted : Thu Dec 9 07:26:00 2010 WET Waiting : Thu Dec 9 07:26:01 2010 WET Ready : Thu Dec 9 07:26:02 2010 WET Scheduled : Thu Dec 9 07:26:08 2010 WET Running : Thu Dec 9 07:27:01 2010 WET Done : --- Cleared : --- Aborted : --- Cancelled : --- Unknown : --- ========================================================================== Récupération du statut du job avec cream-ce Avec la commande glite-ce-job-status -i JobId_Cream on peut savoir l état du Job Auteur : Nabil Talhaoui 22/30

[talhaoui@ui ~]$ glite-ce-job-status -i jobid_cream 2010-12-09 07:54:09,820 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce1.cnrst.magrid.ma:8443/CREAM173960754] Status = [REALLY-RUNNING] Et avec l option "-L 2" on peut avoir plus de détails (il y a aussi " L 1") [talhaoui@ui ex4]$ glite-ce-job-status -L 2 https://ce1.cnrst.magrid.ma:8443/cream173960754 2010-12-09 07:59:13,407 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce1.cnrst.magrid.ma:8443/CREAM173960754] Current Status = [REALLY-RUNNING] Working Dir = [[reserved]] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [fbba61073c26c7d2a5277d9250658329d83cb629] DelegProxyInfo = [Valid From : 12/9/10 7:36 AM (GMT) Valid To : 12/9/10 6:33 PM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn5.cnrst.magrid.ma] Local User = [eumed019] CREAM ISB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/17/CREAM173960754/ISB] CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/17/CREAM173960754/OSB] JDL = [[ Arguments = "-f"; QueueName = "eumed"; JobType = "Normal"; Executable = "/bin/hostname"; VirtualOrganisation = "eumed"; StdOutput = "simple.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://ui.magrid.ma/tmp"; StdError = "simple.err"; BatchSystem = "pbs"; OutputSandbox = { "simple.err","simple.out" } ]] Type = [Normal] Job status changes: ------------------- Status = [REGISTERED] - [Thu 09 Dec 2010 07:40:48] (1291880448) Status = [PENDING] - [Thu 09 Dec 2010 07:40:49] (1291880449) Status = [IDLE] - [Thu 09 Dec 2010 07:40:49] (1291880449) Status = [RUNNING] - [Thu 09 Dec 2010 07:40:53] (1291880453) Status = [REALLY-RUNNING] - [Thu 09 Dec 2010 07:41:44] (1291880504) Issued Commands: ------------------- *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec 2010 07:40:48] (1291880448) Start Scheduling Time = [Thu 09 Dec 2010 07:40:48] (1291880448) Start Processing Time = [Thu 09 Dec 2010 07:40:48] (1291880448) Execution Completed Time = [Thu 09 Dec 2010 07:40:49] (1291880449) *** Command Name = [JOB_START] Auteur : Nabil Talhaoui 23/30

Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec 2010 07:40:49] (1291880449) Start Scheduling Time = [Thu 09 Dec 2010 07:40:49] (1291880449) Start Processing Time = [Thu 09 Dec 2010 07:40:49] (1291880449) Execution Completed Time = [Thu 09 Dec 2010 07:40:55] (1291880455) ************************************************************* Si on lance un autre job avec le même fichier des identifiants on aura comme statu [talhaoui@ui ~]$ glite-ce-job-status -i jobid_cream 2010-12-09 08:06:49,813 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce1.cnrst.magrid.ma:8443/CREAM173960754] Status = [REALLY-RUNNING] ****** JobID=[https://ce1.cnrst.magrid.ma:8443/CREAM438500941] Status = [DONE-OK] ExitCode = [0] Le 2 ème job maintenant est exécuté avec succès et les résultats sont disponibles sur le serveur gridftp du CE pour la récupération. Récupération de la sortie du job avec wms Une fois l état du job a atteint la fin "Done (Success) ", on peut récupérer les résultats grâce à la commande glite-wms-job-output on peut savoir l état du Job [ui] /home/talhaoui > glite-wms-job-output -i JobId --dir out_job Connecting to the service https://wms-01.eumedgrid.eu:7443/glite_wms_wmproxy_server ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: https://wms-01.eumedgrid.eu:9000/pyssn8kghw99nlt-qfp-da have been successfully retrieved and stored in the directory: /home/talhaoui/out_job ================================================================================ Vérification de l état du job [ui] /home/talhaoui > glite-job-status -v 3 -i JobId ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://wms-01.eumedgrid.eu:9000/pyssn8kghw99nlt-qfp-da Current Status: Cleared Status Reason: user retrieved output sandbox Destination: ce01.isabella.grnet.gr:2119/jobmanager-pbs-eumed Submitted: Thu Apr 29 11:14:15 2010 WET --- [..] Auteur : Nabil Talhaoui 24/30

- Stateentertimes = Submitted : Thu Apr 29 11:14:15 2010 WET Waiting : Thu Apr 29 11:14:15 2010 WET Ready : Thu Apr 29 11:14:16 2010 WET Scheduled : Thu Apr 29 11:14:34 2010 WET Running : Thu Apr 29 11:23:17 2010 WET Done : Thu Apr 29 11:34:46 2010 WET Cleared : Thu Apr 29 11:57:30 2010 WET Aborted : --- Cancelled : --- Unknown : --- ************************************************************* Vérification des résultats : [ui] /home/talhaoui > cd out_job/ [ui] /home/talhaoui/out_job > ls simple.err simple.out [ui] /home/talhaoui/out_job > cat simple.out wn03.isabella.grnet.gr Annulation du job Si le job est erroné on peut l annuler par la commande : glite-wms-job-cancel -i JobId [ui] /home/talhaoui > glite-wms-job-cancel -i JobId Are you sure you want to remove specified job(s) [y/n]y : y Error - Cancel not allowed Current Job Status is Cleared Dans ce cas le job ne peut pas être annulé car il a été exécuté avec succès et son état actuel est cleared, c-à-dire que les résultats sont déjà récupérés. Récupération de la sortie du job avec CREAM-CE Une fois l état du job a atteint la fin " Status = [DONE-OK] ", on peut récupérer les résultats à partir du serveur gridftp du ce : [talhaoui@ui ex4]$ glite-ce-job-status -L 2 https://ce1.cnrst.magrid.ma:8443/cream438500941 2010-12-12 18:37:40,817 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce1.cnrst.magrid.ma:8443/CREAM438500941] Current Status = [DONE-OK] Working Dir = [[reserved]] ExitCode = [0] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [9cf983105cb239cfae3f96033182449a8b59569b] DelegProxyInfo = [Valid From : 12/9/10 7:57 AM (GMT) Valid To : 12/9/10 6:33 PM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA Auteur : Nabil Talhaoui 25/30

VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn2.cnrst.magrid.ma] Local User = [eumed019] CREAM ISB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM438500941/ISB] CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM438500941/OSB] JDL = [[ Arguments = "-f"; QueueName = "eumed"; JobType = "Normal"; Executable = "/bin/hostname"; VirtualOrganisation = "eumed"; StdOutput = "simple.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://localhost"; StdError = "simple.err"; BatchSystem = "pbs"; OutputSandbox = { "simple.err","simple.out" } ]] Type = [Normal] Job status changes: ------------------- Status = [REGISTERED] - [Thu 09 Dec 2010 08:02:09] (1291881729) Status = [PENDING] - [Thu 09 Dec 2010 08:02:10] (1291881730) Status = [IDLE] - [Thu 09 Dec 2010 08:02:10] (1291881730) Status = [RUNNING] - [Thu 09 Dec 2010 08:02:13] (1291881733) Status = [REALLY-RUNNING] - [Thu 09 Dec 2010 08:02:19] (1291881739) Status = [DONE-OK] - [Thu 09 Dec 2010 08:02:16] (1291881736) Issued Commands: ------------------- *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec 2010 08:02:09] (1291881729) Start Scheduling Time = [Thu 09 Dec 2010 08:02:09] (1291881729) Start Processing Time = [Thu 09 Dec 2010 08:02:09] (1291881729) Execution Completed Time = [Thu 09 Dec 2010 08:02:09] (1291881729) *** Command Name = [JOB_START] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Thu 09 Dec 2010 08:02:10] (1291881730) Start Scheduling Time = [Thu 09 Dec 2010 08:02:10] (1291881730) Start Processing Time = [Thu 09 Dec 2010 08:02:10] (1291881730) Execution Completed Time = [Thu 09 Dec 2010 08:02:15] (1291881735) Cette commande nous permet de déterminer le chemin des résultats (CREAM OSB URI = [gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrst_c N_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM438500941/OSB]) sur le serveur gridftp du CE. Pour s assurer de l xistence des résultats, on accede au serveur gridftp du CE et on vérifie l existence des fichiers de sortie : [talhaoui@ui ~]$ uberftp ce1.cnrst.magrid.ma 220 ce1.cnrst.magrid.ma GridFTP Server 2.8 (gcc64dbg, 1217607445-63) [VDT patched 4.0.8] ready. 230 User eumed019 logged in. uberftp> ls /opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrst_cn_nabil_talhaoui_eumed_rol e_null_capability_null_eumed019/43/cream438500941/osb/ Auteur : Nabil Talhaoui 26/30

-rw-r--r-- 1 eumed019 eumed 0 Dec 9 08:02 simple.err -rw-r--r-- 1 eumed019 eumed 20 Dec 9 08:02 simple.out uberftp> quit 221 Goodbye. Kthxbye [talhaoui@ui ~]$ Récupération des résultats : [talhaoui@ui ~]$ mkdir cream_out [talhaoui@ui ~]$ globus-url-copy gsiftp://ce1.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ OU_CNRST_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed019/43/CREAM43 8500941/OSB/simple.out file:///home/talhaoui/cream_out/simple.out [talhaoui@ui ex4]$ cd cream_out [talhaoui@ui cream_out]$ ls simple.out [talhaoui@ui cream_out]$ cat simple.out wn2.cnrst.magrid.ma Annulation du job Si le job est erroné on peut l annuler par la commande : glite-wms-job-cancel -i JobId [ui] /home/talhaoui > glite-wms-job-cancel -i JobId [talhaoui@ui ~]$ glite-ce-job-cancel https://ce1.cnrst.magrid.ma:8443/cream438500941 2010-12-12 18:57:25,340 WARN - No configuration file suitable for loading. Using built-in configuration Are you sure you want to cancel specified job(s) [y/n]: y 2010-12-12 18:57:38,287 ERROR - This job was not matching the status or had a status incompatible for operation: [CREAM438500941] - Server error Message is: [MethodName=[JOB_CANCEL] Timestamp=[Sun 12 Dec 2010 18:56:43] ErrorCode=[2] Description=[the job has a status not compatible with the JOB_CANCEL command!] Dans ce cas le job ne peut pas être annulé car il a été exécuté avec succès et son état actuel est cleared, c-à-dire que les résultats sont déjà récupérés. Soumission d un job Molpro (Exemple test.com) [talhaoui@ui2 test]$ glite-ce-job-submit -a -r ce2.cnrst.magrid.ma:8443/creampbs-eumed test.jdl 2010-12-12 19:40:07,127 WARN - No configuration file suitable for loading. Using built-in configuration https://ce2.cnrst.magrid.ma:8443/cream745910639 [talhaoui@ui2 test]$ glite-ce-job-status https://ce2.cnrst.magrid.ma:8443/cream745910639 2010-12-12 19:40:38,543 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce2.cnrst.magrid.ma:8443/CREAM745910639] Status = [DONE-OK] ExitCode = [0] [talhaoui@ui2 test]$ glite-ce-job-status -L 2 https://ce2.cnrst.magrid.ma:8443/cream745910639 Auteur : Nabil Talhaoui 27/30

2010-12-12 19:40:54,692 WARN - No configuration file suitable for loading. Using built-in configuration ****** JobID=[https://ce2.cnrst.magrid.ma:8443/CREAM745910639] Current Status = [DONE-OK] Working Dir = [[reserved]] ExitCode = [0] Grid JobID = [N/A] LRMS Abs JobID = [[reserved]] LRMS JobID = [[reserved]] Deleg Proxy ID = [9cc52a2a8085397dbb27229110ec2fa23b9d0643] DelegProxyInfo = [Valid From : 12/12/10 7:35 PM (GMT) Valid To : 12/13/10 7:39 AM (GMT) Holder Subject : /C=MA/O=MaGrid/OU=CNRST/CN=Nabil Talhaoui Holder CA : /C=MA/O=MaGrid/CN=MaGrid CA VO : eumed AC Issuer : CN=voms2.cnaf.infn.it,L=CNAF,OU=Host,O=INFN,C=IT Attribute : /eumed/role=null/capability=null ] Worker Node = [wn008.cnrst.magrid.ma] Local User = [eumed005] CREAM ISB URI = [gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM745910639/ISB] CREAM OSB URI = [gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ou_cnrs T_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM745910639/OSB] JDL = [[ Arguments = "test.com"; QueueName = "eumed"; JobType = "Normal"; Executable = "script.sh"; VirtualOrganisation = "eumed"; InputSandbox = { "/home/talhaoui/exemples/molpro/test/script.sh","/home/talhaoui/exemples/molpro/test/t est.com","script.sh","test.com" }; StdOutput = "test.out"; Type = "Job"; OutputSandboxBaseDestUri = "gsiftp://localhost"; StdError = "test.err"; BatchSystem = "pbs"; OutputSandbox = { "test.err","test.out" } ]] Type = [Normal] Job status changes: ------------------- Status = [REGISTERED] - [Sun 12 Dec 2010 19:40:09] (1292182809) Status = [PENDING] - [Sun 12 Dec 2010 19:40:10] (1292182810) Status = [IDLE] - [Sun 12 Dec 2010 19:40:10] (1292182810) Status = [RUNNING] - [Sun 12 Dec 2010 19:41:08] (1292182868) Status = [REALLY-RUNNING] - [Sun 12 Dec 2010 19:41:13] (1292182873) Status = [DONE-OK] - [Sun 12 Dec 2010 19:40:24] (1292182824) Issued Commands: ------------------- *** Command Name = [JOB_REGISTER] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Sun 12 Dec 2010 19:40:09] (1292182809) Start Scheduling Time = [Sun 12 Dec 2010 19:40:09] (1292182809) Start Processing Time = [Sun 12 Dec 2010 19:40:09] (1292182809) Execution Completed Time = [Sun 12 Dec 2010 19:40:09] (1292182809) *** Command Name = [JOB_START] Command Category = [JOB_MANAGEMENT] Command Status = [SUCCESSFULL] Creation Time = [Sun 12 Dec 2010 19:40:10] (1292182810) Start Scheduling Time = [Sun 12 Dec 2010 19:40:10] (1292182810) Start Processing Time = [Sun 12 Dec 2010 19:40:10] (1292182810) Execution Completed Time = [Sun 12 Dec 2010 19:40:15] (1292182815) [talhaoui@ui2 test]$ globus-url-copy gsiftp://ce2.cnrst.magrid.ma/opt/glite/var/cream_sandbox/eumed/_c_ma_o_magrid_ Auteur : Nabil Talhaoui 28/30

OU_CNRST_CN_Nabil_Talhaoui_eumed_Role_NULL_Capability_NULL_eumed005/74/CREAM74 5910639/OSB/test.out file:///home/talhaoui/exemples/molpro/test/test_11-10- 2010.out [talhaoui@ui2 test]$ ls -ls total 56 4 -rwxr-xr-x 1 talhaoui talhaoui 25 dã c 3 22:59 script.sh 20 -rw-rw-r-- 1 talhaoui talhaoui 19708 dã c 12 20:04 test_11-10-2010.out 4 -rwxr-xr-x 1 talhaoui talhaoui 412 mar 19 2010 test.com 4 -rw-r--r-- 1 talhaoui talhaoui 263 dã c 12 19:36 test.jdl 4 -rw-r--r-- 1 talhaoui talhaoui 4096 dã c 3 22:00 test_org.out [talhaoui@ui2 test]$ Fichier JDL test.jdl : [talhaoui@ui2 test]$ cat test.jdl Type = "Job"; JobType = "Normal"; Executable = "script.sh"; StdOutput = "test.out"; StdError = "test.err"; InputSandbox = {"script.sh", "test.com"}; OutputSandbox = {"test.err","test.out"}; Arguments = "test.com"; OutputSandboxBaseDestUri = "gsiftp://localhost"; Fichier exécutable (commande molpro) script.sh : [talhaoui@ui2 test]$ cat script.sh /usr/local/bin/molpro $1 [talhaoui@ui2 test]$ Fichier d entrée (programme molpro) test.com : [talhaoui@ui2 test]$ cat test.com ***,ALC4H memory,100,m gprint,orbitals basis=vdz geomtyp=xyz geometry={ 6 alc4h c,0.0,0.0,-3.140914 h,0.0,0.0,-4.202268 c,0.0,0.0,-1.934641 c,0.0,0.0,-0.574641 c,0.0,0.0,0.650237 al,0.0,0.0,2.630916 } {rhf;wf,38,1,0;} ---; [talhaoui@ui2 test]$ Auteur : Nabil Talhaoui 29/30

PRATIQUE PARTIE 3 SOUMISSION DE JOBS A Suivi d un job simple avec le processus WMS 1. Créez un proxy à l'aide de la fonction voms-proxy-init 2. Listez les sites sur lesquels vous pouvez soumettre le job "simple.jdl" en utilisant la commande glite-wms-job-list-match 3. Soumettez le job "simple.jdl" en utilisant la commande glite-wms-job-submit 4. Vérifiez le statut du job en utilisant la command glite-wms-job-status sans et avec option " v 2" et "-v 3" 5. Lorsque le job est terminé, récupérez la sortie en utilisant glite-wms-job-output 6. Vérifiez que tout s'est déroulé correctement en consultant les fichiers "simple.out" et "simple.err". 7. Modifier le fichier "simple.jdl" en utilisant l exécutable "hostname f " comme fichier d entré "simple.sh" et de manière à ce qu'il soit soumis sur un site particulier, en utilisant le paramètre "requirements" du jdl. 8. Lancer à nouveau le job modifié et faites un suivi et un débogage en utilisant la commande glite-wms-job-logging-info -i JobId 9. Modifier le fichier "simple.jdl" en utilisant différents pré-réquis et aussi des préférences 10. Soumettez le job "prog_c.jdl", et faite un suivi. B - Suivi d un job molpro avec les commandes CREAM CE 1. Idem. que la partie A en utilisant les commandes CREAM CE. 2. Utiliser le même exemple molpro en utilisant le serveur gridftp de serveur de stockage SE2 se2.cnrst.magrid.ma NB : Molpro est supporté par les deux clusters de MaGrid "ce1.cnrst.magrid.ma" et "ce2.cnrst.magrid.ma" Auteur : Nabil Talhaoui 30/30