La grille de calcul DZ e-science Grid Amina KHEDIMI a.khedimi@dtri.cerist.dz First workshop on using GRID tools for astrophysics 16 Juin 2013 Constantine 1
PLAN Introduction Les éléments de la grille L accès à la grille DZ-Grid Soumission des jobs
Introduction Une grille de calcul est un système distribué composé de ressources informatiques partagées. Elle est le résultat d'une mise en commun de ressources hétérogènes appartenant à plusieurs organisations.
Les éléments de la grille
L accès à la grille DZ-Grid Un utilisateur pour utiliser la grille doit posséder : Un certificat électronique personnel Une entrée dans une Organisation Virtuelle (VO) Un compte sur une Interface Utilisateur (UI) ou sur un Service Web
L accès à la grille Authentification => Certificat Qui est qui? Autorisation => VO Qui a le droit? Accès à la grille => UI Par ssh
Demande de certificat Un certificat est un passeport électronique Délivré par DZ e-science CA Depuis un navigateur connectez-vous sur https://ca.grid.arn.dz/cgibin/pki/pub/pki?cmd=getstaticpage&name=homepage
Demande de certificat Cliquer sur : 1. You import the DZ e- Science CA from this site.
Demande de certificat Cliquer sur :«CA certificate in format CRT»
Demande de certificat Il faut cocher les 3 cases et appuyer su OK
Demande de certificat Revenir à la page web https://ca.grid.arn.dz/cgi-bin/pki/pub/pki?cmd=getstaticpage&name=homepage Cliquer sur: «2. You request a certificate from this site.»
Demande de certificat Inscrivez votre Prenom, nom et adresse émail => un clic sur Continue => (une page de vérification ) Continue =>
Demande de certificat Il faut choisir un mot de passe avec plus de 5 caractères qu il faut saisir 2 fois. Continue => IL faut valider les pages suivantes jusqu à l instruction «print».
Demande de certificat Après validation de votre demande par le CA manager vous recevez un mail avec un lien permettant de récupérer votre certificat. Introduisez le numéro de série envoyé sur l entête du message dans Serial Number et cliquez sur OK En cliquant sur le lien, votre certificat est importé dans votre navigateur.
Demande de certificat Vous devez utiliser le même navigateur pour la demande et pour la récupération du certificat!
L enregistrement dans une VO Tout utilisateur de la grille doit être inscrit dans une VO (Virtual Organization). Muni de votre certificat, vous pouvez vous inscrire dans une ou plusieurs VOs. Votre demande sera ensuite validée par le «VO Manager». Le site d enregistrement pour la VO dzgrid est: https://voms.grid.arn.dz:8443/voms/dzgrid/register/home
L enregistrement dans une VO Depuis le navigateur contenant votre certificat GRID-FR, connectez-vous s sur https://voms.grid.arn.dz:8443/voms/dzgrid/register/home Cliquez sur «New User Registration» dans la liste à gauche. Remplissez le formulaire puis cliquez sur «I have read and agree to the VO s Usage Rules. Vous recevrez un e-mail avec un lien. Cliquez sur le lien pour confirmer votre demande. Après validation de votre demande par le «VO Manager», vous recevrez un e-mail vous en informant. Vous êtes alors inscrits dans la VO dzgrid
L enregistrement dans une VO
Exportation, installation et utilisation du certificat Utiliser la fonction «export» de votre navigateur pour faire une sauvegarde de votre certificat au format pkcs12 (fichier.p12, exemple cert.p12). Vous devez protéger l accès à ce fichier par un mot de passe pour éviter que quelqu un d autre ne puisse l importer. Le navigateur vous demandera de fournir ce mot de passe.
Exportation, installation et utilisation du certificat Firefox : Sélectionnez le menu Edit/Preferences. Cliquez sur «Advanced» à gauche. Cliquez sur le bouton «Manage Certificates...» et utilisez la fonction «backup». Mozilla : Dans le menu Edit/Preferences, aller dans l'onglet «Privacy & Security» puis dans «Certificates». Cliquez sur «Manage Certificates» puis utiliser la fonction «backup». Netscape : Cliquez sur l'icône «sécurité» (ou passez par le menu Communicator/outils/Information), puis cliquez sur le choix «vos certificats». Internet Explorer : Dans le menu Outils/Options Internet, allez dans l'onglet «contenu» et cliquez sur «certificats». Google Chrome : Dans le menu Paramètres/Options avancées, allez dans l'onglet «Gérer les certificats» et cliquez sur «certificats» et utilisez la fonction «exporter». Conserver précieusement une copie de votre certificat et n oublier pas le mot de passe le protégeant. Vous pouvez conserver une copie sur une clé USB par exemple.
Exportation, installation et utilisation du certificat Accés au serveur UI ssh user@ui.grid.arn.dz [user@ui ~]# mkdir ~/.globus [user@ui ~]# cp your_certificate.p12 /.globus [user@ui ~]# cd.globus
Exportation, installation et utilisation du certificat [user@ui ~]#openssl pkcs12 -in your_certificate.p12 -clcerts -nokeys -out usercert.pem Enter Import Password: (Give the passphrase if any) MAC verified OK [user@ui ~]# openssl pkcs12 -in your_certificate.p12 -nocerts -out userkey.pem Enter Import Password: (Give the passphrase if any) MAC verified OK [user@ui ~]# chmod 400 ~/.globus/userkey.pem [user@ui ~]# chmod 644 ~/.globus/usercert.pem
Soumission des jobs-création du proxy Afin que vos jobs puissent accéder à la grille il faut créer un proxy. Il s'agit d'un fichier signé avec votre certificat. Les proxy sont valables par défaut pour une durée limitée de 12h. Création du proxy: [user@ui01 ~]# voms-proxy-init --voms dzgrid Enter GRID pass phrase: Your identity: /DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=Amina Khedimi Creating temporary proxy... Done Contacting voms-02.pd.infn.it:15016 [/C=IT/O=INFN/OU=Host/L=Padova/CN=voms-02.pd.infn.it] "eumed" Done Creating proxy... Done Your proxy is valid until Tue May 22 12:28:59 2012
Soumission des jobs-création du proxy Affichez les informations du proxy : [user@ui~]# voms-proxy-info ou voms-proxy-info all subject : /DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=Amina Khedimi/CN=proxy issuer : /DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=Amina Khedimi identity : /DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=Amina Khedimi type : proxy strength : 1024 bits path : /tmp/x509up_u503 timeleft : 11:52:50 Les informations intéressantes sont le «subject» qui est l'équivalent du «username» dans la grille, le «timeleft» qui donne la durée de validité du proxy ainsi que le nom de fichier pour le proxy. Pour supprimer le proxy : [user@ui~]# voms-proxy-destroy Cette commande supprime le proxy localement. Des copies envoyées avec vos jobs ne sont pas affectées. Vérifiez que le proxy n'est plus là avec la commande : voms-proxy-info
Soumission des jobs-jdl Les jobs à soumettre doivent être décrit dans un petit fichier texte dans le langage JDL (JobDescription Language). Il est ensuite soumis via le Workload Management System (WMS). La commande pour soumettre un job est glitewms-job-submit. Il faut disposer d un proxy valide pour pouvoir soumettre des jobs.
Soumission des jobs-jdl HelloWorld.jdl Type = "Job"; JobType = "Normal" Executable = "/bin/echo"; Arguments = "Hello World"; StdOutput = "std.out"; StdError = "std.err"; OutputSandbox = {"std.out","std.err"}; Dans ce job on spécifie le programme exécutable (/bin/echo), ses arguments ( Hello World )ainsi que les noms des fichiers qui contiendront les messages destinés aux sorties standard et standard erreur.
Soumission du Job [amina@ui ~]$ voms-proxy-init --voms dzgrid Enter GRID pass phrase: Your identity: /DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=Amina Khedimi Creating temporary proxy... Done Contacting voms.grid.arn.dz:15000 [/DC=DZ/DC=ARN/O=DZ e-science GRID/OU=ARN/CN=voms.grid.arn.dz] "dzgrid" Done Creating proxy... Done Your proxy is valid until Sun May 12 12:01:24 2013 [amina@ui01 ~]$ glite-wms-job-submit -a -e https://wms.grid.arn.dz:7443/glite_wms_wmproxy_server -r ce01.grid.arn.dz:8443/cream-lsf-eumed octave.jdl Connecting to the service https://wms.grid.arn.dz:7443/glite_wms_wmproxy_server ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: https://wms.grid.arn.dz:9000/dycm01ic6rsx2bvmnn469a =============================================================
L état du Job [amina@ui $ glite-wms-job-status https://wms.grid.arn.dz:9000/dycm01ic6rsx2bvmnn469a ========= glite-wms-job-status Success =================== BOOKKEEPING INFORMATION: Status info for the Job : https://wms.grid.arn.dz:9000/dycm01ic6rsx2bvmnn469a Current Status: Running Status Reason: unavailable Destination: ce01.grid.arn.dz:8443/cream-lsf-dzgrid Submitted: Sun May 12 00:01:34 2013 CET ===========================================
L output du Job [amina@ui ]$ glite-wms-job-output https://wms.grid.arn.dz:9000/dycm01ic6rsx2bvmnn469a Connecting to the service https://wms.grid.arn.dz:7443/glite_wms_wmproxy_server ========= JOB GET OUTPUT OUTCOME ============= Output sandbox files for the job: https://wms.grid.arn.dz:9000/dycm01ic6rsx2bvmnn469a have been successfully retrieved and stored in the directory: /tmp/joboutput/amina_dycm01ic6rsx2bvmnn469a ==============================================
Pour plus d informations Contacter nous : www.grid.arn.dz contact@grid.arn.dz