Chapitre 3. Grille de Calcul européenne EGI 3.1 Infrastructure EGI

Transcription

1 Chapitre 3. Grille de Calcul européenne EGI 3.1 Infrastructure EGI

2 3.1 Infrastructure EGI Historique Milieu des années 1990 : naissance du concept de grille Globus, développé par Ian Foster et Carl Kasselman (US) 1999 : CERN adopte le principe de grille pour traiter les données du futur LHC (LCG : LHC Computing Grid) : grille de test DATAGRID : EGEE 3 projets européens de 2 ans pour la mise en place d'une infrastructure de grille de production ~2007 : grille devient véritablement opérationnelle 2010 : lancement du LHC 2010 : EGI (European Grid Initiative) 2

3 3.1 Infrastructure EGI Evolution consommation CPU Source: 3

4 3.1 Infrastructure EGI Ressources disponibles EGI Le 28 sep 2013 : 579 sites en production CPUs ( coeurs) To ( To utilisés) utilisateurs 135 VO actives jobs / jours Sources : 4

5 3.1 Infrastructure EGI Organisations des ressources Ressources de calcul organisée en sites Unité géographique Unité administrative Ensemble de ressources et de services Les utilisateurs sont organisées en VO Unité thématique Ressources identiques répaties sur plusieurs sites Site 3 VO1 Site 2 VO2 Site 1 5

6 3.1 Infrastructure EGI Organisation virtuelle (VO) Les utilisateurs sont regroupés par communautés Sciences du vivant : Biomed HEP : Alice, Atlas, Babar, CMS, D0, LHCb, Observation de la Terre : ESR Les autorisations sont fonction de l Organisation Virtuelle Un administrateur par Organisation Virtuelle C est le gestionnaire des utilisateurs de sa VO Les ressources se déclarent utilisables pour certaines VO Affectation des ressources aux VO par l'administrateur d'un site 6

7 3.1 Infrastructure EGI Éléments constitutifs principaux CE Computing Element Ressources de calcul (cluster) SE Storage Element Serveur de stockage UI User Interface Interface d'accès à la grille WMS Workload Management Server Système de gestion des jobs LFC LCG File Catalog Catalogue des fichiers (pour une VO) VOMS Virtual Organization Membership Service Gestion des utilisateurs d'une VO BDII Berkeley Database Information Index Système d'information de la grille 7

8 3.1 Infrastructure EGI Fonctionnement général Autorisations Ordonnancement Soumission d'un job Envoi d'un fichier Transfert 8 Exécution

9 3.1 Infrastructure EGI Middleware : glite 1998 : Globus : EDG/LCG 2006 : glite : intégré dans EMI Fonctionnalités GSI (Grid Security Infrastructure), PKI, X.509, SSL, Gsi-FTP Gestion des utilisateurs : VOMS Gestion des jobs : WMS Gestion des données : LFC, DPM, SRM 9

10 3.2 Infrastructure de sécurité (GSI)

11 3.2 Infrastructure de sécurité (GSI) Sécurité Comme les ressources et les utilisateurs distribués et appartenant à des établissement différents, il faut garantir que seuls les utilisateurs autorisés peuvent y accéder Une infrastructure d'authentification est donc nécessaire. Les utilisateurs et les propriétaires des ressources doivent être protégés les uns des autres Les utilisateurs doivent assurer la sécurité de : Leurs données Leurs codes Leurs messages 11

12 3.2 Infrastructure de sécurité (GSI) Aperçu LOG LOG ACL ACL ACL ACL VOMS VOMS PKI PKI//GSI GSI 12

13 3.2 Infrastructure de sécurité (GSI) Grid Security Infrastructure (GSI) Proxies et délégation pour un single Sign-on sécurisé Proxies Proxiesand anddelegation Delegation PKI pour les accréditations PKI PKI (CAs (CAsand and Certificates) Certificates) SSL/ SSL/ TLS TLS TLS pour l'authentification et pour la protection des messages PKI: Public Key Infrastructure, SSL: Secure Socket Layer TLS: Transport Level Security 13

14 3.2 Infrastructure de sécurité (GSI) Chiffrement asymétrique Chaque entité détient deux clé : une clé publique et une clé privée (protégée par un mot de passe) La clé privée n'est connue que de son propriétaire Les données chiffrées avec l'une des clés ne peut être déchiffré qu'avec l'autre clé 14

15 3.2 Infrastructure de sécurité (GSI) Certificats Comment avoir confiance dans une clé publique? Comment diffuser sûrement les clés publiques? er n Ow Certificats Carté d'identité électronique : clé publique + infos sur le propriétaire Délivré par un tiers de confiance : l'autorité de certification (CA) La CA signe le certificat ce qui en garantit l'authenticité Validité limitée dans le temps 15

16 3.2 Infrastructure de sécurité (GSI) Le certificat X.509 (1) X.509 : Norme iso établissant La structure standard des certificats Algorithme pour la validation de la chaine de certification La gestion des listes de révocation PEM (Privacy Enhanced Mail) Format de fichier d'un certificat, définit au départ pour la messagerie PKCS12 : Format de fichier unique pour la clé privée et le certificat Souvent utilisé pour le stockage 16

17 3.2 Infrastructure de sécurité (GSI) Le certificat X.509 (2) Informations importantes Le sujet ou DN du certificat Le numéro de série du certificat La période de validité du certificat (1 an max) L Autorité de Certification émettrice La Liste des Certificats Révoqués (CRL) émise par la CA $ openssl x509 -in usercert.pem -noout -text Certificate: Data: Version: 3 (0x2) Serial Number: 2967 (0xb97) Signature Algorithm: sha1withrsaencryption Issuer: C=FR, O=CNRS, CN=GRID2-FR Validity Not Before: Sep 8 15:05: GMT Not After : Sep 8 15:05: GMT Subject: O=GRID-FR, C=FR, O=UBP, OU=CIRI, CN=Antoine Mahul Subject Public Key Info: Public Key Algorithm: rsaencryption RSA Public Key: (2048 bit) Modulus (2048 bit): 00:e4:8e:94:00:23:b3:25:75:7f:89:50:19:04:ec: 17

18 3.2 Infrastructure de sécurité (GSI) Autorité de Certification Problématique : Une seule CA pour le projet => Pas gérable, peu sûr Une CA par partenaire => Problème de mise à l échelle Solution : une CA par pays => Établir des relations de confiance entre chaque CA => Coordination au niveau du pays => Catch-All Cas (Pays sans CA nationale) En france : GRID2FR ( Coordination des CA en Europe: EUGridPMA (EUropean Grid Policy Management Authority) 18

19 3.2 Infrastructure de sécurité (GSI) Transport Layer Security (SSL/TLS) Utilise les certificats et les sockets TCP pour fournir une connexion sécurisée Authentification d'une ou des 2 parties par certificats Protection des messages : Confidentialité (chiffrement) Intégrité SSL/TLS Certificats Sockets TCP 19

20 3.2 Infrastructure de sécurité (GSI) Authentification par certificats Étapes pour que A s authentifie auprès de B : 1.A envoie son certificat à B 2.B en vérifie la validité en utilisant la clé publique du CA 3.B envoie un challenge à A 4.A chiffre le challenge avec sa clé privée et répond à B 5.B déchiffre avec la clé publique de A 6.Démarrage de la session 7.B envoie une clé de session (chiffrée) à A 20

21 3.2 Infrastructure de sécurité (GSI) Grid Proxy Authentification par certificats non adaptée sur la grille Délégation dynamique : délégation de certains privilèges à une entité tierce, pour un temps limité (ex WMS) Entités dynamique : les entités tierces ne sont pas connus à l'avance (ex CE) Authentifications répétées : chaque opération d'authentification va demander le mot de passe à l'utilisateur... Proxy = certificat/clé privée dont l'émetteur et le signataire est un certificat user X.509 ou un certificat proxy Durée validité courte (12 heures à 36 heures max) CA User signe Proxy signe Proxy signe 21

22 3.2 Infrastructure de sécurité (GSI) Certificat Proxy $ openssl x509 -in /tmp/x509up_u6xx -text Certificate: Data: Version: 3 (0x2) Serial Number: (0x9bfe190) Signature Algorithm: sha1withrsaencryption Issuer: O=GRID-FR, C=FR, O=UBP, OU=CIRI, CN=Antoine Mahul Validity Not Before: Oct 3 15:55: GMT Not After : Oct 4 16:00: GMT Subject: O=GRID-FR, C=FR, O=UBP, OU=CIRI, CN=Antoine Mahul, CN=proxy Subject Public Key Info: Public Key Algorithm: rsaencryption RSA Public Key: (1024 bit) Modulus (1024 bit): 00:d5:42:59:8b:70:20:f2:1a:4f:b5:40:e4:bc:5b:... Exponent: (0x10001) X509v3 extensions: : 22

23 3.2 Infrastructure de sécurité (GSI) Déploiement des certificats Obtenir un certificat personnel auprès de GRID2FR et l'ajouter dans votre navigateur ( S enregistrer auprès d une VO ( Exporter et convertir son certificat du format PKCS12 au format PEM et le placer sur l'ui (dans le répertoire ~/.globus) Clé publique au format PEM : ~/.globus/usercert.pem Clé privée au format PEM : ~/.globus/userkey.pem Protégée par un mot de passe Avec les droits de lecture uniquement pour le propriétaire $ openssl pkcs12 -nocerts -in cert.p12 -out ~user/.globus/userkey.pem $ chmod 0400 ~/.globus/userkey.pem $ openssl pkcs12 -clcerts -nokeys -in cert.p12 \ -out ~user/.globus/usercert.pem 23

24 3.2 Infrastructure de sécurité (GSI) Responsabilité de l'utilisateur Assurer la confidentialité de sa clé privée Mot de passe Droits d'accès Ne jamais prêter son certificat Signaler une compromission à son autorité de certification Ne pas utiliser une délégation au delà de vos besoins Si votre certificat ou votre proxy est utilisé par quelqu'un d'autre, vous ne pourrez pas prouver que ce n'était pas vous 24

25 3.2 Infrastructure de sécurité (GSI) Gestion des autorisations : VOMS Un certificat grille ne donne pas l'accès aux ressources Les autorisations sont définies par les VO Accès autorisé par le site à la VO Accès autorisé par la VO à l'utilisateur Politique de contrôle d'admission du site 25 Accès effectivement autorisé

26 3.2 Infrastructure de sécurité (GSI) Virtual Organization Membership Service (VOMS) Extension de la GSI pour gérer les autorisations Attributs du proxy avec les information d'autorisations : Appartenance à une (ou plusieurs) VO Groupe, rôles et privilèges Chaque VO a une base de données des utilisateurs définissant les droits de chaque utilisateur L'utilisation contacte le serveur VOMS pour obtenir ses autorisation Le serveur VOMS Server retourne les informations d'autorisation et un certificat proxy 26

27 3.2 Infrastructure de sécurité (GSI) Création d'un proxy VOMS $ voms-proxy-init --voms auvergrid -valid 24:00 Enter GRID pass phrase: Your identity: /O=GRID-FR/C=FR/O=UBP/OU=CIRI/CN=Antoine Mahul Creating temporary proxy... Done Contacting cclcgvomsli01.in2p3.fr:15002 [/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvomsli01.in2p3.fr] "auvergrid" Done Creatingproxy... Done Your proxy is valid until Mon Oct 4 19:46: $ voms-proxy-info -all subject : /O=GRID-FR/C=FR/O=UBP/OU=CIRI/CN=Antoine Mahul/CN=proxy issuer : /O=GRID-FR/C=FR/O=UBP/OU=CIRI/CN=Antoine Mahul identity : /O=GRID-FR/C=FR/O=UBP/OU=CIRI/CN=Antoine Mahul type : proxy strength : 1024 bits path : /tmp/x509up_u600 timeleft : 23:57:08 === VO auvergrid extension information === VO : auvergrid subject : /O=GRID-FR/C=FR/O=UBP/OU=CIRI/CN=Antoine Mahul issuer : /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvomsli01.in2p3.fr attribute : /auvergrid/role=null/capability=null timeleft : 23:57:08 uri : cclcgvomsli01.in2p3.fr:

28 3.2 Infrastructure de sécurité (GSI) Serveur VOMS 28

29 3.2 Infrastructure de sécurité (GSI) Récapitulatif Installation des certificats sur l'ui : Clé publique au format PEM : ~/.globus/usercert.pem Clé privée au format PEM : ~/.globus/userkey.pem Protégée par un mot de passe Avec les droits de lecture uniquement pour le propriétaire Création d'un proxy : Infos sur un proxy : Destruction d'un proxy : voms-proxy-init --voms... voms-proxy-info -all voms-proxy-destroy 29

30 3.3 Le système d'information de la grille

31 3.3 Système d'information Système d'information glite Un système pour collecter des informations sur l état des ressources Pour explorer les ressources de la grille et leur nature Avoir des données utiles pour gérer aux mieux les charges sur les ressources Vérifier le bon fonctionnement des ressources Comment? En surveillant l état des ressources localement et en le publiant dans le système d information En adoptant un modèle de données commun pour tous les composants qui veulent accéder à ces informations En utilisant différentes approches qui seront détaillées dans les prochains transparents 31

32 3.3 Système d'information Structure hiérarchique (1) 32

33 3.3 Système d'information Structure hiérarchique (2) Resource BDII : BDII associé à un service de la grille (CE,SE,WMS...) Récolte les informations sur ce service (CPUs, RAM, espace disque...) Site BDII : BDII associé à un site Agrège les informations provenant des Resource BDII pour un site donné Top BDII BDII global Instances multiples pour assurer la tolérance aux pannes Agrège les informations sur tous les services disponibles 33

34 3.3 Système d'information GLUE Schema Grid Laboratory Uniform Environment (GLUE) Un modèle de données pour décrire les ressources de grille Modèle standardisé par l'ogf pour l'interopérabilité des grilles Implémenté sous forme de schéma LDAP Version 1.3 (2007) : actuellement en production sur EGI ( 2.0 (2009) : supporté par EGI depuis EMI 2 ( 34

35 3.3 Système d'information Modèle de données GLUE : Site 35

36 3.3 Système d'information Modèle de données GLUE : SE 36

37 3.3 Système d'information Modèle de données GLUE : CE 37

38 3.3 Système d'information GLUE dans EGI GlueSiteUniqueID The site name as specified in the GOC DB GlueSiteName The site name as specified in the GOC DB GlueSiteDescription The official name as specified in the GOC DB GlueSite Contact The contact address as specified in the GOC DB GlueServiceUniqueID GlueServiceType GlueServiceEndpoint GlueServiceStatus A globally unique identifier for the service. The type of service. See the service type enumeration The endpoint used to contact the service The status of the service. OK, Warning, Critical, Unknown, Other GlueClusterUniqueID GlueClusterName A globally unique identifier for the cluster. See note on unique identifiers A human readable name for the cluster. Typically the host name is used GlueCEUniqueID A globally unique identifier for the CE. See note on unique identifiers GlueCEName A human readable name for the CE. Typically the queue name is used GlueCEStateStatus The status of the CE. Queueing, Production, Closed or Draining GlueCEStateTotalJobs The total number of jobs GlueCEStateWaitingJobs The number of jobs in the waiting state GlueCEStateFreeJobSlots The number of free job slots 38

39 3.3 Système d'information Interrogation avec ldapsearch Interrogation directe de l'annuaire LDAP Syntaxe complexe Requête complexes Syntaxe : ldapsearch [options] 'filtre' attrs ldapsearch -x -h cclcgtopbdii01.in2p3.fr -p b "mds-vo-name=local, o=grid" '(&(objectclass=gluesubcluster)(gluehostmainmemoryramsize>=8000))' GlueHostMainMemoryRAMSize # GLOW CE, GLOW, GLOW, local, grid dn: GlueSubClusterUniqueID=GLOW CE,GlueClusterUniqueID=GLOW,... GlueHostMainMemoryRAMSize: # GLOW g14, GLOW, GLOW, local, grid dn: GlueSubClusterUniqueID=GLOW g14,glueclusteruniqueid=glow,... GlueHostMainMemoryRAMSize: # t2bat08, MIT_CMS, MIT_CMS, local, grid dn: GlueSubClusterUniqueID=t2bat08,GlueClusterUniqueID=MIT_CMS,... GlueHostMainMemoryRAMSize:

40 3.3 Système d'information Interrogation avec lcg-infosites Interrogation du système d'information pour lister les infos des services associées à une VO Ne permet pas de faire de requêtes complexes lcg-infosites --vo voname -[v] -f [site name] [-h --help] [--is BDII] [option(s)] OPTIONS: --> se: The names of the SEs supported by the user's VO together with the available and used space are printed. --> ce: The information relative to number of CPUs, running jobs, waiting jobs and names of the CEs are provided. --> closese: The names of the CEs where the user's VO is allowed to run together with their corresponding closest SEs are provided. --> wms: It publishes the names of the WMSs available for each VO --> lfc (lfclocal): Name of the LFC (local) servers --> sitenames: Names of the LCG sites --> voview: VOViews listing CE related parameters --> tag: The names of the tags relative to the software installed in site is printed together with the corresponding CE. --> all: It groups together the information provided by ce, se, lrc and rmc. 40

41 3.3 Système d'information lcg-infosites : exemples $ lcg-infosites vo biomed ce #CPU Free Total Jobs Running Waiting ComputingElement grid-cr5.desy.de:8443/cream-pbs-desy ce2.egeode.org:8443/cream-pbs-biomed cr1.ipp.acad.bg:8443/cream-pbs-biomed ce01.up.pt:2119/jobmanager-lcgsge-biomed lcgce21.jinr.ru:8443/cream-pbs-biomed cream-ce.cat.cbpf.br:8443/cream-pbs-biomed lcgce12.jinr.ru:8443/cream-pbs-biomed ce06.pic.es:2119/jobmanager-lcgpbs-glong_sl ce05.pic.es:2119/jobmanager-lcgpbs-glong_sl ce07.pic.es:2119/jobmanager-lcgpbs-glong_sl creamce.grid.rug.nl:8443/cream-pbs-short $ lcg-infosites --vo biomed voview Running Waiting Total Free ResponseTime WorstResponseTime SE SWArea Queue dcache-se-desy.desy.de /opt/vo/biomed grid-cr5.desy.de:8443/cream-pbs-desy /voarea/biomed ce2.egeode.org:8443/cream-pbs-biomed /opt/exp_software/biomed cr1.ipp.acad.bg:8443/cream-pbs-biomed 41 se2.egeode.org se001.ipp.acad.bg

42 3.3 Système d'information Interrogation avec lcg-info Recherche de SE, de CE, de services ou de sites Critère de requête + complexe OPTIONS given. --list-attrs Prints a list of the attributes that can be queried. --list-ce Lists the CEs which satisfy a query, or all the CEs if no query is given. --list-se Lists the SEs which satisfy a query, or all the SEs if no query is given. --list-service Lists the services which satisfy a query, or all the services if no query is --list-site Lists the sites which satisfy a query, or all the services if no query is given. --query Restricts the output to the CEs/SEs/services/sites which satisfy the given query. --bdii Allows to specify a BDII in the form <hostname>:<port>. If not given, the value of the environmental variable LCG_GFAL_INFOSYS is used. If that is not defined, the command returns an error. --sed Prints the output in a "sed-friendly" format: "%" separate the CE/SE/service/site identifier and the printed attributes, "&" separate the values of multi-valued attributes. --debug Prints warning messages if the information system publishes inconstistent information. --attrs Specifies the attributes whose values should be printed. 42

43 3.3 Système d'information lcg-info : attributs $ lcg-info --list-attrs Attribute name Glue object class WorstRespTime GlueCE TotalCPUs GlueCE MaxRunningJobs GlueCE CE GlueCE WaitingJobs GlueCE MaxCPUTime GlueCE MaxTotalJobs GlueCE CEStatus GlueCE FreeCPUs GlueCE RunningJobs GlueCE SMPSize GlueSubCluster Processor GlueSubCluster PlatformArch GlueSubCluster OSVersion GlueSubCluster VMemory GlueSubCluster CFP2000 GlueSubCluster TmpDir GlueSubCluster OSRelease GlueSubCluster ClockSpeed GlueSubCluster LogicalCPU GlueSubCluster OutboundIP GlueSubCluster OS GlueSubCluster Glue attribute name GlueCEStateWorstResponseTime GlueCEInfoTotalCPUs GlueCEPolicyMaxRunningJobs GlueCEUniqueID GlueCEStateWaitingJobs GlueCEPolicyMaxCPUTime GlueCEPolicyMaxTotalJobs GlueCEStateStatus GlueCEStateFreeCPUs GlueCEStateRunningJobs GlueHostArchitectureSMPSize GlueHostProcessorModel GlueHostArchitecturePlatformType GlueHostOperatingSystemVersion GlueHostMainMemoryVirtualSize GlueHostBenchmarkSF00 GlueSubClusterTmpDir GlueHostOperatingSystemRelease GlueHostProcessorClockSpeed GlueSubClusterLogicalCPUs GlueHostNetworkAdapterOutboundIP GlueHostOperatingSystemName 43

44 3.3 Système d'information lcg-info : exemples $ lcg-info --vo biomed --list-ce --query 'Tag=MPICH' --attrs 'FreeCPUs' head -n 20 - CE: ce.cyf-kr.edu.pl:2119/jobmanager-pbs-biomed - FreeCPUs CE: ce.grid.cyf-kr.edu.pl:2119/jobmanager-pbs-biomed - FreeCPUs CE: ce.scope.unina.it:2119/jobmanager-lcgpbs-egee_short - FreeCPUs CE: ce0.m3pec.u-bordeaux1.fr:2119/jobmanager-pbs-sdj - FreeCPUs 288 $ lcg-info --list-se --query 'SE=ccsrm.in2p3.fr' --attrs CloseCE - SE: ccsrm.in2p3.fr - CloseCE cccreamceli02.in2p3.fr:8443/cream-bqs-long cccreamceli02.in2p3.fr:8443/cream-bqs-short cccreamceli02.in2p3.fr:8443/cream-bqs-medium cccreamceli03.in2p3.fr:8443/cream-bqs-long cclcgceli08.in2p3.fr:2119/jobmanager-bqs-long cclcgceli02.in2p3.fr:2119/jobmanager-bqs-long cclcgceli07.in2p3.fr:2119/jobmanager-bqs-long cclcgceli04.in2p3.fr:2119/jobmanager-bqs-long... 44

45 3.4 Gestion des jobs sur EGI

46 3.4 Gestion des jobs Étapes Description du job Soumission du Job Allocation (Match Making) Exécution du job Suivi du Job 46

47 3.4 Gestion des jobs Workload Management System (WMS) Job Scheduler de la grille Masque la complexité de la grille Se charge de l'ordonnancement et de l'allocation des ressources (Match Making) Permet de suivre le jobs jusqu'à la fin de son exécution Est capable d'interagir avec les autres services de la grille et éventuellement avec d'autres grilles Redondance : plusieurs WMS par VO 47

48 3.4 Gestion des jobs WMS : Aperçu 48

49 3.4 Gestion des jobs WMS : composants (1) WMProxy Interface de type web service Reçoit les requêtes depuis l'ui. Authentifie et associe l'utilisateur à un compte local générique Crée l'input Sandbox contenant le proxy délégué Transmet les requêtes valides au WM WM (Worlkload Manager) Traite les requêtes sur les jobs : submit, cancel, match Effectue l'allocation Crée le script d'exécution du job 49

50 3.4 Gestion des jobs WMS : composants (2) Task Queue Conserve les soumissions lorsqu'il n'y a pas de ressources dispo. Retente périodiquement jusqu'à l'expiration du job Attend les notifications de ressources disponibles Match-Maker Exécute le processus d'affectation d'une ressource éligible à un job Job Controller Soumet le Job sur les ressources de calcul 50

51 3.4 Gestion des jobs WMS : composants (3) Information Super Market Dépôt d'informations sur les ressources (SE,CE) collectées depuis différentes ressources Information Provider Notifications Logging and Booking Service (LB) Trace les jobs durant leur cycle de vie Récolte les événements des différents éléments du WMS Conserve les statistiques sur les échecs des jobs pour établir une 'réputation' des CE et aider à l'allocation 51

52 3.4 Gestion des jobs Diagramme d'état d'un job 52

53 3.4 Gestion des jobs Description des états Etat Description Submitted Job enregistré dans le LB Waiting Recherche des CE éligibles («match making») Ready Job envoyé au CE Scheduled Job en attente sur le CE Running Job en cours d'exécution sur un WN Done Job terminé (avec ou sans erreur) Aborted Job avorté par le middleware Cleared Job nettoyé (sorties récupérées par l'utilisateur) 53

54 3.4 Gestion des jobs Description d'un Job Langage de description : JDL (Job Description Language) Type du job (simple, DAG, collection) Exécutable et arguments Input Sandbox : fichiers à envoyer avec le job (< 10 Mo) Output Sandbox : fichiers à récupérer à la fin du job (< 10 Mo) Requirements : exigences, contraintes Remarque : l'exécutable doit être portable, sans lien vers des bibliothèques dynamiques, sans chemin absolu 54

55 3.4 Gestion des jobs Types de Jobs 55

56 3.4 Gestion des jobs Exemple 1 : Hello World Executable = /bin/echo ; Arguments = Hello World ; StdError = stderr.log ; StdOutput = stdout.log ; OutputSandbox = { stderr.log, stdout.log }; Pas de fichier d'entrée ni d'exécutable à transférer sur le WN Fichiers de sortie (transférés du WN vers l'ui après l exécution) sortie standard erreur standard 56

57 3.4 Gestion des jobs Exemple 2 : script sh Executable = script.sh ; Arguments = arg1 arg2 ; StdError = stderr.log ; StdOutput = stdout.log ; InputSandbox = { script.sh, datafile1 } OutputSandbox = { stderr.log, stdout.log } ; RetryCount = 3 ; Fichiers d'entrée (transférés de l'ui vers le WN avant l'exécution) script à exécuter (script.sh) un fichier de données (datafile1) Fichiers de sortie (transférés du WN vers l'ui après l exécution) sortie standard erreur standard 57

58 3.4 Gestion des jobs Attributs (1) Executable (obligatoire) : nom de la commande à exécuter. Arguments (option) : arguments de la commande à exécuter. StdInput, StdOutput, StdErr (option) : définition des entrées/sorties/erreurs standards. Environment (option) : Ensemble de valeurs lié à l environnement d exécution. InputSandbox (option) : Liste des fichiers se trouvant sur l UI qui seront transférés avec le job. Ces fichiers seront copiés sur le CE cible. OutputSandbox (option) : Liste des fichiers générés par le job qui seront accessibles via l output sandbox 58

59 3.4 Gestion des jobs Attributs (2) Requirements (option) : besoins du jobs architecture, logiciel, mémoire... Rank (Option) : critère de classement des ressources éligibles InputData (option) : Référence des données utilisées en entrée par le job. SURL et/ou LFNs. DataAccessProtocol (seulement si InputData est spécifié) : protocole ou la liste de protocoles de communication utilisables par l application pour accéder aux INPUTDATA. OutputData (option) : Référence des données de sorties qui seront récupérables 59

60 3.4 Gestion des jobs Choix des ressources : exemples Requirements = RegExp("univ-bpclermont.fr",other.GlueCEUniqueID); Requirements = Member("VO-auvergrid-blast", other.gluehostapplicationsoftwareruntimeenvironment); Requirements = (other.gluehostarchitectureplatformtype == "x86_64"); Rank = other.gluecestatefreecpus; Rank = ( other.gluecestatewaitingjobs == 0 )? other.gluecestatefreecpus : -other.gluecestatewaitingjobs; 60

61 3.4 Gestion des jobs Soumission : glite-wms-job-submit Avec délégation automatique du proxy : $ glite-wms-job-submit -a helloworld.jdl ================== glite-wms-job-submit Success ================== The job has been successfully submitted to the WMProxy Your job identifier is: ================================================================== Avec délégation du proxy manuelle (plus rapide) $ glite-wms-job-delegate-proxy -d zz3 $ glite-wms-job-submit -d zz3 helloworld.jdl 61

62 3.4 Gestion des jobs glite-wms-job-submit : options --delegationid <deleg_id> Spécifie le nom sous lequel le proxy a été -d <deleg_id> délégué préalablement. --autm-delegation -a Effectue une délégation automatique sous un nom généré aléatoirement. --endpoint <wms_endpoint> Spécifie le WMProxy qui prendra en charge -e <wms_endpoint> la requête. Si non spécifié, c'est le WMS définit par défaut sur l'ui qui est choisi. --noint Supprime les questions interactives posées à l'utilisateur et poursuit la soumission. --ressource <ceid> -r <ceid> Soumet directement au CE spécifié via le WMS. Évite l'étape de Match-Making. --output <filepath> -o <filepath> Ajoute les JobID dans le fichier spécifié. --collection <dirpath> Spécifie le répertoire contenant les JDL d'une collection de jobs. Un JobID unique permettra de suivre l'ensemble des jobs. 62

63 3.4 Gestion des jobs Commande : glite-wms-job-list-match Liste les ressources correspondantes à la description du job. Permet de connaître le résultat du Match-Making sans soumettre réellement le job. $ glite-wms-job-list-match -a --rank helloworld.jdl =============================================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* *Rank* - iut03auvergridce01.univ-bpclermont.fr:2119/jobmanager-lcgpbs-auvergrid obsauvergridce01.univ-bpclermont.fr:2119/jobmanager-lcgpbs-auvergrid cirigridce01.univ-bpclermont.fr:2119/jobmanager-lcgpbs-auvergrid clrlcgce02.in2p3.fr:2119/jobmanager-lcgpbs-auvergrid 2048 =============================================================================== 63

64 3.4 Gestion des jobs Commande : glite-wms-job-status Récupère l'état d'un ou plusieurs jobs Syntaxe : glite-wms-job-status [options] jobid1 jobid2... $ glite-wms-job-status ======================= glite-wms-job-status Success ===================== BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Ready Status Reason: unavailable Destination: clrlcgce01.in2p3.fr:2119/jobmanager-lcgpbs-auvergrid Submitted: Sun Oct 17 21:45: CEST ========================================================================== 64

65 3.4 Gestion des jobs glite-wms-job-status : options --input <filepath> -i <localpath> Fichiers contenant les jobid des jobs à suivre. L'utilisateur est invité à choisir quels jobs veut-il suivre --all Récupère le statuts de tous les jobs --verbosity [ ] -v [ ] Niveau de détail des informations affichées (par défaut c'est le niveau de détail 1) --noint Supprime les questions interactives posées à l'utilisateur. 65

66 3.4 Gestion des jobs Commande : glite-wms-job-output Récupère l'output Sandbox d'un job terminé Syntaxe : glite-wms-job-output [--dir <localdir>] <jobid> $ glite-wms-job-output --dir ~/tmp/ Connecting to the service ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /home/mahul/tmp/mahul_n8oj5613pwz-aaeyzcgu_w ================================================================================ $ ls ~/tmp/mahul_n8oj5613pwz-aaeyzcgu_w hello.err hello.out 66

67 3.4 Gestion des jobs Récapitulatif des commandes glite-wms-job-submit Soumission d'un job (ou plusieurs) glite-wms-job-list-match Effectue l'étape de Match Making sans soumettre le job glite-wms-job-status Récupération de l'état d'un ou plusieurs jobs glite-wms-job-output Récupération des sorties d'un job terminé (output sandbox) glite-wms-job-cancel Annulation d'un job glite-wms-job-logging-info Récupération de la liste des évènements du job enregistré dans le LB (debug) 67