1
2 La vision EGEE (Enabling Grids for E-sciencE) Création d une infrastructure Grid à travers l Europe, qui implique les réseaux de recherches scientifiques actuelle et futur Offrir à la communauté des chercheurs européens un accès 24/24 et 7/7 aux ressources de calcul quelque soit la localisation géographique Mettre l importance en utilisation de la technologie de Grid plus que le développement de Grid Supporter les différents champ des applications par une infrastructure à grande échelle qui peut intégrer et consolider toutes les ressources déployées davantage Prévoir le support pour l éducation et les utilisateur finaux
3 Projet EGEE
4 Projet EGEE
5 Infrastructure EGEE 2005 New map: http://goc02.grid-support.ac.uk/googlemaps/lcg.html
6 Collaboration LCG/EGEE
7 Architecture LCG & EGEE LCG ( LHC Computing Grid), est un projet du CERN, qui consiste à un middlware de grille. EGEE est un projet de Grid pour le E-Science, financé par l union européen LCG/EGEE est une collection des ressources distribués et géographiquement dispersées Les utilisateurs LCG/EGEE: Sont organisés selon des concepts ou sujets spécifiques dans des organisations virtuelles (Virtual Organization), VOs Ils tournent des applications, avec l ignorance: D où le processus est lancé D où les données d entrée viennent D où les données de sortie partent
8 Évolution du Middleware LCG & EGEE 2001 Condor Globus MyProxy... OSG, EDG... VDT DataTAG CrossGrid LCG... 2004 SRM GridCC NextGrid EGEE DEISA USA EU Future grids Used in
9 Évolution du Middleware LCG & EGEE 2008/2009 2010/2011 LCG-1 LCG-2 glite-1 glite-2 glite-3.0 glite-3.1 glite-3.2 Globus 2 based Web Services based EDG VDT... LCG... EGEE
10 Évolution du Middleware LCG & EGEE LCG Security GSI Job Management Condor + Globus CE, WN Logging & Bookkeeping Data Management LCG services Information & Monitoring BDII (evolution of MDS) Grid Access CLI + API Operating system Red Hat 7.3 (Scientific Linux 3.x.x) glite Security GSI and VOMS Job Management Condor + Globus + blahp CE, WN Logging & Bookkeeping Job Provenance Package management Data Management LFC glite-i/o + FiReMan Information & Monitoring BDII R-GMA + Service Discovery Grid Access CLI + API + Web Services Easier installation / configuration Currently Scientific LINUX, will be available on others, incl. Windows
11 Middleware LCG & EGEE consiste en services suivants: Workload Management System (WMS) Data Management System (DMS) Information System (IS) BDII Authorisation and Authentication System (Proxy & VOMS) Accounting System (RGMA) Various monitoring services (MON ) Various installation services (UI,WN,CE,SE, LB )
12 Les principaux services de Middleware glite pour la grille: User Interface (UI): Le point d entrée de l utilisateur à la grille Workload Management System (WMS): Traite les pré-requis de l utilisateur sur les ressources disponibles dans la grille Information System: Caractéristiques et le statut des CE et SE Computing Element (CE): Gère les queues de jobs qui s exécutent sur les ordinateurs du site (WN) Storage Element (SE): Offre à grand échelle de capacités de stockage VO Membership System(VOMS) Manages les VOs service basic pour l autorisation
13 Les composants d un Site de la grille : Computing Element (CE) Passerelle vers les ressources de calcul locales (cluster de Worker Nodes - WN) Worker Nodes (WN) Les machines qui exécutent les tâches ( jobs) Storage Element (SE) Passerelle vers les ressources de stockage locales (disques, système de fichiers) Gridftp server, Interface SRM, IO server User Interfaces (UI) Point d accès des utilisateurs à la grille Programmes clients utilisant quelques ou tous les services de la grille.
14 Les composants de gestion de la grille : Sécurité Virtual Organization Server (VOMS) MyProxy server (Proxy) Information System (IS/BDII) Manipulateurs des tâches (jobs) Workload Management System (WMS) Logging & Bookkeping (LB) Data management File catalog (FiReMan) File Transfer Service (FTS) File Placement Service (FPS)
15 CE Ouputs copied to Storage Resources Connections to UI UI UI Resources Searching RB/BDII WN WN WN Sent to the batch system Distribution to CPUs SE WN WN WN LFC Catalogs getting track of the inputs
16 Services de la grille : CE 1/2 Computing Element (Elément de calcul) Est le service central du site. Ces fonctionnalités de base sont : Gère les tâches jobs (soumission et control de jobs) Apport au WMS les mises à jour des statuts de jobs Publie les informations relatives au site (location du site, les queues, statuts des CPUs, etc..) à travers ldap (service BDII du site ) Il peut exécuter différents Batch Torque + MAUI LSF Condor
17 Services de la grille : CE 2/2 Le Torque server est composé de : Service pbs_server qui offre le service batch de base comme receiving/creating a batch job. Le Torque client est composé de : Service pbs_mom qui met le job en exécution. Il est aussi responsable de retourner les résultats de sortie pour l utilisateur. Le système MAUI est composé de : Service job_scheduler qui contient la stratégie du site qui permet de décider quel job doit être exécuté.
18 Services de la grille : IS (Information System) 1/4 Collecte les informations des ressources de la grille Découverte de nouvelles ressources ajoutées, Monitoring (ou supervision) des statuts des ressources. Publie les informations : Périodiquement mis à jour, Adapte un modèle de données bien connu pour tous les composants qui veulent accéder aux informations supervisées. Utilisé par : Les utilisateurs qui cherchent les bonnes ressources, WMS qui alloue et gère les jobs, Autres services de monitoring.
19 Services de la grille : IS (Information System) 2/4 2 architectures possibles avec glite 3 LCG Information System (BDII - Berkley DB Information Index) - Adapté par glite comme fournisseur du système d information - BDII over Globus MDS (Monitoring and Discovery System). - Interface OpenLDAP, basé sur LDAP - Préserve la compatibilité LCG-2 Relational Grid Monitoring Architecture (R-GMA) - Basé sur le standard GMA (Grid Monitoring Architecture) du Grid Global Forum - Les informations stockées dans des bases de données SQL - Utilise les services web - L alternative futur de LCG IS, encore utilisé pour quelques applications!!
20 Services de la grille : IS les niveaux 3/4 Resource level: Grid Resource Information Server (GRIS) Un GRIS par service top CE, SE, RB, MyProxy (et non les WNs) Les Sensors et les scripts offrent l état statique des ressources concrètes (Ex. GlueCEUniqueID) ou l état dynamique (Ex. GlueCEStateWaitingJobs) Site level: Grid Index Information Server (GIIS/sBDII) Compile toutes les informations des différents GRIS du Site LCG-2 recommande l utilisation de BDII à la place de Globus GIIS - Preuve la robustesse et la stabilité. - Nommé site BDII (sbdii ou SB). ) Top level: Berkeley DB Information Index (BDII) Garde toutes les informations de la grille à propos des VOs (c est la vue des ressources disponibles; qui peuvent être régionales, par simple VO, ou par grille). Stokes les informations venant de sbdiis locaux ou GIISs dans son BD. Il demande uniquement les sites qui sont inclut dans le fichier de configuration.
21 Services de la grille : IS / BDII 4/4 BDII-A BDII-B BDII-C I Site BDII Site BDII Site BDII SE Local GRIS SE Local GRIS CE Local GRIS SE Local GRIS SE Local GRIS CE Local GRIS Site 1 Site 2 Site 3 RB Local GRIS
22 Services de la grille : WMS 1/4 WMS (Workload Management System) : Comprend un ensemble de composants et de services responsables sur la distribution et la gestion des jobs à travers les ressources de la grille. Il permet aux utilisateurs de : - Lancer leurs jobs en exécution, - Exécuter les jobs en meilleurs conditions (WMS optimise l utilisation des ressources), - Avoir les infos à propos des statuts des jobs, - Retrouver les résultats.
23 UI Resource Broker Node (Workload Manager, WM) Replica Catalog Job status WMS Services Inform. System Logging & Bookkeeping Computing Element Grid Interface LRMS Storage Element
24 UI Resource Broker Node (Workload Manager, WM) Network Server Replica Catalog Job status Manager WMS Services Job Match Maker Workload Adapter Inform. System Logging & Bookkeeping Job Contr. - CondorG LCG Computing Element Grid Interface LRMS Storage Element
25 UI Resource Broker Node (Workload Manager, WM) Network Network Server Server Replica Catalog Job status Manager Task WMS Queue Services Information Job Match Maker Workload Supermarket Adapter Inform. System Logging & Bookkeeping Job Job Contr. Submission - CondorG glite LCG Computing Element Grid Interface LRMS Storage Element
26 WMS Architecture User Interface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT SUPERMARKET UPDATER SYSTEM Computing Element
27 Middleware Gestion des demandes et services de Job de la grille (soumission, annulation) exprimées es a travers le Langage de Description de Job (JDL) WMS ob Architecture (JDL) User Interface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT SUPERMARKET UPDATER SYSTEM Computing Element
User Interface WM PROXY NETWORK SERVICES TASK QUEUE WMS Architecture WM MATCH MAKER JOB MONITORING & SUBMISSION 28 Trouve un CE approprié pour chaque requête de soumission de Job en prenant en considération les préférences, rences, le statu de la grille, les stratégies d utilisation d des Job Adapter ressources, etc.. Dagman DATA MANAGEMENT Job Controller Condor LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT SUPERMARKET UPDATER SYSTEM Computing Element
29 WMS Architecture User Interface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Garde les requêtes de soumission. Les requêtes sont SUPERMARKET UPDATER gardées jusque les ressources deviendront disponibles Computing Element Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT SYSTEM
30 WMS Architecture User Interface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT SUPERMARKET UPDATER SYSTEM Les informations sur les ressources sont disponibles pour le Matchmaker Computing Element Mise à jour via notifications et/ou activation Master physique des informatique élections des ressources
31 WMS Architecture User Interface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT Exécute SUPERMARKET le job lancer et assurer son monitoring UPDATER SYSTEM Computing Element
32 Les composants de WMS Network Server - NS (Service ancien) Daemon générique qui accepte les requêtes de l interface utilisateur (UI) Workload Manager Proxy WMProxy (Service nouveau) Service qui offre l accès aux fonctionnalités WMS à travers les services web basés sur l interface - Chaque job soumis au service WMProxy a les pouvoirs délégué de l utilisateur qui le soumis. - Ces pouvoirs peuvent etre utilisés pour améliorer les opérations qui exigent une interaction entre d autres services. Workload Manager WM C est le coeur de WMS Donne la requette valide au WM qui prends l action nécéssaeire pour la satisafaire, Il a besoin de support d autre composants.
33 Les composants de WMS Resource Broker(MatchMaker) RB Il offre le service Il trouve les ressources qui répondent bien aux requêtes. Information SuperMarket ISM C est un répertoire des informations sur les ressources, Accessible en lecture seulement par le MatchMaker, ISM updater est prudent lors de l écriture dans l ISM les vrais ressources et il vérifie périodiquement l état des enregistrements.
34 WMS Architecture 1 1 1 User Interface WM PROXY 2 2 NETWORK SERVICES 2 TASK QUEUE 5 WM MATCH MAKER 3 3 8 4/5/7/8/9 Job Adapter Job Controller Dagman 9 11 10 10 Condor JOB MONITORING & SUBMISSION 11 DATA MANAGEMENT LOGGING & BOOKEPING SUPERMARKET 6 UPDATER 6 11 12/13 ACCESS POLICY MANAGEMENT 4 - WAIT I HAVE NO RESOURCE for this Job 13 - DONE 7 - OK NOW I HAVE RESOURCES Computing Element 12 12 - JOB IS RUNNING WN SYSTEM
35 Services de la grille : DMS DMS (Data Management System) : Dans EGEE, les données sont dupliquées : - De façon temporaire - Vers différents sites - Où les données sont demandées. L utilisateur ou les applications n ont pas besoin de savoir où les données sont stockées, ils utilisent des fichiers logiques Ex : lfn:test.txt Les services DM sont responsables de la location et l accessibilité des données.
36 DMS : service de duplication Chaque fichier a un identifiant unique de grid : GUID. Les locations qui correspondent au GUID sont gardés dans le Replica Location Service (RLS). Les utilisateurs doivent attribuer des alias aux GUIDs. Ils sont gardés dans le Replica Metadata Catalog (RMC). Les fichiers dupliqués sont stockés dans n importe quel SE (Storage Element). LFC Replica Manager Replica Metadata Catalog Replica Location Service Storage Element Storage Element Le Replica Manager offre automatiquement pour les fichiers d opérations, assure la consistance de SE et de contenu de catalogue.
37 Services de la grille : Architecture de SE (Storage Element)