1. Architecture en couches des grilles de calcul 2. Protocoles et algorithmes dédiés aux grilles de calcul 3. Middlewares (fonctionnalités,

Transcription

1 1. Architecture en couches des grilles de calcul 2. Protocoles et algorithmes dédiés aux grilles de calcul 3. Middlewares (fonctionnalités, protocoles, quelques exemples) 4. globus 1

2 Applications Recherche scientifique, ingénierie, finance, portails, Environnements et outils de programmation Langages, interfaces, librairies, compilateurs Intergiciels (Middlewares) Soumission et ordonnancement des tâches, découverte de services, gestion des ressources Sécurité Authentification, autorisation, cryptage Infrastructure matérielle (fabrique) PC s, stations de travail, équipements réseau, logiciels 2

3 3

4 Modèle en couches. Couches hautes axées sur l'utilisateur. Couches basses plus orientées vers les ordinateurs et les réseaux. 4

5 Couche réseau : Connectabilité des ressources sur la grille. Niveau matériel 5

6 Couche ressources : Constituée des ressources de la grille, Ordinateurs, systèmes de mémoire, catalogues de données électroniques, capteurs, télescopes 6

7 Couche intergiciel : Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc.) de participer à un contexte de grille unifié. le cerveau de la grille! Gestion de ressources Ordonnancement (scheduling) Réservation Services d information. 7

8 Couche application : située au niveau le plus élevé qui comprend: Types d applications: scientifiques, techniques, gestion, financières, portails C'est la couche des utilisateurs de la grille. 8

9 Access Grid DISCOM DOE Science Grid Condor ESG (Earth System Grid) Fusion Collaboratory Globus GrADSoft (Grid Application Development Software) Grid Canada GRIDS (Grid Research Integration Development & Support Center) GriPhyN (Grid Physics Network) ivdgl (International Virtual Data Grid Laboratory) Music Grid NASA Information Power Grid NCSA Alliance Access Grid AstroGrid GRIA (Grid Resources for AVO (Astrophysical Virtual Industrial Applications) Observatory) Grid-Ireland Comb-e-chem GridLab (Grid Application CrossGrid Toolkit and Testbed) DAME (Distributed Aircraft GridPP Maintenance Environment) LCG (LHC Computing Grid) DAMIEN (Distributed Applications and MyGrid Middleware for Industrial Networks) NGIL (National Grid for DataTAG Learning Scotland) Discovery Net NorduGrid (Nordic Testbed for Wide DutchGrid Area Computing and Data Handling) EDG (European DataGrid) PIONIER Grid EGSO (European Grid of Solar Reality Grid Observations) ScotGrid GEODISE (Grid Enabled Optimisation & Design Search for Engineering) AMaster 2 rid ApBioNet Grid Forum Korea PRAGMA (Rim Applications and Grid Middleware Assembly) Grid Datafarm for Petascale Data Intensive Computing 9 Gridbus Project

10 OSG Open Science Grid (Etats-Unis) Nordugrid Nordic Testbed for Wide Area Computing and Data Handling (pays nordique européenne) DEISA Distributed European Infrastructure for Supercomputing Applications (européenne) EGEE puis EGEE II Enabling Grids for e-science (mondial) LCG LHC Computing Grid (mondial) 10

11 EDG European Data Grid Project Projet de recherche et développement pluridisciplinaire LCG LHC Computing Grid project Déploiement des moyens de calcul pour le LHC EGEE :Enabling Grids for E-science (2 x 2 ans) Projet de déploiement d une infrastructure de grille européenne pluridisciplinaire EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds répartis à travers le monde (80 aujourd hui) et d un logiciel (actuellement LCG-2). 11

12 Organisations virtuelles: Les utilisateurs sont regroupés par expérience scientifique, laboratoire, région ou projet Expériences : Biomed, Alice, Atlas, Babar, LHCb, ESR, EGEODE,Auger Laboratoires, régions : vo.dapnia.cea.fr, vo.lal.in2p3.fr, vo.grif.fr Projets : Ambrace, infngrid, GridPP, auvergrid, enregistrées ( 12

13 Domaines : Physique des hautes énergies, Biologie Science de la terre, fusion Astrophysique, «Computational Chemistry» Finance, bibliothèques numériques, nanotechnologie, 13

14 Globus Toolkit: Développé par Globus alliance Les différentes modules de GT GSI : pour gérer la sécurité GRAM: pour gérer l allocation et la supervision des taches MDS: répertorier les nœuds FTP: pour transférer les données d un site à un autre 14

15 o NorduGrid et Glite : sont basés sur Globus. Chacun d'eux comprend un choix de modules de Globus associés à des modules spécifiques adaptés en vue d'une forme d'utilisation particulière de la grille o Unicore: est le concurrent européen de Globus Toolkit. Il est supporté par un consortium d'industriels et par le gouvernement allemand. Il est entièrement écrit en Java. 15

16 16

17 Applications Recherche scientifique, ingénierie, finance, portails, Environnements et outils de programmation Langages, interfaces, librairies, compilateurs Intergiciels (Middlewares) Soumission et ordonnancement des tâches, découverte de services, gestion des ressources Sécurité Authentification, autorisation, cryptage Infrastructure matérielle (fabrique) PC s, stations de travail, équipements réseau, logiciels 17

18 Globus est un projet qui vise à fournir des environnements de développement open source avec l intégration de plusieurs projets indépendants. Anciens favorits tels que : GridFTP, GRAM Globus Toolkit est une génération coordonnée d un sous-ensemble de ces projets qui se concrétise par des documentations, des tests ainsi que des agréments de fonctionnement. Globus: technologie (projet) Globus toolkit: Outil (plate-forme) Il s agit du standard des middlewares 18

19 19

20 GRAM RFT Delegation Index Trigger Archiver RLS CAS OGSA-DAI GTCP GridFTP SimpleCA MyProxy Pre-WS GRAM Pre-WS CLIENT Your Your Java Java Client Client Your C Client Your Python Client Your Your Java Java Client Client Your C Client Your Python Client Interoperable WS-I-compliant SOAP messaging X.509 credentials = common authentication Your Java Service SERVER Java Services in Apache Axis Plus GT Libraries and Handlers Your Python Service pyglobus WS Core Python hosting, GT Libraries Your C Service C WS Core 20 C Services using GT Libraries and Handlers 20

21 Globus propose des outils : pour la sécurité, pour gérer les accès aux ressources, pour permettre leur découverte, pour assurer le transport et l accès des données et toutes autres techniques nécessaires pour implémenter une architecture sécurisée et robuste. Une telle «boîte à outils» a été adoptée par de nombreux projets de grilles de calcul à travers le monde. 21

22 Globus Toolkit: Open Source Grid Infrastructure (1) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Community Authorization Authentication GridFTP Authorization Security Reliable File Transfer Data Mgmt Workspace Management Trigger Grid Resource Allocation & Index Management Execution Info Mgmt Services C Java Common 22

23 Globus Toolkit: Open Source Grid Infrastructure (2) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 23

24 Globus Toolkit: Open Source Grid Infrastructure (3) Supporte à la fois le GT (GRAM, RFT, Delegation, etc.) & les services développés par l utilisateur. Augmente le passage à l échelle, la modularité, la performance et l utilisation. Réutilise les WS standards existants: WS-I Basic Profile: WSDL, SOAP, etc. WS-Security, WS-Addressing Ajoute des supports pour l émergence de WS standards WS-Resource Framework, WS-Notification Java, Python, & C hosting environments Java is standard Apache 24

25 Globus Toolkit: Open Source Grid Infrastructure (4) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 25

26 Globus Toolkit: Open Source Grid Infrastructure (5) Contrôle l accès aux services partagés: Gestion autonome: e.g., different policy in different work-groups Supporte les collaborations multi-users Federate through mutually trusted services Local policy authorities rule Permet aux utilisateurs et applications d établir des domaines de confiance dynamiques. Personal/VO collection of resources working together based on trust of user/vo 26

27 Globus Toolkit: Open Source Grid Infrastructure (6) Authentication basée sur Public-key Niveau d Authentication de type Transportand message framework d autorisation extensible basé sur les Web services standards SAML-based authorization callout Integrated policy decision engine XACML policy language, per-operation policies, pluggable 27

28 Globus Toolkit: Open Source Grid Infrastructure (7) Basic Grid Security Mechanisms Certificate Generation Tools Certificate Management Tools Getting users registered to use a Grid Getting Grid credentials to wherever they re needed in the system Authorization/Access Control Tools Storing and providing access to system-wide authorization information Credential management service MyProxy (One time password support) 28

29 Globus Toolkit: Open Source Grid Infrastructure (8) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 29

30 Globus Toolkit: Open Source Grid Infrastructure (9) Utilisé pour la soumission des jobs distants et la gestion de ressources. Désigné pour résoudre les problèmes suivants en metacomputing: Autonomie des sites (gestionnaires de ressources) Co-allocation (co-allocateurs) Contrôle Online (RSL and resource brokers: courtier de ressources) 30

31 31

32 Globus Toolkit: Open Source Grid Infrastructure (10) Une interface de services unifore pour le contrôle et les soummissions de jobs à distance Inclue le transfert de fichiers et la gestion des I/O Inclue les dépendances Supporte les mécanismes de sécurité GRAM n est pas un ordonnanceur. Pas d ordonnancement Pas d affectation de ressources Souvent utilisé avant ou aprés les ordonnanceurs. 32

33 Globus Toolkit: Open Source Grid Infrastructure (11) 2nd-generation WS implementation optimized for performance, flexibility, stability, scalability Streamlined critical path Use only what you need Flexible credential management Credential cache & delegation service GridFTP & RFT used for data operations Data staging & streaming output Eliminates redundant GASS code 33

34 Globus Toolkit: Open Source Grid Infrastructure (12) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 34

35 Stage/move large data to/from nodes GridFTP, Reliable File Transfer (RFT) Alone, and integrated with GRAM Locate data of interest Replica Location Service (RLS) Replicate data for performance/reliability Distributed Replication Service (DRS) Provide access to diverse data sources File systems, parallel file systems, hierarchical storage: GridFTP Databases: OGSA DAI 35

36 Globus Toolkit: Open Source Grid Infrastructure (13) Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 36

37 Système de pilotage souvent utilisé pour la sélection de ressources. Aide les users/agents pour identifier les noeuds sur lesquelles ils peuvent exécuter une application Utilise des Interfaces standards pour l affichage, la découverte et l accès aux données. WS-ResourceProperties, WS-BaseNotification, WS- ServiceGroup 37

38 Information Providers Interface to data sources with standard publish/subscribe interfaces Info from other tools, scripts, file scraping, etc. Index Service is both registry and cache Data type and provider info, like a registry (UDDI) Last value of data, like a cache Trigger Service Subscribe to a set of resource properties Evaluate that data against a set of pre-configured conditions (triggers) When a condition matches, is sent WebMDS Uses standard resource property queries and XSLT transforms 38

39 Globus Toolkit: Open Source Grid Infrastructure Data Replication Globus Toolkit v4 Credential Mgmt Replica Location Delegation OGSA-DAI MPICH G2 WebMDS Python Community Authorization Reliable File Transfer Workspace Management Trigger C Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Security Data Mgmt Execution Mgmt Info Services Common 40

40 41