GRID : Overview ANR-05-CIGC «GCPMF» 8 juin 2006 Stéphane Vialle

Transcription

1 GRID : Overview ANR-05-CIGC «GCPMF» 8 juin 2006 Stéphane Vialle Stephane.Vialle@supelec.fr

2 Grid : Overview 1. Définition et composition 2. Exemple de Middleware 3. Interconnexion de Grilles 4. Clusters, Grilles privées et Grilles

3 Définition et composition Analogie avec la distribution d électricité Ian Foster (Globus 1er middleware de grille) Infrastructure pour délivrer des capacités de calcul/stockage/ communication de façon transparente à l utilisateur, quand et où il les demande. Plus pragmatique : construire des communautés dynamiques (Virtual Organizations) et fournir à leurs membres l accès aux ressources partagées.

4 Définition et composition Réalité invisible à l utilisateur L utilisateur ne perçoit pas l architecture sous-jacente de la grille (son middleware la masque). Où sont stockées mes données? Où sont lancés mes calculs? Ne pas s en soucier!! GRID L utilisateur se contente de soumettre des requêtes à la grille!

5 Définition et composition Diverses compositions Grilles de supercalculateurs Grilles de données Grilles de ressources inutilisées et d autres Grilles collaboratives

6 Définition et composition Besoin de middleware robustes Accéder à son PC ou à la Grille avec la même facilité. PC local Problèmes à résoudre : Authentification unique et politique de sécurité Tolérance aux pannes Découverte et analyse dynamique de ressources Equilibrage de charge dynamique Géré par le middleware de Grille

7 Définition et composition Besoin d environnements de dev. Développer sur la Grille facilement à plus ou moins haut niveau PC local Grid Fonctionnalités souhaitées : Déploiement dynamique (du pgm) sur la Grille Recouvrement des calculs et des comms. Communications synchrones et asynchrones Accès au monitoring de la grille Fonctionnalités supportées par l environnement de développement

8 Définition et composition Composants d une Grille Organisations Virtuelles Applications distribuées Environnement de développement Middleware de Grille Routage, contrôle, supervision réseau Infrastructure réseau rsrc rsrc rsrc rsrc Algorithmique de Grille MPI-G Globus Env. de dev. Middleware générique de Grille ProActive ProActive middl. JavaRMI + JVM Env. de dev. Middleware spécifique Middleware générique Deux stratégies : middleware de Grille générique et ambitieux (ex : Globus) middleware générique traditionnel + complément spécifique JavaSpaces Jini JavaRMI + JVM

9 Grid : Overview 1. Définition et composition 2. Exemple de Middleware 3. Interconnexion de Grilles 4. Clusters, Grilles privées et Grilles

10 Exemple de middleware Architecture de Globus-II : 4 concepts Vue transversale thématique : Vue en couches : Application Collective Resource Connectivity Fabric Basé sur des mécanismes d annuaires (LDAP) Basé sur une extension de FTP (GridFTP) Basé sur des annuaires (de rsrc), des schedulers collectifs, et des files d attente Basé sur des échanges de «certificats»

11 Exemple de middleware Architecture de Globus-III : OGSA Un nouveau découpage en couches intégrant des «web services» Software architecture definition «Tout est service.» Service orientation Grid-Service template Un début de sémantique de grille! Virtualization & Service composition Rapprochement des web-services Les services peuvent se composer facilement. (programmation en WSDL SOAP UDDI & XML)

12 Exemple de middleware Architecture de Globus-IV : OGSA+WS Applications OGSA Architected Services Grid Web WSRF Web Services Resource Framework OGSI Open Grid Services Infrastructure Applications Security Workflow Web Services Database File Systems Directory Messaging OGSA Architected Services Servers Storage Network OGSI Open Grid Services Infrastructure Web Services Web Services Web et Grid services se rencontrent! Security Workflow Servers Database Storage File Systems Directory Network Messaging

13 Grid : Overview 1. Définition et composition 2. Exemple de Middleware 3. Interconnexion de Grilles 4. Clusters, Grilles privées et Grilles

14 Interconnexion de Grilles Projet UniGrids UniGrids est un projet Européen développant l interopérabilité entre des (middlewares de) grilles basés sur l architecture OGSA. Grille de grilles! Concept de services atomiques appelé par les clients et assurés par les divers middleware de grille orientés OGSA. Couches logicielles d adaptation au niveau des serveurs de calculs et des clients. Forte participation aux instances mondiales de standardisation.

15 Interconnexion de Grilles Projet UniGrids Objectif des «services atomiques» : Tout client peut appeler un service de n importe quelle grille Toute grille peut appeler un service d une autre grille GridBean GridBean GridBean Expert Client UNICORE/GS GridBean Globus Toolkit 4 Application Client China Grid Support Package GridBean GridBean GridBean Portal Client Atomic Service Client API Atomic Services Other OGSAcompliant Grid servers

16 Interconnexion de Grilles Projet UniGrids Les interfaces de «services atomiques» définissent un ensemble de fonctionnalités que chaque grille doit offrir. Les implantations peuvent différer selon la grille sous-jacente. Add a new target system to the Grid Manage target system Manage jobs on target system Manage files on storage Manage imports to storage Manage exports from storage Target System Factory (TSF) Target System Service (TSS) Job Management Service (JMS) Storage Management Service (SMS) File Import Service (FIS) File Export Service (FES) Implementation Implementation Implementation Implementation Implementation Implementation Atomic Services Commence à être opérationnel en À suivre.

17 Grid : Overview 1. Définition et composition 2. Exemple de Middleware 3. Interconnexion de Grilles 4. Clusters, Grilles privées et Grilles

18 Clusters, Grilles privées et Grilles A chacun son type de Grille! 1 LAN, 1 domaine admin., des machines homogènes Des LAN + 1 WAN dédié, 1 institution, des machines hétérogènes Des LAN + Internet, des institutions, des machines différentes

19 Clusters, Grilles privées et Grilles De plus en plus difficile à exploiter 1 LAN, 1 domaine admin., des machines homogènes Programmation : OK Déploiement : OK Des LAN + 1 WAN dédié, 1 institution, des machines hétérogènes Programmation : «hard» Déploiement : +dur Des LAN + Internet, des institutions, et des machines différentes Programmation : «hard» Déploiement : «hard» Encore plus complexe si besoin de tolérances aux pannes!

20 Clusters, Grilles privées et Grilles Grid-5000 «Une grille d expérimentation en vraie grandeur» Caractéristiques : Des LANs 1 WAN 1 VPN Des domaines administratifs 2/3 de machines homogènes Recherches : Applications Algorithms Runtime Middleware Operating System Network protocols Chaque noeud est un cluster ( CPU) Le réseau est «Renater» (2.4 Gb/s)

21 GRID : Overview FIN Présentations des deux middleware et environnements utilisés dans RISK-1: ProActive JavaSpaces