Grille de Calcul. Architecture, Middleware, Sécurité. Abderrahman El Kharrim Division TIC MaGrid CNRST, Rabat CNRST, 31/10/

Transcription

1 Grille de Calcul Architecture, Middleware, Sécurité Abderrahman El Kharrim Division TIC MaGrid CNRST, Rabat CNRST, 31/10/2011 1

2 CNRST, 31/10/ Architecture de la grille

3 Architecture de la grille - Gestion de la diversité - Gestion des ressources - Gestion de la sécurité - Gestion de la qualité - Gestion de l économie CNRST, 31/10/2011 3

4 CNRST, 31/10/ Architecture de la grille

5 CNRST, 31/10/ Architecture de la grille Local Computing Local Application Local Database APPLICATIONS Grid Grid Application Layer Job Management Data Management Metadata Management Collective Services Grid Scheduler Replica Manager Information & Monitoring Underlying Grid Services Grid SQL Database Services Computing Element Services Storage Element Services Replica Catalog Authorization Authenticatio n and Accounting Service Index M / W Fabric Fabric services Resource Management Configuration Management Monitoring and Fault Tolerance Node Installation & Management Fabric Storage Management GLOBUS CondorG

6 Architecture de la grille Les organisations virtuelles négocient l accès aux ressources Le middleware tourne sur chaque ressource partagée Offre Services données Services de calcul Services d accès sécurisé Services distribués sont accessibles via la grille, par des personnes ou par le middleware INTERNET CNRST, 31/10/2011 6

7 CNRST, 31/10/ Middleware et services de la grille

8 Middleware et services de la grille GLite est l intergiciel officiel de nouvelle generation pour la grille de calcul Première version 2005 (actuellement glite 3.2) Interopérable et coexistant avec l'infrastructure déployée Robuste, performant et tolérant aux pannes Open source Plateforme (SL4/SL5, Redhat Enterprise) combine des composants développés dans divers projets connexes (Condor, Globus,..) Fournit à l'utilisateur de services de haut niveau pour: - Exécution des jobs de calcul - Manipulation sécurisée des données - Obtenir des informations sur l'infrastructure et sur les applications installées CNRST, 31/10/2011 8

9 CNRST, 31/10/ Middleware et services de la grille 2008/ /2011 LCG-1 LCG-2 glite-1 glite-2 glite-3.0 glite-3.1 glite-3.2 Globus 2 based Web Services based EDG VDT... LCG... EGEE

10 Middleware et services de la grille Les services de glite se groupent en cinq catégories: Grid Access Security Information system & Monitoring Job Workload Management System Data Management Accessibles via APIs ou CLIs CNRST, 31/10/

11 CNRST, 31/10/ Middleware et services de la grille Les composants d un Site de la grille Computing Element (CE) Passerelle vers les ressources de calcul locales (cluster de Worker Nodes - WN) Worker Nodes (WN) Les machines qui exécutent les tâches ( jobs) Storage Element (SE) Passerelle vers les ressources de stockage locales (disques, système de fichiers) User Interfaces (UI) Point d accès des utilisateurs à la grille

12 CNRST, 31/10/ Middleware et services de la grille Les composants de gestion de la grille : Sécurité Virtual Organization Membership Service (VOMS) MyProxy server (Proxy) Information System (IS/BDII) Manipulateurs des tâches (jobs) Workload Management System (WMS) Logging & Bookkeping (LB) Data management File catalog File Transfer Service File Placement Service

13 Middleware et services de la grille Workload Management System (WMS) Ce service effectue toutes les tâches requises pour exécuter les jobs de l'utilisateur, tout en cachant la complexité de la grille C'est un meta-scheduler faisant la correspondance entre besoins et ressources Sélectionne un site (CE) en s appuyant sur le système d information qui connait l état réel des ressources Intègre des contraintes sur la localisation des données Fonctionnalités avancées: job paramétrique, DAG Composantes: - Workload Manager (WM) : accepte et satisfait les prérequis pour la gestion du job (Matchmaking) - Logging & Bookeeping (LB) : garde la trace d execution du job en fonction de son statut: (Submitted, Running, Done,...) - WMProxy : chargé d'accepter les requêtes entrantes depuis l'interface utilisateur CNRST, 31/10/

14 Middleware et services de la grille Computing Element (CE) Le service central du site, il présente la ressource de calcul sur la grille. Gère les jobs (soumission et control de jobs) Renseigne le WMS des mises à jour des statuts de jobs Publie les informations relatives au site (location du site, les queues, statuts des CPUs, etc..) à travers ldap (service BDII du site ) Le CE peut être utilisé par : - Un client générique : quand l utilisateur interagit directement avec le CE (soumission via CE) - WMS qui soumet le job à un CE choisi suite à un processus de machmaking (soumission via WMS) CNRST, 31/10/

15 CNRST, 31/10/ Middleware et services de la grille WMS/CE La soumission d un job via le WMS à plusieurs avantages par rapport à la soumission via le CE Le WMS interagit avec plusieurs CEs, il peut ainsi choisir le CE qui répond au besoin du job soumis. Le WMS, en utilisant le service LB, il fournit un suivi global des jobs Le WMS Supporte les jobs complexes, qui ne peuvent être traitées directement par les CEs(Dag, collections, parametric) Le WMS gère les échecs des jobs ; en cas d échec le WMS ressoumet automatiquement au CE correspondant

16 CNRST, 31/10/ Middleware et services de la grille User Interface (UI) submit Workload Management Logging & Bookkeeping (WMS) query Information System (BDII) retrieve discover services publish state update credential query retrieve submit publish state Site X File and Replica Catalogs Computing Element Storage Element Authorization Service (CE) (SE)

17 CNRST, 31/10/ Middleware et services de la grille WMS Architecture ser nterface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION SUPERMARKET INFORMATION UPDATER INFORMATION SYSTEM Computing Element

18 CNRST, 31/10/ Middleware et services de la grille Gestion des demandes de Job (soumission, annulation) exprimées a travers le Langage de Description de Job (JDL) WMS Architecture ser nterface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION SUPERMARKET INFORMATION UPDATER INFORMATION SYSTEM Computing Element

19 CNRST, 31/10/ Middleware et services de la grille ser nterface WM PROXY NETWORK SERVICES TASK QUEUE Trouve un CE approprié pour chaque requête de soumission de Job en prenant WMS Architecture en considération les préférences, le statut de la grille, les stratégies d utilisation des WM MATCH MAKER ressources, Job Adapter etc.. Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION SUPERMARKET INFORMATION UPDATER INFORMATION SYSTEM Computing Element

20 CNRST, 31/10/ Middleware et services de la grille WMS Architecture ser nterface WM PROXY NETWORK SERVICES TASK QUEUE Garde les requêtes de soumission. INFORMATION Les requêtes sont SUPERMARKET gardées jusque les ressources deviendront disponibles WM MATCH MAKER INFORMATION UPDATER Computing Element Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION SYSTEM

21 Middleware et services de la grille WMS Architecture ser nterface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION SUPERMARKET INFORMATION UPDATER Les informations sur les ressources sont disponibles pour le Matchmaker Mise à jour via notifications Computing Element et/ou activation des élections des ressources INFORMATION SYSTEM CNRST, 31/10/

22 CNRST, 31/10/ Middleware et services de la grille WMS Architecture ser nterface WM PROXY NETWORK SERVICES TASK QUEUE WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING ACCESS POLICY MANAGEMENT INFORMATION Exécute SUPERMARKET le job lancer et assurer son monitoring INFORMATION UPDATER INFORMATION SYSTEM Computing Element

23 Middleware et services de la grille ser nterface WM PROXY NETWORK SERVICES TASK QUEUE WMS Architecture WM MATCH MAKER Job Adapter Job Controller Dagman Condor JOB MONITORING & SUBMISSION DATA MANAGEMENT LOGGING & BOOKEPING DONE INFORMATION SUPERMARKET INFORMATION UPDATER JOB IS RUNNING ACCESS POLICY MANAGEMENT WAIT I HAVE NO RESOURCE for this Job Computing Element OK NOW I HAVE RESOURCES INFORMATION SYSTEM WN CNRST, 31/10/

24 Middleware et services de la grille Information System (IS) Basé sur Berkeley Database Information Index (BDII) Publication des ressources et informations diverses (statiques et dynamiques) Basé sur LDAP et un schéma d information (GlueSchema) 3 niveaux - GRIS: information au niveau des ressources - BDII_Site: information au niveau du site - BDII: information au niveau du VO Utilisé principalement par les services eux même Interrogeable par l utilisateur 2-5 minutes CNRST, 31/10/

25 Middleware et services de la grille Storage Element (SE) Le service de stockage des données sur la grille Systèmes de stockage les plus utilisés: - Disque: dcache, DPM, Lustre - Stockage de Masse: Castor, dcache, HPSS Basé sur SRM (Storage Resource Manager) : accès identique à des structures hétérogènes Permet de répartir localement les fichiers sur plusieurs serveurs 2 principaux protocoles d accès : gsiftp et rfio - Gsiftp : transfert intégral du fichier - Rfio : accès direct au contenu du fichier CNRST, 31/10/

26 Middleware et services de la grille Logical File Catalogue (LFC) Le système de gestion de l espace des noms logiques Garde la trace de la localisation physique des diverses copies d un fichier sur la grille Fournit le GUID (Global Unique IDentifier) du fichier, et aussi le SURL (Storage URL) Présente une arborescence et des commandes qui ressemblee à un «système de fichiers» SRM utilise le GUID (ou le SURL) et nous fournit le TURL (Transport URL) CNRST, 31/10/

27 CNRST, 31/10/ Aspect de sécurité

28 Aspect de sécurité Grid Security Infrastructure (GSI) Un standard pour les logiciels de Grille de Calcul Basé sur: - les PKI (Public Key Infrastructure) et; - les Certificats X509v3 Implémente : - Single sign-on: le mot de passe n est donné qu une seule fois - Délégation: un service peut-être utilisé au nom d une autre personne - autoriser une autre entité à utiliser son authentification et ses autorisations - Authentification mutuelle: le destinataire et l émetteur s authentifient PKI allows you to know that a given public key belongs to a given user CNRST, 31/10/

29 Aspect de sécurité Autorité de Certification (CA) Une autorité de certification (CA) est une entitée digne de confiance qui se charge de délivrer des certificats Politique de gestion des autorités : GRID PMA - PMA: Policy Management Authority - Etablir des obligations minimales pour les CA - Accréditer les CA, auditionner les CA Name: CA Issuer: CA CA s Public Key Validity CA s Signature CNRST, 31/10/

30 Aspect de sécurité Certificat électronique: X509 Repose sur l utilisation de la: Cryptographie asymétrique (RSA) et; l accréditation par l Autorité de Certification (CA) - Un certificat X509v3 peut être issu pour - Une personne physique - certificat personnel - Une machine (certificat hôte) - Un programme (certificat de service) Name Issuer Public Key Validity Signature CNRST, 31/10/

31 Aspect de sécurité Certificat électronique: X509 La Clé Publique - Signée par l Autorité de Certification après vérification de l identité du destinataire - Publiée sur le réseau via le service de publication de la CA - Dans le langage courant, elle est appelée certificat La Clé Privée - Conservée par le navigateur de l'utilisateur et dans son home sur l'ui - Chiffrée et protégée par un mot de passe Encrypt Decrypt Public and Private keys CNRST, 31/10/

32 CNRST, 32 31/10/ Aspect de sécurité Certificat électronique: X509 C est un couple de clés indissociables Asymmetric Encryption Les clés sont générées ensembles Encrypt Decrypt Impossibilité de retrouver une clé à partir l autre Le certificat a une période de validité Decrypt Encrypt

33 CNRST, 31/10/ Aspect de sécurité Un certificat X.509 contient: Propriétaire de la clé publique ; Identité du propriétaire ; Infos sur CA; Période de validité; Numéro de série; Structure d un certificat X.509 Public key Subject:C=MA, O=MaGrid, OU=CNRST, CN=Nabil Talhaoui Issuer: C=MA, O=MaGrid, CN=MaGrid CA Expiration date: Jan 20 16:20: GMT Serial number: 3D (0x36) Signature numérique de CA CA Digital signature

34 Aspect de sécurité Certificat électronique: X509 Les certificats sont conservés dans des FICHIERS Il existe plusieurs formats de représentation des certificats - PKCS12 (format navigateur web) - Extensions.p12 ou.pfx - La clé privée et la clé publique sont dans un même fichier - Le fichier est chiffré et protégé par un mot de passe - La plupart des CA délivrent les certificats personnels dans ce format - PEM (format «grille») - Extensions.pem ou.crt et.key - La clé privée et la clé publique sont dans 2 fichiers distincts - Le fichier contenant la clé privée est chiffré et protégé par un mot de passe CNRST, 31/10/

35 Aspect de sécurité Openssl Convertir un certificat du format PKCS12 au format PEM - Obtenir la clé privée - openssl pkcs12 -nocerts -in cert.p12 -out userkey.pem - Obtenir la clé publique - openssl pkcs12 -clcerts -nokeys -in cert.p12 -out usercert.pem Visualiser une clé publique - Format PEM - openssl x509 -text -noout -in usercert.pem - Format PKCS12 - openssl pkcs12 -info -in cert.p12 CNRST, 31/10/

36 CNRST, 31/10/ Aspect de sécurité Processus de demande de certificat Demande de certificat Utilisateur identifié et comfirmé par le RA Certificat attribué par le CA Le certificat est utilisé pour accéder à la grille

37 Aspect de sécurité Organisations Virtuelles Organisations Virtuelles (VO) - Ensemble d individus ayant des buts communs - Utilisateurs - Ressources VO University of Catania Garr-B Italian institute of Particle Physics VO VO?? Italian CNR Les utilisateurs sont regroupés par domaine scientifique: aboratoire, région ou projet Des droits spécifiques peuvent être données au niveau de chaque site par l administrateur de celui-ci. Interdire l accès à un groupe d utilisateurs en fonction de leur sujet de certificat CNRST, 31/10/

38 Aspect de sécurité Les Proxys Pour réduire les vulnérabilités, l identification de l utilisateur est faite en utilisant des proxy de leur certificat. Certificat à durée de vie courte, contenant sa clé privée, signé avec le certificat de l utilisateur Un proxy peut se déplacer sur le réseau Peut être délégué et agir en nom de l utilisateur Contient d autres informations (comme le VO via le VO Membership Service VOMS) Peut être stocké dans un serveur de proxys (MyProxy) Peut être renouvelé avant son expiration CNRST, 31/10/

39 Aspect de sécurité VOMS (Virtual Organisation Management Service) - C est le service qui suit l adhésion des utilisateurs aux VOs - Donne l autorisation aux utilisateurs à accéder aux ressources au niveau de la VO - La base de données de la VO contient l ensemble des membres avec leur niveau d autorisation (groupes, rôles, capacités) - Un utilisateur peut avoir plusieurs niveaux d autorisation dans chaque VO, faire partie de plusieurs VO - Les groupes, rôles et droits sont inclus dans le proxy de l utilisateur lorsque celui s authentifie Les groupes Les rôles - Les groupes sont hiérarchiques, profondeur non limitée - Permet de moduler les droits des membres de la VOMS en fonction de leur groupe - Le groupe par défaut est /<vo-name> - Software manager, VO-Administrator, Production, - Les rôles ne sont pas hiérarchiques : il n existe pas de sous-rôle - Les rôles doivent être explicitement spécifiés lors de la création du proxy CNRST, 31/10/

40 Aspect de sécurité Proxy de courte durée - VOMS Créer un proxy - voms-proxy-init - -voms <vo-name> Créer un proxy en spécifiant un groupe - voms-proxy-init voms <vo-name>:/group/subgroup Créer un proxy en spécifiant un rôle - voms-proxy-init -voms <vo-name>:[/group]/role=softwaremanager Obtenir des informations sur un proxy - voms-proxy-info -all Détruire un proxy - voms-proxy-destroy CNRST, 31/10/

41 Aspect de sécurité 41 Récapitulatif Un utilisateur pour accéder à la grille doit posséder : Un certificat électronique personnel (Authentification) Faire une demande au : Une entrée dans une Organisation Virtuelle (Autorisation) VO eumed : Un compte sur une Interface Utilisateur (UI) CNRST, 31/10/