Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24

Transcription

1 Ecole Mohammadia d Ingénieurs Systèmes Répartis Pr. Slimane Bah, ing. PhD G. Informatique Semaine 24 1 Semestre 4 : Fev. 2015

2 Cluster Caractéristiques : Centralisé Fortement couplé Même domaine administratif Réseau haut débit Objectif : la performance Parallélisme Homogène 2 Semestre 4 : Fev. 2015

3 Cluster 3 Semestre 4 : Fev. 2015

4 Cluster : Single System Image Peut être réalisé à différents niveaux : Hardware, OS, middleware, application Propriétés importantes du SSI : - Single entry point - Single job management - Single user interface - Checkpointing and process migration - Single process space - Single memory space - Single I/O space - single file hierarchy 4 Semestre 4 : Fev. 2015

5 Cluster 5 Semestre 4 : Fev. 2015

6 Cluster Ressource/Job Management System (middleware) Implémente la notion de Single System Image 6 Semestre 4 : Fev. 2015

7 Vol de cycle L utilisation des cycles CPU est < à 10% pour les PCs La performance des PCs est en augmentation rapide L utilisation du cycle CPU Le supercalculateurs sont chers 7 Semestre 4 : Fev. 2015

8 Vol du cycle 3 types d utilisation (en général) : 1- Utilisation légère ( , traitement de texte ) 2- Utilisation moyennement lourde (développement logiciel) 3- Utilisation lourde (Calcul intensif) Vol du cycle : consiste à voler les cycles CPU non utilisés de 1 et 2 pour les fournir au 3 8 Semestre 4 : Fev. 2015

9 Cluster Types: Non dédié Exploitation des temps CPU lorsque inutilisé Distribution de tâches en arrière plan Ex. NOW (Network Of Workstations) Dédié Propriété partagée Nœuds dédiés Parallélisme Ex. Beowulf 9 Semestre 4 : Fev. 2015

10 Cluster Taxonomie : High Performance Clusters (HPC) Parallèle, applications fortement couplées Précurseur : Beowulf 10 Semestre 4 : Fev. 2015

11 Cluster Taxonomie : High Availability Clusters (HA) Applications critiques Redondance Tolérance aux pannes Ex. Linux-HA 11 Semestre 4 : Fev. 2015

12 Cluster Taxonomie High Throughput Clusters (HTC) Grand nombre de tâches indépendantes S intéresse aux jobs/semaine (Vs opérations/sec) Hybrid clusters Exemple: HPC+HA 12 Semestre 4 : Fev. 2015

13 Cluster Taxonomie : Load balancing clusters Serveurs Web, BD Vue d ensemble sur les performances des serveurs disponibles (prévision) Reconnaissance des nœuds en pannes Reconnexion de sessions 13 Semestre 4 : Fev. 2015

14 Cluster : Projets Beowulf (CalTech and NASA) - USA CCS (Computing Centre Software) - Paderborn, Germany Condor - Wisconsin State University, USA DQS (Distributed Queuing System) - Florida State University, US. EASY - Argonne National Lab, USA HPVM -(High Performance Virtual Machine),UIUC&now UCSB,US far - University of Liverpool, UK Gardens - Queensland University of Technology, Australia MOSIX - Hebrew University of Jerusalem, Israel NOW (Network of Workstations) - Berkeley, USA NIMROD - Monash University, Australia NetSolve - University of Tennessee, USA PBS (Portable Batch System) - NASA Ames and LLNL, USA PVM - Oak Ridge National Lab./UTK/Emory, USA MPI (MPI Forum, MPICH is one of the popular implementations) LINDA tuple space 14 Semestre 4 : Fev. 2015

15 Cluster : Produits commerciaux Codine (Computing in Distributed Network Environment) - GENIAS GmbH, Germany LoadLeveler - IBM Corp., USA LSF (Load Sharing Facility) - Platform Computing, Canada NQE (Network Queuing Environment) - Craysoft Corp., USA OpenFrame - Centre for Development of Advanced Computing, India RWPC (Real World Computing Partnership), Japan Unixware (SCO-Santa Cruz Operations,), USA Solaris-MC (Sun Microsystems), USA ClusterTools (A number for free HPC clusters tools from Sun) + plusieurs vendeurs offrent des solutions de cluster : IBM, Compaq, Microsoft et des startups comme : TurboLinux, HPTI, Scali, BlackStone..) 15 Semestre 4 : Fev. 2015

16 Grid Par analogie avec le réseau électrique : Electric Power Grid Accéder à la puissance des ordinateurs comme on accède à l électricité Réseau électrique Transparent Pervasif N importe quelle prise offre le même service Grid Transparent Pervasif Le service est le même peu importe ou a été initié le calcul 16 Semestre 4 : Fev. 2015

17 Grid C est une évolution des systèmes distribués et particulièrement des clusters. Grid met en liaison des ressources: ordinateurs, des logiciels, des instruments spéciaux, des bases de données, des personnes / animaux, objets, clusters à travers un réseau large en les présentant comme une seule ressource intégrée et unifiée Un ensemble virtuel de ressources L utilisateur peut accéder au Grid mais pas aux ressources individuelles 17 Semestre 4 : Fev. 2015

18 Grid Les clusters sont un sous ensemble des Grid 18 Semestre 4 : Fev. 2015

19 Grid 19 Semestre 4 : Fev. 2015

20 Grid : Types 20 Semestre 4 : Fev. 2015

21 Grid : Types Data Grid : retrait, localisation, accès, transfert, stockage et sécurité des données Grid de calcul : une infrastructure logicielle et matérielle offrant un accès sûr, consistent, pervasif et pas cher à des ressources de calculs Service Grid : service offert par le système (aucun nœud seul ne peut offrir), composition, sur demande, collaboration, multimédia 21 Semestre 4 : Fev. 2015

22

23 Grid : caractéristiques Les ressources appartiennent à des domaines administratives différents L utilisateur a peu de connaissances sur chaque nœud Se base sur des standards et des protocoles/interfaces ouverts Scalability Hétérogénéité Ressources virtuelles et organisation virtuelle pour la collaboration Équilibrage de ressources (charge) Fiabilité 23 Semestre 4 : Fev. 2015

24 Grid : Architecture type Grid Information Service Détails des ressources du Grid 1 2 Tâches Calcul 3 Application Grid 4 User Résultats Resource Broker Tâches traitées Grid Resources Le Resource Broker distribue les tâches aux ressouces du Grid en se basant sur la QoS désirée par l utilisateur et les détails des ressources disponibles du Grid. 24 Semestre 4 : Fev. 2015

25 Grid Quelque soit le type de l application elle a besoin de savoir Comment Trouver des ressources? Obtenir des ressources? Localiser et déplacer des données? Commencer / superviser les calculs? Tout en sécurité et avec commodité? Réponse GRID MIDDLEWARE 25 Semestre 4 : Fev. 2015

26 Grid : middleware Des APIs: gestion globale des ressources: resource brokers Grid Application User-level Middleware Core Middleware Grid Fabric Gestion de processus, stockage, accès, securité, enregistrement et découverte des informations Ordinateurs, supercomputers, entités de stockage, instruments 26 Semestre 4 : Fev. 2015

27 Grid : middleware User-level Grid Middleware : outils de programmation, planification de l exécution des tâches dans le Grid, resource broker Grid Resource Broker (GRB) : Point d entrée pour l application utilisateur (envoi de requêtes). Core Grid Middleware : offre les services de : sécurité, gestion des processus, allocation des ressources, Information service Grid Information Service (GIS) : responsable de l enregistrement et la requête des ressources Le GRB découvre les ressources en questionnant le GIS Grid fabric : gestion des ressources (ordi, instrument, soft., etc) 27 Semestre 4 : Fev. 2015

28 Grid : Middleware 28 Semestre 4 : Fev. 2015

29 Grid : architecture modulaire Scientific Engineering Applications and Portals Collaboration Prob. Solving Env. Web enabled Apps Grid Apps. Development Environments and Tools Languages Libraries Debuggers Monitoring Web tools User-lervel Grid Resource Brokers Distributed Resources Coupling Services Comm. Sign on & Security Information Process Data Access QoS Core Grid Local Resource Managers Operating Systems Queuing Systems Libraries & App Kernels TCP/IP & UDP Networked Resources across Organisations Computers Clusters Storage Systems Data Sources Scientific Instruments Grid Fabric 29 Semestre 4 : Fev. 2015

30 Grid : Gestion des ressources Application job Resource Broker Resource Broker Types de ressources voulues? Specifications des requêtes Multi-request Query Resource Information Manager Local Resource Manager Resource Co-allocator request request request Local Resource Manager Local Resource Manager Service/Resource Service/Resource Service/Resource 30 Semestre 4 : Fev. 2015

31 Grid : Ressource management La planification des tâches doit tenir compte de la : Politique de transfert : Quand est-ce qu un nœud prend part dans un transfert? Politique de sélection: Quelle tâche doit être transférée? Politique de localisation : Quel nœud recevra le transfert? Politique d information: Quand collecter les informations d état du système? 31 Semestre 4 : Fev. 2015