GPFS. General Parallel File System. Philippe Hermès IBM System & Technology Group IBM Corporation

Transcription

1 GPFS General Parallel File System Philippe Hermès 2008 IBM Corporation

2 Agenda Problématique Historique GPFS : Le système de fichiers Qui utilise GPFS aujourd hui? Mise en œuvre & Service associé Support - Formation & Documentation Compléments IBM Corporation

3 Problématique IBM Corporation

4 Problématique D une façon fiable, partager et échanger simplement des fichiers entre différentes applications et différents OS PPC64 x64 x IBM Corporation

5 Historique A long time ago IBM Corporation

6 Historique 1 ère version 1.1 en mai 1998 sur AIX 4.2.1/4.3.1 Développé au centre de recherche IBM d ALMADEN L objectif à la base de Tiger Shark, l ancêtre de GPFS est le «Data streaming» diffuser en temps réél des flux de données de télévision. GPFS est implémenté comme un système standard de fichiers virtuel AIX. Les applications utilisant les appels standard AIX VFS (comme les appels JFS) fonctionnent au dessus de GPFS sans modifications IBM Corporation

7 Références Version N Réf Disponibilité Fin de support Remarque GPFS for AIX G66 05 Oct 2007 Oracle RAC (bientôt) G66 28 Apr 2006 Oracle RAC F64 10 Dec Sep 2008 Oracle RAC F64 19 Dec Apr F64 25 Oct Apr B95 07 Dec Sep 2004 GPFS for LoP G67 05 Oct G67 10 Dec Sep G20 10 Dec Sep G20 19 Dec Apr 2007 GPFS for xseries N94 05 Oct N94 28 Apr G23 10 Dec Sep G23 19 Dec Apr E78 25 Oct Apr IBM Corporation

8 Le système de fichier GPFS IBM Corporation

9 Qu est-ce que GPFS? GPFS (General Parrallel File System) est la solution IBM de système de fichiers partagé parallèle pour les clusters. Ses fonctionnalités en font un produit fiable et performant pour toutes les architectures nécessitant un partage de données. Ce logiciel est disponible sur tous les serveurs IBM ayant pour système d exploitation AIX, Linux ou Windows. Cluster: 2 à serveurs, réseau performant fiable, administré comme un ensemble. Serveurs GPFS Système de fichiers partagé: tous les serveurs accèdent aux données et metadonnées par une interface de type disque. Parallèle: les accès aux données et metadonnées se font en parallèle de tous les serveurs vers tous les disques IBM Corporation

10 GPFS Fonctionnalités et Domaines d utilisation Une vision unique partagée du système de fichiers. Une interface au Standard POSIX. Haute performance Grande capacité de stockage Très haut débit Haute disponibilité Tolérance de panne Gestion de configuration dynamique (ajout, retrait, remplacement de disques, de serveurs) Domaines d utilisation Clusters haute performance scientifiques & commerciaux. Consolidation de serveurs (de fichiers, de courrier, internet ) Multimedia Bases de données IBM Corporation

11 Ce que GPFS n est pas Pas un système de fichiers client-serveur comme NFS ou CIFS: pas de goulot d étranglement d un serveur unique, pas de surcouche de protocole dans le transfert de données. Clients Réseau Serveur Metadonnées Serveur de metadonnées Disques Données Disques IBM Corporation

12 3 exemples de configuration! "#$%& IBM Corporation

13 Les forces de GPFS Grande capacité : Regroupe de nombreux disques ou RAIDs en un seul système de fichiers Débit élevé pour un fichier seul striping sur un grand nombre de disques Taille de bloc élevée 16 K à 1 Mo Plusieurs serveurs écrivent en parallèle Haute disponibilité Serveurs: reconstruction journalisée bascule cohérente sur serveur de secours Données: RAID ou réplication Admin. dynamique (ajout/retrait/remplacement de disques ou serveurs sans démontage du système de fichiers) Image unique, interface au standard POSIX locks distribués sur une syntaxe lecture/écriture standard IBM Corporation

14 GPFS Disponibilité Un daemon assure la surveillance des serveurs et la détection de panne Un journal différent sur chaque serveur pour réparer plus vite en cas d anomalie Une redondance réseau sur AIX par EtherChannel, sur Linux par bonding Chaque disque est accessible depuis deux serveurs au moins Performance Accès simultanés de plusieurs serveurs à un fichier (MPIIO ) Répartition de la charge sur serveurs et disques Permet de manipuler de grandes quantités de données IBM Corporation

15 GPFS Intégrité des données Gestion des accès par jeton Plusieurs chemins pour accéder la même donnée Possibilité de mettre en place une réplication Pour données et métadonnées, certains ou tous les fichiers Les copies sont dans des «failure group» distincts Quorum : pas de risque d accès simultanés incohérents si le cluster se coupe en deux ou plus Flexibilité Ajout dynamique de disques, de serveurs Changement dynamique du nombre d inodes S administre depuis n importe quel serveur, diffusion automatique à tous les serveurs IBM Corporation

16 GPFS ILM (Information Lifecycle Management ) Storage pool (groupe de luns) filesets (sous-arborescence dans un système de fichiers) policies (règle de placement des fichiers dans les storage pool) Gestion simple du placement des données, (âge, nom du fichier ) La police de gestion peut être exécutée en parallèle sur l ensemble des nœuds La migration des données est automatique et transparent pour le client Gestion du placement des données selon les types de disques Langage de type SQL RULE migration to system pool MIGRATE FROM POOL sp1 TO POOL system WHERE NAME LIKE %file% IBM Corporation

17 Haute disponibilité Serveur 1 Serveur 2 LAN SAN Serveur 1 tiebreakerdisk GPFS continue sur le serveur 1, dont le nom figure sur le tiebreakerdisk comme «lease manager» IBM Corporation

18 Haute disponibilité Serveur 1 Démontage De GPFS sur Le serveur 1 LAN Serveur 2 SAN Serveur 2 TiebreakerDisk GPFS continue sur le serveur qui a été élu «lease manager» sur le tiebreakerdisk IBM Corporation

19 Haute disponibilité GPFS continue sur les deux serveurs, sans Réplication. Le failure group 3 garantit l existence de plus de la moitié des FSDs. On peut mettre le tiebreakerdisk dessus. LAN SAN Failure group 1 Failure group 3 DescOnly Filesystem descripter Quorum Réplication Failure group IBM Corporation

20 Haute disponibilité Serveur 3 GPFS continue sur le Serveur 1 Failure group 3 DescOnly Serveur 1 Serveur 2 LAN SAN Failure group 1 Failure group IBM Corporation

21 Haute disponibilité Serveur 3 GPFS continue sur les deux serveurs, plus de réplication. Failure group 3 DescOnly Serveur 1 Serveur 2 LAN SAN Failure group 1 Failure group IBM Corporation

22 Haute disponibilité Serveur 3 GPFS continue sur le serveur 2 plus de réplication. Failure group 3 DescOnly Serveur 1 LAN Serveur 2 SAN Failure group 1 Failure group IBM Corporation

23 Haute disponibilité Serveur 3 GPFS continue à fonctionner sur le serveur 1, qui voit le serveur 3. Failure group 3 DescOnly Serveur 1 LAN GPFS démonté serveur isolé. Serveur 2 SAN Failure group 1 Failure group IBM Corporation

24 Haute Disponibilité Server 3 Serveur 1 accède au failure group 2 au travers du réseau Failure group 3 DescOnly Serveur 1 Serveur 2 LAN SAN Failure group 1 Failure group IBM Corporation

25 Règles de quorum 3 serveurs avec l attribut quorum GPFS continue à fonctionner sur les serveurs qui voient au moins 2 serveurs ayant l attribut quorum 2 à 8 serveurs avec l attribut quorum et 1 ou 3 tiebreakerdisks GPFS continue à fonctionner sur les serveurs qui voient le serveur quorum élu «lease manager» dont le nom figure sur les tiebreakerdisks. Par sécurité, on peut mettre 3 tiebreakerdisks, GPFS continue à fonctionner sur tous les serveurs qui voient la majorité des tiebreakerdisks et le serveur quorum élu «lease manager». Les tiebreakerdisks doivent être reliés par SCSI ou SAN aux serveurs ayant l attribut quorum IBM Corporation

26 Résumons nous! Qu est ce que GPFS? Hier GPFS était un système de fichiers parallèle à haute performance Aujourd hui, GPFS est un système de fichiers cluster à haute performance (incluant aussi le parallélisme ) Demain GPFS est un système de fichiers d entreprise avec de hautes performances IBM Corporation

27 Qui utilise GPFS aujourd hui? IBM Corporation

28 Qui utilise GPFS aujourd hui? GPFS est un produit mature avec une présence bien établie sur le marché. Il est disponible depuis 1998 après une phase de développement et de recherche commencée en Aviation et Automobile Banque et Finance Bio-informatiques and Sciences de la Vie Défense Média numérique EDA Laboratoires Nationaux Pétrole Université Modélisation climatique IBM Corporation

29 Government Laboratories! ""##$" %# &'' ()*" + %#, +- Army Corps of Engineers Application: hydrological modeling node SPs Using GPFS to store model data, output visualization data IBM Corporation

30 Géophysique Capture, stock et analyse des données de sondage sismique, Les données saisies à bord, Analyse ultérieure (hautement parallèle, plusieurs téraoctets de systèmes de fichiers) Archives / récupération à partir de bandes Plusieurs entreprises géophysiques utilisent GPFS pour leurs traitements sismique IBM Corporation

31 Ingénierie de la conception Constructeur d avions Utilisation de GPFS pour stocker les quantités de données importantes liées à la modélisation des structures et à leurs analyses GPFS permet le partage des modèles et des données par l ensemble des noeuds IBM Corporation

32 ASC (Advanced Simulation and Computing) teraflops POWER5 Lawrence Livermore National Laboratories en Californie IBM Corporation

33 BlueGene/ (2004 pour BlueGene/L, 2007 pour BlueGene/P) teraflops (crête) PowerPC Lawrence Livermore National Laboratories en Californie IBM Corporation

34 IDRIS - BlueGene/P teraflops (crête) PowerPC (10 racks) 400To Région Parisienne IBM Corporation

35 Record! IBM Corporation

36 SoFS Scaleout File Serving Solution IBM incluant : - Un cluster GPFS linux sous RedHat, vu comme un serveur NAS pour windows - Une interface unique pour la configuration et le contrôle - Un service de surveillance à distance et de reprise - Répartition de charge IBM Corporation

37 Mise en œuvre et service associé IBM Corporation

38 Mise en œuvre & Service associé IBM vous accompagne dans la découverte du produit Cours au catalogue IBM Prêt du logiciel avec accompagnement forfaitaire sur la mise en œuvre Un expert GPFS - Discute avec vous de votre projet - Propose une architecture - Installe une version de prêt du logiciel - Le configure avec transfert de connaissances d une demi-journée - Répond à vos questions - Vous remet un document décrivant l'installation Ensuite la plupart des clients sont totalement autonomes! IBM Corporation

39 Support, Formation & Documentation IBM Corporation

40 Support GPFS GPFS est un logiciel IBM vendu avec un «passeport avantage» : Correctifs en accès libre sur internet Un forum public de discussion Le passeport avantage offre : l ouverture d'incidents 24/24 7/7 le support et réponse aux questions l accès aux nouvelles versions IBM Corporation

41 Formation GPFS Durée : 2,5 j IBM Corporation

42 Documentations & liens Doc : FAQ : /2008 A Guide to the IBM Clustered Network File System, (REDP ) 02/2008 Deploying Oracle RAC 10g on AIX Version 5 with GPFS (SG ).. 10/2005 Configuration and Tuning GPFS for Digital Media Environments (TIPS0540).. 05/1998 GPFS: A Parallel File System (SG ) IBM Corporation

43 M E R C I! French Korean Arabic Brazilian Portuguese Italian Hindi Traditional Chinese Gaelic English Hebrew Spanish Russian Japanese Tamil Simplified Chinese German Thai IBM Corporation

44 Special notices (cont.) The following terms are registered trademarks of International Business Machines Corporation in the United States and/or other countries: AIX, AIX/L, AIX/L (logo), AIX 6 (logo), alphaworks, AS/400, BladeCenter, Blue Gene, Blue Lightning, C Set++, CICS, CICS/6000, ClusterProven, CT/2, DataHub, DataJoiner, DB2, DEEP BLUE, developerworks, DirectTalk, Domino, DYNIX, DYNIX/ptx, e business (logo), e(logo)business, e(logo)server, Enterprise Storage Server, ESCON, FlashCopy, GDDM, i5/os, i5/os (logo), IBM, IBM (logo), ibm.com, IBM Business Partner (logo), Informix, IntelliStation, IQ-Link, LANStreamer, LoadLeveler, Lotus, Lotus Notes, Lotusphere, Magstar, MediaStreamer, Micro Channel, MQSeries, Net.Data, Netfinity, NetView, Network Station, Notes, NUMA-Q, OpenPower, Operating System/2, Operating System/400, OS/2, OS/390, OS/400, Parallel Sysplex, PartnerLink, PartnerWorld, Passport Advantage, POWERparallel, Power PC 603, Power PC 604, PowerPC, PowerPC (logo), Predictive Failure Analysis, pseries, PTX, ptx/admin, Quick Place, Rational, RETAIN, RISC System/6000, RS/6000, RT Personal Computer, S/390, Sametime, Scalable POWERparallel Systems, SecureWay, Sequent, ServerProven, SpaceBall, System/390, The Engines of e-business, THINK, Tivoli, Tivoli (logo), Tivoli Management Environment, Tivoli Ready (logo), TME, TotalStorage, TURBOWAYS, VisualAge, WebSphere, xseries, z/os, zseries. The following terms are trademarks of International Business Machines Corporation in the United States and/or other countries: Advanced Micro-Partitioning, AIX 5L, AIX PVMe, AS/400e, Calibrated Vectored Cooling, Chiphopper, Chipkill, Cloudscape, DataPower, DB2 OLAP Server, DB2 Universal Database, DFDSM, DFSORT, DS4000, DS6000, DS8000, e-business (logo), e-business on demand, EnergyScale, Enterprise Workload Manager, eserver, Express Middleware, Express Portfolio, Express Servers, Express Servers and Storage, General Purpose File System, GigaProcessor, GPFS, HACMP, HACMP/6000, IBM Systems Director Active Energy Manager, IBM TotalStorage Proven, IBMLink, IMS, Intelligent Miner, iseries, Micro-Partitioning, NUMACenter, On Demand Business logo, POWER, PowerExecutive, PowerVM, PowerVM (logo), Power Architecture, Power Everywhere, Power Family, POWER Hypervisor, Power PC, Power Systems, Power Systems (logo), Power Systems Software, Power Systems Software (logo), PowerPC Architecture, PowerPC 603, PowerPC 603e, PowerPC 604, PowerPC 750, POWER2, POWER2 Architecture, POWER3, POWER4, POWER4+, POWER5, POWER5+, POWER6, POWER6+, pure XML, Quickr, Redbooks, Sequent (logo), SequentLINK, Server Advantage, ServeRAID, Service Director, SmoothStart, SP, System i, System i5, System p, System p5, System Storage, System z, System z9, S/390 Parallel Enterprise Server, Tivoli Enterprise, TME 10, TotalStorage Proven, Ultramedia, VideoCharger, Virtualization Engine, Visualization Data Explorer, Workload Partitions Manager, X-Architecture, z/architecture, z/9. A full list of U.S. trademarks owned by IBM may be found at: The Power Architecture and Power.org wordmarks and the Power and Power.org logos and related marks are trademarks and service marks licensed by Power.org. UNIX is a registered trademark of The Open Group in the United States, other countries or both. Linux is a trademark of Linus Torvalds in the United States, other countries or both. Microsoft, Windows, Windows NT and the Windows logo are registered trademarks of Microsoft Corporation in the United States, other countries or both. Intel, Itanium, Pentium are registered trademarks and Xeon is a trademark of Intel Corporation or its subsidiaries in the United States, other countries or both. AMD Opteron is a trademark of Advanced Micro Devices, Inc. Java and all Java-based trademarks and logos are trademarks of Sun Microsystems, Inc. in the United States, other countries or both. TPC-C and TPC-H are trademarks of the Transaction Performance Processing Council (TPPC). SPECint, SPECfp, SPECjbb, SPECweb, SPECjAppServer, SPEC OMP, SPECviewperf, SPECapc, SPEChpc, SPECjvm, SPECmail, SPECimap and SPECsfs are trademarks of the Standard Performance Evaluation Corp (SPEC). NetBench is a registered trademark of Ziff Davis Media in the United States, other countries or both. AltiVec is a trademark of Freescale Semiconductor, Inc. Cell Broadband Engine is a trademark of Sony Computer Entertainment Inc. InfiniBand, InfiniBand Trade Association and the InfiniBand design marks are trademarks and/or service marks of the InfiniBand Trade Association. Other company, product and service names may be trademarks or service marks of others. Revised January 15, IBM Corporation

45 Notes on benchmarks and values The IBM benchmarks results shown herein were derived using particular, well configured, development-level and generally-available computer systems. Buyers should consult other sources of information to evaluate the performance of systems they are considering buying and should consider conducting application oriented testing. For additional information about the benchmarks, values and systems tested, contact your local IBM office or IBM authorized reseller or access the Web site of the benchmark consortium or benchmark vendor. IBM benchmark results can be found in the IBM Power Systems Performance Report at All performance measurements were made with AIX or AIX 5L operating systems unless otherwise indicated to have used Linux. For new and upgraded systems, AIX Version 4.3, AIX 5L or AIX 6 were used. All other systems used previous versions of AIX. The SPEC CPU2006, SPEC2000, LINPACK, and Technical Computing benchmarks were compiled using IBM's high performance C, C++, and FORTRAN compilers for AIX 5L and Linux. For new and upgraded systems, the latest versions of these compilers were used: XL C Enterprise Edition V7.0 for AIX, XL C/C++ Enterprise Edition V7.0 for AIX, XL FORTRAN Enterprise Edition V9.1 for AIX, XL C/C++ Advanced Edition V7.0 for Linux, and XL FORTRAN Advanced Edition V9.1 for Linux. The SPEC CPU95 (retired in 2000) tests used preprocessors, KAP 3.2 for FORTRAN and KAP/C from Kuck & Associates and VAST-2 v4.01x8 from Pacific-Sierra Research. The preprocessors were purchased separately from these vendors. Other software packages like IBM ESSL for AIX, MASS for AIX and Kazushige Goto s BLAS Library for Linux were also used in some benchmarks. For a definition/explanation of each benchmark and the full list of detailed results, visit the Web site of the benchmark consortium or benchmark vendor. TPC SPEC LINPACK Pro/E GPC NotesBench VolanoMark STREAM SAP Oracle Applications PeopleSoft - To get information on PeopleSoft benchmarks, contact PeopleSoft directly Siebel Baan Microsoft Exchange Veritest Fluent TOP500 Supercomputers Ideas International Storage Performance Council Revised January 15, IBM Corporation

46 Notes on HPC benchmarks and values The IBM benchmarks results shown herein were derived using particular, well configured, development-level and generally-available computer systems. Buyers should consult other sources of information to evaluate the performance of systems they are considering buying and should consider conducting application oriented testing. For additional information about the benchmarks, values and systems tested, contact your local IBM office or IBM authorized reseller or access the Web site of the benchmark consortium or benchmark vendor. IBM benchmark results can be found in the IBM Power Systems Performance Report at All performance measurements were made with AIX or AIX 5L operating systems unless otherwise indicated to have used Linux. For new and upgraded systems, AIX Version 4.3 or AIX 5L were used. All other systems used previous versions of AIX. The SPEC CPU2000, LINPACK, and Technical Computing benchmarks were compiled using IBM's high performance C, C++, and FORTRAN compilers for AIX 5L and Linux. For new and upgraded systems, the latest versions of these compilers were used: XL C Enterprise Edition V7.0 for AIX, XL C/C++ Enterprise Edition V7.0 for AIX, XL FORTRAN Enterprise Edition V9.1 for AIX, XL C/C++ Advanced Edition V7.0 for Linux, and XL FORTRAN Advanced Edition V9.1 for Linux. The SPEC CPU95 (retired in 2000) tests used preprocessors, KAP 3.2 for FORTRAN and KAP/C from Kuck & Associates and VAST-2 v4.01x8 from Pacific-Sierra Research. The preprocessors were purchased separately from these vendors. Other software packages like IBM ESSL for AIX, MASS for AIX and Kazushige Goto s BLAS Library for Linux were also used in some benchmarks. For a definition/explanation of each benchmark and the full list of detailed results, visit the Web site of the benchmark consortium or benchmark vendor. SPEC LINPACK Pro/E GPC STREAM Veritest Fluent TOP500 Supercomputers AMBER FLUENT GAMESS GAUSSIAN ABAQUS select Abaqus v6.4 Performance Data ANSYS select Hardware Support Database, then benchmarks. ECLIPSE MM5 MSC.NASTRAN STAR-CD NAMD HMMER Revised January 15, IBM Corporation

47 Notes on performance estimates rperf rperf (Relative Performance) is an estimate of commercial processing performance relative to other IBM UNIX systems. It is derived from an IBM analytical model which uses characteristics from IBM internal workloads, TPC and SPEC benchmarks. The rperf model is not intended to represent any specific public benchmark results and should not be reasonably used in that way. The model simulates some of the system operations such as CPU, cache and memory. However, the model does not simulate disk or network I/O operations. rperf estimates are calculated based on systems with the latest levels of AIX and other pertinent software at the time of system announcement. Actual performance will vary based on application and configuration specifics. The IBM eserver pseries 640 is the baseline reference system and has a value of 1.0. Although rperf may be used to approximate relative IBM UNIX commercial processing performance, actual system performance may vary and is dependent upon many factors including system hardware configuration and software design and configuration. Note that the rperf methodology used for the POWER6 systems is identical to that used for the POWER5 systems. Variations in incremental system performance may be observed in commercial workloads due to changes in the underlying system architecture. All performance estimates are provided "AS IS" and no warranties or guarantees are expressed or implied by IBM. Buyers should consult other sources of information, including system benchmarks, and application sizing guides to evaluate the performance of a system they are considering buying. For additional information about rperf, contact your local IBM office or IBM authorized reseller. Revised October 9, IBM Corporation