Gamme IBM Spectrum Storage Pascal Jermini Groupe T2i Agenda Les défis du stockage Software Defined Storage Qu est-ce que IBM Spectrum? Les composants dans le détail Control Protect Archive Virtualize Accelerate Scale 2 1
Les défis du stockage Volume de données actuel (estimation): 4 ZB (4*10 21 octets) de données, dont 80% non-structurées 20% structurées D ici 4 ans: 44 ZB de données, dont 90% non structurées 10% structurées Les demandes en termes de capacités augmentent Le stockage traditionnel n est plus adéquat 3 Quelques chiffres La population internet actuelle: 3.2 milliards de personnes Chaque minute sont générés: 346 222 tweets 300 heures de nouvelles vidéos sont intégrées dans Youtube 694 personnes utilisent Uber 4 166 667 publications sont «likées» sur Facebook 4 310 visiteurs uniques arrivent sur Amazon Source: Domo Data Never Sleeps 3.0 http://www.domo.com/learn/data-never-sleeps-3-0 4 2
Le Software Defined Storage Concept de stockage de données Séparation entre la gestion du stockage et le stockage physique A priori le Software Defined Storage est indépendant du stockage sous-jacent En général: Virtualisation Automatisation Interfaces standardisées (API) Scalabilité 5 Gamme IBM Spectrum Storage IBM Spectrum Control IBM Spectrum Protect IBM Spectrum Archive IBM Spectrum Virtualize Software Defined Storage IBM Spectrum Accelerate IBM Spectrum Scale 6 3
Table de correspondance Nouveau nom IBM Spectrum Control IBM Spectrum Protect IBM Spectrum Archive Ancien nom TPC Tivoli Productivity Center for Disk VSC Virtual Storage Center TSM Tivoli Storage Manager LTFS Linear Tape FileSystem IBM Spectrum Virtualize SVC SAN Volume Controller (*) IBM Spectrum Accelerate XIV (*) IBM Spectrum Scale GPFS General Parallel File System (*) Composante logicielle de la solution complète 7 Comment s assemble le tout? Control Protect Control Plane (orchestration, automatisation) Virtualize Accelerate Scale Archive Data Plane Hardware 8 4
Spectrum Control Basé sur le produit Virtual Storage Center Consolidation de la gestion du stockage bloc, fichier et objet en une seule interface Monitoring des performances et de la capacité Disques physiques Disques virtuels Spectrum Scale Gestion des alertes Capacité Bande passante Erreurs Monitoring des switches SAN 9 10 5
Spectrum Protect Anciennement connu sous le nom de Tivoli Storage Manager (TSM) Existe depuis 1988 Solution complète de sauvegarde de données Fichiers Machines virtuelles Applications MS Exchange Lotus Domino DB2 Etc. Multi-plateforme Licence par nombre de serveurs ou par volume sauvegardé 11 Spectrum Protect Détails Point central de gestion des sauvegardes Sauvegardes de type Incremental-Forever Gestion très fine des politiques de sauvegarde Hiérarchie de pools de stockage Déduplication des données (in-line) 12 6
Spectrum Protect Détails Flash Copy Manager Sauvegarde de snapshots «Application-Aware» Utilise les fonctionnalités matérielles pour les snapshots Gestion des snapshots via des policies Intégration avec TSM for Virtual Environment (TSM VE) Intégration avec VMware Node Replication Copie des données sur un deuxième site ou dans le cloud Politiques de rétention différentes Failover automatique Stockage objet Sauvegarde sur OpenStack Swift et SoftLayer Object Store 13 Spectrum Protect Détails TSM for Virtual Environments Sauvegarde sans agent d environnement virtualisés (VMware et Hyper-V) Restauration Self-Service via un portail web Restauration au niveau fichier 14 7
Spectrum Protect Operations Center 15 Tester Spectrum Protect Appliance virtuelle de démonstration A déployer sur une infrastructure Vmware Est composée de: Spectrum Protect Server Spectrum Protect Operations Center Spectrum Protect for Virtual Environments Spectrum Protect Snapshot for Vmware Utilisable pour des démos et PoC, pas pour de la production Contactez-nous pour plus d informations 16 8
Spectrum Archive Basé sur IBM LTFS (Linear Tape File System) Enterprise Edition Solution de tiering de stockage sur bande magnétique Accès aux données sur bande de manière transparente Migration des données sur bande magnétique selon des policies définies Stockage de données sur le long terme (Archivage) Optimisation de l espace et de la consommation électrique pour le stockage à long terme 17 Linear Tape FileSystem Permet l'utilisation d'une cartouche LTO ou Jaguar comme si c'était un disque normal ou une clé USB La cartouche "auto-décrite": plus besoin de lire la cartouche en entier pour connaître son contenu Le contenu est stocké dans un index au début de la bande LTFS n'est pas propriétaire: Standard ouvert Lisible par sur tous les systèmes supportant LTFS Multi-plateforme: Support LTFS pour Windows, Linux, MacOS X 18 9
LTFS - Caractéristiques Fichiers et répertoires visibles sous forme d'arborescence Les fichiers peuvent être "taggués" avec des mots-clés pour une recherche plus aisée Les fichiers peuvent être déplacés via "Drag & Drop" L'accès aux fichiers sur LTFS se fait de manière transparente par les applications Toutes les fonctions d'accès aux fichiers sont supportées (Open, Write, Read, Append, Delete, Close) Une bande LTFS reste tout de même une bande magnétique! Accès séquentiel Les données sont toujours ajoutées à la fin de la bande Support LTFS pour: LTO-5 à LTO-7 IBM 3592 (Jaguar) JC, JB, JD, JK, JL 19 Spectrum Archive Variantes Spectrum Archive Single Drive Edition (SDE) Chaque cartouche est vue comme une «clé USB» Supporte un seul drive Gratuit, sans support Library Edition (LE) Supporte la gestion d une librairie de cartouche Chaque cartouche de la librairie est considérée comme un sous-répertoire Spectrum Archive gère le montage et démontage des cartouches Supporte uniquement les librairies IBM Gratuit, sans support Enterprise Edition (EE) Variante à intégrer avec GPFS 20 10
Intégration Spectrum Archive EE et GPFS Applications Global Namespace GPFS LTFS EE Disk Tape Migration Export Recall Import 21 Spectrum Virtualize Le logiciel au cœur des IBM Storwize, SAN Volume Controller (SVC) et Flash Systems Virtualise le stockage Baies IBM et non-ibm Provisioning rapide Déplacement des données transparents entre tiers de stockage Fonctionnalités Compression Tiering automatique Snapshots Thin provisioning Cryptage des données Haute disponibilité Réplication 22 11
Spectrum Virtualize Fonctionnalités Réplication (Remote Mirroring) Via SAN Via réseau IP HyperSwap Solution de haute-disponibilité / Disaster Recovery Infrastructure de stockage complètement redondante Accès continu aux données Cryptage Les données sont cryptées par Spectrum Virtualize Utilise les instructions Intel AES-NI (impact minimal sur les performances) Cryptage aussi pour les baies externes RAID 6 distribué 23 Spectrum Accelerate La partie logicielle de la solution IBM XIV XIV? Solution de stockage de type bloc Modules de stockage interconnectés en grille Performances prévisibles et consistantes Haute disponibilité Extensible (jusqu à 144*2 PB) Les volumes sont distribués sur tous les modules Pas besoin de faire de tuning 24 12
Spectrum Accelerate Mêmes fonctionnalités que le XIV mais en mode virtualisé Convergence du stockage et du compute Déployable sur VMware vsphere (5.5) Intégration avec les API VMware (VASA) Intégration dans le cloud: Automatisation et monitoring: VMware vrealize OpenStack Cinder Interopérabilité avec XIV Déployable dans le cloud (SoftLayer) Connexion des «clients» Spectrum Accelerate via iscsi XIV VMware x86 server XIV VMware x86 server XIV VMware x86 server 25 Spectrum Scale Anciennement connu sous le nom de GPFS (General Parallel File System) Système de fichier distribué et parallèle Solidité éprouvée (existe depuis 1995) Historiquement: données en streaming 1998: première mention du nom GPFS Intégration dans Elastic Storage Server Et autres produits (DB2 purescale, SONAS, ) 26 13
Spectrum Scale Fonctionnalités principales Espace de nommage global Réplication des données et méta-données: Synchrone Asynchrone via Active File Management (AFM) Information Lifecycle Management (ILM) Placement, migration, expiration des données Archivage Snapshots Policy Engine Cryptage & Compression des données Hautes performances: RDMA sur réseaux rapides (InfiniBand) Local Read-Only Cache (LROC) Highly-Available Write Cache (HAWC) 27 Spectrum Scale Différents modèles de cluster Storage AreaNetwork (SAN) TCP/IP, InfiniBand Network Network Shared Disk (NSD) Application Nodes Application Nodes Storage Area Network NSD Servers TCP/IP, InfiniBand Network Storage Storage Storage Shared Nothing Cluster (SNC) TCP/IP, InfiniBand Network 28 14
Spectrum Scale Solution versatile Hadoop Swift POSIX NFS CIFS A F M Spectrum Scale Cluster SSD SAS SATA Tape Cloud Tier Private Cloud Amazon S3 SoftLayer Clever- Safe 29 Nouveautés Spectrum Scale 4.1.1 et 4.2 Général QoS pour les fichiers Compression sur les fichiers et objets HAWC Highly-Available Write Cache Gestion Interface graphique de gestion (Look & Feel unifié dans la gamme Spectrum) Stockage objets Vision unifiée des fichiers et objets Support pour les API Amazon S3 (notamment les ACLs) Big Data & Analytics Support Hadoop natif Sur nœuds séparés de Spectrum Scale (via HDFS RPC) Cloud SoftLayer, Amazon S3, Cleversafe 30 15
Essayer Spectrum Scale de manière simple Machine virtuelle Spectrum Scale 4.2 Téléchargeable sur le site IBM: http://www-03.ibm.com/systems/storage/spectrum/scale/trial.html Toutes les fonctionnalités Spectrum Scale 4.2 Préconfigurée Interface graphique de gestion Remarques: Uniquement à des fins de démonstration / test Ne tourne que sur VirtualBox Performances limitées Ne peut pas être migrée sur une machine physique 31 En résumé IBM propose une gamme complète pour le Software Defined Storage Support de données virtualisés, au niveau bloc et fichier Protection des données (backup/restore) Archivage, stockage hiérarchisé Gestion centralisée du stockage Ouverture vers l extérieur via le support de standards de partage de fichiers Support pour le cloud et le Big Data Le tout indépendant du matériel sous-jacent 32 16
Merci pour votre attention! 33 17