IBM System Storage IBM Volume Controller La virtualisation du Stockage Ronan MAUJEAN ronan.maujean@fr.ibm.com Information Infrastructure SME IBM PSSC Montpellier Dynamic Infrastructure Leadership Center
Relation statique entre les serveurs et les baies de Stockage Utilisation non optimisée Migration des données difficiles et consomatrices de temps Propriétaire, services de copies non-interopérable Pas d interface commune d administration IBM Volume Controller : la virtualisation du Stockage Les limitations et problèmes aujourd hui Plus Plus SDDd espace Drivers SDDd espace Drivers HDSDrivers HDS Drivers EMC CX4 Drivers Gestion du Baie Monolithique, trés couteuses potentiellement Paiement des fonctionnalités souhaités à la volumétrie utilisée Snapshot? Plus d espace IBM DS8000 Replication distante? Capacité Disponible HDS USP EMC CX4 010101010101010101 Migration de Données 010010101101001000 IBM SM HDS HDvM et HTNM EMC Navisphere 2
Qu est ce que la virtualisation? Une représentation logique de ressources non contraintes à des limitations physiques Créer de nombreuses ressources virtuelles à partir d une simple unité physique Voir au-delà de la boîte - voir et gérer de nombreuses ressources virtuelles comme une seule entité Évoluer et de s'adapter dynamiquement à travers l'infrastructure IBM Virtualization Engine A plateforme adaptée pour aider à virtualiser l infrastructure 3
La Virtualisation du stockage c est... Représentation logique Virtualisation Une technologie qui permet une représentation logique de ressources non contraintes par des limitations physiques Masque la complexité de l infrastructure Réduction des problèmes d interopérabilité d un environnement hétérogène Point de gestion unique et centralisé Introduit de la souplesse Adaptation aux besoins en évolution perpétuelle Ressources physiques Ajoute ou intègre de nouvelles fonctions aux services existants Homogénéisation des fonctions avancées 4 Source: Evaluator Group
La virtualisation du stockage IBM Introduction au Volume Controller Traditionnel Drivers de multipathing différent pour chaque baie de stockage L optimisation de l utilisation du Stockage est faible La Migration de données est souvent disruptive avec arrêt de la Production Un spécialiste est nécessaire par Technologie Les fonctions de réplication sont propriétaires et non-interoperable Volume Controller Drivers de multipathing unique pour toutes les baies de stockage Augmente l utilisation et permet l optimisation du Stockage La Migration de données est transparente pour les serveurs Point d administration unique de la volumétrie Fonctions de réplication commune non liées aux baies de stockage SDD SDD PPath PPath SVC SVC SVC SVC FlashCopy PPRC TimeFinder SRDF SVC SVC SVC SVC Volume Controller SVC Management IBM DSx IBM DSx EMC Sym EMC Sym Management IBM DSx IBM DS4x EMC Sym HP MA IBM S-ATA 5
Contrôleurs RAID traditionnels Un changement de configuration disque impacte la disponibilité du serveur et des applications Chaque LUN correspond à un espace spécifique sur des disques physiques Le contrôleur RAID gère l espace de stockage par répartition en stripes sur plusieurs disques LUN 1 LUN 2 LUN 3 LUN 4 RAID controller 1 LUN 1 LUN 2 LUN 3 LUN 4 RAID controller 2 6
La virtualisation du stockage en mode «bloc» Concept du Volume Controller Virtual disks Type = 2145 2 modes: - mode Managed - mode Image Managed disksgrp Managed disks SCSI LUNs LUN 1 Storage 1 SVC Drivers Driver LUN 2 VD 1 MD 1 LUN 3 VD 2 VD 3 MD 2 LUN 4 RAID controller 1 VD 4 MD 3 VD 5 MD 4 MD 5 VD 6 Virtualization Engine High Perf MD 6 MD 7 LUN 1 VD 7 Low Cost Storage 2 SVC Drivers Driver MD 8 LUN 2 LUN 3 LUN 4 RAID controller 2 Les disques virtuels sont assignés aux serveurs Le Volume Controller isole le host de tout impact d un changement physique de l environnement disque Le SVC gère et contrôle les relations entre des Virtual disks et les Managed disks Les Managed disks sont rassemblés en fonction de leur caractéristiques en «Managed Disk Groups» qui correspondent au final à des pools de stockage: Classes de Stockage Les SCSI LUNs sont assignés directement au SVC ils deviennent des Managed Disks» 7
Changement sur une infrastructure de stockage Environnement traditionnel Traditionnellement les systèmes étaient impactés par un changement physique de l infrastructure de stockage. 8
Changement sur une infrastructure de stockage Environnement virtualisé Le SVC présente aux serveurs un seul type de disque (2145) quelques soient les disques physiques de l infrastructure Volume Controller Les disques virtuels sont disponibles pendant les évolutions de l infrastructure de stockage. 9
Changement sur une infrastructure de stockage Environnement virtualisé SVC présente aux Hosts un seul type de disque (2145) quelques soient les disques physiques de l infrastructure Volume Controller Les disques virtuels sont disponibles pendant les évolutions de l infrastructure de stockage. 10
Volume Controller Terminologie et Limites Virtual Disks: Max 8192 disks total (16MB 256TB each) Écriture en cache dans chaque node d un I/O Group Max 512 VDisks par serveur Chaque disque virtuel est assigné à un: I/O Group spécifique paire de node Managed Disk Group spécifique I/O Group A I/O Group B Volume Controllers nodes Cluster SVC: 4 paires de node maximum I/O Group = Paire de 2 nodes MDG1 MDG2 MDG3 Managed Disks and Groups: LUNs assignés provenant de 64 Contrôleurs de disques Max Max 128 Managed Disk Groups Max 128 LUNs par MDG 11 Jusqu à 16PB de capacité de stockage virtualisée
Volume Controller: les différents modes des disques virtuels I/O Group A A B C I/O Group B Volume Controllers nodes Image Mode: Virtual Disk = Physical LUN Sequential Mode: Disque virtuel assigné séquentiellement à une portion d un Managed Disk Pour intégrer le SVC Pour les activités spécifiques séquentielles Striped Mode: Disque virtuel strippé sur tous les managed disks du Managed Disk Group A MDG1 B MDG2 MDG3 C C Pour les performances 12
SVC: le design d un contrôleur de disque haut de gamme Cluster à Évolutivité Horizontale Actif / Actif, fail-over/fail-back entre les nodes Mémoire cache hautement performante pour les opérations d écritures Les écritures sont stockées dans de la mémoire cache mirrorée entre les nodes d un I/O group (node et partner node) avant acquittement au serveur Mémoire Cache protégée par une Batterie Se «déstage» avant interruption brutale Multipathing, load-balancing et fail-over automatique SDD (Subsystem Device Driver, utilisé aussi pour les ESS,DS6000 et DS8000) Drivers de Multipathing natif: MPIO (AIX, Windows), MPxIO (SUN Solaris), PVLINKS (HP-UX), etc. Maintenance et mise à jour non disruptive Gratuit Volume Controllers nodes Cluster SVC: 4 paires de node maximum I/O Group = Paire de 2 nodes 13
Les nodes du SVC: modèles 2145-CF8 et 2145-8A4 CF8: Node de SVC basé sur le serveur IBM System x3550m2 Intel Xeon 5500 2.4 GHz quad-core processor 24GB de mémoire cache Quatre ports FC 8Gbps Support des disques SSD (4 par node) SVC High-End 8A4: Node de SVC «Low cost» basé sur le serveur IBM System x3250 Processeur Intel Xeon E3110 3.0 GHz dual-core 8GB de mémoire cache (comme sur le modèle 8G4) Quatre ports FC 4Gbps (comme sur le modèle 8G4) Performance équivalente à 60% environ de celle du modèle 8G4 Les différents modèles de node peuvent être mixés au sein d un même cluster SVC (interopérabilité large du microcode) Protection d investissement Capacité d évolution simple, rapide et dynamique SVC Entry Edition Capacité de remplacer les anciens nodes par des nouveaux de manière transparente et non disruptive 14
Simplification d Infrastructure.avec le SVC Élimination possible des incidents pour manque d espace disque Automatisation possible du déplacement de données : stockage high-cost low-cost Meilleure gestion du % d utilisation de l espace disque Simplification de la consolidation du stockage Traditionnel Capacité isolée dans des îlots Points de gestion multiples Faible utilisation de la capacité Capacité achetée par baie de stockage avec les contraintes d utilisation qui en résultent (interopérabilité) Volume Controller Combine la capacité de l infrastructure de stockage dans un pool unique Utilisation plus efficace des actifs Point d administration unique Capacité achetée disponible pour l infrastructure sans contraintes d interopérabilité 25% capacity 50% capacity 55% capacity 95% capacity Volume Controller 15
Space-Efficient Virtual Disks (SEV) Space Efficient Virtual Disks: Implémentation du thin provisioning au niveau du SVC Les disques virtuels traditionnels ( fully allocated ) utilisent une capacité physique totale équivalente à leur taille, même si le disque virtuel n est pas rempli Juste comme dans une baie de disque traditionnelle Avec SEV, le SVC alloue et utilise de la capacité physique que lorsque des données sont écrites Peut réduire de manière significative la volumétrie disque nécessaire sur l infrastructure Disponible par défaut avec le SVC sans coûts supplémentaires 16
SVC 5.1 Amélioration «Thin Provisioning» : Détection des Zéro Lorsque vous utilisez le Virtual Disk Mirroring pour copier un disque virtuel entièrement affecté à un disque virtuel space-efficient, le SVC ne copie pas les blocs remplis de Zéro Pas d espace disque alloué pour les zones non utilisées ou remplies de Zéro Lors du traitement d'une demande d'écriture, le SVC détecte si une écriture ne contient que des zéros n allouera pas d espace disque pour de telles demandes Aide à réduire l espace disque utilisé par les disques virtuels space-efficient Supporté uniquement par les modèles CF8 17 17
IBM Volume Controller Attachement Serveur iscsi Les nodes de SVC ont deux ports Ethernet 1Gbps Jusqu à présent, un seul port était utilisé pour l interface d administration La version 5 de SVC permet d utiliser ces ports pour des connexions serveurs en iscsi L attachement des baies de Stockage, la communication intra cluster et les communication pour réplication distante utilisent encore les liens Fibre Channel Un port Ethernet par cluster SVC est toujours utilisé pour l interface d administration mais n est pas dédié qu à cela Permet de réduire les coûts d attachement des serveurs Permet de réduire le nombre de ports FC 18
Migration de données non disruptive..avec le SVC Migration de données non disruptive => disponibilité des applications. améliorée Élimination possible des arrêts planifiés à cause du stockage Simplification de la création de nouveaux stockage pour les applications Élimination possible des incidents pour manque d espace disque Automatisation possible du déplacement de données : stockage high-cost low-cost Traditionnel 1. Arrêt des applications 2. Déplacement des données 3. Reconfiguration des nouvelles connections aux serveurs 4. Redémarrage des applications Volume Controller 1. Déplacement des données Les serveurs et les applications ne sont pas impactés Virtual Disk Volume Controller 19
La continuité des services.avec le SVC Solution de réplication de données globale pour tout le Protection du stockage par le SVC: Virtual Disk Mirroring(VDM) Simplification et Pérennité des Plans de Continuité d activité et des Plans de Reprise d activité Automatisation possible du déplacement de données : stockage high-cost low-cost Traditionnel Les APIs de réplication sont propriétaires et diffèrent d un vendeur à l autre La cible de la réplication doit être de technologie identique à la source Les drivers sont différents d un vendeur à l autre Les baies Low-cost n offrent pas ou peu de services de réplication Volume Controller Introduit une API de réplication commune au niveau du qui ne change pas lors d un changement de baie de disque Driver unique La cible de la réplication peut être de technologie différente( baie Low-cost, autre constructeur) FlashCopy PPRC TimeFinder SRDF FlashCopy Metro/Global Mirror VDM Volume Controller SVC IBM DSx IBM DSx EMC Sym EMC Sym IBM DS8000 IBM DS4000 EMC Sym HP MA IBM S-ATA 20
La copie «miroir» des données: SVC Virtual Disk Mirroring Le SVC stocke deux copies d un même disque virtuel sur deux baies de disques différentes Le SVC maintient ces deux copies en synchronisation Écriture des données sur les deux copies Si une des deux baies de disques est en défectueuse, le SVC offre un accès continu aux données en utilisant la deuxième copie encore disponible Les copies sont automatiquement synchronisées après réparation A pour objectif de protéger les données critiques contre une panne de baie de disques Fonction local de Haute Disponibilité, pas de reprise sur désastre Les deux copies peuvent être séparées et utilisée chacune de manière autonome en production Les deux copies peuvent être Space Efficient 21
La prise d image instantanée: SVC FlashCopy Fonction de réplication locale au niveau du volume Permet de créer des copies pour les sauvegardes, les tests, etc Up to 256 targets Copie disponible immédiatement pour utilisation en lecture et écriture FlashCopy relationships Copie en tâche de fond ou Copie sur écriture Jusqu à 256 copies d un même volume source Les volumes source et cible peuvent être sur n importe quel contrôleur de disque virutalisé par le SVC Source vdisk 22
La prise d image instantanée incrémentale: SVC FlashCopy Capacité à ne recopier que les modification effectuées sur les volumes source et cible lors du FlashCopy suivant pour mise à jour du volume cible Jusqu à 256 volumes cibles incrémentaux ou pas pour un même volume source Les groupes de cohérence FlashCopy peuvent inclure des relations incrémentales, non incrémentales, ou les deux Permet d améliorer l efficacité des opérations de FlashCopy en réduisant la durée de la copie en tâche de fond Permet de réduire l impact du FlashCopy Permet de générer plus de copies plus rapidement Sauvegardes effectuées plus souvent Approche CDP : Continuous Data Protection Start incremental FlashCopy Data copied as normal Later Some data changed by apps Start incremental FlashCopy Only changed data copied by background copy 23
L option Reverse FlashCopy Capacité d inverser les relations FlashCopy pour permettre la récupération rapide des données avant corruption à partir de la dernière image Flashcopy valide Crée des copies disques Conçu pour accélérer la récupération des données endommagées Inutile d attendre la copie réelle des données Later Backup to tape can continue unaffected 1. Preserve damaged data target target 2. Reverse FlashCopy operation source source OR 24
La prise d image instantanée cascadée: SVC FlashCopy Capacité de créer des copies FlashCopy d autres copies FlashCopy Les relations peuvent être incrémental ou non Permet à un disque virtuel d être à la fois source et cible Voir schéma ci-dessous: Map 2 peut être définit et exécuté alors que Map 1 existe déjà Permet de réduire l impact des copies FlashCopy sur le volume source lors de copies multiples Map 1 Map 2 Disk0 Disk1 Source FlashCopy target of Disk0 Map 3 Disk3 FlashCopy target of Disk1 Map 4 Disk2 FlashCopy target of Disk1 Disk4 FlashCopy target of Disk3 25
La prise d image instantanée «Space Efficient»: SVC FlashCopy SEFC: Space Efficient FlashCopy Combinaison de l utilisation ensemble de Flashcopy et de SEV (Space Efficient Vdisk) Permet de réduire de manière importante la volumétrie disque utilisée pour les copies Flashcopy Il y a deux variations possibles: Les volume source et cible sont Space-efficient et la copie en tâche de fond est active Seul l espace déjà alloué est copié Seul le volume cible est Space-efficient et la copie en tâche de fond n est pas activée Seul l espace utilisé pour stocker les modifications est consommé Effet de snapshots Les copies Flashcopy Space-efficient peuvent être modifiées lors de leur utilisation toute comme une copie standard SEFC peut être utilisé en combinaison avec le mode incrémentale et/ou le mode cascadé 26
La réplication distante synchrone: SVC Metro Mirror Fonction de réplication synchrone à une distance Métropolitaine Supporte techniquement jusqu à 300km de distance entre les sites pour la continuité des services Les besoins en terme de performances peuvent réduire cette distance Les opérations I/O d écriture sont acquittées au serveur lorsque cette écriture a été effectuée sur les deux sites Permet de maintenir une copie complètement synchronisée sur les deux sites Une fois la copie de synchronisation initiale effectuée Les réplication synchrone et asynchrone sont inclues dans la même licence Offre une grande souplesse d utilisation La réplication est effectuée au niveau des disques virtuels des clusters SVC de chaque site Garantie la cohérence des copies de données sur le site secondaire 27
La réplication distante asynchrone: SVC Global Mirror Fonction de réplication asynchrone longue distance Supporte techniquement jusqu à 8000km de distance entre les sites pour la continuité des services N attend pas que l écriture envoyée sur le site primaire soit effectuée sur le site secondaire avant d acquitter le serveur: Permet de réduire l impact de la réplication sur les performances des applications Garantie la cohérence des copies de données sur le site secondaire Une fois le copie initiale effectuée Construit sur la même base que le code du Metro Mirror Les réplication synchrone et asynchrone sont inclues dans la même licence Offre une grande souplesse d utilisation La réplication est effectuée au niveau des disques virtuels des clusters SVC de chaque site (0) Original GM write in progress (1) Second write to same sector (2) In flight write logged to Journal file (3 & 4) 2 nd Write to secondary cluster (5) Initial write completes 28
Les services de copies du SVC Les fonctions sont implémentées au niveau du VDISK et donc indépendantes des baies de stockage Solution LUN 1 LUN 2 RAID controller 1 Volume Controller LUN 3 LUN 4 LUN 1 LUN 2 LUN 3 LUN 4 RAID controller 2 FC or FC over IP with CISCO, McData,Brocade Virtual Disk Mirroring LUN 1 LUN 2 LUN 3 Volume Controller LUN 4 RAID controller 3 LUN 1 LUN 2 LUN 3 LUN 4 RAID controller 4 Data Migration outside the box FlashCopy outside the box 29 Remote-Mirror outside the box
La gestion du cycle de vie de l information.. avec SVC Simplification de la création de nouveaux stockage pour les applications Automatisation possible du déplacement de données : stockage high-cost low-cost Traditionnel Déplacer les données entre les baies de disques est souvent disruptif Les services de copies ne fonctionnent que sur des composants identiques par défaut Volume Controller Capacité à déplacer les données de baie à baie sans interruption Service de copies identiques et non liés aux baies de disques Associer le coût du stockage à la valeur de la donnée pour l entreprise EMC TimeFinder DS8000 DS4000 Metro Mirror ERM Virtual Disk Mirroring DS8000 FlashCopy Volume Controller EMC DS 4000 Migration 30
Une Infrastructure de stockage flexible.. avec le SVC Effectuer un changement sur le stockage sans interruption sur les application serveurs Virtual Disk Virtual Disk Virtual Disk Virtual Disk Utiliser les mêmes services de copies sur toute l infrastructure de stockage DS8000 Volume Controller Advanced Copy Services Storage Pool HDS EMC DS4000 HP Gérer la capacité de stockage de l infrastructure d un point unique Combiner la capacité de baies multiples dans un pool de stockage unique 31
Infrastructure Matérielle Connexion Internet Ethernet Interconnect Montpellier Customer Center Gateway 10.10.10.254 System x Win_client1 System x Win_client2 System p AiX_client IBM 2109-F16 SVC Cluster DS8300 Cache = 64GB 64 disques RAID-5 145GB / 10krpm Hitachi 9200 FAStT500 Cache = 512MB 8 disques RAID-5 18GB / 10krpm 32
Scénarios de Démonstration Demo-1 1 : Intégration d un d SVC dans une infrastructure existante Importer sous SVC des volumes AiX existants Intégration en douceur Simplification IT Demo-2 2 : Migration dynamique en environnent AiX Migration de données d un IBM FAStT500 vers un IBM DS8300 Disponibilité des applications Optimisation du Stockage 33
Demo-1 PC demo Cust Site Demo-1 1 : Intégration du SVC dans une infrastructure existante Importer sous SVC des volumes AiX existants 1- La production tourne / mesure des performances 2- Arrêt de la Production / démontage des FS 3- Déconfiguration des périphériques du FAStT sous AIX 4- Assignement des LUNs au SVC 5- Découverte des LUNs du FAStT sur le SVC(MDISKs) 6- Création des VDISKs en mode image 7- Allocation des VDISKS au serveur AIX 8- Restoration de la configuration AiX 9- Redémarrage de la production >> Mesure de Performance << Points Clés Faible impact sur la production DEMO 2 2 - Les étapes 2 à 8 peuvent être scriptées AIX1 SVC Cluster Virtualization Engine Amélioration de Performance FAStT_grp - Bénéficier plus longtemps des vieilles technologies Gateway AiX_client AIX2 MD4 MD5 -GUI SVC Console -Script production.sh -Script move2svc.sh -Script import_svcconfig.sh FAStT500 mdisk4 (3.5GB) mdisk5 (3.5GB) 34
Demo-2 PC demo Cust.Site Demo-2 2 : Migration dynamique en environnement AiX Migration de données d un IBM FAStT500 vers un IBM DS8300 1- La production tourne / mesure des performances 2- Démarrage de la migration sans interruption de la production Win_client1 Win_client2 2-1 l activité I/O est répartie Points Clés 3- Fin de la migration -GUI SVC Console -Script production.sh DS8300 DEMO Aucune interruption sur la production - Flexibilité d intégration LUN AIX1 LUN AIX2 Amélioration Virtualization de Performance Engine DS8300_grp DS8300 MD0 DS8300 MD1 LUN Win LUN WIN FC HDS_grp HDS MD0 HDS MD1 FAStT_grp - Bénéficier des nouvelles technologies MD4 MD5 Gateway AiX_client Low Cost Disks High perf disks DS8300_grp DS8300_mdisk0 (20GB) DS8300_mdisk1 (20GB) HDS 9200 FAStT500 mdisk4 (3.5GB) mdisk5 (3.5GB) 35
Scénarios de Démonstration: conclusion La value ajoutée e du SVC: Le SVC s integre en douceur et facilement dans un environnement existant Limite l impact l sur la production Le SVC simplifie la gestion de l infrastructure l de Stockage Migration de données sans interruption Changement de configuration non disruptif Flexibilité dans la gestion de la donnée Fonctions de copies non liées au type de baies de stockage virtualisées Le SVC optimise l utilisation des équipements de l infrastructure l de Stockage Utilisation efficace et efficiente des ressources de stockage 36
Les environnements supportés avec la Version 5 du SVC IBM z/vse Novell NetWare VMware vsphere 4 New Microsoft Windows Hyper-V IBM AIX IBM i 6.1 Sun Solaris HP-UX 11i Tru64 OpenVMS SGI IRIX Linux (Intel/Power/zLinux) RHEL SUSE 11 New Apple Mac OS IBM N series Gateway V-Series IBM TS7650G NetApp IBM BladeCenter 1024 Hosts Point-in-time Copy Full volume, Copy on write 256 targets, New Incremental, Cascaded, Reverse Space-Efficient, FlashCopy Mgr New Entry Edition software New Native iscsi New SSD New Volume Controller New 8Gbps fabric Continuous Copy Metro/Global MirrorNew Multiple Cluster Mirror Space-Efficient Virtual Disks New Virtual Disk Mirroring New New Volume Controller IBM ESS, FAStT 37 IBM DS DS3400 DS4000 DS5020, DS3950 DS6000 DS8000 IBM XIV DCS9550 DCS9900 IBM N series Hitachi Lightning Thunder TagmaStore AMS 2100, 2300, 2500 WMS, USP HP MA, EMA MSA 2000, XP EVA 6400, 8400 EMC CLARiiON CX4-960 Symmetrix Sun NetApp NEC Fujitsu StorageTek FAS istorage Bull Eternus StoreWay 3000 8000 Models 2000 & 1200 4000 models 600 & 400 Pillar Axiom For the most current, and more detailed, information please visit ibm.com/storage/svc and click on Interoperability.
SVC les faits IBM Volume Controller : la virtualisation du Stockage IBM a 40 ans d expériences dans les technologies de virtualisation Le SVC est un produit mature, introduit sur le marché en 2003 Volume Controller est une offre éprouvée qui montre et prouve ses bénéfices aux client depuis six ans Environ 15000 nodes SVC sont en production dans plus de 5000 cluster SVC Il y a plus de 130 références clients pour le Volume Controller et 24 études de cas client Le Volume Controller a démontré son évolutivité avec les résultats les plus performants dans les benchmarks du Storage Performance Council LE Volume Controller peut virtualiser des baies de disques IBM mais aussi non-ibm (environ 120 baie des principaux constructeurs IBM, EMC, HP, HDS, Sun, Dell, NetApp, Fujitsu, NEC, Bull) 38
39