Consolidation des Architectures SAN Emeric Calabrese 9 mars 2006 1
Agenda Introduction : offre et PdM Cisco dans le SAN Pourquoi Consolider le SAN, la vision de Cisco Comment Consolider le SAN : - les différentes architectures - les fonctionnalités des MDS9000 Conclusion 2
Gamme Cisco MDS 9000 pour Réseaux de Stockage MDS 9500 Multilayer Directors MDS 9020 20-port 1/2/4Gbps Fabric Switches Directors switches MDS 9216 Multilayer Fabric Switch MDS 9140 MDS 9120 MDS 9216i MDS 9216 MDS 9506 MDS 9509 MDS 9000 Modules Mgmt -16-32 IPS-8 IPS-4 Cisco Fabric Manager MPS-14/2 SSM OS MDS 9000 Family-OS 3
Les points forts de la gamme MDS9000... 1-) Densité de port et capacité de commutation importantes: 1,44 Tbps 2-) Partitionnement logique d une infrastructure mutualisée par les mécanismes des SAN Virtuels (VSAN) et du routage inter-fabric intégré 3-) Support de protocoles multiples, incluant Fibre Channel, FICON, iscsi et IP pour l extension native des réseaux de stockage 4-) Sécurité d administration garantie, avec authentification de type RADIUS et accès chiffrés par SSH, SFTP, SNMPv3, IPSec, RBAC par VSAN 5-) Plate-forme évolutive qui intégre les applications de stockage intelligentes et de virtualisation 6-) Capacité importante d Extension du SAN : compression hardware en IP, Processus d écriture accélérés, solutions optiques qualifiées (xwdm, GEth) 4
Total SAN Switch Market Share 60% 50% 40% 30% 20% Brocade 39 % McData 29 % Cisco 25 % 10% 0% CQ1-03 CQ2-03 CQ3-03 CQ4-03 CQ1-04 CQ2-04 CQ3-04 CQ4-04 CQ1-05 CQ2-05 CQ3-05 Source: Dell Oro Group Nov 2005 5
Director Market Share 60% 50% 40% 30% 20% McData 37.3% Cisco 36.4% Brocade 25.6 % 10% 0% CQ1-03 CQ2-03 CQ3-03 CQ4-03 CQ1-04 CQ2-04 CQ3-04 CQ4-04 CQ1-05 CQ2-05 CQ3-05 Source: Dell Oro Group Nov 2005 6
Director Market Share 90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0% Cisco 41.1% McData 34.5% Brocade 23.4% 2001 2002 2003 1Q04 2Q04 3Q04 4Q04 1Q05 2Q05 3Q05 Source: Yankee Group, Jan 2006 7
Gartner Magic Quadrant 2005 2004: Cisco Challenges 2005: Cisco Leads! 8
La Vision Cisco pour le Data Center Data Network Server Storage Fabric Network Network Enterprise Applications AUTOMATION Dynamic provisioning and autonomic Information Lifecyle Management (ILM) to enable business agility LAN WAN MAN SAN Intelligent Information Network HPC Cluster GRID CONSOLIDATION Centralization and standardization to lower costs, improve efficiency and uptime VIRTUALISATION Management of resources independent of underlying physical infrastructure to increase utilization, efficiency and flexibility Compute Network Storage Business Policies On-Demand Service Oriented Compute Network Storage 9
L enjeu de la consolidation : Construire un SAN hautement disponible, d une grande densité de ports et d exploitation aisée : Cisco MDS 9509 Group A VSAN Trunk Bundles Group B Cisco MDS 9216 Passer à une infrastructure VSANs en remplacement de multiple fabrics séparées. Utiliser des plateformes de haute densité de ports pour minimiser le nombre de director Cisco MDS 9513 Shared Storage Pool VSAN Trunks Optimisation des ressources par la modularité en débit des ports d extrémité et des ports ISL. Backup VSAN Utiliser des VSAN séparés pour le backup Main Data Center 10
Architecture de Type Core-Edge *Sample Design* The Core-Edge design is not new to the networking world... The availability of larger director-class fabrics has enabled core-edge fabric designs Oversubscription due to to target architecture characteristics: Amount of of cache Disk speeds Number of of interfaces Internal bus speeds etc A recommended host:disk port ratio often provided by vendor Nicely structured design easier to scale Predictable failure recovery if configured correctly Manageable oversubscription but at the cost of burned ISL ports Often recommended to re-deploy smaller fabric (edge) switches Fixed hop count to targets and paths to targets Inherent oversubscription introduced by the hierarchical design. Can be as high as 16:1! Oversubscription can be reduced at at the cost of of effective port count 11
Architecture de Type Collapsed-Core The Collapsed-Core design is a reality due to new high density director-class fabrics Increase overall port count of fabric while minimizing burn of ISLs Low hop count from any point to any point in the fabric Most flexible in terms of end device deployment use any available port More manageable oversubscription Fewer switches to manage Typically provides more available paths Still can deploy edge-layer if necessary *Sample Design* Targets are multi-homed to to end switches. LUNs are made available through both end switches to to create redundant paths Hosts can be dual-homed to to any two switches. Max hop count to to any storage is is 2 hops. Many paths from a host to to targets 12
Ex. Infrastructure IVR DC_1 Prod A Prod B c Port Channel : agrégation d ISL Transportant les VSAN Backup Sauvegarde DC_2 Tests Lien Lien GE DC_3 IP = lien «ISL» + Port channel + Routage inter VSAN + 13
Consolidation du SAN, les Services requis Les 7 points fondamentaux : Connexion au Virtual Fabric = port ou WWN Extensions Multiprotocol = étendre les services du VF à iscsi, IP, FICON Services par Virtual Fabric = créer des services spécifiques (routing, zones, RSCNs, QoS, etc.) Diagnostiques du Virtual Fabric = résolution de problème (troubleshoot) par virtual fabric Sécurité Virtual Fabric = politiques de sécurité différentes par virtual fabric Gestion des Virtual Fabric = administrer indépendamment les virtual fabrics Routage Inter-Fabric capacité à transférer des données entre virtual fabrics Modèle du service Virtual Fabric Inter-Virtual Fabric Routing Virtualized Fabric Management Virtualized Fabric Security Policies Virtualized Fabric Diagnostics Virtualized Fabric Services Multiprotocol Transport Extensions Virtualized Fabric Attachment MDS 9000 Family ISL MDS 9000 Family Intégration de bout-en-bout de l ensemble des services du VF 14
SAN virtuels (VSANs) Elimine le coût induit par des fabriques physiquement séparées Déploiement de fabriques isolées de façon logique sur la même infrastructure physique Chaque VSAN comprend ses zones, ainsi que les services isolés et répliqués (ex. VSAN dédié au FICON) VSAN pour la haute disponibilité Restreint l impact des reconfigurations et disfonctionnement à l intérieur du VSAN (ex. RSCN) VSAN pour la Sécurité Isolation hardware totale VSAN pour l évolutivité Processus répliqués par VSAN Granularité d allocation par ports ou WWN Fibre Channel Open Systems Cisco MDS 9000 avec multiples VSAN FICON FICON Les îlots SAN physiques sont consolidés sur une infrastructure mutualisée FICON Channel Mainframe Fibre Channel Mainframe 15
Understanding Virtual SANs (VSANs) Production SAN Tape SAN Test SAN SAN A DomainID=1 DomainID=7 SAN B DomainID=2 DomainID=8 SAN C DomainID=3 SAN D DomainID=4 SAN E DomainID=5 SAN F Domain ID=6 16
VSAN : deux Fonctions essentielles Le partitionnement logique VSAN consiste en deux fonctions majeures : 1. Isolation Hardware des flux «taggés» appartenant à différents VSAN 2. Création d instance complète de processus indépendants pour chaque partition logique VSAN Les services comprennent : Serveur de Zone, Serveur de noms, Routage FSPF, Gestion des Domaines, etc. Chaque service fonctionne en isolation totale dans son VSAN et se configure de façon indépendante des autres processus dans les autres VSAN L en-tête VSAN est retiré au niveau du port de sortie Cisco MDS 9000 avec la fonction VSAN L en-tête VSAN est ajoutée au niveau du port en entrée identifie l appartenance Pas de support spécifique sur les end-nodes Trunk Enhanced ISL (EISL) transporte les trames taggées des différents VSAN Trunking E_Port (TE_Port) Trunking E_Port (TE_Port) Processus Fibre Channel pour le VSAN bleu Processus Fibre Channel pour le VSAN rouge Processus Fibre Channel pour le VSAN bleu Processus Fibre Channel pour le VSAN rouge 17
Standard Virtual fabric ANSI T11 Extended Headers in - FS-2 from ANSI T11 ftp://ftp.t11.org/t11/pub/fc/fs-2/04-627v1.pdf 18
Intégration du VSAN : Virtual Switch / Virtual Fabric / IVR / Zoning VS VF 3 ZS1 -Z1, Z2, Z3 VS Shared ISLs ZS4 -Z1, Z2, Z3 IVR VS ZS2 -Z1, Z2, Z3 VS VF 2 VS VS VF 4 VF 1 VS ZS3 -Z1, Z2, Z3 VF = Virtual Fabric ZS = ZoneSet VS = Virtual Switch IVR = Inter VSAN Routing 19
Le VSAN améliore la sécurité d exploitation Les VSAN segmentent les Fabric pour améliorer la disponibilité Le Fabric (=VSAN) est un domaine de diffusion Haute disponibilité tous les processus sont répliqués et gérés par VSAN (Serv. de Noms, Serveur de Zone, FSPF) Les évènements Fabric sont isolés par VSAN l isolation est garantie pour la haute disponibilité HBA ou contrôleur défectueux Évènement de Rebuild du Fabric Modification des définitions de Zone Recalcul de topologie FSPF etc. La reprise d un Fabric sur perturbation s effectue par VSAN meilleure convergence périmètre plus réduit Administration globale et dédiée par VSAN 160 client ports per director (VSAN-enabled) 8-link bundled EISL trunk (VSAN-enabled) 176 client ports per director (VSAN-enabled) Les fautes sont contenus à l intérieur du VSAN et ne peuvent en aucun cas être propagées dans les autres VSAN Cisco MDS 9500-based SAN Total directors: 6 Total client port count:1024 {max 10:1 fan-out} Total ISL port count: 128!!Fabric event!! HBA generates erroneous control frames 20
VSAN pour partager les ressources dans les environnements de PRA, DR, BC, Les Virtual SAN transportés entre les data-centers via divers services de transport consolidation ($$$) des services tout en garantissant leur isolation Définition de Routes préférentielles par VSAN Réseaux de Transport WAN et MAN utilisables : IP (PoS, ATM, Metro Ethernet), SDH, DWDM, or CDWM, etc. Les MDS 9000 fournissent des statistiques par VSAN pour une traçabilité des trafics 8 Gbps EISL Trunk Metric 50 - Red VSAN Metric 100 - Blue VSAN Switch A Domain 100 Domain 200 DWDM or CWDM Domain 104 Domain 204 Switch B SONET or SDH 1Gbps EISL Trunk Metric 50 - Blue VSAN Metric 100 - Red VSAN IP Routed Network (IP) Comment aller du switch A au switch B? Cela dépend WAN, MAN, en fonction des contraintes applicatives. Des routes préférentielles et de backup peuvent être configurées par VSAN. 21
Extension du SAN Port Channel & haute disponibilité Site A Le Port Channel (Agrégation de liens ISL) accroît la disponibilité du SAN avec des liens ou IP Il apparaît comme un seul lien logique et il supporte jusqu à 16 liens physiques (32 Gbps) ou tunel IP PortChannels Les différents liens physiques du port channel peuvent emprunter des chemins physiques différents Il transporte les VSAN et VSAN FICON Site B 22
Le VSAN comme outil de Migration Le SAN Virtuel permet de migrer en douceur des applications / ressources vers la Production Configuration d un VSAN de Préproduction disposant du strict nombre de ports requis Isoler dans ce nouveau VSAN les ressources à valider pour éviter toute perturbation de la Production Avec les EISL, contrôler le périmètre de ce nouveau VSAN de test Transfert du VSAN de Test dans le SAN de Production après évaluation complète Interop mode par VSAN, mode 2 et 3 avec Brocade en mode natif Green VSAN is used to deploy new application Green VSAN is used to deploy new application Cisco MDS 9000 Family with VSAN Service 23
Routage et Commutation intégrés Fournit le partage de services de stockage centralisés, tels que Librairies de Sauvegarde, entre Fabriques distinctes Fonction de routage Inter-Fabrique intégrée dans le MDS9000, mise en œuvre par le fond de panier sans connectique additionnelle Architecture distribuée, évolutive et hautement résiliente Transparent pour les commutateurs non-cisco Pas de liens ISL additionnels Mutualisation de l infrastructure avec optimisation de l utilisation des ports par commutateur Production A VSAN_10 Production B VSAN_20 Développement VSAN_30 IVR IVR Disque isolé dans VSAN spécifique Sauvegarde VSAN_40 (accédé par IVR) 24
Routage Inter-Fabric intégré, Extension d un SAN Routage Inter-VSAN (IVR) : Minimise l impact d un évènement dans une architecture multi-sites, Optimise l utilisation de ressources de stockage IVR Fonctionne avec tout type de transport (, SDH, DWDM/CWDM, IP) Connectivité flexible, résiliente et sécurisée : port channel à 16 liens ISL (32Gbps), extension des Buffer Credit de 255 à. 2400 BC Connexion Inter-VSAN via des Fabriques totalement isolées Lien 1 du Port Channel Réplication VSAN_100 IVR VSAN de Transit VSAN_200 Réseau Transport IVR Réplication VSAN_110 Local VSAN_10 Lien 2 du Port Channel Local VSAN_20 25
Sécurité de l administration RBAC par VSAN Sécurisation de la TOTALITE des mécanismes d administration du MDS9000 L administration en Telnet doit être sécurisée Secure Shell (SSHv2) authentification et chiffrement L administration graphique doit être sécurisée SNMPv3 intégré - authentification et chiffrement L administration par API (SMI-S) doit être sécurisée Services SSL intégrés Les transferts de fichiers doivent être sécurisés Secure FTP (SFTP) et TFTP sécurisé (SCP) Centralisation par RADIUS/TACACS+ systématique Management Network RAD RADIUS server for user authentication TAC+ TACACS+ server for user authentication SNMP SNMP Polling server using SNMPv3 SAN Management Security Infrastructure Integrated R 2625 IP-over- provides redundant IP connectivity for security services over in-band link Out-of-band Ethernet Management Connection Mise en place de mécanisme d Audit RADIUS pour l accounting Utilisateur SYSLOG consolidés des évènements NTP NTP server for time/date synchronization Cisco Fabric Manager using SNMPv3 MDS 9000 SAN OS CLI using SSH/SFTP switch> config t switch(config)> analyzer on switch(config)> exit switch> Traps SNMP 26
Extension du SAN via IP = IP MDS9000 une Solution intégrée Dans le même MDS9000: Commutateur et directeur Multiprotocol :, FICON, iscsi et IP intégré dans SAN-OS isolation Multi-Fabric : par VSAN intégré dans SAN-OS Inter-VSAN Routing = IVR intégré dans SAN-OS Optimisation de la B. Passante = compression HW sur module MPS Confidentialité des données = Chiffrement IPSec en HW Connectivité IP flexible, résiliente et sécurisée : VRRP, QoS, IP Write Acceleration, etc IP via Modules 2 (MPS), 4 et 8 ports GE IP Network Cisco MDS9500 Cisco MDS9500 27
intégration d iscsi dans le VSAN Intégration des serveurs Midrange iscsi peut émuler un attachement Fibre Channel Les Hosts iscsi sont découverts et affichés au même titre que les serveurs natifs WWN affecté à chaque Host iscsi afin de permettre : Le Zoning des initiateurs iscsi L Accounting des initiateurs iscsi Le mapping de Topologie des initiateurs iscsi IP-VRRP support for redundant IP gateway services iscsi iqn2 = pwwn2 Cisco IP Storage Switching Module iqn2 is mapped to an allocated pwwn and registered in the fabric Mécanismes de HA additionnels tel que VRRP La connectivité iscsi est ventilée grâce à l infrastructure de commutation Ethernet Déploiement de commutateurs intelligents pour la haute disponibilité et la QoS Le ratio de ventilation est déterminé par les besoins d E/S applicatifs. Le FastEthernet est parfait jusqu à 12 MOctets/s de flux SCSI Cisco Catalyst 6500 Multilayer LAN Switches iqn1 iscsi iscsi iscsi-enabled hosts iscsi Login registering iqn iscsi qualified names are configured within iscsi client iqn2 28
Fibre Channel Write Acceleration (-WA) Solution Optimize bandwidth for DR Increase distance between primary site and remote site Minimizes application latency Investment protection: transport agnostic (DWDM, CWDM, SONET/SDH, dark fiber) Primary Applications Synchronous replication Extend Distances for DR/BC Applications Primary Data Center SSM WA Up to 30% DR Data Center SSM Performance improvement seen by major financial services company over 125 km distance 29
La virtualisation sur la carte SSM Intégrée dans les Directeurs MDS Applic: Volume mgmt, Snapshot, Replication Partenaires: Invista/EMC, SVC, VSFN Assistée par Directeurs MDS Initiator < > Target I/O Protocole SAN Tap Applic : Continuous Data Protection, Snapshots, Replication, Perf Mgmt, Partenaires: Falconstor, Kashya, Topio, Cloverleaf, Alacritus, SSM VLUNs SSM Copy of Primary I/O Not in Primary Data Path Appliance Accelération des services Serverless backup = SAN Tap 16 Gbps de capacité par carte SSM Réduit charge I/O & CPU des media Servers 30
Ex. Application avec la carte SSM : Serverless Backup Options Serverless Backup - Today Fabric-Assisted Serverless Backup Media Servers Media Servers SAN Application Servers Instead of Media Servers, MDS (w/ SSM) Moves Data From Disk to Tape SSM SAN Application Servers Tape Disk Tape Disk Customer Benefit Benefit Description Lower TCO Higher Performance & Reliability Investment Protection Offload I/O and CPU work from Media Servers to SSM Reduce server admin & mgmt tasks Each SSM delivers up to 16 Gbps throughput SSM integrated in a HA MDS platform No changes to existing backup environment SSM Data Movement can be enabled w/ software 31
Overview of Fabric-Assisted Serverless Backup LAN Master Server Media Server Application Server Backup Agent No changes to the existing backup environment Catalog -Backup Schedules -Backup Policies -File Catalog 1 SCSI XCOPY SAN MDS XCOPY Engine Offloads I/O and CPU work from expensive Media Servers Increased reliability, low maintenance SCSI Write 3 2 SCSI Read Investment protection, Standards based API Tape Disk 32
Software Strategy for SSM Functionality Pay-as-You-Enable Software Applications 32-port Module 32-port Module + Investment Protection. License based Functionality Write Acceleration & SCSI Statistics Enterprise License FAIS (Partner Virtualization) 32-port Module + SAN Tap (Partner Apps) Serverless Backup Storage Services Enabler (SSE) License SSM Deployment Options 33
Solution d administration Combinaison des différents composants requis pour une solution optimale Interface de commande de type IOS Intégration dans les frameworks existants : Veritas SPC, HP-OV SAM, IBM TSM, BMC Patrol, InterSAN, CA BrightStor, EMC ECC, Integration CiscoWorks RME Support de: -GS-3, CDP SMI-S (du SNIA) et FDMI Cisco Fabric Manager SAN SAN IP MAN Centre Opérationnel Administration Système et Réseaux iscsi SAN 34
Management du SAN Suite Fabric Manager Data Source MDS Counters SPAN- Packets Cisco Fabric Manager: GUI-based device configuration and fabric management Cisco Device Manager: Detailed real-time statistics Cisco Fabric Manager Server: Performance trending and analysis Fibre Channel network performance analysis SCSI statistics LUN, VSAN, protocol Cisco Protocol Analyzer (uses Ethereal): Frame level analysis Fibre Channel and SCSI decoders 35
Le Cisco Fabric Manager Administration simplifiée de Commutateurs et Fabriques multiples Application Java intégrée Disponible dans chaque MDS9000, Découverte automatique et présentation de la topologie Vues multiples Visualisation des Fabriques Reporting statistiques et temps réel Monitoring Configuration Supervision et alertes Diagnostics réseau Sécurité garantie par SNMPv3 36
Administration : iscsi & Fibre Channel iscsi hosts dans la default Zone Liens IP Hosts iscsi en double attachements Hosts Fibre Channel Copie d écran du Cisco Fabric Manager avec topologie multi protocoles PortChannels 37
Device Manager: Statistiques en temps réel 38
Analyse et Diagnostic intégrés Cisco Fabric Analyzer : décodage des flux de contrôle Fibre Channel et SCSI SPAN et PAA pour les flux de données Le Trace-route enregistre le timing à chaque saut réseau Ping Découverte des LUN SCSI Utilitaire d analyse des Zone merge Call Home 39
Cisco Innove et participe à l évolution des Standards Cisco leadership T10 and T11 (SCSI, ) Technical editors Security Co-authored -SP standard Virtualization Chair of T11.5 working group on FAIS API and co-author VSANs Technical editor of VSAN standard Inter-VSAN routing submitted to T11 Network management Defined CIM MIBs Implemented SMI-S, FDMI Storage Networking Industry Association Europe Board Member, Chair of Education Committee IETF (iscsi) Co-authored iscsi standard Storage Networking Industry Association IP Storage (IPS) Working Group Technical Committee T10 (SCSI) Technical Committee T11 (Fibre Channel) 40
Conclusion : consolider et Virtualiser le Fabric Les 7 points fondamentaux : Connexion au VSAN par port ou WWN Extensions Multiprotocol = étendre les services du VF à iscsi, IP, FICON Services par Virtual Fabric = créer des services spécifiques (routing, zones, RSCNs, QoS, etc.) Diagnostiques du Virtual Fabric = résolution de problème (troubleshoot) par virtual fabric Sécurité Virtual Fabric = politiques de sécurité différentes par virtual fabric Gestion des Virtual Fabric = administrer indépendamment les virtual fabrics Routage Inter-Fabric capacité à transférer des données entre virtual fabrics Modèle du service Virtual Fabric Inter-Virtual Fabric Routing Virtualized Fabric Management Virtualized Fabric Security Policies Virtualized Fabric Diagnostics Virtualized Fabric Services Multiprotocol Transport Extensions Virtualized Fabric Attachment MDS 9000 Family ISL MDS 9000 Family Intégration de bout-en-bout de l ensemble des services du VF 41
Les prochains séminaires 29 et 30 mars 06 : Formation technologique avancée Administration des réseaux d'informations intelligents 27 avril 06 : Séminaire à la puissance Cisco Next Generation Campus 42
43