Storage Area Networks (SAN) G. Urvoy-Keller
2 Agenda Exemple : données et back à Eurecom SANs and NAS Back-up Partage de fichier Les bases: Disques et Raid SCSI et FCP SANs Terminologie Protocoles SCSI et FC Exemple (suite) SAN à Eurecom
Données et back-up à Eurecom 3
Données à Eurecom Eurecom : École d'ingénieur/centre de recherche à Sophia-Antipolis > 600 machines/serveurs Types de données : Données utilisateur Données serveurs : mail, bscw, intranet web, extranet web, contrôleurs domaines Windows Image des servers (peuvent inclure les données) Données spécifiques à des projets : beaucoup de base de données, résultats de simulation, fichiers de trace de trafic, etc 4
5 Data à Eurecom Data from users Other data from servers, e.g., mails Data from projects Images from servers
6 Back-up à Eurecom Evolution du volume sauvegardé par mois 5000 30 28 26 4000 24 22 20 3000 18 16 Amount of Data 14 2000 12 10 8 1000 6 Number of tapes (400 GB) 4 2007_09 2007_07 2007_05 2007_03 2007_01 2006_11 2006_09 2006_07 Nb de cartouches 2006_05 2006_03 2006_01 2005_11 Taille (Go) 2005_09 2005_07 2005_05 2005_03 2005_01 2004_11 2004_09 2004_07 2004_05 2004_03 2004_01 0 2003_11 2 0
7 Backup Backup incrémental sur un mois : Back-up complet au début du mois Incremental chaque jour après le premier jour Capacité de back-up est le goulet d'étranglement 30 heures pour un back-up complet (chiffre 2008) Problème n'est pas spécifique à Eurecom Question: Sachant que le disques sont très fiables grâce au mécanisme (RAID 5) Pourquoi faire des backup?
DAS/NAS/SAN 8
9 Storage strategies Cost
fqsd 12 10 8 Column 1 Column 2 Column 3 6 4 2 0 Row 1 11 Row 2 Row 3 Row 4
12 Utilise NFS et/ou SMB/CIFS NAS Filer: l'entité qui parle NFS ou SMB/CIFS
Qu'est-ce qu'un SAN? Réseau dédié pour le stockage où les appareils communiquent via SCSI qui est transporté par le protocole Fibre Channel. On peut trouver un filer NAS attaché au SAN (voir exemple Eurecom à la fin) Avec un SAN, le stockage est accessible non plus seulement au filer mais 13 au différents serveurs, ex. serveur Oracle de base de données.
14 Back-up et SAN Solution 1 : A l'origine, un lecteur de bande par serveur Solution 2 : lecteurs de bande consolidés dans un serveur centralisé avec une biblioothèque de bande attachée Le réseau (LAN) devient le goulet d'étranglement- Solution 3 : Pour résoudre ce problème : media servers Gestion centrale du back-up Mais avec des back-up qui sont gérés localement (sous le contrôle du media server) Solution 4 : SAN
15 2 1 1 3 4=SNA
Stockage Solutions typiques en entreprise NFS (Network File System) de SUN pour machines UNIX depuis 1984 SMB (Small Message Block) pour Windows 1984 aussi Ils passent à l'échelle mais peuvent être lents suivant la quantité de données accédées Evolutions récentes : SMB a muté en CIFS (Common Internet Filw System) Nouveau type de serveurs CIFS : boîte Linux avec SAMBA libre et populaire NFS v3 fonctionne au dessus de TCP et non plus seulement UDP 16
Stockage et NAS Serveurs NFS et CIFS sont : Des composants clefs Complexes à gérer Plutôt lents D'où l'émergence de NAS avec deux objectifs : Réduire les couts de gestion Améliorer les performances Premier fournisseur NAS était Auspex Idée centrale : déchargée la CPU qui avait a traité toutes les requêtes NFS par des processeurs réseaux (dédiés) Fournisseur qui a émergé par la suite : Network Appliance Ré-écriture complète du client NFS et du noyau Unix. Performances meilleures qu'un DAS 17
Stockage vs. Back-up NAS s'est imposé pour le stockage NAS sont faciles à gérer, offrent de bonnes perf Mais difficiles à «back-uper Développement d'un protocole commun à tous les NAS : (Network Data Management Protocol) A l'opposé, SAN est une bonne solution pour stockage et back-up Mais plus difficiles à gérer car des composants multiples Et plus chers 18
Commençons par les bases... Disques et RAID SCSI, FCP et iscci 19
Plateaux (platters), plages (tracks) et secteurs (sectors) 20
21
22
23
24
Qu'est-ce que le RAID? Redundant Array of Inexpensive or Independent Disks RAID est un terme utilisé pour décrire la résistance d'un système de stockage aux pannes de disques individuels en répartissant l'information sur plusieurs disques et en utilisant des techniques de correction d'erreurs. 25
RAID : Software et Hardware RAID peut être en mode Software (logiciel) ou Hardware (matériel) RAID logiciel utilisé pour duplication/miroir RAID matériel offre la protection par bit des parité (pour correction d'erreur) 26
RAID Logiciel 27 RAID logiciel utilise plus de disques et induit des ralentissements dans les opérations d'écriture RAID logiciel a un coût plus faible que le RAID matériel car il n'utilise pas de contrôleur dédié. Surtout utilisé pour du mirroring sur site distant.
RAID matériel RAID matériel demande un contrôleur par sous- système (groupe de disques) RAID matériel décharge le processeur central du calcul des parités 28
RAID 0 Séquences de blocs de données écrit sur plusieurs disques en bande 29
RAID 0 RAID 0 n'est pas tolérant aux pannes. RAID 0 améliore les perf en lecture/écriture en répartissant sur plusieurs disques. RAID 0 transforme un ensemble de disques en un disque unique du point de l'application 30
31 RAID 1
RAID 1 RAID niveau 1 est tolérant au panne. Egalement nommé mirroring de disques. Améliore les performances en lecture (mais peut dégrader en écriture). Souvent utilisé pour le système d'exploitation d'un serveur : 2 petits disques en miroir 32
Parité XOR Considerons le OU exclusif (XOR) de A et C X=A + C Si vous faîtes un XOR de 2 valeurs (A,C ou X), vous obtenez la troisième : B=X + C RAID (2, 3,) 4, 5 écrivent les données XOR sur le disque 33
RAID 4 34
RAID 5 35
RAID 4 et 5 RAID 4 stocke toutes les parités sur un disque alors que RAID 5 répartit les parités Données et parités telles qu'elles ne sont jamais sur le même disque RAID 5 a des performances proches de RAID 1 et est tolérant aux pannes. RAID 4 a un goulet d'étranglement en écriture. Peu (non?) utilisé. 36
SCSI et FCP 37
38 SCSI
39
40
Standards Pourquoi découper le standards en des composantes distinctes? Leçons des modèles en couche du réseau! Pour ne pas être limité à un seul type de connecteur... On veut du SCSCI sur FC (pour les SANs) et du SCSI sur IP 41
42 FC
43
44
45
46
47
iscsi Pourrait être le futur car Ethernet moins cher Compromis fiabilité (aucune fiabilité sur Ethernet/IP) débit (Ethernet Giga et 10 Giga) TCP est utilisé pour la fiabilité Utilise TOE (TCP Offload Engine) pour limiter les calculs sur les processeurs des machines Evolution récente d'ethernet dans les datacenters : Ethernet sans perte 48
TECHNOLOGIE SAN 49
Agenda Composants du SAN Comment le cœur du SAN fonctionne-t-il, Stockage/Back-up L'exemple du SAN d'eurecom 50
SAN Un SAN offre une zone de stockages partagée à plusieurs serveurs Chaque serveur peut accéder à la zone de stockage comme si c'était un DAS, c'est-à-dire avec des commandes SCSI Une SAN offre un support centralisé du stockage Les SANs permettent un back up et une restauration des données rapide 51
SAN vs. Stockage LAN Un SAN est basé sur le protocole Fibre Channel Fibre Channel n'implique pas de la fibre. Cela peut être du câble cuivre. Topologies FC: Point-à-point Fabric: un ou plusieurs commutateurs FC Boucle arbitrée: soit une vraie boucle, soit avec un hub 52
FC topologies loop (unreliable) p2p 53 Fabric loop (reliable)
54 SAN avec commutateur: les composants HBA: Host Bus Adapter Fiber link SP: Storage Processor
Composants SAN Un ou plusieurs serveurs (1) attachés à des baies de disques (2) au travers d'un ou plusieurs commutateurs Un cœur (fabric) (4) existe dès qu'il y a un commutateur, mais en pratique, c'est souvent 2 pour la redondance. Le protocole FC (Fiber Channel) régule les échanges dans le cœur. HBA (5) et SP (6) sont les interfaces côté serveurs et côté baies de disques 55
Comment un SAN fonctionne 1 Quand un serveur veut accéder à un périphérique de stockage dans le SAN, il envoie une requête niveau bloc = commande SCSI 2 Commandes SCSI encapsulatées dans paquets FC.. 3 Commutés par équipement réseaux et reçues par SP. 56
Composants SAN en détail Storage processors Traite les requêtes des serveurs Implémente la fonctionnalité Raid Expose les LUN (Logical Unit), qui sont l'unité de stockage (disques virtuels) vue par les serveurs Une LUN peut être un groupe RAID ou une partie d'un groupe RAID Une Meta LUN aggrège plusieurs groupes RAID similaires 57
Amélioration performance/fiabilité Multi-chemins:plusieurs chemeins possibles pour accéder au LUNs dans le cœurs du SAN Baie de disque Active/Active: Des SP distincts peuvent accéder simultanément une même LUN Active/Passive, SPs travaillent en parallèle, mais sur des LUNs différentes 58
Adressage/Routage/Gestion de Sessions Adressage: WWN (World Wild Name) assignées par vendeurs 64 bits, similaires aux adresses MAC Puis, 2 types d'adresses dynamiques : Permet le routage des données Similaire aux adresses IP 24 bits en mode fabric (cœur) assignées par les commutateurs FC Gestion de Session : maintient ordre des données, etc. Perdre des données n'est pas possible contrôle de flux 59
60
61
Gestion Accès aux LUNs Zoning Contrôle d'accès dans le SAN Définit quel HBA peut parler à quel SP Typiquement, une zone par groupe de serveurs utilisant une LUN partagée SPs et HBAs peuvent être dans plusieurs zones équivalent aux VLANs Masquage de LUN Contrôle quels serveurs ont droit d'écrire sur quelle LUN Implémenté au niveau du SP (ou du serveur) 62
Gestion Accès aux LUNs 63
Gestion Accès aux LUNs Zoning: 64
Backup Serveurs de bande ou Évolution en cours : serveur de bande virtuel. Ressemble à un serveur de bandes classique Mais dispose d'un ensemble de disques en amont et les bandes seulement en aval Intérêt. Disques sont plus rapides Copies sur bande en tâche de fond 65
Types de back-up LAN free: le client à back-uper envoie ses données au lecteur de bande via le SAN Client free: le serveur de back-up a ses propres disques attachés au SAN et les SP lui permettent de voir directement les LUNs et de les backuper. Server free: plus de serveurs de back-up. C'est le SP qui assure cette fonctionnalité Le serveur gère les méta-données mais plus les données 66
Types de back-up Routeur = Faux ami convertit de FC en // 67
SAN d' EURECOM 68
69
EMC² Clariion CX300 Disk Bay 2 processors CPU at 800 Mhz. 2 GB cache memory. 4 connexions 2Gb/s. Support up to 64 servers in high availability mode (128 connections). Up to 4 Disk Array Enclosure DAE. Up to 60 (4 x 15) disks of 146 GB 10.000 rotations/min and/or ATA 320 GB à 5400 rotations/min. Up to 50 000 I/Os per second. Up to 680 MB of total aggregate rate. 70 Up to 512 LUNs.
71
Affectation des LUNs aux serveurs Lun id Raid Groupid 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 72 0 0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 3 3 3 Systeme de Taille Go Fichiers 11 DART NAS 11 DART NAS 2 DART NAS 2 DART NAS 2 DART NAS 2 DART NAS 240 Data NAS 240 Data NAS 250 /users 250 /datas 300 /unsaved 150 100 20 100 P:\profiles 300 F:\datas 350 /imap 450 /archives 270 /laptop Host1 rasta_server2_0 rasta_server2_0 rasta_server2_0 rasta_server2_0 rasta_server2_0 rasta_server2_0 rasta_server2_0 rasta_server2_0 murena murena murena karma karma dina murena murena Host2 rasta_server2_1 rasta_server2_1 rasta_server2_1 rasta_server2_1 rasta_server2_1 rasta_server2_1 rasta_server2_1 rasta_server2_1 arumbaya arumbaya arumbaya arumbaya arumbaya Host3 Storage Processor Auto Auto Auto Auto Auto Auto Auto Auto A B A B A B A B A B A
Challenges/Solutions pour Eurecom Améliorer disponibilité des données Machines Unix utilisant NFS. Machines Windows utilisant SMB/CIFS. Maximiser utilisation du SAN 73 Sun Cluster HA 3.1 NFS Agent Samba Agent EMC PowerPath (multiple paths in fabric) Passage à l'échelle DAE - EMC MetaLUN Maintenance Symmetric Cluster Performances Symmetric Cluster Active/Active.
Sun Cluster Architecture 74
Montage des LUNs Vue solaris des disques 75 /dev/dsk/c_t_d_s_ Controller id = HBA ID from Sun Server. Target id = WWN of Clariion SP Disk id = Lun identifier Slice id = partition number.