PRÉSENTATION DE LA BAIE DE STOCKAGE EMC XtremIO (version 4.0)

Transcription

1 Livre blanc PRÉSENTATION DE LA BAIE DE STOCKAGE EMC XtremIO (version 4.0) Analyse détaillée Résumé Ce livre blanc présente la baie de stockage EMC XtremIO. Il décrit en détail l architecture du système, son principe de fonctionnement et ses caractéristiques. Il explique également comment certaines fonctions du système XtremIO (notamment la réduction des données à la volée [déduplication à la volée et compression des données], les performances évolutives et la protection des données) apportent une solution sans précédent aux problèmes de stockage des données. Avril 2015

2 Copyright 2015 EMC Corporation. Tous droits réservés. EMC estime que les informations figurant dans ce document sont exactes à la date de publication. Ces informations sont modifiables sans préavis. Les informations contenues dans cette publication sont fournies «en l état». EMC Corporation ne fournit aucune déclaration ou garantie d aucune sorte concernant les informations contenues dans cette publication et rejette plus spécialement toute garantie implicite de qualité commerciale ou d adéquation à une utilisation particulière. L utilisation, la copie et la distribution de tout logiciel EMC décrit dans cette publication exigent une licence logicielle en cours de validité. Pour obtenir la liste actualisée des noms de produits, consultez la rubrique des marques EMC via le lien Législation, sur france.emc.com. VMware est une marque déposée ou une marque commerciale de VMware, Inc. aux États-Unis et/ou dans d autres juridictions. Toutes les autres marques citées dans le présent document sont la propriété de leurs détenteurs respectifs. Référence H (rév. 08) 2

3 Sommaire Résumé analytique... 5 Introduction... 6 Vue d ensemble du système... 7 X-Brick... 8 Architecture scale-out Module Starter X-Brick de 10 To (5 To) Architecture du système Principes de fonctionnement Table de mappage Fonctionnement du flux d E/S en écriture Fonctionnement du flux d E/S en écriture Caractéristiques du système Thin Provisioning Réduction des données à la volée Déduplication des données à la volée Compression des données à la volée Réduction totale des données Protection des données XtremIO (XDP) Fonctionnement de XDP Data at Rest Encryption Snapshots Évolutivité des performances Distribution équilibrée des données Haute disponibilité Mise à niveau sans perturbation et extension sans interruption Intégration de VMware VAAI XtremIO Management Server (XMS) Interface utilisateur du système Interface de ligne de commande API RESTful LDAP/LDAPS

4 Facilité de gestion Réplication de XtremIO vers une baie distante RecoverPoint Récapitulatif des solutions Réplication native RecoverPoint pour XtremIO Réplication synchrone et CDP pour XtremIO Intégration avec d autres produits EMC Solutions d intégration système Vblock VSPEX Solutions de gestion et de surveillance EMC Storage Analytics (ESA) Plug-in EMC Storage Integrator (ESI) pour Windows Plug-in EMC Storage Integrator (ESI) pour Oracle VM ViPR Controller ViPR SRM Plug-in Virtual Storage Integrator (VSI) pour VMware vcenter Solutions d intégration des applications AppSync Plug-in Oracle Enterprise Manager (OEM) Solutions de disponibilité et de continuité d activité PowerPath VPLEX Intégration OpenStack Conclusion

5 Résumé analytique Le stockage Flash est une méthode séduisante qui permet d accroître les performances d E/S du datacenter. Mais son prix est élevé, tant d un point de vue financier qu en termes de pertes de capacités, au premier rang desquelles l évolutivité, la haute disponibilité et les fonctions d entreprise. La baie de stockage d entreprise scale-out XtremIO, qui repose entièrement sur la technologie Flash, offre non seulement des performances et une évolutivité de haut niveau, mais simplifie également l utilisation du stockage SAN tout en proposant des fonctionnalités jusqu ici inenvisageables. Dans sa conception même, la baie 100 % Flash XtremIO vise des performances maximales et une latence faible en continu, tout en offrant une haute disponibilité adaptée aux grandes entreprises, une réduction des données à la volée en temps réel qui permet de réduire les coûts, et des fonctions avancées telles que l allocation dynamique, l intégration poussée avec VMware, les snapshots, le clonage des volumes et une protection des données de la meilleure qualité. Le tout pour un coût de possession des plus compétitifs. L architecture du produit répond à toutes les exigences du stockage Flash : longévité des médias, réduction du coût effectif de la capacité Flash, performances et évolutivité, efficacité opérationnelle et fonctionnalité de stockage de baie avancée. Ce livre blanc offre une présentation générale de la baie de stockage XtremIO, et décrit en détail l architecture du système, son principe de fonctionnement et ses différentes caractéristiques. 5

6 Introduction XtremIO est une baie de stockage 100 % Flash entièrement conçue pour exploiter tout le potentiel de performances de cette technologie et tirer le meilleur parti des disques SSD dans une architecture de baie sur la base du média Flash. XtremIO s appuie sur des composants normalisés et des logiciels intelligents exclusifs afin d offrir des niveaux de performance inégalés. Ces performances s échelonnent de plusieurs centaines de milliers à des millions d E/S par seconde, avec un taux de latence constant à moins d une milliseconde. * Le système est également conçu pour minimiser la planification, avec une interface conviviale qui simplifie au maximum le provisionnement et la gestion de la baie. XtremIO s appuie sur la technologie Flash pour offrir des avantages sur les aspects suivants : Performances Quel que soit le taux d occupation du système, et l utilisation de la capacité de stockage, la latence et le débit restent prévisibles et constants. Au sein de la baie, la latence pour une demande d E/S est généralement inférieure à une milliseconde. * Évolutivité Le système de stockage XtremIO repose sur une architecture scale-out. L entité de base est un bloc unique, appelé module X-Brick. Si les performances et la capacité doivent être accrues, le système évolue grâce à l ajout de modules X-Brick supplémentaires. Les performances progressent de manière linéaire : ainsi, deux modules X-Brick fournissent deux fois plus d E/S par seconde que la configuration avec un seul X-Brick, quatre modules X-Brick quatre fois plus d E/S par seconde, six modules X-Brick six fois plus d E/S par seconde et huit modules X-Brick huit fois plus. La faible latence reste constante à mesure que le système grandit. Efficacité Le moteur principal met en œuvre la réduction des données à la volée avec reconnaissance des contenus. La baie de stockage XtremIO effectue automatiquement la réduction (déduplication et compression) des données à la volée, dès leur entrée dans le système. Cette technique permet de limiter la quantité de données écrites sur Flash, soit une amélioration de la longévité des médias et une réduction des coûts. Les baies XtremIO allouent de la capacité aux volumes à la demande et par blocs de données granulaires. L allocation dynamique des volumes n entraîne ni perte de performances, ni surprovisionnement de capacité, ni fragmentation. Une fois qu est mise en œuvre la déduplication à la volée basée sur le contenu, les données restantes sont davantage compressées, réduisant ainsi la quantité d écritures effectuées sur le média Flash. La compression des données est effectuée à la volée sur les blocs de données dédupliqués (uniques). * Mesures obtenues avec des blocs de petite taille. Par nature, les blocs d E/S de grande taille entraînent des taux de latence élevés, quel que soit le système de stockage. 6

7 Le fait d éviter un pourcentage important d écritures présente les avantages suivants : Meilleures performances grâce aux données réduites. Allongement de la durée de vie globale des disques SSD de la baie Flash. Moins de capacité physique requise pour stocker les données, ce qui accroît l efficacité de la baie de stockage et réduit considérablement le coût du stockage par Go. Protection des données : XtremIO s appuie sur un algorithme de protection des données exclusif et optimisé pour Flash, dénommé XDP (XtremIO Data Protection). Cet algorithme offre des performances supérieures à tous les algorithmes RAID existants. L optimisation de l algorithme XDP permet de réduire le nombre d écritures sur les médias Flash à des fins de protection des données. Fonctionnalité : XtremIO prend en charge les snapshots hautes performances avec optimisation de l espace utilisé, réduction des données à la volée (notamment déduplication à la volée et compression des données), allocation dynamique, intégration complète de VMware VAAI et prise en charge des protocoles Fibre Channel et iscsi. Vue d ensemble du système La baie de stockage XtremIO est un système 100 % Flash qui repose sur une architecture scale-out. Il se compose de modules, appelés X-Brick, qui peuvent être assemblés afin d accroître les performances et la capacité de la baie en fonction des besoins, comme illustré à la Figure 2. Le fonctionnement du système est entièrement régi par un serveur Linux autonome, le XtremIO Management Server, ou XMS. Un hôte XMS, qui peut être un serveur physique ou virtuel, peut gérer plusieurs clusters XtremIO. Si elle est déconnectée du serveur XMS, la baie continue de fonctionner, mais ne peut être ni configurée ni surveillée. L architecture de la baie XtremIO est spécifiquement conçue pour libérer tout le potentiel de performances de la technologie Flash, et pour faire évoluer de manière linéaire et parfaitement équilibrée l ensemble des ressources utilisées : CPU, mémoire vive, disques SSD et ports hôte. La baie peut ainsi offrir le niveau de performances souhaité tout en préservant une homogénéité indispensable pour garantir la prévisibilité du comportement des applications. Le système de stockage XtremIO fournit des performances de très haut niveau qui restent constantes dans le temps quelles que soient les caractéristiques du système et les conditions d accès. Il est conçu pour prendre en charge les E/S réellement aléatoires. Le niveau de performance du système, le nombre de volumes ou les effets du vieillissement n ont aucun impact sur ses performances Qui plus est, les performances ne dépendent pas d une architecture avec «cache partagé» ; elles ne sont donc pas influencées par la taille des jeux de données ni par les conditions d accès aux données. 7

8 Grâce à son architecture de stockage avec reconnaissance des contenus, XtremIO offre les avantages suivants : Distribution uniforme des blocs de données qui induit des performances maximales et une usure minimale des médias Flash Distribution uniforme des métadonnées Pas de points névralgiques pour les données et métadonnées Facilité de configuration, sans réglage ultérieur Fonctionnalité de stockage avancée, notamment réduction des données à la volée (déduplication et compression des données), allocation dynamique, protection avancée des données (XDP), snapshots, etc. X-Brick La Figure 1 affiche un module X-Brick. Figure 1. X-Brick Le module X-Brick est l entité de base de la baie de stockage XtremIO. Chaque module X-Brick comprend les éléments suivants : Un boîtier DAE 2U contenant : 25 disques SSD emlc (module X-Brick standard) ou 13 disques SSD emlc (module Starter X-Brick de 10 To [5 To]) Deux unités d alimentation redondantes Deux modules d interconnexion SAS redondants Un bloc-batteries de secours Deux contrôleurs de stockage 1U (processeurs de stockage redondants) Chacun des contrôleurs de stockage comprend : Deux unités d alimentation redondantes Deux ports optiques Fibre Channel (FC) 8 Gbit/s 8

9 Deux ports iscsi 10 GbE Deux ports InfiniBand 40 Gbit/s Un port de gestion 1 Gbit/s Le Tableau 1 présente les caractéristiques techniques du système par module X-Brick. Tableau 1. Caractéristiques du système (par module X-Brick) Fonction Capacité physique Haute disponibilité Caractéristique technique (par X-Brick) 5U 13 disques SSD Flash emlc (module Starter X-Brick de 10 To [5 To]) 25 disques SSD Flash emlc (module X-Brick standard) Redondance Composants remplaçables à chaud Aucun point unique de défaillance Accès hôte Symétrie active/active Tous les volumes sont accessibles en parallèle à partir de tout port cible sur tout contrôleur de performance équivalente. L accès ALUA n est pas nécessaire. Ports hôte 4 ports FC 8 Gbit/s 4 ports Ethernet iscsi 10 Gbit/s Capacité utile * Pour un module de type Starter X-Brick de 10 To (5 To) : - 3,26 Tio (13 disques SSD, sans réduction des données) - 7,22 Tio (25 disques SSD, sans réduction des données) Pour un module X-Brick de 10 To : 7,58 Tio (sans réduction des données) Pour un module X-Brick de 20 To : 15,16 Tio (sans réduction des données) Pour un module X-Brick de 40 To : 30,55 Tio (sans réduction des données) Latence Moins d une milliseconde * La capacité utile correspond à la quantité de données uniques non compressibles pouvant être écrites dans la baie. En général, la capacité réelle sera nettement plus élevée grâce à la technologie XtremIO de réduction des données Les résultats peuvent être légèrement différents. La latence inférieure à une milliseconde s applique aux blocs de taille standard. La latence des blocs de petite ou de grande taille peut être supérieure. 9

10 Architecture scale-out Le système de stockage XtremIO peut contenir un seul module X-Brick ou un cluster de plusieurs modules X-Brick, comme le montre la Figure 2 et le Tableau 2. Cluster à huit modules X-Brick Cluster à six modules X-Brick Cluster à quatre modules X-Brick Cluster à deux modules X-Brick Cluster à un seul module X-Brick Figure 2. Configurations système avec un seul module X-Brick et un cluster de plusieurs X-Bricks Avec un cluster de deux modules X-Brick ou plus, XtremIO assure la connectivité back-end entre les contrôleurs de stockage à l aide d un réseau InfiniBand QDR redondant de 40 Gbit/s, qui offre une très haute disponibilité et une latence extrêmement faible. Comme ce réseau InfiniBand est un composant entièrement géré de la baie XtremIO, les administrateurs système n ont pas besoin d être des spécialistes de la technologie InfiniBand. 10

11 Un cluster composé d un seul module X-Brick comprend les éléments suivants : Un module X-Brick Un bloc-batteries de secours supplémentaire Un cluster composé de plusieurs modules X-Brick comprend les éléments suivants : Deux, quatre, six ou huit modules X-Brick Deux switches InfiniBand Tableau 2. Configurations système avec un seul module X-Brick et un cluster de plusieurs X-Bricks Module Starter X-Brick de 10 To (5 To) Cluster d un module X-Brick Cluster de deux modules X-Brick Cluster de quatre modules X-Brick Cluster de six modules X-Brick Cluster de huit modules X-Brick Nbre de modules X-Brick Nbre de switches InfiniBand Nbre de blocsbatteries de secours supplémentaires Module Starter X-Brick de 10 To (5 To) Le module Starter X-Brick de 10 To (5 To) de XtremIO est identique à un cluster à un module X-Brick standard, sauf qu il est équipé de seulement 13 disques SSD Flash emlc au lieu de 25. Il est possible d étendre le module Starter X-Brick de 10 To (5 To) au niveau d un module X-Brick standard via l ajout de 12 disques SSD. 11

12 Architecture du système XtremIO fonctionne comme toute autre baie de stockage constituée de blocs et s intègre aux réseaux SAN existants, avec deux possibilités pour la connectivité aux hôtes : Fibre Channel 8 Gbit/s et iscsi Ethernet 10 Gbit/s (SFP+). En revanche, contrairement aux autres baies par blocs, XtremIO est système de stockage spécialement conçu pour Flash afin d offrir des performances maximales, une grande facilité d utilisation et des services avancés pour la gestion des données. Chaque contrôleur de stockage de la baie XtremIO utilise comme plateforme de base une distribution légère de Linux spécialement configurée. Le système d exploitation XtremIO (XIOS) s exécute par-dessus Linux et traite toutes les activités du contrôleur de stockage, comme illustré à la Figure 3. Optimisé pour traiter des taux d E/S élevés, XIOS gère les modules fonctionnels du système, les opérations RDMA sur InfiniBand, la surveillance et les pools de mémoire. Figure 3. Schéma d un module X-Brick XIOS dispose d un algorithme de planification et de traitement exclusif, élaboré pour répondre aux besoins spécifiques d un sous-système de stockage avec reconnaissance des contenus, de hautes performances et une faible latence. 12

13 XIOS offre les avantages suivants : Planification à faible latence - pour optimiser le changement de sousprocessus en fonction du contexte, améliorer la planification et réduire les temps d attente Évolutivité linéaire des CPU - pour garantir l exploitation intégrale de toutes les ressources CPU, notamment les processeurs multicœurs Synchronisation limitée des cœurs CPU - pour optimiser la communication entre les sous-processus et le transfert des données Pas de synchronisation des sockets de CPU - pour minimiser les tâches de synchronisation et les dépendances entre les sous-processus qui s exécutent sur les différents sockets Prise en compte de la ligne de cache - pour optimiser la latence et l accès aux données Les contrôleurs de stockage de chaque module X-Brick détiennent le boîtier DAE qui y est raccordé via les interconnexions SAS redondantes. Les contrôleurs de stockage sont également connectés à un fabric InfiniBand redondant de haute disponibilité. Quel que soit le contrôleur de stockage qui reçoit la demande d E/S d un hôte, les contrôleurs qui composent les différents modules X-Brick coopèrent pour traiter la demande. La répartition des données dans le système XtremIO garantit le partage inhérent de la charge entre tous les composants qui participent uniformément aux opérations d E/S. 13

14 Principes de fonctionnement La baie de stockage XtremIO réduit (déduplique et compresse) automatiquement les données dès qu elles pénètrent dans le système, en les traitant sous forme de blocs de données. La déduplication est globale (elle porte sur l ensemble du système), toujours active et réalisée en temps réel (jamais en post-traitement). Après la déduplication, les données sont compressées à la volée puis écrites sur les disques SSD. XtremIO utilise un cache de mémoire global, qui prend en compte la déduplication et la distribution des données en fonction des contenus, pour une répartition homogène sur l ensemble de la baie. Tous les volumes sont accessibles par le biais de tous les modules X-Brick et sur l ensemble des ports hôtes de la baie. En back-end, le système utilise un réseau InfiniBand (fourni par EMC) haute disponibilité avec une latence extrêmement faible et un accès RDMA entre tous les contrôleurs de stockage du cluster. Grâce au RDMA, le système XtremIO est fondamentalement un espace unique de mémoire partagée, qui couvre tous les contrôleurs de stockage. La capacité logique effective d un seul module X-Brick varie en fonction des jeux de données en cours de stockage. Pour des informations à forte duplication, ce qui est généralement le cas dans de nombreux environnements virtualisés clonés (tels que VDI), la capacité utile réelle est bien plus élevée que la capacité Flash disponible sur le matériel. Les rapports de déduplication échelonnés de 5:1 à 10:1 sont très fréquents dans ce type d environnement. Pour les données compressibles, que l on trouve généralement dans de nombreuses bases de données et dans les données applicatives, les taux de compression se situent entre 2:1 et 3:1. Les systèmes qui tirent parti de la compression et de la déduplication des données, tels que les Infrastructures VSI, atteignent couramment un taux de 6:1. Table de mappage Chaque contrôleur de stockage maintient une table qui gère l emplacement de chaque bloc de données sur le disque SSD, comme illustré dans le Tableau 3 (page 15). Ce tableau se divise en deux parties : La première partie mappe la LBA de l hôte à son empreinte de contenu. La seconde partie mappe l empreinte de contenu à son emplacement sur le disque SSD. Cette deuxième partie apporte à XtremIO la capacité exclusive de distribuer les données de manière uniforme sur l ensemble de la baie et de placer chaque bloc à l emplacement le plus approprié sur le disque. Elle permet également au système d ignorer un lecteur qui ne répond pas ou de sélectionner à quel endroit écrire les nouveaux blocs lorsque la baie est presque saturée et qu il ne reste aucune bande vide pour écrire les données. 14

15 Fonctionnement du flux d E/S en écriture Dans une opération d écriture classique, le flux de données entrant atteint l un des contrôleurs de stockage en mode actif-actif et est décomposé en blocs de données. Pour chacun de ces blocs, la baie associe aux données un identifiant, ou empreinte, unique. La baie conserve cette empreinte dans une table (comme illustré dans le Tableau 3) afin de déterminer si les écritures entrantes existent déjà dans la baie. L empreinte sert également à déterminer l emplacement de stockage des données. Le mappage de la LBA aux empreintes de contenu est enregistré dans les métadonnées au sein de la mémoire du contrôleur de stockage. Tableau 3. Table de mappage Exemple Décalage de LBA Empreinte numérique Décalage disques SSD/ Emplacement physique données Adresse A8 40 données données Addresse 1 AB45CB7 8 données données Addresse 2 F3AFBA3 88 données données Adresse 3 963FE7B 24 données données Adresse F7A 64 données données Adresse 5 134F données données Adresse 6 CA38C données données Adresse 7 963FE7B Dédupliquées Remarque : dans le Tableau 3, la couleur des blocs de données correspond à leur contenu. Les contenus uniques sont représentés par des couleurs différentes, tandis que les contenus dupliqués sont représentés de la même couleur (rouge). 15

16 Le système vérifie si l empreinte et le bloc de données correspondant ont déjà été stockés. Si l empreinte est nouvelle, le système : Compresse les données. Choisit un emplacement dans la baie pour placer le bloc (en fonction de l empreinte et non de la LBA). Crée le mappage entre l empreinte et l emplacement physique. Incrémente d une unité le nombre de références de l empreinte. Effectue l écriture. S il s agit d une écriture dupliquée, le système enregistre le nouveau mappage LBA-empreinte, et incrémente le nombre de références de cette empreinte spécifique. Comme les données existent déjà dans la baie, il n est pas nécessaire de modifier le mappage empreinte-emplacement physique, ni d écrire les données sur le disque SSD. Toutes les modifications de métadonnées s effectuent dans la mémoire. Par conséquent, l écriture dédupliquée est beaucoup plus rapide que la première écriture du bloc unique. C est là l un des avantages exclusifs de la fonction de réduction des données à la volée du système XtremIO, dans lequel la déduplication contribue à améliorer les performances en écriture. L écriture effective du bloc de données sur le disque SSD s effectue de manière asynchrone. Au moment de l écriture d application, le système place le bloc de données dans le tampon d écriture de la mémoire (qui est protégé par réplication sur différents contrôleurs de stockage via RDMA) et renvoie immédiatement une confirmation à l hôte. Lorsqu un nombre suffisant de blocs est réuni dans le tampon, le système écrit ces blocs dans une ou plusieurs bandes XDP (algorithme de protection des données XtremIO) sur les disques SSD. Ce processus s effectue de la manière la plus efficace possible et fait l objet d une description détaillée dans le livre blanc consacré à la protection des données XtremIO. 16

17 Lorsqu une E/S en écriture est transmise à la baie : 1. Le système analyse les données entrantes et les segmente en blocs de données, comme l illustre la Figure 4. Figure 4. Données décomposées en blocs de taille fixe 2. Pour chaque bloc de données, la baie attribue une empreinte unique aux données, comme l illustre la Figure 5. Figure 5. Empreinte attribuée à chaque bloc La baie conserve cette empreinte dans une table afin de déterminer si les écritures entrantes existent déjà dans la baie, comme illustré dans le Tableau 3 (page 15). Si un bloc de données n existe pas dans le système, le contrôleur de stockage qui assure le traitement consigne son intention d écrire le bloc dans d autres contrôleurs de stockage, en s appuyant sur l empreinte pour déterminer l emplacement des données. Si un bloc de données existe déjà dans le système, l écriture n a pas lieu, comme illustré à la Figure 6. Figure 6. Déduplication d un bloc existant/répété 17

18 3. La baie accroît le nombre de références pour chaque bloc de données. 4. Grâce à un mappage distribué cohérent, chaque bloc est routé jusqu au contrôleur de stockage chargé de gérer l espace d adresses d empreinte pertinent. Ce mappage distribué repose sur l empreinte de contenu. L opération mathématique qui permet de calculer les empreintes résulte d une distribution uniforme des valeurs d empreinte, et le mappage de ces empreintes est réparti équitablement sur tous les contrôleurs de stockage du cluster, comme illustré à la Figure 7. Figure 7. Répartition des données sur l ensemble du cluster Remarque : Le transfert de données au sein du cluster s effectue par le biais d un réseau InfiniBand à haut débit et faible latence avec RDMA, comme illustré à la Figure Le système renvoie une confirmation à l hôte. 18

19 6. En raison de la fonction de distribution uniforme des empreintes, chaque contrôleur de stockage du cluster reçoit une part équitable des blocs de données. Lorsque d autres blocs arrivent, ils s ajoutent aux bandes, comme illustré à la Figure 8. Figure 8. Bandes complètes contenant les blocs supplémentaires 7. Le système compresse les blocs de données afin de réduire davantage la taille de chacun d eux. 8. Dès que le contrôleur de stockage a suffisamment de blocs de données pour remplir la bande la plus vide de la baie (ou une bande complète, le cas échéant), il les transfère du cache sur le disque SSD, comme illustré à la Figure 9. Figure 9. Bandes associées aux disques SSD 19

20 Fonctionnement du flux d E/S en écriture Lors de la lecture d un bloc de données, le système effectue une recherche de l adresse logique dans le mappage LBA-empreinte. Une fois l empreinte détectée, il recherche le mappage empreinte-emplacement physique et récupère le bloc de données à cet emplacement. Comme les données sont écrites de manière uniforme sur l ensemble du cluster et des disques SSD, la charge de lecture est également répartie de manière équitable. XtremIO dispose d un cache de lecture dans la mémoire de chaque contrôleur de stockage. Dans les baies classiques, le cache de lecture est organisé suivant les adresses logiques. Les blocs liés à des adresses qui sont plus susceptibles d être lues sont placés dans le cache de lecture. Dans la baie XtremIO, le cache de lecture s organise en fonction de l empreinte de contenu. Il reçoit donc les blocs dont les contenus (représentés par les identifiants d empreinte) les plus susceptibles d être lus sont placés dans le cache. Ainsi, le cache de lecture du système XtremIO tient compte de la déduplication, ce qui signifie que malgré sa taille relativement modeste, il offre une capacité bien supérieure aux caches de même taille dans les systèmes classiques. Si la taille du bloc demandé dépasse celle du bloc de données, XtremIO effectue des lectures parallèles du bloc de données sur l ensemble du cluster et les assemble en blocs plus grands avant de les renvoyer à l application. Les blocs de données compressés sont décompressés avant leur envoi. Lorsqu une E/S en écriture est transmise à la baie : 1. Le système analyse la demande entrante afin de déterminer la LBA de chaque bloc de données et crée un tampon pour contenir ces données. 2. Les processus suivants se déroulent en parallèle : Pour chaque bloc de données, la baie localise l empreinte stockée. L empreinte détermine l emplacement du bloc de données dans un module X-Brick. Pour les E/S plus volumineuses (ex. 256 K), plusieurs modules X-Brick sont mobilisés pour récupérer le bloc de données. Le système transmet les données de lecture demandées au contrôleur de stockage sollicité pour le traitement, via RDMA sur le réseau InfiniBand. 3. Le système renvoie le tampon de données entièrement rempli à l hôte. 20

21 Caractéristiques du système La baie de stockage XtremIO offre un large éventail de fonctions qui sont toujours disponibles et ne nécessitent pas de licence spéciale. Le système offre les fonctions suivantes : Fonctions de service de données : appliqué dans l ordre (indiqué ci-dessous) pour toutes les écritures entrantes : Thin Provisioning Réduction des données à la volée : Déduplication des données à la volée Compression des données à la volée Protection des données XtremIO (XDP) Data at Rest Encryption Snapshots Fonctions à l échelle du système : Évolutivité des performances Distribution équilibrée des données Haute disponibilité Autres fonctions : Mise à niveau sans perturbation Intégration de VMware VAAI 21

22 Thin Provisioning La baie de stockage XtremIO repose sur l allocation dynamique native, en utilisant des blocs de petite taille. Elle offre ainsi une résolution fine pour l espace alloué dynamiquement. Tous les volumes du système bénéficient de l allocation dynamique, ce qui signifie que le système consomme uniquement la capacité dont il a réellement besoin. XtremIO détermine l emplacement physique des blocs de données uniques au sein du cluster après avoir calculé leurs identifiants d empreinte. Par conséquent, elle n effectue aucune préallocation ni aucune allocation dynamique de l espace de stockage avant l opération d écriture. Grâce à la reconnaissance des contenus assurée par l architecture XtremIO, il est possible de stocker des blocs à n importe quel emplacement dans le système (seules les métadonnées font référence aux emplacements) et les données ne sont écrites que lorsque les blocs uniques sont reçus. Par conséquent, contrairement à l allocation dynamique sur de nombreuses architectures de disques, XtremIO évite d avoir recours à la récupération de place. En outre, la question de la fragmentation des volumes ne se pose pas (puisque les blocs sont répartis sur l ensemble de la baie en accès aléatoire) et aucun utilitaire de défragmentation n est nécessaire. L allocation dynamique inhérente de XtremIO permet également d obtenir des performances et une gestion des données prévisibles tout au long du cycle de vie des volumes, quel que soit le taux d utilisation de la capacité du système et les modèles d écriture. Réduction des données à la volée La réduction des données à la volée unique du système XtremIO utilise les techniques suivantes : Déduplication des données à la volée Compression des données à la volée Déduplication des données à la volée La déduplication des données à la volée consiste à retirer les redondances des données avant de les écrire sur les médias Flash. XtremIO effectue une déduplication automatique et globale des données dès leur entrée dans le système. La déduplication des données s effectue en temps réel, et non en post-traitement. XtremIO ne fait intervenir aucun processus d arrière-plan qui monopolise les ressources et n effectue aucune opération de lecture/écriture supplémentaire (en relation avec le post-traitement). Par conséquent, le système n a pas d effet négatif sur les performances de la baie de stockage, ne gaspille pas les ressources disponibles (qui sont allouées aux E/S sur les hôtes) et ne consomme aucun cycle d usure Flash. 22

23 Avec XtremIO, les blocs de données sont stockés en fonction de leur contenu, et non suivant l adresse de niveau utilisateur au sein des volumes. Cela garantit l équilibre parfait de la charge sur tous les périphériques du système en termes de capacité et de performance. À chaque fois qu un bloc de données est modifié, il peut être placé sur tout jeu de disques SSD au sein du système, ou même ne faire l objet d aucune écriture si le contenu du bloc est déjà connu du système. Le système distribue les données de manière inhérente sur l ensemble de la baie, en utilisant tous les disques SSD de manière équitable, ce qui permet de niveler parfaitement l usure des médias. Même si un ordinateur hôte réécrit la même LBA à plusieurs reprises, chaque écriture est dirigée vers un emplacement différent de la baie XtremIO. Si l hôte écrit les mêmes données plusieurs fois de suite, celles-ci sont dédupliquées et ne génèrent pas d écriture supplémentaire sur les médias Flash. Pour une déduplication optimale des données, XtremIO utilise un cache globalement dédupliqué avec reconnaissance des contenus. Cette architecture de stockage spécifique permet d atteindre une capacité de cache bien supérieure à partir d une allocation de DRAM réduite. Par conséquent, XtremIO est la solution idéale lorsque les conditions d accès aux données sont difficiles, notamment lors d un «pic de connexions», phénomène fréquent des environnements de bureau virtuels. Le système utilise également les empreintes de contenu pour la déduplication des données à la volée, mais également pour la distribution uniforme des blocs de données sur l ensemble de la baie. Il permet ainsi d équilibrer la charge de manière inhérente pour privilégier les performances, et d optimiser le niveau d usure des médias Flash, puisqu il n est jamais nécessaire de réécrire ou de rééquilibrer les données. La réalisation de ce processus à la volée et sur l ensemble de la baie se traduit par un nombre inférieur d écritures sur les disques SSD. Cela accroît l endurance des disques SSD et empêche la dégradation des performances associée à déduplication des données en post-traitement. La déduplication des données à la volée du système XtremIO et son processus intelligent de stockage des données offrent les avantages suivants : Utilisation équilibrée des ressources du système, avec optimisation des performances Quantité minimale d opérations Flash, avec optimisation de la longévité des médias Distribution équitable des données, avec un meilleur équilibrage de l usure des médias Flash sur l ensemble du système Pas de récupération de place au niveau système (contrairement à la réduction des données en post-traitement) Utilisation intelligente de la capacité des disques SSD, pour un coût de stockage minimal 23

24 Compression des données à la volée La compression des données à la volée est la compression des données déjà dédupliquées avant leur écriture sur le média Flash. XtremIO compresse automatiquement les données après la suppression de toutes les duplications. Cela garantit que la compression est effectuée uniquement pour les blocs de données uniques. La compression des données s effectue en temps réel, et non en post-traitement. La nature du dataset détermine le taux total de compressibilité. Le bloc de données compressées est ensuite stocké sur la baie. La compression réduit la quantité totale de données physiques qui doivent être écrites sur le disque SSD. Cette réduction minimise l amplification d écriture (WA) des disques SSD, améliorant ainsi la résistance de la baie Flash. La compression des données à la volée XtremIO offre les avantages suivants : La compression des données s effectue toujours à la volée et n est jamais exécutée en post-traitement. Par conséquent, les données ne sont toujours écrites qu une seule fois. La compression est prise en charge pour un vaste éventail de datasets (par ex., les bases de données, environnements VDI, VSI, etc.). La compression des données complète la déduplication des données dans de nombreux cas. Par exemple, dans un environnement VDI, la déduplication réduit considérablement la capacité requise pour les postes de travail clonés. La compression réduit donc les données utilisateur spécifiques. Un plus grand nombre de postes de travail VDI peut donc être géré par un seul module X-Brick. La compression permet d économiser de la capacité de stockage en stockant les blocs de données de la manière la plus efficace qui soit. Si on combine cette fonctionnalité avec les puissantes fonctions de snapshot de XtremIO, le système est capable de gérer des pétaoctets de données applicatives fonctionnelles. 24

25 Réduction totale des données La déduplication et la compression des données de XtremIO sont complémentaires. La déduplication des données réduit les données physiques en éliminant les blocs de données redondantes. La compression des données réduit encore le volume de données en éliminant la redondance de données au niveau binaire de chaque bloc de données. La Figure 10 présente les avantages qu offre l association des processus de déduplication et de compression des données, qui aboutit à une réduction totale des données. Figure 10. Association de la déduplication et de la compression des données Dans l exemple ci-dessus, les douze blocs de données écrits par l hôte tout d abord dédupliqués en quatre blocs de données, avec un taux de déduplication des données de 3:1. Suite au processus de compression des données, chacun des quatre blocs de données est ensuite compressé, selon un ratio de 2:1, pour un taux de réduction totale des données de 6:1. 25

26 Protection des données XtremIO (XDP) Le système de stockage XtremIO assure une protection des données extrêmement efficace grâce aux doubles données de parité et à la fonction d autoréparation. Le système requiert une très faible surcharge de capacité pour la protection de données et l espace réservé aux métadonnées. Il n a pas besoin de lecteurs de remplacement pour les reconstructions, s appuyant au contraire sur l utilisation systématique de chaque parcelle d espace disponible dans la baie pour reconstruire les disques défectueux. Le système réserve toujours une capacité distribuée suffisante pour effectuer une reconstruction. Dans le cas, rare, d une défaillance des deux disques SSD, même avec une capacité maximale de données, la baie utilise l espace libre pour reconstruire les données de l un des disques. Elle reconstruit le second disque lorsque l un des disques défaillants a été remplacé. S il existe suffisamment d espace libre pour reconstruire les données de deux disques, cette opération est exécutée simultanément. XtremIO préserve ses performances, même lorsque le taux d utilisation des capacités est élevé, grâce à une surcharge de capacité minimale. Le système n a pas besoin d effectuer des mises en miroir (qui induisent une surcharge de capacité de 100 %). Il nécessite bien moins de capacité réservée pour la protection des données, le stockage des métadonnées, les snapshots, les disques de secours et les performances, ce qui augmente l espace disponible pour les données utilisateur. Le coût par Go utile est ainsi réduit. Le système de stockage XtremIO offre les avantages suivants : Protection des données N+2 Surcharge de capacité incroyablement faible pour la protection des données, de 8 % seulement Performances supérieures à tous les algorithmes RAID (RAID 1, l algorithme RAID le plus efficace en écriture, nécessite plus de 60 % d opérations d écriture en plus que XDP.) Endurance des médias Flash supérieure à celle de tous les algorithmes RAID grâce à un nombre inférieur d écritures et une distribution uniforme des données Reconstruction automatique en cas de défaillance d un disque, avec des délais plus courts que les algorithmes RAID classiques Plus grande robustesse grâce à des algorithmes adaptatifs qui protègent intégralement les données entrantes, même en présence d un disque défaillant dans le système Facilité d administration grâce à la continuité de fonctionnement 26

27 Tableau 4. Comparatif entre XDP et les méthodes RAID Algorithme Performances Protection des données Surcharge de capacité Lectures par mise à jour de bande Désavantage de l algorithme classique en lecture Écritures par mise à jour de bande Désavantage de l algorithme classique en écriture RAID 1 Élevé 1 défaillance 50 % 0 2 (64 %) 1,6x RAID 5 Moyen 1 défaillance RAID 6 Faible 2 défaillances 25 % (3+1) 20 % (8+2) 2 (64 %) 1,6x 2 (64 %) 1,6x 3 (146 %) 2,4x 3 (146 %) 2,4x XDP XtremIO Supérieures de 60 % à celles des systèmes RAID 1 2 pannes par module X-Brick Très faible 8 % (23+2) 1,22 1,22 Fonctionnement de XDP L algorithme de protection des données XtremIO (XDP) est conçu pour tirer le meilleur parti des propriétés spécifiques des médias Flash et de l architecture de stockage par contenus XtremIO. Bénéficiant du fait qu il contrôle l emplacement de stockage des données sans aucune pénalité, XDP atteint de hauts niveaux de protection avec des frais supplémentaires de stockage réduits, mais avec des performances supérieures à celles de RAID 1. Autre avantage, la protection des données XtremIO optimise également l endurance des médias Flash sous-jacents, bien au-delà des performances offertes par les différents algorithmes RAID précédents, ce qui constitue un point important pour une baie Flash. Figure 11. Parité linéaire et diagonale 27

28 XDP utilise une variante de la parité linéaire et diagonale N+2, comme illustré à la Figure 11, apportant ainsi une protection si deux erreurs se produisent simultanément sur le disque SSD. Dans une baie de 25 SSD, cela se traduit par une surcharge de capacité de 8 %. Les baies classiques mettent à jour les LBA au même emplacement sur le disque (avec une importante surcharge d E/S de la mise à jour des bandes). XtremIO place toujours les données dans la bande la plus vide. Cette méthode, qui permet d amortir efficacement la surcharge d opérations d E/S en lecture et en écriture pour chaque mise à jour de bande, est uniquement possible avec l architecture de stockage par contenus et 100 % Flash de XtremIO. Le processus garantit que le système XtremIO offre des performances prévisibles à mesure que la baie se remplit et même lorsque, après une longue période de fonctionnement, la réécriture et la mise à jour partielle des bandes deviennent la norme. XtremIO offre également un processus de reconstruction plus abouti. Lorsqu une baie de stockage RAID 6 classique est confrontée à une panne de disque, elle fait appel aux méthodes RAID 5 pour reconstruire le disque en lisant chaque bande et en calculant la cellule manquante à partir des autres cellules de la bande. Au contraire, XtremIO reconstitue les informations manquantes à partir de la parité P et Q et utilise un algorithme élaboré qui lit uniquement les informations requises pour reconstruire la cellule suivante. Tableau 5. Comparaison des lectures nécessaires à la reconstruction d un disque défectueux avec XDP et les autres méthodes RAID Algorithme Lectures pour reconstruire une bande de disque défectueux de largeur K Désavantage de l algorithme classique XDP XtremIO 3K/4 RAID 1 1 Aucun RAID 5 K 33 % RAID 6 k 33 % Remarque : pour de plus amples détails sur XDP, consultez le livre blanc consacré à la protection des données XtremIO. 28

29 Data at Rest Encryption La solution DARE (Data at Rest Encryption) permet de sécuriser les données critiques et ce même si le média est retiré de la baie. Les baies XtremIO utilisent une technique de chiffrement synchrone hautes performances pour veiller à ce que toutes les données stockées sur la baie soient inutilisables en cas de retrait du disque SSD. Cela empêche tout accès non autorisé en cas de vol ou de perte lors des transports. Cela permet également de renvoyer/remplacer les composants défectueux qui contiennent des données sensibles. Le chiffrement DARE est obligatoire dans plusieurs secteurs tels que la santé (où les dossiers des patients doivent être conservés sous haute surveillance), le secteur bancaire (où la sécurité des données financières est extrêmement importante) et dans de nombreux organismes publics. La solution DARE de XtremIO repose sur l utilisation de disques à chiffrement automatique (SED). Un disque SED est doté d un matériel dédié qui est utilisé pour chiffrer et déchiffrer les données lorsqu elles sont écrites ou lues sur le disque SSD. Le déchargement de la tâche de chiffrement sur le disque SSD permet de maintenir la même architecture logicielle, chaque fois que le chiffrement est activé ou désactivé sur la baie. L ensemble des fonctions et services de XtremIO, notamment la réduction des données à la volée, la protection des données XtremIO (XDP), l allocation dynamique et la création de snapshots, sont disponibles sur un cluster chiffré (ainsi que sur des clusters non chiffrés). Une clé de chiffrement des données (DEK) unique est créée lors de la fabrication du disque. Cette clé ne quitte jamais le disque. Il est possible de supprimer ou de modifier la clé DEK, mais cela entraîne l impossibilité de lire les données du disque et il n existe aucune option permettant de récupérer cette clé. Afin de s assurer que seuls les hôtes autorisés peuvent accéder aux données du disque SED, la clé DEK est protégée par une clé d authentification (AK). Sans cette clé, la clé DEK est chiffrée et ne peut pas être utilisée pour chiffrer ou déchiffrer les données. Figure 12. Disque SED déverrouillé 29

30 Lorsqu ils sortent d usine, les disques SED sont déverrouillés, ce qui signifie que n importe quel hôte peut accéder aux données du disque. Dans les disques déverrouillés, les données sont toujours chiffrées mais la clé DEK est toujours déchiffrée et aucune authentification n est requise. Le verrouillage du disque se fait en modifiant la clé AK par défaut afin de la remplacer par une nouvelle clé AK privée et en modifiant les paramètres du disque SED afin qu il reste verrouillé après une panne de démarrage ou d alimentation (lorsqu un disque SSD est retiré de la baie, par exemple). Lorsqu un disque SSD est retiré de la baie, il est arrêté et son redémarrage nécessite la clé AK. Sans clé AK correcte, les données du disque SSD sont illisibles et protégées. Pour accéder aux données, les hôtes doivent fournir la clé AK correcte, un processus parfois appelé «acquisition» ou «appropriation» du disque et qui déverrouille la clé DEK et permet d accéder aux données. L acquisition du disque est uniquement réalisée lors de son démarrage et le disque SED reste déverrouillé tant que la baie est opérationnelle. Étant donné que les données sont toujours chiffrées et déchiffrées de façon matérielle, le verrouillage d un disque SED n a aucune incidence sur les performances. Figure 13. Modes de fonctionnement des disques SED La baie 100 % Flash XtremIO chiffre les données sur les disques SSD suivants : Disques SSD de données, sur lesquels l ensemble des données utilisateur sont stockées Disques SSD de contrôleur de stockage, qui peuvent contenir les vidages des journaux de données utilisateur 30

31 Snapshots Les snapshots résultent de la capture de l état des données sur les volumes à un point dans le temps et permettent aux utilisateurs d accéder à ces données dès qu ils en ont besoin, même si le volume source a changé. Les snapshots XtremIO sont par nature accessibles en écriture, mais peuvent être créés en lecture seule pour garantir l immuabilité. Il est possible d effectuer des snapshots à partir de la source ou d un snapshot du volume source. Les snapshots peuvent servir différents objectifs, notamment : Protection contre la détérioration logique XtremIO permet de créer des snapshots fréquents (selon l intervalle RPO désiré) et de les utiliser pour restaurer des données ayant subi une détérioration logique. Le système peut conserver les snapshots aussi longtemps que nécessaire. En cas de détérioration logique, il est possible d utiliser les snapshots d un état antérieur de l application (avant la corruption des données) afin de restaurer l application à un point dans le temps où elle fonctionnait correctement. Sauvegarde Il est possible de créer des snapshots destinés à un serveur/agent de sauvegarde. Cela permet de décharger le serveur de production d une partie du processus de sauvegarde. Développement et test Le système permet à l utilisateur de créer des snapshots des données de production, créer plusieurs copies (hautes performances et économes en espace) du système de production et les présenter à des fins de développement et de test. Clone XtremIO vous permet de profiter d une fonctionnalité semblable au clonage en réalisant des snapshots persistants accessibles en écriture. Ils peuvent servir à présenter un clone du volume de production à plusieurs serveurs. Les performances du clone seront identiques à celles du volume de production. Traitement hors ligne Il est possible d utiliser les snapshots afin de décharger le serveur de production du traitement des données. Par exemple, s il est nécessaire d exécuter un processus lourd sur les données (avec une possible altération des performances du serveur de production), il est possible d utiliser les snapshots pour créer une copie récente des données de production et la monter sur un serveur différent. Le processus peut alors s exécuter (sur l autre serveur) sans consommer les ressources du serveur de production. 31

32 XtremIO offre les outils suivants efficaces de gestion des snapshots et d optimiser leur facilité d utilisation : Groupes de cohérence Les groupes de cohérence permettent de créer une image cohérente d un ensemble de volumes, habituellement Utilisé : par une seule application, par exemple une base de données. Avec les groupes de cohérences XtremIO, vous pouvez créer un snapshot de tous les volumes dans un groupe à l aide d une seule commande. Cela garantit que tous les volumes sont créés en même temps. De nombreuses opérations appliquées à un volume unique peuvent également être appliquées à un groupe de cohérence. Jeu de snapshots Un jeu de snapshots est un groupe de snapshots qui ont été créés à l aide d une seule commande et représente un point dans le temps d un groupe. Un jeu de snapshots peut provenir d un snapshot créé sur un groupe de cohérence, sur un autre jeu de snapshots ou sur un ensemble de volumes qui ont été sélectionnés manuellement. Un jeu de snapshots conserve une relation avec l ancêtre à partir duquel il a été créé. Snapshots en lecture seule De par leur conception, les snapshots XtremIO sont des volumes ordinaires créés sous forme de snapshots inscriptibles. Afin de répondre au besoin de sauvegarde locale et de copies immuables, il existe une option pour créer un snapshot en lecture seule. Un snapshot en lecture seule peut être mappé sur un hôte externe, comme une application de sauvegarde, mais il n est pas possible d écrire dans celui-ci. Sheduler Le Scheduler peut être utilisé pour les exemples d utilisation de protection en local. Il peut être appliqué à un volume, un groupe de cohérence ou un jeu de snapshots. Chaque Scheduler peut être défini pour s exécuter à un intervalle de quelques secondes, minutes ou heures. Il peut également être défini pour s exécuter à une heure spécifique d un jour ou d une semaine. Chaque Scheduler possède une règle de rétention, en fonction du nombre de copies que le client souhaite conserver ou en fonction de l âge du snapshot plus ancien. Restauration En utilisant Unene seule comma, vous pouvez restaurer un volume de production ou un groupe de cohérence à partir de l un de ses jeux de snapshots descendants. La face SCSI du volume de production est déplacée vers un snapshot du jeu de snapshots requis, sans qu il soit nécessaire que l application hôte réanalyse et redécouvre un nouveau volume. Actualisation La commande d actualisation est un outil puissant pour les environnements de test et de développement et de l exemple d utilisation du traitement hors ligne. Un snapshot du volume de production ou du groupe de cohérence est créé avec une seule commande, et la face SCSI du volume, qui a été mapée sur l application de test et de développement, est déplacée vers celui-ci. Cela permet à l application de test et de développement de travailler sur les données en cours sans avoir à copier les données ou à relancer l analyse. 32