Le stockage. 1. Architecture de stockage disponible. a. Stockage local ou centralisé. b. Différences entre les architectures

Transcription

1 Le stockage 1. Architecture de stockage disponible a. Stockage local ou centralisé L architecture de stockage à mettre en place est déterminante pour l évolutivité et la performance de la solution. Cet aspect nécessite une attention particulière afin de choisir la solution adéquate en fonction de ses contraintes, ses objectifs et de son budget. En effet, les coûts peuvent varier de façon significative entre les différentes solutions. Il est donc important de savoir quels sont les choix possibles avec leurs principaux avantages et inconvénients ainsi que les bonnes pratiques provenant de cas concrets et retours d expérience. Les architectures de stockage disponibles sont les suivantes : Stockage local : les disques durs sont connectés dans le serveur. Stockage centralisé : le stockage est externe au serveur, plusieurs serveurs peuvent s y connecter. Dans ce cas, les protocoles supportés par ESX sont : le Fibre Channel dans une architecture SAN ; l iscsi (software et hardware) ; le NFS utilisé par les NAS. b. Différences entre les architectures Architecture avec disques locaux ENI Editions - All rigths reserved - Guillaume DUBOIS - 1 -

2 Dans une architecture basée sur les disques locaux du serveur, les serveurs ESX sont isolés les uns des autres. Les machines virtuelles sont stockées en local et ne sont accessibles que par le serveur qui héberge les VM. Dans le cas où un serveur ESX tombe en panne, aucun autre serveur de l infrastructure ne pourra accéder aux VM. Il faut donc attendre que le serveur soit à nouveau opérationnel pour pouvoir redémarrer les VM. Les technologies supportées sont le SCSI, le SAS ou le SATA. Avantage : c est la solution la plus économique, elle est en outre très simple et rapide à mettre en place, il n est pas nécessaire d avoir de compétence ou d expertise stockage très évoluée. Cette architecture est envisageable en environnement de production mais il faut penser à mettre une solution de sauvegarde adaptée. Elle peut être la solution idéale pour des petites et moyennes entreprises. Inconvénient : les niveaux de service sont moins élevés. Les fonctionnalités évoluées telles que VMotion, DRS, HA, FT (cf. chapitre Fonctionnalités de vsphere 4) ne sont pas disponibles. Il n y a pas de gestion centralisée des VM. Architecture avec stockage centralisé ENI Editions - All rigths reserved - Guillaume DUBOIS

3 Dans cette architecture, les machines virtuelles sont stockées sur la baie de stockage et sont accessibles par plusieurs serveurs ESX. Dans le cas où un serveur ESX tombe en panne, un autre serveur connecté au stockage peut accéder aux VM et les remettre rapidement et automatiquement en production sans avoir à attendre que le serveur en panne soit de nouveau opérationnel. Cela permet de limiter les interruptions de service. Cette architecture donne la possibilité d exploiter toutes les fonctionnalités évoluées telles que VMotion, DRS, HA, FT... En outre, les architectures de ce type offrent d excellentes performances, un niveau de sécurité important avec la mise en place de redondance pour l accès aux VM. Et grâce aux fonctionnalités intégrées des baies de stockage telles que le mirroring ou la réplication de données, les PRA sur des sites distants sont plus simples à mettre en place. La technologie des disques supportée est le SCSI, le FC, le SAS et le SATA. Avantage : le stockage étant centralisé, l administration est simplifiée. Cette architecture offre les meilleures performances, une évolutivité plus grande et un niveau de sécurité important permettant de limiter les interruptions de service. Inconvénient : le coût est plus élevé qu un stockage local et il est nécessaire d avoir des compétences sur le stockage. Cela nécessite un travail en amont plus important. 2. Gestion du stockage par ESX a. Le Datastore ENI Editions - All rigths reserved - Guillaume DUBOIS - 3 -

4 Sous VMware ESX, l espace de stockage est vu comme un Datastore. Le Datastore est une représentation virtuelle des ressources de stockage où sont stockées les machines virtuelles. Il masque la complexité des différentes technologies et solutions de stockage du marché en proposant au serveur ESX un modèle uniforme quel que soit le stockage qui est en place. Ainsi, les différentes solutions du marché telles que les disques locaux, les baies de stockage Fibre Channel SAN, les baies iscsi ou les NAS apparaissent pour ESX comme un espace de stockage dédié pour les machines virtuelles. b. Accès aux données par la Machine Virtuelle Quand une VM communique avec son disque virtuel (vmdk), elle envoie des commandes SCSI. Le driver du Guest OS va communiquer avec son contrôleur SCSI (dit vscsi). Le contrôleur virtuel SCSI transmet les commandes au VMkernel. Le VMkernel localise le fichier sur le Datastore qui correspond au disque virtuel vmdk ainsi que l emplacement des blocs à modifier. 3. Les différents protocoles : FC, iscsi ou NFS Les protocoles supportés par ESX à savoir le FC, l iscsi et le NFS avec leurs avantages et inconvénients sont détaillés ci dessous. a. Protocole Fibre Channel Le Fibre Channel (FC) est le plus mature des trois protocoles supportés par VMware et de ce fait, c est celui qui est le plus souvent mis en œuvre dans des environnements de production. Avantage : il semble acquis aujourd hui (en 2009) que le Fibre Channel est le protocole le plus performant en E/S et c est celui qui consomme le moins de ressources CPU du serveur hôte comparé aux protocoles NFS et iscsi ENI Editions - All rigths reserved - Guillaume DUBOIS

5 Inconvénient : le FC est la solution la plus coûteuse des trois solutions car elle nécessite de bâtir l architecture de stockage et d investir dans des cartes HBA, des switchs FC et des câbles le plus souvent en fibre optique. En outre, cette solution est plus complexe à mettre en place et nécessite des compétences stockage pointues. b. Protocole iscsi iscsi est assez récent en environnement VMware car il n est supporté que depuis Avantage : iscsi a été largement adopté dans beaucoup de secteurs d activité car il utilise le réseau TCP/IP de l entreprise. Il n est donc pas nécessaire de monter une architecture de stockage dédiée avec des switchs FC, des cartes et des câbles spécifiques. Pour cette raison, dans certains environnements cette solution est idéale car elle est beaucoup plus simple à mettre en place et ne nécessite pas de compétences stockage très évoluées. De plus ce protocole offre de très bonnes performances. Inconvénient : les tests ont prouvé que c est le protocole qui utilise le plus les ressources du CPU (jusqu à 60 % de temps CPU en plus que le protocole FC dans le cas du iscsi software). Il est donc important de surveiller ce point et d en tenir compte lors du dimensionnement des serveurs. Deux types d iscsi sont disponibles : software ou hardware. L iscsi logiciel est à déconseiller en environnement de production car il utilise des ressources CPU du serveur hôte qui peuvent être importantes. c. Protocole NFS NFS est un protocole utilisé par les NAS supporté par ESX depuis Contrairement à certaines idées reçues, les tests font apparaître de bonnes performances. Il est donc envisageable d utiliser ce protocole en production si les applications ne nécessitent pas des accès disques intensifs en Entrées/Sorties. Avantage : comme pour l iscsi, NFS utilise le réseau standard TCP/IP. Il s implémente aussi très facilement sans avoir à mettre en place une infrastructure de stockage dédiée. C est la moins chère des trois solutions. Il n est pas nécessaire d avoir des compétences de stockage particulières. Les NAS peuvent être parfaitement adaptés pour stocker des images ISO, des templates, des copies de VM ou des sauvegardes de VM. Inconvénient : c est le moins performant des trois protocoles. L utilisation du CPU du serveur hôte est supérieure au protocole FC mais inférieure à celle de l iscsi Software. Il peut donc être envisageable de l employer en environnement de production avec des VM nécessitant des performances en entrées/sorties faibles. 4. Systèmes de fichiers supportés ESX supporte deux systèmes de fichiers VMFS et NFS. a. VMFS VMFS (Virtual Machine File System) est un système de fichier développé par VMware dédié et optimisé pour l environnement virtuel. La structure de VMFS permet de stocker les fichiers des VM dans un seul répertoire ce qui simplifie l administration des VM ainsi que la mise en place de PRA par simple mirrroring des répertoires entre les sites distants. VMFS permet d héberger des machines virtuelles avec leurs disques virtuels associés (vmdk), des snapshots, des Template, des fichiers images ISO. Avantages et caractéristiques : Les systèmes de fichiers traditionnels n autorisent qu à un seul serveur d avoir accès en lecture/écriture à une ressource de stockage. VMFS est un système de fichier dit clusterisé qui permet à plusieurs serveurs hôtes ESX d accéder simultanément en lecture/écriture aux mêmes ressources de stockage. Pour s assurer que plusieurs serveurs n accèdent pas simultanément à la même machine virtuelle, VMFS fournit un système de verrouillage appelé on disk locking. Ceci garantit qu une VM ne travaille qu avec un seul serveur ESX à la fois. Pour gérer les accès, ESX utilise une technique de réservation SCSI (dit SCSI reservation) pour modifier les fichiers métadata. Cet instant très court de verrouillage interdit l écriture sur tout l espace de stockage utilisé par les serveurs ESX. Pour cette raison, il faut veiller à ne pas avoir de réservations SCSI trop fréquentes qui pourraient dégrader les performances. Cette réservation SCSI est utilisée par ESX, quand : Une VM est démarrée. ENI Editions - All rigths reserved - Guillaume DUBOIS - 5 -

6 VMotion est utilisé. Des snapshots sont réalisés. La fonctionnalité HA est utilisée : si un serveur tombe en panne, le verrouillage on disk est libéré permettant à un autre serveur ESX de redémarrer les VM et de le verrouiller pour sa propre utilisation. Les spécificités de VMFS à connaître : Il est possible de ne créer qu un seul VMFS Datastore par LUN. La taille maximale pour un VMFS Datastore est de 2 To pour une taille minimum de 1,2 Go. Le VMFS Datastore peut être augmenté en ajoutant dynamiquement des extensions. Il est possible d ajouter jusqu à 32 extensions (jusqu à 32 LUN) pour avoir une taille maximale de 64 To (32 extensions x 2 To) apparaissant comme un volume unique. Il est possible de mettre jusqu à 256 VMFS par serveur. VMFS réalise une journalisation des événements permettant de garder une intégrité des données et de restaurer rapidement en cas de problème. Sous vsphere 4, une nouvelle fonctionnalité appelée Volume Grow permet d étendre dynamiquement un système VMFS (jusqu à 2 To) existant sans arrêter les VM. Dans le cas où un espace de stockage physique est rajouté dans un LUN, le Datastore existant peut être étendu sans arrêter le serveur ni le stockage associé. Cela vient en complément des possibilités des baies de stockage qui permettent d étendre dynamiquement des LUN. Il est également possible d étendre l espace de stockage d un disque virtuel (vmdk) en mode persistant sans snapshot grâce à la fonctionnalité Hotvmdk Extend. Ceci apporte une grande flexibilité dans l utilisation et l administration du stockage. b. NFS ESX peut également utiliser NFS pour héberger des VM comme nous venons de le voir dans la section Protocole NFS. c. Raw Device Mapping RDM (Raw Device Mapping) donne la possibilité d accéder directement à une LUN sans utiliser le système de fichier VMFS sur une baie de disque FC ou iscsi. Il est ainsi possible d accéder directement à un disque possédant un système de fichier existant de type NTFS ou EXT3 et que vous souhaitez préserver. Différences entre les différentes architectures de stockage : Installation ESX4 Stockage VM VMotion, DRS, HA Datastore RDM Performances Mise en place Stockage local Oui Oui Non VMFS Non Très bon Très simple Fibre Channel Oui Oui Oui VMFS Oui Excellent Complexe (2) iscsi Oui (1) Oui Oui VMFS Oui Très bon Simple NFS Non Oui Oui NFS Non Bon Très simple (1) iscsi hardware supporté, software iscsi non supporté. (2) Nécessite des compétences stockage évoluées. Technologie des disques NFS ou VMFS : SAS SATA (1) SCSI FC P ATA* ENI Editions - All rigths reserved - Guillaume DUBOIS

7 Hébergement des VM Oui Oui Oui Oui Non Installation ESX Oui Oui Oui Oui Oui (1) Il n est pas recommandé d utiliser des disques SATA avec un VMFS partagé entre plusieurs ESX. * P ATA : Parallel ATA ancienne technologie de disque dur IDE. 5. Le disque virtuel vmdk Le disque virtuel d une VM est représenté par un fichier vmdk. Au même titre qu un disque dur traditionnel, le disque virtuel contient le système d exploitation, les applications et les données. C est le fichier le plus important. Deux modes peuvent être utilisés : le mode Thick disk ou le mode Thin Disk. Dans le cas où le Thick disk est utilisé, la taille du fichier.vmdk est égale à la taille du disque qui a été configurée lors de la création de la VM. Dans le cas où le Thin disk (appelé Thin provisioning) est utilisé, la taille du fichier réservé sur VMFS est égale à la taille occupée réellement sur le disque. Cette taille va augmenter dynamiquement au fur et à mesure des besoins de façon à optimiser l espace de stockage. Exemple : si un fichier de 20 Go est créé et que seulement 6 Go sont utilisés : En mode Thick disk : le fichier vmdk occupera 20 Go sur l espace de stockage. En mode Thin disk : l espace occupé par le fichier vmdk sur l espace de stockage sera de 6 Go. Nous verrons dans le chapitre Supervision et optimisation, les possibilités de paramétrage de ces différents modes. 6. OVF Les formats de disques virtuel existants sont de type vmdk pour VMware ou vhd (Virtual Hard Disk) utilisé par Microsoft Hyper V et Citrix Xen Server. OVF (Open Virtual Machine Format) n est pas un format de disque virtuel mais un format de fichier dont les spécificités permettent de faciliter l interopérabilité entre les différentes plates formes de virtualisation et d hyperviseur. Ainsi un fichier ovf intègre des paramètres et des métadonnées tels que le paramétrage du virtual Hardware, des commentaires, des pré requis, des attributs de sécurité. Les packages OVF fournis ne sont pas limités à une VM mais peuvent en contenir plusieurs. Il est possible de crypter et compresser ce fichier. Il est possible de télécharger des appliances virtuelles préconfigurées contenant un système d exploitation et une solution applicative au format ovf sur le site : 7. Bonnes pratiques a. Disques durs Capacité : prévoir un minimum de 30 % à 50 % par rapport à l espace de stockage actuel réellement utilisé. Technologie disque : Le SCSI disparaît au profit du SAS plus performant et qui permet d atteindre des capacités de stockage importantes. Le SATA n est pas recommandé pour des VM de production mais peut être utilisé pour des tests ou pour stocker des images ISO, des Templates ou des sauvegardes. Les technologies disques à privilégier pour la production sont donc le SAS ou le FC. ENI Editions - All rigths reserved - Guillaume DUBOIS - 7 -

8 Mais le SAS a tendance à remplacer les disques FC car ses performances sont sensiblement les mêmes (légèrement inférieures pour les SAS) mais avec des prix très inférieurs. En outre, les disques SAS offrent des capacités beaucoup plus grandes que le FC. Aujourd hui, les disques SAS sont donc les mieux adaptés aux environnements virtuels et proposent le meilleur rapport prix/performance. Il est préférable d installer ESX sur les disques locaux du serveur plutôt que d installer ESX sur le SAN (appelé Boot on SAN) car cela est plus complexe à gérer et peut être une source d erreurs de manipulations. b. VMFS De façon générale, il est important de réduire au maximum les réservations SCSI qui peuvent dégrader les performances en Entrées/Sorties de l ensemble du serveur hôte. Pour cela il faut limiter le nombre de VM par système de fichiers VMFS. Le retour d expérience montre que 10 VM/VMFS est un bon dimensionnement et qu il ne vaut mieux pas dépasser plus de 16 VM par volume VMFS. Un bon dimensionnement de taille de LUN en environnement virtuel est de 500 Go. Il faut éviter de mettre plusieurs VM avec des snapshot sur le même VMFS et de paramétrer DRS en agressive. En effet, ce paramétrage engendre une migration de VM d un serveur hôte à un autre très fréquemment et donc des réservations SCSI fréquentes. Il faut limiter le nombre de serveurs ESX qui accèdent au même LUN et éviter de mettre plus de 8 serveurs ESX connectés sur un LUN, au delà cela peut créer des contentions importantes au niveau des Entrées/Sorties. Il faut séparer les LUN de production et les LUN de tests et stocker les fichiers ISO, les Template et les sauvegardes sur des LUN dédiées. Deux approches sont possibles pour le dimensionnement des LUN. Plusieurs LUN avec un VMFS sur chaque LUN : Avantage : il y aura moins de contention sur chaque VMFS car il y aura moins de problèmes liés à la réservation SCSI. Ceci apporte plus de souplesses car il est possible de dédier des LUN à des applications spécifiques en mettant des niveaux de RAID différents. La gestion est plus fine. Inconvénient : cela nécessite plus d administration sur les LUN. Un VMFS unique avec plusieurs LUN regroupés : Avantage : l administration est plus simple car l espace de stockage est créé une fois pour toutes. Il y a un seul VMFS à gérer. Inconvénient : un seul VMFS ne permet pas de séparer les différents environnements de production des environnements de tests, les Template. Il y a un risque de contention plus important avec des réservations plus fréquentes. c. NAS et iscsi Les recommandations concernant ces environnements sont de mettre 8 à 16 VM par LUN ENI Editions - All rigths reserved - Guillaume DUBOIS