JRES 2007 Solution de stockage répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type «NAS»

Transcription

1 JRES 2007 Solution de stockage répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type «NAS» 1 Laurent Mirtain, Jean-Luc Szpyrka Novembre 2007 v1.3.2 Date 1

2 2 JRES 2007 : Solution NAS de l INRIA Genèse du projet Description de la solution NAS Plan de reprise d activité (PRA) Modes d utilisation de nos NAS Bilan et perspectives Questions 2

4 : État des lieux Inventaire des solutions de stockage et de sauvegarde de l INRIA. Lannion Nantes LORIA Strasbourg Nancy FUTURS Orsay Saclay Cachan INRIA Rhône-Alpes Grenoble FUTURS Bordeaux Données réparties sur ~ 100 machines (serveurs et stations) Besançon Lyon Montpellier Données centralisées sur 1 serveur NAS et ~10 serveurs Metz INRIA Paris Rocquencourt IRISA Rennes Données réparties sur ~ 20 machines (serveurs et stations) FUTURS Lille Données réparties ~200 machines (serveurs et stations) Marseille Données réparties sur ~600 machines (serveurs et stations) INRIA Sophia Antipolis 4

5 5 Conclusions de l étude Constat : des objectifs communs Centraliser les données importantes Simplifier la sauvegarde et réduire la durée de restauration des données critiques Établir un plan de reprise d activité Propositions Trouver une solution mutualisée Utilisant la technologie de serveurs NAS Création d un groupe de travail pour valider une solution et proposer une organisation 5

7 7 La solution A base de serveurs NAS répartis sur chaque site Complétée par une librairie de bandes raccordée à un serveur NAS central, sur lequel sont répliquées les données des NAS de site Acquisition via une procédure d appel d offres Marché notifié en décembre 2005, mise en service de janvier à février 2006 Comprend la fourniture de l ensemble des matériels et les prestations de services Le prestataire de ce marché est Stordata avec du matériel NetApp et StorageTek 7

8 Répartition 8 FAS270 FUTURS Lille FAS3020 FAS270 FAS250 FAS940 STK L1400 Metz Lannion INRIA Paris Rocquencourt IRISA Rennes Nantes LORIA Strasbourg Nancy FUTURS Orsay Saclay Cachan Lyon FAS3020c R200 Besançon INRIA Rhône-Alpes Grenoble FAS3020 FUTURS Bordeaux Montpellier Marseille FAS3020 INRIA Sophia Antipolis 8

9 9 Détail des configurations Site Grenoble Lille Metz Nancy Orsay Rennes Rocquencourt Sophia Modèle, capacité brute (type de disques) - FAS 3020, 16 TB (FC) - FAS 270, 6 TB (FC) - FAS 250, 144 GB (FC) - FAS 940, 4 TB (FC) - Nearstore R TB (ATA) - Librairie de bandes StorageTek L1400 de 300 Slots avec 3 lecteurs SDLT FAS 250, 1TB (FC) - FAS 3020 cluster, 18 TB (FC) + 14 TB (SATA) - FAS TB (FC) - FAS TB (SATA) Capacité brute de 152 TB 9

10 Caractéristiques matérielles 10 Garantir une haute disponibilité et permettre l'évolutivité Redondance des composants matériels Technologie RAID double parité (DP) autorisant la panne simultanée de deux disques sans perte de données Possibilité de faire cohabiter dans le même filer des groupes RAID Fibre Channel et SATA Facilités d extension de la volumétrie par ajout de tiroirs de disques Possibilité de configuration en cluster 10

11 Caractéristiques logicielles des équipements 11 Concept d Appliance Système d exploitation spécialisé (Data ONTAP ) Administrable via des commandes en ligne et une interface Web Support natif des protocoles NFS, CIFS, NIS, Active Directory, LDAP, Kerberos, iscsi, Fibre Channel, IPSec, NTP... Mécanisme de reboot «rapide» (moins de 2 minutes) Système de fichiers journalisé «Write Anywhere File Layout» (WAFL ) couplé à une mémoire cache NVRAM (protégée par batterie) pour optimiser les I/O Possibilité de redimensionner les volumes à chaud Mécanisme de quotas Support des modes de sécurité CIFS, NFS ou mixte Mécanisme intégré de sauvegarde sur disques permettant la restauration par l utilisateur Possibilité de répliquer des volumes vers un autre filer 11

12 Mécanisme de sauvegarde 12 Utilise un mécanisme de copie instantanée appelé «snapshot» (logiciel Snapshot ) Duplique uniquement les blocs d inodes, pas les blocs de données Peu de place (réserver ~20% du volume) Peu d I/O : rapidité et faible perturbation Snapshots accessibles en lecture aux utilisateurs 12

13 13 Mécanisme de réplication Le logiciel SnapMirror permet de répliquer les volumes de filer à filer au travers du réseau LAN ou WAN. 1. initialisation par recopie complète (à la création du miroir) 2. puis, synchronisation incrémentale, par recopie de snapshots 13

14 14 Mécanisme de virtualisation Le logiciel MultiStore permet de «découper» un filer en plusieurs filers virtuels (appelés vfiler) avec leurs propres ressources (configuration, volumes, interfaces réseau, domaines de sécurité, exports...) 14

15 JRES 2007 : Solution NAS de l INRIA 15 Genèse du projet Description de la solution NAS Plan de reprise d activité (PRA) Modes d utilisation de nos NAS Bilan et perspectives Questions 15

16 PRA : en théorie Son objet Permettre un accès aux données sur le NAS central en cas de panne prolongée du filer de site Reconstruire les volumes du filer de site une fois que celui-ci est réparé ou en cas d erreur humaine Restituer les données à partir des sauvegardes sur bandes en cas d une corruption de données sur le filer de site et sur le NAS de réplication 16

17 PRA : utilisation de plusieurs ressources 17 Virtualisation Équipe d exploitation Réplication Sauvegarde sur bandes Hotline Accès distant Filer central 17

18 PRA : procédure de basculement sur le filer de secours filer 18 Nancy Réplication Réplication @IP1 18

19 PRA...tique : réplication & sauvegarde 19 Réplication Plus de 37 flux de réplication (un flux par volume répliqué) déclenchés de manière échelonnée toutes les heures Taille totale des volumes répliqués : ~13 TB Taille cumulée par réplication horaire : ~10 GB Soit un flux de transfert continu d environ 20 Mbits/sec Volume transféré par heure : ~0,07% du volume global Volume transféré par jour : ~ 1,8% du volume global Sauvegarde sur bandes Via le logiciel Networker, en mode NDMP Une sauvegarde totale par semaine 19

20 PRA...tique : reconstruction & accès distant 20 Reconstruction de filer Nos raccordements Renater sont à 200 Mbits/sec : soit un maximum de 2 TB par 24 heures Nos volumétries NAS sont élevées : plusieurs jours pour reconstruire en entier un NAS Accès distant Temps de réponse NFS/CIFS entre 10 et 20 fois plus lent qu en mode local (copie, parcours d une arborescence...) Les temps de latence de nos liaisons WAN (entre 8 et 28 ms) sont pénalisants pour les protocoles NFS et CIFS 20

21 PRA...tique : quelques déboires 21 Des incidents inattendus Deux bogues logiciels ont provoqué une interruption de service Enregistrés officiellement chez NetApp (BugID et ) Dans un cas, l interruption a duré 8 heures. Dans l autre, quelques minutes. Le filer étant en configuration cluster, il a suffit de basculer tous les volumes sur le deuxième filer, encore opérationnel. 21

22 22 PRA : le bilan Le PRA n est pas utilisable comme nous l envisagions initialement Impossibilité de travailler en accès distant Reconstruction d un filer par le réseau trop longue Par contre Il fournit une solution de reprise sur sinistre Il permet d utiliser une solution de sauvegarde centralisée Nous devons faire évoluer notre solution Utilisation, lorsque nécessaire, d une solution de réplication locale permettre une reconstruction rapide et une utilisation en mode secours Mise en place, si besoin, de NAS en configuration cluster Augmenter le niveau de disponibilité 22

24 Service de fichiers utilisateurs 24 Un NAS est avant tout un serveur de fichiers Ce mode d utilisation concerne l essentiel des données hébergées sur nos filers : homedirs utilisateurs profils itinérants espaces partagés par les équipes de recherche ou les services de support données d archivage ou temporaires Il représente environ 60% de la volumétrie globale de nos serveurs 24

25 25 Service applicatif en NFS Compte-tenu du niveau de disponibilité et de performance de nos NAS, de la sauvegarde intégrée et du PRA, nous avons tout intérêt à héberger sur nos NAS, nos données applicatives importantes Construction d un cluster heartbeat avec volume partagé en NFS NAS - fichiers et données du service applicatif LAN NFS NFS fichiers de l OS fichiers de l OS Cluster de 2 Serveurs 25

26 26 Service applicatif en iscsi Si l application ne supporte pas l utilisation d un volume NFS, en terme de fonctionnement ou de performance, il est alors possible d utiliser nos filers en mode bloc protocole iscsi (SAN IP) ou FCP (SAN Fibre Channel) NAS - LUN serveur LAN iscsi Serveur - fichiers de l OS 26

27 Optimiser la configuration réseau 27 Liens GbE, agrégats, auto négociation de bout en bout, jumbo frames, isolement du trafic data sur un VLAN «stockage» dédié 27

28 Déploiement de services : NetApp Library 28 Les guides techniques de NetApp Library fournissent des recommandations pour mettre en œuvre et optimiser le fonctionnement du service avec un filer Côté NAS Architecture haute disponibilité Répartition des données applicatives sur les volumes Ajustement des paramètres systèmes Côté serveur applicatif Options de montage NFS Ajustement des paramètres du noyau Coté application Ajustement des paramètres de configuration Déclenchement des snapshots 28

29 Panorama des services déployés 29 Apache : accès NFS attention aux fichiers de lock, suivre les recommandations de apache.org Oracle Calendar (base 10g) : accès NFS RAS, suivre les recommandations de NetApp Library MySQL : accès NFS attention au moteur de stockage Sauvegarde sur disques : iscsi Utilisation des initiateurs iscsi standard de Linux ou Windows En prévision Images virtuelles de serveurs IMAP 29

30 30 NFSv4 Déployé sur deux sites Les plus accès sécurisé mécanisme de disponibilité des données hors connexion NFSv4 a besoin d un service d authentification Kerberos, couplé à une base utilisateurs (ici, un annuaire LDAP) Implique la mise en place d une relation d'approbation entre les domaines Kerberos Windows et Linux NetApp considère ce service comme encore expérimental 30

31 31 Comparaison SCSI/iSCSI/NFSv3 dd: lecture en MB/s alter-table 120 Résultat en secondes 900 Fig. 1 big-tables Fig. 2 connect SCSI 80 ISCSI 60 NFS create GB 300 4GB 8GB 16GB insert Fig select Disque local dd: écriture en MB/s Fig. 4 NAS (NFS) 150 SCSI ISCSI 100 Networker DBO : débit en MB/s NFS NFS optimisé NFS iscsi Sauvegarde (3 en //) Restauration GB 4GB 8GB 16GB 31

33 Bilan Sur 12 mois Déploiement de 7 serveurs NAS D une solution de sauvegarde centrale Des réplications entre NAS et d une procédure de PRA Volume de données utilisé sur nos serveurs NAS multiplié par cinq Ce projet a permis de renouveler les solutions de stockage et de construire une solution mutualisée Évolutive : supporte l augmentation de volumétrie et le rajout de serveurs NAS sans casser l existant Permet de construire des services applicatifs sécurisés Mise en place d une équipe d exploitation multi localisée Gain d exploitation procuré par l accès aux snapshots par l utilisateur 33

34 ... et perspectives 34 PRA à améliorer Accès au filer de secours Reconstruction de volumes Évolutions prévues Répondre aux besoins d extensions en filers et volumétrie Prendre en compte la haute disponibilité, avec des solutions de cluster NAS sur les sites Bilan très positif mais encore du travail 34

36 36 Annexe (quelques transparents pour les questions) Solution NAS JRES 2007 L. Mirtain JL Szpyrka 36

37 Mécanisme de sauvegarde (2) 37 Ces caractéristiques nous permettent de multiplier les sauvegardes 37

38 38 Modes de sécurité Pour changer les permissions Unix sur un espace partagé en mode de sécurité Unix depuis un client Windows. Outil «SecureShare» fourni par NetApp (plugin), déployé sur les postes Windows Pour changer les permissions sur un espace partagé en mode de sécurité Windows depuis un client Unix. Fonctionnalités des clients Samba SecureShare 38

39 Mécanisme de sauvegarde (3) 39 La restauration des fichiers accessible aux utilisateurs! Windows visualiser/restaurer/copier les différentes sauvegardes d un fichier/répertoire via le menu «Propriétés > Versions Précédentes» 39

40 Mécanisme de sauvegarde (4) 40 Unix Accès via le répertoire.snapshot (en lecture seule) Restauration avec cp Attention : inodes identiques! pb avec commandes diff, cmp... Astuce : diff fichier <.snapshot/.../fichier 40

41 Base de données Oracle 10g 41 Oracle sur NFS? NetApp certifie la compatibilité de ses filers avec les principaux SGBD du marché (Oracle, Sybase, Microsoft SQL Server, MySQL Enterprise Edition...) Exemples de recommandations : Séparer sur différents volumes, les fichiers de données, les fichiers journaux Des options de montage NFS spécifiques Des procédures de sauvegardes Notre utilisation actuelle : base Oracle 10g pour le logiciel Oracle Calendar (Oracle Collaboration Suite) Notre service Oracle hébergé sur NAS fonctionne bien jusqu à ce jour 41

42 42 Base de données MySQL MySQL sur NFS? NetApp certifie MySQL Enterprise avec ses solutions NAS MySQL dissuade d utiliser NFS (problèmes potentiels liés aux verrous (lock) NFS des fichiers) Notre configuration : base Tests concluants avec sqlbench (robustesse et performances) Notre service Mysql hébergé sur NAS donne toute satisfaction jusqu à ce jour alter-table 900 Résultat en secondes MySQL pour un serveur Web (moteur non transactionnel MyISAM) big-tables connect create insert 200 select Disque local NAS (NFS) 42

43 43 Sauvegarde sur disques Utilisé en iscsi pour de la sauvegarde sur disques (Networker DBO) Depuis un serveur Linux RHEL v4 Et un serveur Windows 2003 Server Sur les recommandations de Dell Pas de carte matérielle iscsi (HBA) spécifique, mais une deuxième carte dual port GbE ; Utilisation des initiateurs iscsi standard de ces OS. Les recommandations de NetApp Configuration/optimisation du driver iscsi côté client et côté NAS Pour Linux : partitionner (fdisk) le LUN en alignant sa géométrie avec celle des blocs de 4096 bytes de WAFL (performances) 43

44 44 ISCSI (3) Comparaison SCSI/iSCSI/NFS Ecriture (dd) 42, , , , , , ,5 10 7,5 5 2, SCSI iscsi NFS Durée en sec Durée en sec Lecture (dd) SCSI iscsi NFS Taille en MB Taille en MB 44

45 45 ISCSI (4) Comparaison SCSI/iSCSI/NFS tiobench : débit en lecture tiobench : débit en écriture Mbits/sec SCSI iscsi 800 NFS 600 Mbits/sec SCSI iscsi NFS Taille en MB Taille en MB 45

46 46 ISCSI (5) Comparaison SCSI/iSCSI/NFS Test Postmark 182,37 file_read_par_sec 984,8 289,65 mb_read_per_sec 0,3834 1,0543 0,2365 mb_write_per_sec 4, ,9427 2, ,37 transaction_par_sec ,24 SCSI 2083,33 file_creation_par_sec 806, ,5 file_delete_par_sec ,74 184,37 file_creation_par_sec 292, file_delete_par_sec 295, iscsi NFS 4166,67 995,6 1004,