Migration d un Cluster Fiber Channel+SAN+Lames sous Xen vers Ethernet +iscsi+serveurs sous KVM

Transcription

1 Migration d un Cluster Fiber Channel+SAN+Lames sous Xen vers Ethernet +iscsi+serveurs sous K L'équipe du CITIC74 : info[at]citic74[dot]fr

2 Sommaire Contexte Architecture existante Conclusion 2

3 Contexte Sommaire Contexte A propos du CITIC 74 Quelques chiffres Architecture existante Conclusion 3

4 Contexte A propos du CITIC 74 Établissement Public Local Tutelle Conseil Général 74 Conseil d'administration : élus CG74 Financement CG74 Mission : développement des usages liés aux TIC auprès des organismes publics haut-savoyards Métiers : Fournisseur d'accès et de Services Internet (accès, hébergement, mail) (Framasoft, Geckozone, Scideralle, Ofset, Adullact, Sesamath, EOF, AGU3L) Infogérance de parcs informatiques 4

5 Contexte Quelques chiffres 2.2 M de mails traités par jours 1150 sites web (dont certains > 2M de hits/jour) ~ utilisateurs ~ 500 serveurs à gérer Dont 150 sur le site central (physiques et virtuels) 11 M de fichiers (hors OS) Dont 350 PingOOs à distance GSIS 3600 postes de travail en Haute-Savoie 100 serveurs utilisateurs Catalogue de 800 logiciels 5

6 Architecture existante Sommaire Contexte Architecture existante Conclusion 6

7 Architecture existante Architecture globale LAN Lame Blade Lame Center Lame Virtual Virtual Server Virtual Server Server Hypervisor LAN Lame Blade Lame Center Lame Virtual Virtual Server Virtual Server Server Hypervisor Switch FC Switch FC SAN Bâtiment 1 SAN Bâtiment 2 7

8 Architecture existante Équipements et technologies utilisées Équipements par site (2 sites en tout) SAN 14 disques FC de 160 GB 14 disques FATA de 500 GB ~ 9 TB (dont 4.5 TB utiles => réplication) Blades Center + Lames Opteron bi-pro monocore 2.4 GHz, 8 GB X 12 Opteron bi-pro dualcore 2.4 GHz, 16 GB X 4 Switch Fiber Channel Techno Boot on SAN Swap sur le SAN XEN L 8

9 Architecture existante Problèmes rencontrés Techniques et financiers ManApp => sous windows Upgrade firmware Matériel Blade + Chassis SAN (Contrôleur/SwitchFC/Disque) Implication Indisponibilité de services pendant l'upgrade Plus de support si : pas à jour! MAJ par une personne NON agréée par le constructeur! Évolution stockage et traitement Réplication => Licence coûteuse SAN Licence stockage / TB 9

10 Architecture existante Points positifs Architecture globale très satisfaisante en terme de : Gestion Performance (à l'époque de l'installation) Câblage Système de réplication Haute-disponibilité Inspiration pour la future architecture... 10

11 Sommaire Contexte Architecture existante Fonctionnalités attendues Architecture Choix du système Outils de gestion Câblage Plan de migration Plan de continuité d'activité Conclusion 11

12 Fonctionnalités attendues Haute-disponibilité sur le stockage Réplication Maintenance sans coupure Virtualisation Stockage Traitement Outils de gestion en CLI Contraintes Matériels non propriétaires Protocoles ouverts Pas de kernel «homebrew» 12

13 Architecture globale Batiment 1 Batiment 2 Services Services Services Services Services Migration d'un site à un autre Serveurs physiques standards Services Services Services Services Serveurs physiques standards Accès aux disques via iscsi sur réseau ethernet Serveur de stockage 1 2 Serveur de stockage 3 Réplication des disques entre les deux sites : Machines virtualisées 13

14 Équipements Équipements par site (2 sites en tout) Storage 4 serveurs (bi-pro quad-core Xeon à 2.4 Ghz) 8 GB de RAM 10 disques de 1 TB en RAID5 ~ 32 TB (dont 16 TB utiles => réplication) Traitement 12 serveurs (bi-pro quad-core Xeon à 2.4 Ghz) 64 GB de RAM Switch Fiber Channel 14

15 Stockage : Solutions COTS Étude de différentes solutions FreeNAS (FreeBSD) OpenFiler (CentOS) => pas convaincantes => pas forcément de CLI => OS différents de ceux utilisés 15

16 Stockage : architecture détaillée Hypervisor Server Vdisk LV Vdisk LV Hypervisor Server Vdisk LV Production Data volume - VG Vdisk LV Vdisk LV Vdisk LV Replication Data volume - VG Storage Server Vdisk LV Vdisk LV Vdisk LV Production Data volume - VG Vdisk LV Vdisk LV Vdisk LV Replication Data volume - VG Storage Server 16

17 Stockage : iscsi Choix de iscsi Implémentation IET (kernel space) TGT (kernel & user space) STGT (kernel user space) Sécurité login/password Réduire le nombre de connexions/disque Réseau spécifique VLAN 17

18 Stockage : Haute-disponibilité Stack switch + répartition câblage sur les 2 switches) Multipath (cf client) Redondance Amélioration des performances avec le bonding Réplication DRBD synchrone Bonding : 2 X 1 Gb/s /!\ problème DRBD avec 4 X 1 Gb/s Carte 10 Gb/s mais perte de la redondance 18

19 Stockage : réplication et multipath Bat 1 Bat 2 lv_srv1_root lv_srv1_var lv_srv1_... vg_srv1 L Multipath domu1-1 _1 _srv1 a d b r d IP IP iscsi iscsi srv1_1 rv1_1 drbds_ drbds_s _1 _srv1 drbda dom0 IP SAN drbds_srv1_1 IP drbd_srv1_1 drbd_srv1_1 lv_srv1_1_bat11 lv_srv1_1_bat21 DRBD VG_bat11 VG_bat21 RAID5 RAID5 L Hardware 19

20 Stockage : réseau Switch ethernet Agrégation de port 2x10 GB inter-site VLAN monitoring / management Jumbo Frame (MTU 8500) 20

21 Stockage : réseau Hypervisor Server Hypervisor Server Bonding Bonding Switch Switch Stack Stack Switch Switch 2 X 10 Gb/s Bonding Bonding Storage Bonding Bonding replication Storage Server Bonding Bonding Storage Bonding Bonding replication Storage Server 21

22 Stockage : côté serveur de traitement accès iscsi iscsi côté initiateur serveur traitement OpeniSCSI DATA +OS Virtual Server iscsi Disk IP-SAN disks Hypervisor Server DATA +OS Storage Server 22

23 Stockage : Bench 11 M fichiers utilisateurs Tailles comprises entre 1 KiB et 4 KiB => Identification des goulets d'étranglement iscsi, DRBD, K, Réseau, etc. Bench hors FS en écriture séquentielle Bench : dd bs=4096 Bench : dd bs=24mib 1 à 1à disques en parallèle Services (Web, mail, etc. ). Serveur de traitement Serveurs virtuels Serveur de traitement physique Réseau Transport des données Réplication IP-SAN Virtualisation stockage Disques physiques 23

24 Stockage : Bench répartitions des fichiers en taille 24

25 Stockage : Bench Débits constatés avec un blocs de 4096 octets Débits constatés avec un blocs de 4096 octets Débits constatés Débits constatés débit avec iscsi débit avec iscsi débit avec iscsi, drbd et réplication débit avec drbd 5 10 Nombre de disks Nombre de disks débit brut 2 débit avec iscsi, drbd débit avec drbd et réplication débit avec iscsi, drbd débit avec iscsi, drbd et réplication débit avec drbd et réplication 25

26 Stockage : Bench Débits constatés avec un block de 24 MiB Débits constatés avec un block de 24 MiB Débits constatés en Mo/s Débits constatés en Mo/s débit avec iscsi, drbd et réplication débit avec iscsi débit avec drbd 10 Nombre de disks Nombre de disks débit brut 5 débit avec iscsi, drbd débit avec drbd et réplication débit avec iscsi débit avec iscsi, drbd débit avec drbd débit avec drbd et réplication débit avec iscsi, drbd et réplication 26

27 Traitement : Architecture générale DATA +OS SWAP SWAP DATA +OS SWAP Virtual Server Physical disks iscsi Disk DATA +OS DATA +OS Storage Server iscsi Disk IP-SAN disks Hypervisor Server SWAP DATA +OS Virtual Server 27

28 Traitement : Virtualisation & accès au stockage Virtualisation Plus de support officiel Xen et OpenVZ K + LXC LXC pour avenir K en remplacement des XEN Processeurs adaptés pour K Accès au stockage OpeniSCSI 28

29 Traitement : Gestion de la swap SWAP Physical disks SWAP DATA +OS Virtual Server iscsi Disk iscsi disks Hypervisor Server DATA +OS Storage Server SWAP SLICE 1GB Virtual Swap Disks : N X 1GB DATA +OS SWAP SLICE 1GB SWAP SLICE 1GB... SWAP SLICE 1GB SWAP 2GB Virtual Server SWAP 1GB Physical disk Hypervisor Server Virtual Server 29

30 Traitement : Haute-disponibilité du stockage Multipath Chemin principal : Poids = 400 Amélioration du loadbalancing SWAP Poids = 0 Chemin secondaire : DATA +OS DATA +OS SWAP Physical disks iscsi Disk Virtual Server Poids = 0 Bonding + 2 liens iscsi de même poids DATA +OS Multipath DATA +OS IP-SAN disks Hypervisor Server Poids = 400 Réplication Storage Server Storage Server 30

31 Choix du système d'exploitation Debian depuis 13 ans Support hardware (kernel) Intégration virtualisation dans le kernel Version stable 1er semestre 2010 => Choix Ubuntu Lucid (10.04) LTS Kernel récent Stable (VS Squeeze) 31

32 Outils de gestion : besoins Important nombre de ressources à gérer Serveurs virtuels Serveurs physiques Disques Réplication Besoin d'une gestion Centralisée Unifiée Compatible avec les technologies choisies 32

33 Outils de gestion : solutions étudiées Intégration / Interface de compatibilité avec les programmation technologies utilisées Nom Type de gestion CLI* Solution retenue OpenFiler Stockage Non Partielle Non Non FreeNAS Stockage Non Partielle Non Non libvirt Machine virtuelle Oui Complète Oui (python) Oui Obligation de développer notre propre solution * CLI = interface en ligne de commande 33

34 Outils de gestion : solution en développement Centralisation Actions à distance Récupération d'informations Serveur de management Phase 1 Analyse des méta-données Génération de la configuration pour l'équipement Phase 2 Serveur de management Envoi de la configuration sur l'équipement Serveurs de traitement Serveurs de stockage Phase 3 Récupération de l'état de l'équipement / technologie 34

35 Outils de gestion : solution en développement Centralisation Actions à distance Récupération d'informations Phase 1 Serveur de management Configuration des équipements Analyse des méta-données Génération de la configuration pour l'équipement Phase 2 Serveur de management Envoi de la configuration sur l'équipement Serveurs de traitement Serveurs de stockage Phase 3 Récupération de l'état de l'équipement / technologie 35

36 Outils de gestion : solution en développement Centralisation Actions à distance Récupération d'informations Phase 1 Serveur de management Récupération d'informations Analyse des méta-données Génération de la configuration pour l'équipement Phase 2 Serveur de management Envoi de la configuration sur l'équipement Serveurs de traitement Serveurs de stockage Phase 3 Récupération de l'état de l'équipement / technologie 36

37 Outils de gestion : solution en développement Architecture interne Moteur Librairies standards Extensions Interface pour l'accès aux données Intégrité référentielle des données Cohérence Validité Modèle de données Extension configuration réseau serveur Extension installation serveur virtuel Extension configuration switchs Extension configuration serveur... Librairies standards Moteur Accès aux données Données 37

38 Outils de gestion : Architecture interne Exemple : Informations sur le DNS Configurer deux serveurs Windows, Debian Données DNS :

39 Outils de gestion : Architecture interne Exemple : Informations sur le DNS Configurer deux serveurs Windows, Debian Données DNS : Moteur 39

40 Outils de gestion : Architecture interne Exemple : Informations sur le DNS Configurer deux serveurs Windows, Debian Extension configuration DNS Windows Données DNS : Moteur Extension configuration DNS Debian 40

41 Outils de gestion : Architecture interne Exemple : Informations sur le DNS Configurer deux serveurs Windows, Debian Données DNS : Extension configuration DNS Windows script.reg Extension configuration DNS Debian resolv.conf Moteur 41

42 Câblage Beaucoup plus de câbles RJ45 FO Gestion contraignante Couleur câblage Étiquetage 42

43 Câblage Bat 1 Switch Service X450a-48 Firewall Switch Stockage x450a-24 FW Base LR Bat 2 FW BaseT Stack X Gbit Panneau de Brassage 30x BaseT Existant Baie1 Baie2 Baie1 Baie2 Switchs de service Switchs de stockage Boucle de Migration de vdisk Boucle de Migration de vdisk 43

44 Câblage - Photo 44

45 Migration : Analyse Objectif : basculer la production sur la nouvelle infrastructure Contraintes Compatibilité des anciens serveurs virtuels Distribution Services Continuité de service Capacités électriques Capacités de refroidissement 45

46 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 1 : Installation et configuration d'un serveur de stockage Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 46

47 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 1 : Installation et configuration d'un serveur de stockage Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 47

48 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 2 : Installation et configuration d'un serveur de traitement Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 48

49 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 3 : Installation et configuration des serveurs virtuels à migrer sur la nouvelle infrastructure Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 49

50 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 4 : 1ère synchronisation des données Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 50

51 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 5 : Arrêt des serveurs virtuels + synchronisation finale Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 51

52 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 6 : Redémarrage des serveurs virtuels sur la nouvelle architecture Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 52

53 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 7 : Arrêt de l'ancien serveur de traitement Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 53

54 Migration : Analyse Procédures de migration à préparer Scripts de migration Automatisation Récupérer les informations liées aux serveurs à migrer Alimenter l'outil de gestion Prise en charge des nouveaux serveurs Phase 8 : Arrêt de l'ancien SAN (si aucun serveur de traitement n'est à migrer) Ancien serveur de traitement Nouveau serveur de traitement Ancien SAN Nouveau serveur de stockage 54

55 Migration : problématique de l'alimentation Consommation électrique MAX Ancien serveur de stockage Nouveau serveur de stockage Ancien serveur de traitement Nouveau serveur de traitement 8 Étapes 55

56 Plan de Continuité d'activités (PCA) Contraintes : Rôle d'hébergeur de services internet 24h/24, 7J/7 Continuité de service Minimisation de l'indisponibilité lors des maintenances et des pannes 56

57 PCA : Objectifs Plan de continuité d'activité Identifier les risques Identifier les cas de maintenance Rédaction Procédures de continuité d'activité en mode dégradé Procédures de reprise d'activité Procédures de retour «à la normale» 57

58 PCA : Évaluation des risques Les risques Niveau du risque Quantification de l'impact Équipements touchés Services touchés Quantification de l'indisponibilité Maintenance Panne contrôlée 58

59 PCA : Exemple Incendie d'un bâtiment Procédure de continuité d'activité AUCUNE Arrêt de la production Procédure de reprise Basculement de l'activité sur l'autre bâtiment Fonctionnement dégradé Procédure de retour à la normale Assurance, appel d'offres,... Temps d'indisponibilité de plusieurs mois 59

60 PCA : Les procédures Les procédures Basculement de la production Manuel Automatique Retour à la normale Les solutions Migration automatique Multipath 60

61 Conclusion TODO Bencher avec K Finir le développement des outils de gestions Finir les tests du PCA Premier tests en production début septembre Migration prévues pour octobre 61

62 Questions? 62