Redefine IT Tour #EMCTour Mars-Avril 2015 1
Les Architectures du Software Defined Storage Emmanuel Bernard Principal SE @veemanuel 2
Gestion, automatisation, opérations Utilisation des applications Qu est-ce que le Software-Defined Datacenter? Logiciel Matériel 4 5 6 3 2 Machines virtuelles Capacité de traitement Applications Réseaux virtuels Capacités réseau Stockage virtuel Abstraction. Pool. Automatisation. Capacité de stockage Poste de travail Bureau virtuel Ordinateur portable Tablette Smartphone 1 Indépendamment du site 3
Règle de stockage basée sur les exigences des applications «Control plane» suivant des règles prédéfinies vsphere «Data plane» virtuel VASA Pool de stockage externe Pourquoi ces deux approches? Le SDDC doit prendre en charge toutes charge applicative, tout type de client : Diversité Diverses architectures de stockage traitent différentes charges applicatives avec : différents comportements, SLA et aspects économiques. Pool de stockage en attachement direct 4
Concevoir une architecture pour aujourd hui et pour demain Le datacenter d aujourd hui Le datacenter de demain Applications traditionnelles Applications Cloud nouvelle génération vsphere VM VM VM VM vsphere VM VM VM VM VSAN Pool de stockage interne VASA VSAN Pool de stockage interne VMAX VNX Isilon Systèmes tiers Pool de stockage externe 5
Concevoir une architecture pour aujourd hui et pour demain Le datacenter d aujourd hui Le datacenter de demain Applications traditionnelles Applications Cloud nouvelle génération vsphere VM VM VM VM vsphere VM VM VM VM VSAN Pool de stockage interne Contrôleur VASA ViPR Services de données ViPR VSAN Pool de stockage interne VMAX VNX Isilon Systèmes tiers Standard Standard Standard Pool de stockage externe Pool de stockage externe 6
Le Stockage Software-Defined avec EMC et VMware Gestion basée sur des règles Contrôleur ViPR VASA VVOL vsphere vsphere Services de données virtuels SAN Hypervisor virtuel Stockage convergé VASA VVOL Systèmes tiers Services de données ViPR Baies de stockage VNX Isilon XIO VMAX Matériel de série 7
Le Stockage aujourd hui! #create enhancedglobalmirrorgroup # naviseccli #./hadoop h 1.2.3.4 fs -mkdir - user /user/hadoop/dir1 < > -password < > -scope 0 connection # userlabel="enhancedglobalmirrorgroupname" fdisk # objectcfg /dev/sdc volume geo-replication datastore /user/hadoop/dir2 addset -name mv_iscsi_connection_to_456 # naviseccli # (remotestoragesubsystemname="storagesubsystemname fdisk remote.emc.net:/object/geo-replication /dev/sdd config remote-syncd #./hadoop #./symdev h 1.2.3.4 fs -mkdir -sid - user 78 list < > noport -password < > -scope 0 connection # " mdadm /usr/lib/object/syncd remotestoragesubsystemwwn="wwid") hdfs://nn1.example.com/user/hadoop/dir --zero-superblock # disk assign lun3 -p0 # addpath./symconfigure name mv_iscsi_connection_to_456 /dev/sdc /dev/sdd -sid 78 list -freespace -units target CYLINDER <MirrorView # interfacetype=(fc mdadm # objectcfg --create volume # disk assign lun3 -p1 # iscsi./symdisk port /dev/md0 iscsi) geo-replication -sid IP address --level=1 78 list on -by_diskgroup target --raid-devices=2 datastore hdfs://nn2.example.com/user/hadoop/dir SP-a> sp a portid /dev/sdc1 [remotepassword="password" remote.emc.net:/object/geo-replication/ < MV # disk assign lun4 -p0 #./symconfigure ISCSI /dev/sdd1 start #./hadoop port fs -put ID on localfile -sid 123 78 array s -cmd "create SPA> # syncinterval=integer mkfs.ext3 # objectcfg dev # disk /dev/md0 volume geo-replication (minutes hours datastore days) /user/hadoop/hadoopfile assign lun4 p1 # warningsyncthreshold=integer mkdir remote.emc.net:/object/geo-replication/ count=1,size=18414,emulation=fba,config=raid- /raid1 (minutes hou) status #./hadoop # aggr create fs -put siteaaggr localfile1 -m localfile2 -d lun1 lun2 # mount 5,data_member_count=7,disk_group=1;" /dev/md0 prepare /user/hadoop/hadoopdir # aggr create /raid1 sitebaggr -m -d lun3 lun4 #./hadoop fs -get /user/hadoop/file localfile BLOCK FILE FILE BLOCK FILE OBJECT HDFS 8
ET L AVENIR SERA ASSUREMENT PIRE NEW PLATFORMS & APPROACHES END USER DEMAND FOR CLOUD MASSIVE DATA GROWTH 9
Réduction des Coûts Liberté de choix Passer au Storage-asa-Service 10
Regroupement du stockage en Virtual Arrays Simplifier l infrastructure physique 11
Définition de classes de services Basé sur des règles pour répondre aux demandes Oracle Database Manufacturing Cork Ireland HIGH Performance High Availability Disaster Recovery Medium Performance High Availability Disaster Recovery Medium Performance Disaster Recovery Array-based Copies Medium Performance Array-based Copies Low Performance Archive Storage 12
Experience Cloud Public On Premise Le Self-Service libère utilisateurs et les équipes IT 5 Étapes maximum 13
Efficacité & Agilité améliorées Les administrateurs se concentrent sur les activités à valeur ajoutée <60 secondes: Découverte et import de nouveau stockage 5 étapes : L utilisateur accède au stockage en mode selfservice 63%: réduction moy. du temps de provisionnement stockage Jusqu à 73%: Réduction du coût de provisionnement de stockage 100%: Economies sur les tâches relatives au zoning SAN Jusqu à 63%: Réduction du coût de provisionnement des VMs Réduire les risques d erreur humaine et le temps des processus de validation fastidieux rend votre organisation plus agile Principled Technologies Realizing Software-Defined Storage with EMC ViPR, Principled Technologies, 2014 14
ABSTRACTION Baies matérielles POOLS Ressources Hétérogènes AUTOMATISATION Services basés sur des règles INTEGRATION Out-of-the-Box SELF-SERVICE Gestion du Storage INTELLIGENCE Répétable, Best Practices FLEXIBLE Stockage EMC & tiers OUVERT APIs REST 15
Gérer tout type de stockage depuis une seule plateforme EMC : VMAX, VNX, VNXe, Isilon, ScaleIO, XtremIO ViPR Controller Storage tiers : Hitachi, IBM, HP, SolidFire, NetApp, & Oracle Provisioning Self Automation Reporting Protection : VPLEX, RecoverPoint, SRDF, Service Data Domain STOCKAGE EMC & TIERS Infrastructures convergées: VCE Vblock Systems Intégration aux plateformes Cloud VMware, Microsoft and OpenStack 16
De nouvelles données émergent! Qui ne peuvent être gérées par les systèmes classiques Sources de données traditionnelles Sources émergentes de données Données structurées Données non structurées Données publiques Réseaux sociaux, UGC Données invisibles Internet des Objets Données de localisation 17
Il faut centraliser ces données Pour y accèder depuis toute localisation et application Internet des Objets Data Lake Réseaux sociaux, UGC CONTENU NON STRUCTURE Données de localisation 18
Pourquoi du stockage mode Objet? Système fichiers classique Stockage Objet Méthode d accès NFS / CIFS HTTP Accès depuis Un seul site Multi site (Read Write) Provisioning Acceptance WAN Adhésion Développeurs User Metadata L application doit indiquer le volume de stockage nécessaire Pas de provisioning nécessaire Chemin Donnée Client <-> App <-> Stockage Ex: Client <-> Stockage objet 19
Commodity hardware helps reducing costs But having specialized software creates new silos Unlocks Services, Data & Apps Locked in Silos To Write Once, Run Anywhere VMAX VNX Isilon Third-Party Commodity 20
Appliance ECS Plusieurs cas d usages Plateforme Scale-out de stockage basé sur du matériel banalisé et automatisée par ViPR 1ère plateforme par EMC qui répond aux besoins des applications 3ème Plateforme Mobile, Cloud, Big Data et Social 21
SIMPLICITY Powered by Intel Xeon Processors 22
EVOLUTION DES SOLUTIONS D INFRASTRUCTURE CONVERGEE (CI) Aujourd hui Aujourd hui Nouveau 2H 15 REFERENCE ARCHITECTURE CONVERGED HYPER CONVERGED SYSTEM RACKSCALE SYSTEM Powered by Intel Xeon Processors 23
INFRASTRUCTURE HYPER-CONVERGEE VIRTUAL VIRTUAL VIRTUAL VIRTUAL VIRTUAL COMPUTE MEMORY STORAGE NETWORK MANAGEMENT + + + + SIMPLE A GERER SOFTWARE DEFINED ARCHITECTURE SCALE OUT 24
ENJEUX ACTUELS DES EQUIPES IT Comment planifier mon budget IT sur 3 ans? Mon IT va t-elle croître assez vite? Mon choix va t-il répondre à mes besoins? Cette infrastructure sera assez agile? Comment gérer plusieurs composants? Comment négocier avec plusieurs fournisseurs? Comment migrer vers le Cloud? Comment garantir la disponibilité de mes applications? 25
L IINFRASTRUCTURE SIMPLIFIEE Agile, scalable et sûr, VSPEX BLUE simplifie le déploiement, la gestion et l extension de votre infrastructure IT. AVANT Powered by Intel Xeon Processors 26
L IINFRASTRUCTURE SIMPLIFIEE Agile, scalable et sûr, VSPEX BLUE simplifie le déploiement, la gestion et l extension de votre infrastructure IT. APRES VSPEX BLUE est simple Commander : une seule référence Configurer : basé sur des assistants Gérer : avec VSPEX BLUE Manager Croître : jusqu à quatre appliances Maintenir : Support EMC 24/7 et il Evite une planification complexe de la croissance Est équipé de processeurs Intel Xeon Powered by Intel Xeon Processors 27
APPLIANCE VSPEX BLUE PROCESSEURS (PAR NOEUD) Intel Xeon (maxi 130W) Dual processor NODE 3 NODE 1 NODE 4 NODE 2 MEMOIRE/PROCESSEURS (PAR NOEUD) 4 Canaux DDR3 (1333) Jusqu à 8 slots DIMM DDR3 ECC R par serveur E/S (PAR NOEUD) Dual GbE ports Optionnel: IB QDR/FDR ou 10GbE integré 1 x 8 PCIe Gen3 I/O Mezz Option (Quad GbE ou Dual 10GbE) 1 x 16 PCIe Gen3HBA slots BMC intégrée avec support RMM4 CHASSIS Chassis 2U avec 4 serveurs demi-largeur hot-swap 2 x alim redondantes 1200W (80+ & CS Platinum) hot-swap Refroid/node dédié (pas de SPoF) 3 ventilo x 40mm Façade avec commandes séparées par serveur 17.24 x 30.35 x 3.46 DISQUES Contrôleur intégré 4-Port SAT/SAS (RAID logiciel) Jusqu à 16 HDD 2.5 (quatre par noeud) Powered by Intel Xeon Processors 28
DEPLOIEMENT DE VSPEX BLUE 1 Connecter les 4 noeuds de chaque appliance à un commutateur Top-of-Rack (TOR) 2X ports 10GbE par node 8X ports 10GbE ports pour les 4 noeuds 2 Se connecter au commutateur avec un navigateur Web Connection directe ou VLAN 3 4 5 Configurer le switch TOR Activer multicast, IGMP Snooping, et IGMP Querier Démarrer VSPEX BLUE Accéder à VSPEX BLUE depuis le navigateur 29
LA SOLUTION VSPEX BLUE POSSEDE 4 FONCTIONS CLES 1. VSPEX BLUE MANAGER Il apporte la surveillance matérielle et l intégration aux fonctions de support & maintenance VSPEX BLUE Market : accès aux logiciels apportant une valeur ajoutée 2. VMWARE EVO:RAIL Automatise le déploiement, la configuration, la croissance et les mises à jour sans interruption Interface simplifiée et configuration des VMs à l aide de templates 3. ARCHITECTURE CLUSTER Datastores distribués avec VSAN à tolérance de panne Continuité avec VMotion lors des opérations de maintenance et DRS pour l équilibrage de charge 4. BLOCS pour le SOFTWARE-DEFINED DATA CENTER (SDDC) Combinant calcul, stockage, réseau et management dans une couche logicielle unique : vsphere & VSAN 30
SIMPLE A PARAMETRER Interface HTML5 standardisée Architecture intégrée au client Web vcenter Interface utilisateur simplifiée Simplification des tâches par automatisation Validation des paramètres entrés par l utilisateur 31
CONFIGURATION ENTIEREMENT AUTOMATISEE Configuration du vcenter Server Configuration des ESXi et de VSAN sur tous les noeuds Excute toutes les confiigurations jusqu à maintenant impossible sans adresse IP 32
AUTOMATISATION VSPEX BLUE VSPEX BLUE automatise plus de 200 tâches de configurations INITIALIZING Configuring password on vcenter Server Configuring private DNS server on vcenter Server Setting up management network on ESXi hosts Configuring time on ESXi hosts Configuring Syslog on ESXi hosts Configuring host name on vcenter Server BUILDING Restarting loudmouth Accepting vcenter Server EULA Creating vcenter Sever database Creating appliance architecture in vcenter Server Configuring password on ESXi hosts Initializing SSO subsystem Starting vcenter Server CONFIGURING Registering ESXi hosts with vcenter Creating storage policies on vcenter Setting up host names on ESXi hosts Renaming vcenter Server network on ESXi hosts Setting up NIC bonding on ESXi hosts Setting up VSAN, VMotion, VM networks on ESXi hosts Setting up NIC teaming on ESXi hosts Setting up DNS on ESXi hosts Restarting loudmouth on ESXi hosts Setting up clustering for ESXi hosts FINISHING Renaming datastore Configuring password on ESXi hosts Copying file to VSAN datastore 33
PROVISIONNER DES VMs Règles de déploiement basées sur la taille et niveau de sécurité des VMs Interface intuitive : création, cloning, démarrage et arrêt des VMs en quelques clics Vue unifiée de l ensemble des VMs sur l ensemble des noeuds interoperabilité bi-directionnelle avec le client web vcenter 34
MONITORING DES ALERTES ET ETATS Tableaux de bord intuitifs avec fonctions de filtre et tri Supervision au niveau VMs, noeud ou appliances dans un cluster Analyses et tendances temps réel Accès au client web vcenter pour une surveillance approfondie 3 35
SCALE-OUT FACILE Découverte automatique de chaque appliance et de ses noeuds sur le réseau Ajout d un appliance au cluster: 1 clic Configuration automatiquement distribuée et création d un groupe de stockage Scales out jusqu à 4 appliances et 16 noeuds 36
PATCHES & UPDATES SANS IMPACT Patches et mises à jour logicielles sans interruption de service MAJ d un cluster complet en quelques clics Mise à jour effectuées après validation Déplacement automatique des VMs entre noeuds 3 37
PLUS VALUE DE VSPEX BLUE VSPEX BLUE Market VSPEX BLUE MANAGER EMC 24X7 SUPPORT EMC RECOVERPOINT for VMs VDPA EMC CLOUDARRAY ECOSYSTEME PARTENAIRE (A VENIR) 38
EMC VSPEX BLUE MANAGER Tableau de bord unique integration native EMC & VMware Support EMC Chat Online Forum & base de connaissances Integré à VMware LogInsight Alertes matériel, application et VM VSPEX BLUE Market Accès aux logiciels certifiés VSPEX BLUE Maintenance et mises à jour Patches automatisés Mises à jour logiciel Assistance sur site Accès distant via ESRS Remplacement FRU/CRU 39
EMC VSPEX BLUE AVEC ESRS Connexion proactive bi-directionnelle à vos équipements EMC, sécurisée, à haut débit et opérée 24x7 Supervision et détection état permanents, notification et diagnostic à distance pour un niveau de disponibilité 15% supérieur Diagnostic distant rapide et résolution des problèmes potentiels avant impact sur la production se traduisant par une résolution 5x plus rapide que la moyenne Réception automatique et des mises à jour du support ENVIRONNEMENT CLIENT EMC GLOBAL SUPPORT ESRS 40
EMC VSPEX BLUE AVEC RECOVERPOINT FOR VMs Continuité d activité pour VSPEX BLUE Chaque appliance VSPEX BLUE inclut une licence pour 15 VMs Moteur basé sur RecoverPoint Granularité à la VM Continuous Data Protection Orchestration and Automatisation intégrée Intégré à VMware vcenter Réplication locale ou distante, Synch/Asynch Retour en production à n importe quel point de restauration (PiT) 41
EMC VSPEX BLUE AVEC VDPA & DATA DOMAIN Moteur basé sur EMC Avamar Intégration native à vsphere Interface basée sur des assistants Stockage des sauvegardes intégrée à EMC Data Domain Réplication optimisée réseau vers EMC Avamar et VDP-A Virtual appliance, jusqu à 8To de capacité Déduplication pour des sauvegardes rapides Réduction du trafic réseau de 95% Réduction du temps de sauvegarde de 90% Réduction de 10x à 30x de l espace de stockage Restauration One-step avec vérification Restauration avec optimisation réseau Restauration 6 x plus rapide : Changed Block Tracking Restauration rapide et sûre depuis Data Domain 42
EMC VSPEX BLUE & CLOUDARRAY vcloud Air CLOUD PROVIDER STOCKAGE CLOUD VIRTUELLEMMENT ILLIMITE EMC CloudArray étend l espace de stockage VSPEX BLUE vers les fournisseurs de stockage Cloud. Use case: Extension du stockage primaire ou du NAS, archivage, backup offsite ou disaster recovery. Supporte Block/File, Services de fichiers Jusqu à 10To inclus avec VSPEX BLUE La mise en cache de CloudArray supprime la latence et assure la performance pour garantir l expérience utilisateur 43
VSPEX BLUE MARKET 1ère place de marché hyper-convergée Accès aux solutions d EMC CloudArray RecoverPoint for VMs VDPA Accès aux solutions Partenaires Logiciels Appliances supplémentaires Mises à jout Achat de Services Cloud Ex: VMware vcloud Air 44
USAGES DE VSPEX BLUE Déploiements spécifiques ou intégrés à une infrastructure Cloud privée/hybride Environnements virtualisés Applications métiers Desktops virtuels Sites distants Test et Développement Infogérance sur site 45
AGILE SCALABLE TRUSTED 46
Si vous avez des questions sur cette présentation, n hésitez pas à prendre directement contact avec : Emmanuel BERNARD @veemanuel emmanuel.bernard@emc.com 47