Virtualisation, Cloud Computing et Big Data. Présenté par Ahmed Khoudir

Transcription

1 Virtualisation, Cloud Computing et Big Data Présenté par Ahmed Khoudir Février 2014

2 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 2

3 Virtualisation : Définition Technique consistant à faire fonctionner plusieurs systèmes d'exploitation, en même temps, sur un même ordinateur (LAROUSSE) Abstraction des ressources d'un système informatique 3

4 Virtualisation : Historique Concept introduit dans les années 60 But : partitionner les ressources des coûteux mainframes Naissance du terme «pseudo-machine» Perte d'intérêt dans les années 80 Architecture client-serveur Coût élevé de l'infrastructure physique Problèmes en cas de panne 4

5 Virtualisation : Chronologie ~1960 : IBM M44/44X 1999 : VMware Workstation 2001 : Microsoft Virtual PC ; VMware ESX 2003 : Xen (para-virtualisation) 2005 / 2006 : Extensions Intel VT-x et AMD-V 2007 : KVM intégré au noyau Linux 2008 : Microsoft Hyper-V 5

6 Virtualisation : Principes Critères de Popek et Goldberg (*) Critères d équivalence Comportement d exécution similaire virtuel ou pas Critère d efficacité Le processeur physique exécute directement les instructions du processeur virtuel Critère de contrôle des ressources Le système de virtualisation doit avoir un contrôle total des ressources (*) Formal Requirements for Virtualizable Third Generation Architectures. Communications of the ACM, Vol. 17, No. 7, July, 1974, pp

7 Instruction Set Architecture (ISA) Trois groupes d instructions ISA selon Popek et Goldberg Instructions privilégiées (Privileged instructions) S'exécutent dans un mode privilégié du processeur Instructions sensibles à la configuration (Control sensitive instructions) Ont la possibilité d'interroger ou modifier la configuration du système Instructions sensibles au comportement (Behavior sensitive instructions) Leurs comportement dépend de l état ou la disponibilité des ressources 7

8 Virtualisation : Architecture IA-32 Non-prévue pour la virtualisation Un certain nombre d'instructions sont problématiques car elles dérogent aux règles de Popek et Goldberg (*) Solution apportée par VMware Virtualisation totale : VMware Workstation Xen a par la suite proposé une autre solution Para-virtualisation : Les instructions qui posent problème sont remplacées par des hyper-appels (*) John Scott Robin and Cynthia E. Irvine "Analysis of the Intel Pentium's Ability to Support a Secure Virtual Machine Monitor" Proceedings of the 9th USENIX Security Symposium, Denver, Colorado, USA August 14-17,

9 Virtualisation : Architecture IA-32 Ces instructions dérogent aux règles de Popek et Goldberg Sensitive register instructions SGDT, SIDT, SLDT, SMSW, PUSHF, POPF Protection system instructions LAR, LSL, VERR, VERW, POP, PUSH, CALL, JMP, INT n, RET, STR, MOV 9

10 Virtualisation : Architecture IA instructions dérogent aux règles de Popek et Goldberg (*) (*) Kadir Karadeniz "ANALYSIS OF INTEL IA-64 PROCESSOR SUPPORT FOR A SECURE VIRTUAL MACHINE MONITOR" NAVAL POSTGRADUATE SCHOOL, Monterey, California, March

11 Virtualisation : Architecture IA-64 3a1: References or changes the mode of the processor 3a2: References or changes the state of the processor 3b1: References or changes sensitive registers 3b2: References or changes sensitive memory locations 3c1: References or changes privilege level 3c2: References the memory system 3c3: Interferes with address translations 3d: I/O instructions 11

12 Virtualisation : Types Émulateur (Hyperviseur de type 2) Simulation totale du matériel Virtualisation complète Isolation Virtualisation applicative Virtualisation au niveau du noyau (Partitionnement) Para-virtualisation (Hyperviseur de type 1) 12

13 Virtualisation : Émulateurs Simulation totale du matériel Vieilles consoles de jeux Vieux ordinateurs Amiga, Atari, etc. QEMU, Gxemul, PearPC, Bochs, etc. Virtualisation complète Le système d'exploitation invité n'a pas conscience d'être virtualisé VMware Workstation, Oracle VM VirtualBox, VMware Server, Virtual PC 13

14 Virtualisation : Émulateurs 14

15 Virtualisation : Isolation Virtualisation applicative Technique permettant d'emprisonner l'exécution des applications dans des contextes ou zones d'exécution Chroot, BSD Jail Plusieurs instances d'une même application Apache, Tomcat, etc. 15

16 Virtualisation : Isolation Virtualisation au niveau du noyau Elle fait croire à la présence de plusieurs machines Il n est pas possible d utiliser des noyaux différents en même temps. Linux vserver, OpenVZ, Solaris zones, etc. 16

17 Virtualisation : Isolation 17

18 Virtualisation : Para-virtualisation Le système d'exploitation invité est conscient d'être virtualisé Il communique avec l'hyperviseur via des API de communication Les appels système au matériel du serveur physique se font par l'intermédiaire de l'hyperviseur Nécessite une modification du système invité pour remplacer les instructions non «virtualisables» par des hyper-appels VMware vsphere (ESXi), Citrix XenServer, Microsoft Hyper-V 18

19 Virtualisation : Para-virtualisation 19

20 Virtualisation : Usage Domaines d'application Virtualisation d applications Virtualisation de serveurs Virtualisation de stockage Virtualisation de réseaux... 20

21 Virtualisation : Avantages Optimiser l infrastructure physique, mutualiser les ressources Améliorer la disponibilité des services Simplifier la gestion et le déploiement du système Automatisation des tâches Efficacité et gain de temps Réduire la consommation électrique Faire des économies... 21

22 Virtualisation : Inconvénients Infrastructure souvent complexe, nécessite des connaissances techniques approfondies Nécessite une solution de stockage «partagée» efficiente et sans faille La facilité de déploiement des VM peut être un inconvénient Multiplication non justifiée des VM La gestion du cycle de vie des VM doit être rigoureuse Coût des licences et de la maintenance... 22

23 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 23

24 Virtualisation du serveur Source (Oct 2013) : 24

25 VMware vsphere 25

26 VMware vsphere : Fonctionnalités Virtual SMP vmotion Storage vmotion DRS (Distributed Resource Scheduler) DRS Host Affinity HA (High Availability) App HA Fault Tolerance DPM (Distributed Power Management)... 26

27 VMware vsphere : Virtual SMP CPU virtuel (vcpu) réglable selon les besoins de la VM - Un ou plusieurs Cœurs - Une ou plusieurs Sockets 27

28 VMware vsphere : vmotion Migration à chaud d'une VM d'un serveur physique vers un autre 28

29 VMware vsphere : Storage vmotion Migration à chaud du disque d'une VM d'un volume (datastore) vers un autre 29

30 VMware vsphere : Resource Pools Les ressources physiques (CPU, Mémoire, etc.) sont organisées sous forme de pools 30

31 VMware vsphere : DRS Regroupe les ressources du cluster et les distribue aux VM. Équilibrage et déplacement des VM à l'aide de vmotion 31

32 VMware vsphere : DRS Host Affinity Possibilité de définir des dépendances vis à vis des serveurs physique, DRS tient compte de ces dépendances 32

33 VMware vsphere : HA Redémarrage et relocalisation des VM sur d'autres serveurs physiques en cas de panne 33

34 VMware vsphere : App HA Assure la surveillance et la disponibilité des applications Basé sur des règles, redémarrage de l'application ou de la VM 34

35 VMware vsphere : Fault Tolerance Basculement sur un autre serveur sans redémarrage de la VM (configuration limitée) 35

36 VMware vsphere : DPM Gestion de la consommation électrique 36

37 VMware vsphere : Update Manager Mises à jour sans interruption de service 37

38 VMware vsphere : Administration L'administration de l'infrastructure de virtualisation se fait avec un client vsphere et un serveur vcenter 38

39 VMware vsphere : Administration Délégation de la gestion des VM Possibilité de définir des utilisateurs et des groupes d'utilisateurs Possibilité de définir des rôles et de les affecter : droit d'arrêter ou de démarrer une VM, de faire un snapshot, etc. Possibilité d'utiliser un annuaire AD pour authentifier et gérer les utilisateurs 39

40 VMware vsphere : Éditions v5.5 40

41 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 41

42 Virtualisation du poste de travail Types de déploiement Streaming d'os Architecture Virtual Desktop Initiative (VDI) Hyperviseur client 42

43 Streaming d'os Diffusion centralisée de l'os et des applications Code exécuté sur la machine cible Une image par type de machines Gestion intégrée des applications et des pilotes Nécessite une connexion réseau continue 43

44 Virtual Desktop Infrastructure (VDI) Poste de travail hébergé sur les serveurs de virtualisation sous forme de VM Machines et logiciels virtualisés distribués à la demande Administration centralisée Configuration minimale du poste client Périphériques d entrées / sorties Composant logiciel de déport d affichage Client léger Nécessite une connexion réseau continue (mode connecté) Coût élevé et infrastructure complexe 44

45 Hyperviseur client Hyperviseur de type I installé sur le poste client Meilleures performances L'hyperviseur local contrôle un ou plusieurs systèmes virtualisés Facilite la migration vers un nouveau OS Possibilité de travailler en mode déconnecté Matériel géré par l'hyperviseur : Déploiement d'images simplifié 45

46 Virtualisation du poste de travail Citrix XenDesktop Microsoft (UE-V, App-V, RemoteApp, VDI, Client HyperV, MED-V, Windows Thin PC) VMware Horizon Suite (View, Mirage, Workspace) Oracle Virtual Desktop Infrastructure, Oracle Desktop Virtualization Clients Red Hat Entreprise Virtualization (RHEV) Etc.. 46

47 Virtualisation du poste de travail Projets open source SPICE (protocole de communication) : Cantivo (KVM + SPICE) : Tendances Mobilité et l'usage du Cloud BYOD (Bring Your Own Device) 47

48 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 48

49 Cloud Computing Définition Accès via un réseau de télécommunications, à la demande et en libre-service, à des ressources informatiques partagées configurables (wikipedia) Modèle d organisation informatique permettant l accès à des ressources numériques dont le stockage est externalisé sur plusieurs serveurs (Larousse) Origine Le mot Cloud, qui signifie «nuage» en anglais, correspond à l'image généralement utilisée dans le monde informatique pour symboliser le réseau Internet (wikipedia) 49

50 Cloud Computing : Historique 1997 Pr. Ramnath Chellappa, suggère que les frontières de l informatique seraient définies par la logique économique plus que par les limites techniques (*) 1999 Salesforces fut le premier, à transformer ce concept en «business» avec une offre logiciel 2002 Amazon présente une offre de type «Cloud» comme solution au sur-dimensionnement de son parc de serveurs hors période de fêtes 2007 IBM fait du Cloud Computing une priorité (*) Intermediaries in Cloud-Computing: A New Computing Paradigm, INFORMS Annual Meeting, Dallas, TX, October 26-29,

51 Cloud Computing : C'est quoi? Ce n'est pas une technologie, mais un ensemble de technologies combinées C'est un modèle d exploitation et de distribution informatique orienté services La virtualisation est au cœur de ce modèle : Usage et infrastructure sont découplés Repose sur des centres de données modernes, hautement connectés et hautement disponibles Ressources en libre-service et à la demande Approvisionnement rapide et ajustable Paiement à l'usage 51

52 Centres de données modernes Administration automatisée au maximum Intervention humaine réduite au minimum Ajout et prise en compte automatique d'un matériel Virtualisation Optimisation et consolidation des ressources Fabric Ethernet Gestion simplifiée et réseau performant Big Data Stockage «distribué» de grande quantité de données 52

53 Cloud Computing Défis à relever Normes et standards Sécurité Open Source Doit jouer un rôle majeur pour relever ces défis IBM annonce (4 mars 2013) que toute son offre Cloud sera désormais basée sur l'open Source (*) et investi massivement (17 septembre 2013) (**) (*) IBM To Make Its Cloud Services and Software Open Sourced-based « (**) IBM Commits $1 Billion to Fuel Linux and Open Source Innovation on Power Systems « 53

54 Cloud Computing : Types de déploiement Cloud privé Réservée à l usage exclusif d une seule organisation Cloud public Destinée à un usage public Cloud communautaire Réservée à l usage d une communauté spécifique Cloud hybride Combinaison d'au moins deux Cloud (privé, public ou communautaire) autonomes mais liés entre eux 54

55 Cloud Computing : Gestion et organisation 55

56 Cloud Computing : Services Cloud Computing Services : SPI model Software as a Service (SaaS) Modèle de fourniture de logiciels hébergés dans le cloud. Exemples : Google Apps Office Web Apps LotusLive (IBM) Platform as a Service (PaaS) Modèle de fourniture d'un environnement d'exécution rapidement disponible pour des applications spécifiques ou en développement. Infrastructure as a Service (IaaS) Modèle de fourniture de l'infra matériel (serveurs, stockage, réseau). Serveurs virtuels gérés par les clients eux même. 56

57 Cloud Computing & Open Source OpenStack : Créé par Rackspace Hosting et la NASA (juillet 2010) Licence : Apache v2.0 Piston Cloud Computing : Offre commerciale basée sur OpenStack Distributions Linux : OpenStack + KVM + libvirt Red Hat, SUSE, Debian, Ubuntu, etc.. Apache CloudStack : Licence : Apache v2.0 Eucalyptus : Licence : GPL v3.0 OpenNebula : Licence : Apache v2.0 57

58 Cloud Computing 60

59 Cloud Computing 61

60 Cloud Computing 62

61 Cloud Computing Références Aspects juridiques du Cloud Computing Le Cloud et la sécurité L'évolution maitrisée vers le IaaS/PaaS CY13-Q3 Community Analysis OpenStack vs OpenNebula vs Eucalyptus vs CloudStack By John Jiang, October 03,

62 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 64

63 Big Data Définitions Big Data, littéralement grosses données, parfois appelé données massives, est une expression anglophone utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information (wikipedia) Big Data, règle des 3V : Volume, Vitesse et Variété (Doug Laney, voir références) Explosion du Volume de données Variété du format de données, des sources et des contenus Vitesse du traitement dynamique des données 65

64 Big Data : Selon IBM 66

65 Big Data & NoSQL Big Data : Performances et haute disponibilité Hadoop (pionnier du big data) : Hadoop Distributed File System (HDFS), MapReduce NoSQL : Hbase, Cassandra, MongoDB, etc.. Analyse en temps réel Détection de fraude par exemple Comprendre le passé et le présent Prédire l'avenir 67

66 Big Data Idées reçues Big Data concerne uniquement les données massives? Le Volume n'est qu'un indicateur parmi les 3V selon Doug Laney Big Data veut dire Hadoop? Hadoop, NoSQL, MPP (Massively Parallel Processing) NoSQL veut dire pas de SQL «No SQL»? NoSQL = Not only SQL 68

67 Big Data Références Real-Time Big Data Analytics: Emerging Architecture, Mike Barlow lytics_emerging_architecture.pdf Application Delivery Strategies, Doug Laney Top 5 Myths About Big Data, Brian Gentile 69

68 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 70

69 25

70 26

71 27

72 28

73 29

74 30

75 31

76 32

77 33

78 34

79 35

80 36

81 37

82 38

83 39

84 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 71

85 Conclusion Dans cette présentation nous avons pris connaissance de l'historique, des différentes formes et usages de la virtualisation. La virtualisation n'est pas une technologie nouvelle, mais son usage a augmenté d'une manière significative ces dernières années et ce dans plusieurs domaines. Avec la mobilité, le nombre grandissant des clients connectés ainsi que l'explosion de données très variées, l'usage de la virtualisation, le Cloud et Big Data devient incontournable. La maîtrise des coûts et une gestion efficace des ressources dans les centres de données modernes est un élément essentiel et ne peut se faire sans l'usage de la virtualisation. 72

86 Plan Introduction Définition, historique, principes, types Virtualisation du serveur VMware vsphere Virtualisation du poste de travail État des lieux Cloud Computing Big Data Démonstration DbaaS Conclusion Questions 73