Cloud Computing. Alain Tchana, Maître de Conférence Institut National Polytechnique de Toulouse IRIT / Équipe SEPIA alain.tchana@enseeiht.

Transcription

1 Cloud Computing Alain Tchana, Maître de Conférence Institut National Polytechnique de Toulouse IRIT / Équipe SEPIA alain.tchana@enseeiht.fr Alain Tchana, alain.tchana@enseeiht.fr

2 Objectifs du cours Répondre aux questions suivantes : 1) Qu'est-ce que le Cloud et pourquoi le Cloud? 2) Qu'est-ce que la virtualisation et quel est son rôle dans le Cloud? 3) Techniquement, comment se servir d'une plateforme de Cloud? 4) Quels sont les défis dans le Cloud? 5) Quels sont les débouchés dans le Cloud? Alain Tchana, alain.tchana@enseeiht.fr 2

3 Définition des concepts Services du Cloud Exemples de Clouds Un défi majeur du Cloud Gestion des ressources Conclusion Alain Tchana,

4 Cycle de vie d'une application dans le Cloud Alain Tchana, 4

5 Quelques services dans le Cloud Des services sont fournis par le Cloud pour faciliter la réalisation de chaque étape du cycle de vie précédent. Développement Construction d'images de VMs Déploiement Administration Nous allons détailler les plus importants Alain Tchana, 5

6 Définition des concepts Développement Alain Tchana,

7 Service de développement Fournis sous diverses formes Modèle de programmation ou d'intégration (PaaS) Ex. : Beantalk pour AWS, web et worker rôle pour Azure, Roboconf API REST de réalisation d'actions dans le Cloud Ex. : AWS API. Roboconf se sert de ces APIs Plug-ins pour IDE : déploiement et test sur un Cloud Ex. : Windows Azure via Visual studio, Google App Engine via Eclipse. Alain Tchana, alain.tchana@enseeiht.fr 7

8 Service de développement Fournis sous diverses formes Modèle de programmation ou d'intégration (PaaS) Ex. : Beantalk pour AWS, web et worker rôle pour Azure, Roboconf API REST de réalisation d'actions dans le Cloud Ex. : AWS API. Roboconf se sert de ces APIs Plug-ins pour IDE : déploiement et test sur un Cloud Ex. : Windows Azure via Visual studio, Google App Engine via Eclipse. Alain Tchana, alain.tchana@enseeiht.fr 8

9 Service de développement Fournis sous diverses formes Modèle de programmation ou d'intégration (PaaS) Ex. : Beantalk pour AWS, web et worker rôle pour Azure, Roboconf API REST de réalisation d'actions dans le Cloud Ex. : AWS API. Roboconf se sert de ces APIs Plug-ins pour IDE : déploiement et test sur un Cloud Ex. : Windows Azure via Visual studio, Google App Engine via Eclipse. Alain Tchana, alain.tchana@enseeiht.fr 9

10 Définition des concepts Construction d'images Alain Tchana,

11 Service de construction d'images de VMs Construction et génération d'images de VM personnalisées ou juste suffisantes Just-enough OS Gestion de l'évolution (MAJ) Unifie le déploiement vers des clouds hétérogènes APIs pour Clouds Hybrides Sécurité... Alain Tchana, 11

12 Service de construction d'images de VMs Construction et génération d'images de VM personnalisées ou juste suffisantes Just-enough OS Gestion de l'évolution (MAJ) Unifie le déploiement vers des clouds hétérogènes APIs pour Clouds Hybrides Sécurité... Exemple : Forge Alain Tchana, alain.tchana@enseeiht.fr 12

13 Définition des concepts Déploiement Alain Tchana,

14 Service de déploiement Abstraction de la complexité de l'application Répartie, large échelle. Plusieurs clouds (hybride) et zones de déploiement Réparties sur plusieurs continents. AWS est répartie entre Dublin (Irelande), Singapore, Palo Alto (USA), Ashburn (USA), Tokyo (Japon), Sydney (Australie) Les outils tels que Cloudify, Roboconf fournissent ce service Alain Tchana, 14

15 Définition des concepts Administration Alain Tchana,

16 Services d'administration de son application Fourniture des outils pour administrer le compte client Monitoring Reconfiguration Tolérance aux pannes Passage à l'échelle Sécurité et réseau Accounting Types d'outils consoles, tableau de bord, moteurs de règles, Les outils tels que Cloudify, Roboconf fournissent ces services Alain Tchana, 16

17 Définition des concepts Équilibrage de charges Alain Tchana,

18 Équilibrage de charges Répartition des requêtes entre les serveurs du client Équité en fonction des capacités et de la charge de travail des serveurs Responsable du passage à l'échelle (invisible pour le client) Prise en compte de plusieurs types de protocoles (niveau 7) Détection des serveurs ajoutés ou retirés (élasticité) Détection et suppression des serveurs muets Capacité de rémission des requêtes vers les autres serveurs Alain Tchana, 19

19 Équilibrage de charges Répartition des requêtes entre les serveurs du client Équité en fonction des capacités et de la charge de travail des serveurs Responsable du passage à l'échelle (invisible pour le client) Prise en compte de plusieurs types de protocoles (niveau 7) Détection des serveurs ajoutés ou retirés (élasticité) Détection et suppression des serveurs muets Capacité de rémission des requêtes vers les autres serveurs Alain Tchana, 20

20 Équilibrage de charges Répartition des requêtes entre les serveurs du client Équité en fonction des capacités et de la charge de travail des serveurs Responsable du passage à l'échelle (invisible pour le client) Prise en compte de plusieurs types de protocoles (niveau 7) Détection des serveurs ajoutés ou retirés (élasticité) Détection et suppression des serveurs muets Capacité de rémission des requêtes vers les autres serveurs Alain Tchana, 21

21 Équilibrage de charges Répartition des requêtes entre les serveurs du client Équité en fonction des capacités et de la charge de travail des serveurs Responsable du passage à l'échelle (invisible pour le client) Prise en compte de plusieurs types de protocoles (niveau 7) Détection des serveurs ajoutés ou retirés (élasticité) Détection et suppression des serveurs muets Capacité de rémission des requêtes vers les autres serveurs Alain Tchana, 22

22 Définition des concepts Tolérance aux pannes Alain Tchana,

23 Tolérance aux pannes Assurer un délai très court de la reprise après panne Confère aux applications une haute disponibilité La panne n'est pas perçue par les utilisateurs Plusieurs techniques pour le garantir Sauvegarde régulière de l'état des applications Réplication des applications Géo-réplication (catastrophes,...) Alain Tchana, 24

24 Tolérance aux pannes Assurer un délai très court de la reprise après panne Confère aux applications une haute disponibilité La panne n'est pas perçue par les utilisateurs Plusieurs techniques pour le garantir Sauvegarde régulière de l'état des applications Réplication des applications Géo-réplication (catastrophes,...) Des réplicas Alain Tchana, 25

25 Définition des concepts Élasticité Alain Tchana,

26 Élasticité Faculté d'augmenter et diminuer dynamiquement les ressources allouées à une application. Permet à l'application de passer à l'échelle Supporter une grande charge de travail et des bursts sans dégradation de service. Ex. : des milliers de connexions simultanées sur une application web. Peut se faire de différentes façons Ajouter/retirer des VMs: scale-horizontal Augmenter/diminuer la taille des VMs: scale-vertical Alain Tchana, alain.tchana@enseeiht.fr 27

27 Élasticité Faculté d'augmenter et diminuer dynamiquement les ressources allouées à une application. Permet à l'application de passer à l'échelle Supporter une grande charge de travail et des bursts sans dégradation de service. Ex. : des milliers de connexions simultanées sur une application web. Peut se faire de différentes façons Ajouter/retirer des VMs: scale-horizontal Augmenter/diminuer la taille des VMs: scale-vertical Alain Tchana, alain.tchana@enseeiht.fr 28

28 Définition des concepts Stockage Alain Tchana,

29 Stockage Usages variés Données utilisées par les applications Gérées par le Cloud (ex. S3) Gérées par l'utilisateur du Cloud, avec capacité de formatage Images de VMs (ou points de reprise) Propriétés suivantes Durable (SLA S3 = 99, %) Confidentielle, Vie privée Disponible à tout instant Accessible de partout Alain Tchana, alain.tchana@enseeiht.fr 30

30 Stockage Usages variés Données utilisées par les applications Gérées par le Cloud (ex. S3) Gérées par l'utilisateur du Cloud, avec capacité de formatage Images de VMs (ou points de reprise) Propriétés suivantes Durable (SLA S3 = 99, %) Confidentielle, Vie privée Disponible à tout instant Accessible de partout Alain Tchana, alain.tchana@enseeiht.fr 31

31 Définition des concepts Exemples de Clouds Publics & Privés Un défi majeur du Cloud Gestion de ressources Conclusion Alain Tchana, 33

32 Exemples de Clouds publics Google App Engine Alain Tchana, 34

33 Exemples de Clouds publics Alain Tchana, 35

34 (IaaS/PaaS/SaaS) Créé initialement pour exploiter (en vendant) les ressources non utilisées de leur infrastructure. Plate-forme de cloud public Initialement de type IaaS Propose actuellement du PaaS et SaaS Objectifs Proposer un portail web où l'on peut acquérir des ressources de nature et de taille variables Alain Tchana, 36

35 (IaaS/PaaS/SaaS) Alain Tchana, 37

36 (IaaS/PaaS/SaaS) Amazon EC2 (IaaS) C'est la plate-forme IaaS d'amazon S'étend sur plusieurs continents : Amérique, Europe, Asie Virtualisée La version para-virtualisée de Xen 750 heures d'utilisation de VMs gratuites à l'ouverture d'un nouveau compte Alain Tchana, alain.tchana@enseeiht.fr 38

37 (IaaS/PaaS/SaaS) Amazon EC2 (IaaS) Plusieurs types de VMs proposés (14) L'allocation de la ressource CPU est propre à Amazon (ec2 compute) En plus du paiement à l'usage Propose une facturation basée sur les enchères (spot VMs) Marketplace pour des VMs toutes faites Amazone offre des librairies pour les développeurs Alain Tchana, 39

38 (IaaS/PaaS/SaaS) Beanstalk (PaaS) Déploiement rapide d'une application web Gestion transparente de : Instantiation de VMs Mise en place du load balancing et d'autoscaling Alain Tchana, alain.tchana@enseeiht.fr 40

39 (IaaS/PaaS/SaaS) Alain Tchana, 41

40 Exemples de Clouds publics Windows Azure Alain Tchana, 42

41 Windows Azure (IaaS/PaaS/SaaS) Services IaaS Instantiation de VM (y compris du Linux) PaaS (cœur de métier) Construction d'applications web n-tiers SaaS Microsoft Dynamic CRM (Office, Xbox, etc.) Service de stokage BD, CDN, etc. Datacenter réparti en Europe, USA et Asie Alain Tchana, 43

42 Windows Azure (IaaS/PaaS/SaaS) Focus sur le PaaS de windows Azure Gère le cycle de vie de votre application web Load balancing, la scalabilité, tolérance aux pannes, haute disponibilité, etc. Fournit un environnement de développement (AppFabric) Plusieurs langages :.Net, ASP, PHP Un SDK (visual studio, eclipse) Alain Tchana, 44

43 Windows Azure (IaaS/PaaS/SaaS) IaaS PaaS Alain Tchana, 45

44 Exemples de Clouds publics Google App Engine Alain Tchana, 46

45 Google App Engine (GAE), PaaS PaaS google pour la construction d'applications web La configuration de l'application est entièrement prise en charge par la plateforme L'application est autoscalable Google assure le load balancing Il choisit le serveur à même d'exécuter la requête Héberge des applications comme Google sites, calendar, gmail, etc Alain Tchana, 47

46 Google App Engine (GAE), PaaS Les services offerts aux applications URL Fetch recherche de services web distants Images Gestion des images: dimensionnement, rotation, etc. Google Accounts Mail XMPP messages instantannés Task Queue queue de messages Permet l'interopérabilité avec des applications non GAE Datastore stockage de données de petites tailles Alain Tchana, 48

47 Google App Engine (GAE), PaaS Environnement de développement SDK et plugin eclipse (développement et déploiement) Java, tout ce qui s'exécute dans une JVM (ruby, php, etc.), et Python Utilise les Bigtables pour le stockage L'application ne voit rien du matériel qui l'exécute Alain Tchana, 49

48 Définition des concepts Exemples de Clouds Publics & Privés Un défi majeur du Cloud Gestion des ressources Conclusion Alain Tchana,

49 Exemples de systèmes pour Clouds privés OpenNebula Alain Tchana, 51

50 OpenNebula Issu du projet RESERVOIR (Université Computense de Madrid) Open source, disponible dans les distributions linux Possibilité d'avoir une assistance payante Permet de construire et gérer un IaaS Alain Tchana, 52

51 OpenNebula Plusieurs groupes industriels l'utilisent ESA, Telefonica, China Mobile, etc. Un ecosystème très dynamique Plusieurs projets reposent sur OpenNebula Facilite la construction de clouds hybrides Grâce aux APIs connues qu'il offre Alain Tchana, 53

52 OpenNebula Supporte plusieurs VMMs Xen, KVM, Vmware Différents types d'interfaces de communication Sécurité assurée par Authentification Allocation de droits d'accès Tolérance aux pannes des VMs Alain Tchana, 54

53 OpenNebula OpenNebula s'organise autour de plusieurs composants centralisés Facilement adaptable Alain Tchana, 55

54 Exemples de systèmes pour Clouds privés OpenStack Alain Tchana, 56

55 OpenStack Open source, disponible dans les distributions linux Géré par Rackspace (un fournisseur de cloud public) Permet de construire à la fois des plateformes de cloud publics et privés Plusieurs fonctionnalités offertes en comparaison aux autres Alain Tchana, 57

56 OpenStack Le plus répandu Utilisé par : Rackspace, Cloudwatt, CERN, etc. Supporte plusieurs systèmes de virtualisation Sied aux environnements de très grandes tailles Gourmand en ressources pour une petite plateforme Fournit une interface d'administration très évoluée Alain Tchana, alain.tchana@enseeiht.fr 58

57 OpenStack OpenStack s'organise autour de plusieurs composants qui peuvent être distribués Nécessite une grande expertise pour adapter les composants Alain Tchana, 59

58 Comparaison de IaaS VMware vcloud Suite CloudStack OpenStack OpenNebula OpenSource Non Oui Oui Oui Architecture Centralisée Centralisée Décentralisée Centralisée Passage à l'échelle Installation Types d'hyperviseurs Interface d'administration Interopérabilité avec Amazon Oui Medium Oui Non Nécessite une expertise Medium Nécessite une expertise Facile Un seul Plusieurs Plusieurs Plusieurs Très élaborée Medium Elaborée Simple Non Oui Oui Oui Sécurité Avancée Avancée Medium Simple Gestion des VMs Très Avancée Avancée Très avancée Medium Alain Tchana, 60

59 Définition des concepts Exemples de Clouds Un défi majeur du Cloud Gestion des ressources Conclusion Alain Tchana, 62

60 Un des défis majeur du Cloud La Consolidation au service de la gestion des ressources Alain Tchana, 63

61 Consolidation de VMs : motivations Utilisation variable de ressources Les VMs n'utilisent pas tout le temps toutes leurs ressources Exemple Alain Tchana, alain.tchana@enseeiht.fr 64

62 Consolidation de VMs : motivations Utilisation variable de ressources Les VMs n'utilisent pas tout le temps toutes leurs ressources Les ressources non utilisées forment des «trous» sur les machines physiques Dynamicité de la plateforme de cloud Arrivée et départ d'applications, donc de VMs Les départs créent des «trous» sur les machines physiques Alain Tchana, alain.tchana@enseeiht.fr 65

63 Consolidation de VMs : motivations La consolidation consiste à tasser les VMs sur un nombre réduit de machines physiques, afin d'éteindre les machines sans VMs Alain Tchana, alain.tchana@enseeiht.fr 66

64 Consolidation de VMs Alain Tchana, 67

65 Consolidation de VMs Rôle du consolidateur Évalue un plan de consolidation qui minimise le nombre de PM utilisées Exécute le plan (automatiquement ou après validation par un administrateur) Éteint les PM sans VMs La migration à chaud de VMs est le support nécessaire Déplacement d'une VM d'une PM à une autre sans interruption de services dans la VM A un impact sur les service rendus par les VMs Migrées et se trouvant sur les PM impliquées dans la migration Un des challenges est de minimiser cet impact Alain Tchana, alain.tchana@enseeiht.fr 68

66 Consolidation de VMs Rôle du consolidateur Évalue un plan de consolidation qui minimise le nombre de PM utilisées Exécute le plan (automatiquement ou après validation par un administrateur) Éteint les PM sans VMs La migration à chaud de VMs est le support nécessaire Déplacement d'une VM d'une PM à une autre sans interruption de services dans la VM A un impact sur les service rendus par les VMs Migrées et se trouvant sur les PM impliquées dans la migration Un des challenges est de minimiser cet impact Alain Tchana, alain.tchana@enseeiht.fr 69

67 Le problème de consolidation est NP-Complet Pistes de réflexions Quand consolider? Prédiction Une phase d'apprentissage pour définir un modèle de prédiction Affinement du modèle au fil du temps Planification Les périodes de consolidation sont connues A la volée Le consolidateur ne s'appuie que sur les informations de monitoring courantes Comment consolider? Heuristiques. Ex. : DRS/DPM de VMware Solver de contraintes. Ex. : Entropy Consolidation de VMs Alain Tchana, alain.tchana@enseeiht.fr 70

68 Un des défis majeur du Cloud Optimisation de la Consolidation Alain Tchana, 71

69 Consolidation Ballooning Alain Tchana,

70 Ballooning Le problème Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Mémoire libre 0 X N-1 Hyperviseur Une VM Une VM Une VM 1Go État de la mémoire centrale Alain Tchana, alain.tchana@enseeiht.fr 73

71 Ballooning Le problème Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Dans la VM Une VM1Go Mémoire libre Mémoire libre 0 X N-1 Hyperviseur Une VM Une VM Une VM 1Go État de la mémoire centrale Alain Tchana, alain.tchana@enseeiht.fr 74

72 Ballooning Le problème Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Comment utiliser la mémoire libre de la VM sans lui nuire? Dans la VM Une VM1Go Mémoire libre Mémoire libre 0 X N-1 Hyperviseur Une VM Une VM Une VM 1Go État de la mémoire centrale Alain Tchana, alain.tchana@enseeiht.fr 75

73 Ballooning Le problème Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Comment utiliser la mémoire libre de la VM sans lui nuire? Dans la VM balloon Une VM1Go Mémoire libre Mémoire libre 0 X N-1 Hyperviseur Une VM Une VM Une VM 1Go État de la mémoire centrale Alain Tchana, alain.tchana@enseeiht.fr 76

74 Le problème Ballooning Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Comment utiliser la mémoire libre de la VM sans lui nuire? Gonfle toi Mémoire libre Mémoire libre D'1Go 0 X N-1 Hyperviseur Une VM Dans la VM Une VM État de la mémoire centrale balloon Une VM1Go Une VM 1Go Alain Tchana, alain.tchana@enseeiht.fr 77

75 Le problème Ballooning Une VM de 2Go doit être démarrée. Ne peut rentrer dans l'espace libre. Comment utiliser la mémoire libre de la VM sans lui nuire? Gonfle toi Mémoire libre D'1Go 0 X N-1 Hyperviseur Une VM Dans la VM Une VM balloon Une VM 1Go État de la mémoire centrale Une VM 1Go Alain Tchana, alain.tchana@enseeiht.fr 78

76 Le problème Ballooning Une VM de 2Go doit être démarrée. Suffisamment de place maintenant. Comment utiliser la mémoire libre de la VM sans lui nuire? Gonfle toi Mémoire libre D'1Go 0 X N-1 Hyperviseur Une VM Dans la VM Une VM1Go balloon Une VM État de la mémoire centrale Une VM 1Go Alain Tchana, alain.tchana@enseeiht.fr 79

77 Définition des concepts Exemples de Clouds Un défi majeur du Cloud Gestion des ressources Conclusion Quelques débouchés Alain Tchana, 82

78 Quelques débouchés Le Cloud est une jeune technologie, Manque de compétence. Donc il y a encore de la place. Monter une plateforme de Cloud à la Amazon Gagnez au loto:) Concevoir des outils pour les utilisateurs de Cloud Outils de déploiement Outils d'administration Se placer en receleur PaaS ou SaaS spécialisé dans un domaine précis Vendre la mise en place de solutions de Cloud privé à la carte Alain Tchana, alain.tchana@enseeiht.fr 83

79 Quelques débouchés Formateur auprès des entreprises Administrateur d'applications dans le Cloud pour une entreprise ou chez un fournisseur de Cloud Travailler pour des fournisseurs de solutions de virtualisation VMware, Citrix (Xen), Microsoft (hyper-v), etc. Chercheur dans le domaine Les problèmes d'énergie Les problèmes de garantie de services Les problèmes de sécurité Etc. La liste n'est pas exhaustive Alain Tchana, 84

80 Définition des concepts Exemples de Clouds Un défi majeur du Cloud Gestion des ressources Conclusion Voila, c'est la fin Alain Tchana, 85

81 Conclusion du cours Nous avons essayé de comprendre ce qu'est le Cloud computing, son fonctionnement et ses défis en répondant aux question suivantes : 1) Qu'est-ce que le Cloud et pourquoi le Cloud? 2) Qu'est-ce que la virtualisation et quel est son rôle dans le Cloud? 3) Techniquement, comment se servir d'une plateforme de Cloud? 4) Comment mettre en place une plateforme de Cloud? 5) Quels sont les défis dans le Cloud? 6) Quels sont les débouchés dans le Cloud? Alain Tchana, alain.tchana@enseeiht.fr 86

82 Une question Pensez-vous qu'un des objectifs n'a pas été atteint? Pour répondre à cette question : Connectez vous sur et entrez ce comme Room number Alain Tchana, alain.tchana@enseeiht.fr 87

83 Merci pour votre attention Alain Tchana, 88

84 Alain Tchana, Maître de Conférence Institut National Polytechnique de Toulouse IRIT / Équipe SEPIA alain.tchana@enseeiht.fr Alain Tchana, alain.tchana@enseeiht.fr