OpenStack. Cloud Computing d entreprise, Infrastructure as a Service (IaaS) Enjeux, écosystème, solutions XaaS, design et installation, devops,...

Transcription

1 epsilon_pt_v8_mise en page 1 01/09/ :29 Page 33 L auteur a choisi une approche mixant théorie et pratique dans une démarche progressive permettant de réunir le meilleur des deux mondes de l IT : les Devs et les Ops. Les sujets sont présentés avec de nombreux exemples pratiques qui, pour être implémentés, nécessitent des connaissances sur le système Linux et sur les réseaux TCP/IP. Les trois premiers chapitres, généralistes, permettent d entrer progressivement dans le monde du cloud computing. Le quatrième chapitre est une transition vers les parties plus techniques avec la présentation des composants majeurs de la solution. Les chapitres 5 et 6 rentrent au cœur d avec les processus d installation, d administration et d utilisation et sont naturellement suivis d un chapitre qui explique les différents types d architectures qu il est possible d implémenter. Le huitième chapitre redevient plus généraliste en se positionnant sur la présentation des coûts d un projet IaaS et les trois derniers chapitres font la transition vers le monde du PaaS (Platform as a Service) : construction des catalogues de services, passage du IaaS au PaaS, culture DevOps. Les chapitres du livre Avant-propos Enjeux Définitions Écosystème du cloud computing Les composants d' Installation : Services de base Installation : services avancés Design d'architecture Coût d'un projet IaaS Catalogue de services Du IaaS au PaaS La culture DevOps Annexes ISSN ISBN Plus d informations : Sébastien DÉON dirige le service Architectures Techniques, Outils et Méthodes au sein de la Direction R&D de Pharmagest Inter@active. Expert dans les domaines de l'hébergement et des architectures techniques de l'it depuis plus de 20 ans, il travaille régulièrement sur des projets de conception et d'intégration d'architectures Open-source : cloud computing, création de services, urbanisation, fourniture d'outils et méthodes à destination d'équipes de développement et d'exploitants. Il a notamment créé des infrastructures de FAI et d'hébergeur de données de santé. C est toute cette expérience qu il partage dans ce livre pour le plus grand profit des lecteurs. Il est également l'auteur des livres "VoIP et ToIP - Asterisk" et "Zimbra" aux Editions ENI. Ce livre est centré sur l univers du Cloud Computing d entreprise et de l Infrastructure as a Service (IaaS) avec la solution open-source. Il est avant tout destiné à une audience spécialisée en IT (du débutant à l expert) souhaitant avoir une vision large du monde du cloud computing illustrée par la construction détaillée et les modalités d installation d une IaaS basée sur. Il s adresse également, dans ses chapitres plus généralistes, à un public orienté métier (direction générale, marketing, direction financière, direction de production, ) qui souhaite comprendre les enjeux de la transformation profonde de l IT imposée par le cloud et par l automatisation de la production de services applicatifs. Cloud Computing d entreprise, IaaS Cloud Computing d entreprise, Infrastructure as a Service (IaaS) Cloud Computing d entreprise, Infrastructure as a Service (IaaS) Enjeux, écosystème, solutions XaaS, design et installation, devops,... Sébastien DÉON

2 Table des matières 1 Avant-propos Chapitre 1 Enjeux 1. Introduction Trente-cinq ans d'histoire(s) IT et de révolutions Les années Les années Les années Les années À l'horizon Pourquoi changer de modèle maintenant? L'apport du cloud computing pour le client Orchestration automatisée de mise à disposition de ressources Paiement à l'usage Accès et disponibilité des ressources Flexibilité Exemples de use case Scale-up/Scale-out Métrologie Métrologie avec Métrologie avec RHEV-M Métrologie avec CloudForms Métrologie avec vcenter OPEX/CAPEX Cas d'utilisation Cas d'une PME/PMI Cas des grands comptes Cas des hébergeurs Cas des éditeurs de logiciels

3 2 Cloud Computing d entreprise, Infrastructure as a Service 7. Les risques Sécurité Indisponibilité (attaques, crash, bugs...) Réversibilité Contrat juridique pas clair Vol de données Adhérence vis-à-vis du fournisseur de cloud (cloud provider) Dysfonctionnements techniques Confidentialité Perte de gouvernance Les normes et référentiels du secteur Agrément spécifique HDS Origine Cadre législatif Processus HDS en mode cloud Normes ISO ISO/IEC 17788: ISO/IEC 17789: ISO/IEC 27018: Autres recommandations ITU Référentiel de sécurité ANSSI "Secure Cloud" Label Cloud Confidence Chapitre 2 Définitions 1. Introduction Définition de l'informatique en nuage Première définition Définition du NIST

4 Table des matières Quatre types de cloud Cloud privé Cloud public Cloud communautaire Cloud hybride Les trois modèles du cloud computing IaaS IaaS IaaS PaaS SaaS Variantes du SaaS DBaaS BaaS PRAaaS VaaS BPaaS DaaS MBaaS XaaS Autres termes du cloud Cloud provider Cloud builder Cloud application provider Market place Cloud broker

5 4 Cloud Computing d entreprise, Infrastructure as a Service Chapitre 3 Écosystème du cloud computing 1. Introduction Les acteurs privés Les acteurs d'envergure mondiale Amazon AWS VMware Microsoft Red Hat HP IBM Google Les acteurs français OVH Gandi Claranet L'initiative de cloud souverain Autres acteurs français Les produits Les produits propriétaires Les produits open source Le projet Historique La fondation Origine Organisation Les distributions Architecture de la plate-forme : vue générale Comparatif de composants entre plates-formes

6 Table des matières 5 Chapitre 4 Les composants d' 1. Introduction Définition Composants Services de base Services partagés Services en cours de développement Composants en cours de développement Le composant Murano Architectures Architecture logique Architecture conceptuelle Architecture technique Gestion de l authentification et autorisation Introduction Concept Architecture Modèle de données Services internes Services de back-ends Création de tenants, utilisateurs et rôles Commandes Keystone Syntaxe de la commande keystone Commandes concernant les utilisateurs Commandes concernant les tenants Commandes concernant les rôles Commandes concernant les services

7 6 Cloud Computing d entreprise, Infrastructure as a Service 6. Gestion des images Introduction Concept Workflow Composants Fonctionnalités de Glance Formats d'images Architecture Modèle de données Tables de la base de données Glance Services de back-end (store adapter) Commandes Glance Fabrication de modèles Méthodologie Images cloud Fabriques d'images cloud Exemple de création d'un modèle Linux pour RHEV-M Exemples d'upload d image Gestion du réseau Introduction Concept Terminologie réseau dans Workflow Composants Architecture Commandes Neutron Gestion des machines virtuelles La brique de compute Nova Introduction Concept Architecture Les commandes Nova

8 Table des matières 7 9. Gestion du stockage Typologie du stockage Stockage classique SAN/NAS Stockage distribué Ceph Modules de stockage sous Le mode bloc avec Cinder Le mode objet avec Swift Gestion du dashboard La brique Horizon Ma première VM : création express Étapes de création Commandes détaillées L orchestration La brique Heat Objectif Fichier template Cas d'utilisation Migration de versions Déploiement d Les API Workflow Méthodologie d'utilisation Chapitre 5 Installation : services de base 1. DevStack Objectif de DevStack Installation Prérequis Création de la VM sous VirtualBox Installation de DevStack sous Juno

9 8 Cloud Computing d entreprise, Infrastructure as a Service Démarrage de l'installation Accès à DevStack en mode graphique Désinstallation de DevStack Prérequis d installation Installation minimale Schéma général Prérequis réseau Configuration d Oracle VM VirtualBox Installation de VirtualBox Création des machines virtuelles Configuration de la machine virtuelle Démarrage de la machine virtuelle Configuration sous VMware Workstation Installation Configuration réseau Configuration réseau du contrôleur Configuration réseau du network Configuration réseau du compute Vérification de la configuration réseau Paquets Mise à jour du système Installation de SELinux Services de back-end (NTP, MySQL et RabbitMQ) Service NTP Service database Broker de message Service d'identité (Keystone) Service d'images (Glance) Création de la base Glance Gestion des variables d'environnement Création de l'utilisateur glanceuser dans la base Keystone Création du service Glance

10 Table des matières Création des endpoints pour Glance Affectation du rôle admin et du tenant service à l'utilisateur glanceuser Installation des paquets Glance Paramétrage de Glance Peuplement de la base Glance Démarrage des services Glance Upload d'images Service de Compute (Nova) Gestion de la base de données, des credentials et des API endpoints sur le serveur Controller Paquets nova sur le serveur Controller node Installation de Nova sur le serveur de compute Service Networking (Neutron) Introduction Configuration sur le serveur Controller Configuration de Neutron sur le serveur Network node Modification du kernel Installation des composants Neutron Configuration des composants Neutron Configuration du plug-in ML Configuration de l'agent L Configuration de l'agent DHCP Configuration de l'agent metadata Post-installation de Neutron Finalisation de l'installation Configuration sur le serveur Compute node Gestion des réseaux virtuels Schéma de fonctionnement Création du réseau external network appelé ext-net Création du subnet ext-subnet sur le réseau ext-net Création du tenant network appelé int-net

11 10 Cloud Computing d entreprise, Infrastructure as a Service Création du subnet privé appelé int-subnet Création du routeur appelé int-router Attachement du routeur int-router au subnet int-subnet Attachement du routeur int-router au réseau externe ext-net Vérification réseau Service Dashboard (Horizon) Installation et configuration Lancement du dashboard Chapitre 6 Installation : services avancés 1. Introduction Service de stockage bloc (Cinder) Installation sur le Controller node Modification du fichier de configuration /etc/cinder/cinder.conf (sur le Controller node) Opérations post-installation Installation d'un serveur storage node mode bloc (serveur srv-openstack-block) Service de stockage objet (Swift) Installation et configuration sur le Controller node Installation des composants Swift Installation et configuration sur les nœuds de stockage objet Création d'un anneau Swift Finalisation de l'installation (sur le Controller node) Vérification de fonctionnement Exemples d'utilisation

12 Table des matières Service de monitoring (Telemetry) Installation et configuration sur le Controller node Installation de l'agent Telemetry sur le Compute Node Configuration du service image Gestion du stockage bloc Gestion du stockage objet Vérification de bon fonctionnement Configuration d'une alarme Telemetry Service d'orchestration Heat Création de la base de données heat Gestion des credentials Création de l'utilisateur heatuser dans la base Keystone Ajout du rôle admin et du tenant service pour l'utilisateur heatuser Création du rôle heat_stack_owner Ajout du rôle heat_stack_owner au tenant demo et à l'utilisateur demo Création du rôle heat_stack_user Création des services d'entités (heat et heat-cfn) Création des services API endpoints Installation et configuration des composants d'orchestration Service de DataBase as a Service (DBaaS) Installation du service database (sur le Controller node) Création de l'image Trove Import de l'image Trove dans Glance Ajout de l'image dans le datastore MySQL de Trove Enregistrement du module Trove dans Opérations post-installation Vérification du fonctionnement de Trove Exemples de commandes Trove

13 12 Cloud Computing d entreprise, Infrastructure as a Service 7. Service data processing (Sahara) Hadoop Installation sur le contrôleur Création d'un cluster Hadoop Chapitre 7 Design d'architecture 1. Introduction Les zones de travail de l'udd La zone de développement Environnement local autonome Environnement virtualisé La zone d'intégration La zone bac à sable La zone de tests La zone de préproduction La zone de production L'exploitation d'infrastructure L'exploitation applicative Une nouvelle tendance L'étape ultime Schéma d'ensemble des zones de travail Architectures Architecture de développement Architecture de production Architecture monosite Architecture dual-site Haute disponibilité IT traditionnelle Systèmes actif/actif et actif/passif RTO/RPO

14 Table des matières Cloud-IT Architectures cloud-ready Préambule Applications legacy Application cloud-ready Éligibilité cloud-ready et cartographie IT Cas pratique Problématique L'existant Les éléments critiques Les scénarios pour les bases de données Chapitre 8 Coût d'un projet IaaS 1. Introduction Analyse préalable Le but et l'existant But Objectifs Objectifs stratégiques Objectifs opérationnels Moyens Tableau de bord de suivi des objectifs Analyse de l'existant Étude de cas n 1 : création d'un cloud privé Problématique et cas d usage Cas d usage n Cas d usage n Solution

15 14 Cloud Computing d entreprise, Infrastructure as a Service 4.3 Moyens Moyens techniques Moyens humains Découpage du projet Moyens financiers Conclusion de l'étude de cas n Étude de cas n 2 : utilisation du cloud public Problématique Solution Moyens Moyens techniques Moyens humains Moyens financiers Conclusion de l'étude de cas n Chapitre 9 Catalogue de services 1. Introduction Construction d un catalogue de services Catalogue de services stand-alone Choix des éléments du service Choix des caractéristiques Catalogue de services Workload UAT (User Acceptance Testing) Caractéristique du contenu du workload UAT Nombre d images applicatives Injections du jeu de données Catalogue de services Workload Web Workload de production Workload d'intégration Cas de la construction d'un service de boutique en ligne (vente de fleurs)

16 Table des matières Fonctionnalités du service Contenu du catalogue de services Orchestration et provisionning Automatisation Exemple d'automatisation de la création d'une VM Exemple d'automatisation de la vérification de la qualité du code source Orchestration Exemple de création de service dans CloudForms (Red Hat) Billing Les trois principes Grilles de formules Exemples de grilles de tarifs Monitoring Chapitre 10 Du IaaS au PaaS 1. Introduction IaaS PaaS Les apports du PaaS Workflow sans PaaS Workflow avec PaaS PaaS PaaS Exemples de PaaS OpenShift But Les différents modèles d'openshift Bluemix

17 16 Cloud Computing d entreprise, Infrastructure as a Service 4.3 Cloud Foundry Autres plates-formes de PaaS Automatisation Définition Les outils de l'automatisation Panaroma Outils de gestion de configuration Les containers Docker Chapitre 11 La culture DevOps 1. Introduction Les challenges de l'it L'IT résumée en trois domaines Les trois questions clés de l'it : What? How? Where? What : quels types de services applicatifs peut-on créer? How : comment délivrer les services plus rapidement, dans le time-to-market? Where : où stocker les services produits? Définition du DevOps Acteurs Workflow DevOps Première étape : les OPS Deuxième étape : les DEV Troisième étape : le DevOps Usine de développement Intégration continue (CI) Définition Les briques de la CI Livraison continue (continuous delivery)

18 Table des matières Déploiement continu (continuous deployment) Tests Les tests unitaires Les tests métier Conclusion sur la chaîne de développement Stratégie d'implémentation de l'udd Internalisation Externalisation Annexes 1. Bibliographie Documentation officielle Apache License, version Blogs cloud computing Communautés Livre Création de modèles d'images Linux pour RHEV-M Initialisation depuis VMware vsphere Commande de migration VMware vers RHEV : virt-v2v Upload dans RHEV-M d'un modèle depuis un.ova Création d un template depuis le portail RHEV-M Processus de création du template Synthèse sur l'installation d' Choix de la topologie d'infrastructure POC jetable Environnement de test Environnement de production Paramétrage réseau Installation des services de management Installation du service NTP Installation du service MySQL

19 18 Cloud Computing d entreprise, Infrastructure as a Service Installation du service RabbitMQ Installation des services Installation du service Keystone Installation du service Glance Installation du service Nova Installation du service Neutron Installation du service Horizon Installation du service Cinder Installation du service Swift Interface graphique Horizon Gestion de la sécurité via les paires de clés Principe Méthode manuelle de l'authentification du serveur A sur le serveur B Manipulation dans Horizon Fonctionnalités via Horizon Index

20 Chapitre 4 Les composants d' 1. Introduction Les composants d' Ce chapitre a pour objectif de présenter les différents composants ou modules qui constituent le cœur de la plate-forme : Keystone, Glance, Neutron, Nova, Horizon, Cinder et Swift. 2. Définition est avant tout un "framework cloud modulaire" permettant l'implémentation d'une infrastructure IT scalable : framework : c'est un ensemble de composants logiciels structurels, permettant de créer des fondations d'infrastructure IT (exemples : des machines virtuelles à base de modèles, des workloads applicatifs à base de modèles, des processus d'extensibilité de machines virtuelles en fonction de charge d'utilisation...). cloud (sous-entendu cloud computing) : c'est le cœur même du domaine abordé par qui se distingue d'un logiciel classique d'hypervision (vsphere/vcenter de VMware, RHEV/RHEV-M de Red Hat, Hyper-V de Microsoft...) en étendant les possibilités et donc les fonctionnalités.

21 92 Cloud Computing d entreprise, Infrastructure as a Service modulaire : est livré sous forme de modules logiciels qui fournissent chacun séparément un ensemble de fonctionnalités. Tous les modules dialoguent entre eux et s'échangent des messages via un bus de messages. Tous les modules ne sont pas obligatoirement nécessaires et le choix de l'implémentation dépend du périmètre du projet cloud. Chaque module est accessible via une librairie d'api REST (exemple : le module Swift permet un accès par programmation pour pouvoir stocker des objets comme des fichiers dans le cas d'un cloud storage). 3. Composants Les composants présentés ici sont matures et sont installables en production. L'avant-dernière version appelée Juno, sortie le 16 octobre 2014, fournit pas moins de onze composants en standard pour les services de base et les services partagés (source : Wikipédia, Services de base Service de dashboard (interface web de paramétrage et de gestion) : Horizon. Service de compute (cœur d') : Nova. Service de gestion des réseaux : Neutron (ex-quantum). Service de stockage bloc : Cinder. Service de stockage objet : Swift. 3.2 Services partagés Service d'identité : Keystone. Service d'image : Glance. Service d'orchestration : Heat. Service de métrologie : Telemetry (ex Ceilometer). Service de base de données : Trove. Service de big data : Sahara. Editions ENI - All rights reserved

22 Les composants d' Chapitre 4 93 Remarque Un composant particulier concerne du code partagé : il s'agit d'oslo, qui peut être vu comme un ensemble de librairies Python. Il n'offre pas de fonctionnalités directement visibles à l'utilisateur comme les autres modules mais permet aux composants de fonctionner entre eux. 3.3 Services en cours de développement Composants en cours de développement D'autres composants sont en cours de développement et seront intégrés dans de futures versions : Ironic (service de Bare-Metal c est-à-dire de serveurs physiques sans couche de virtualisation), Manila (service de gestion des systèmes de fichiers partagés, Zaqar (service de middleware as a service), Designate (service de gestion DNS), Barbican (service de gestion des clés secrètes), TripleO (service on, c'est-à-dire service de déploiement d' grâce à ) Le composant Murano Un composant intéressant, Murano, permet le déploiement automatisé d'applications préconfigurées pour des environnements de tests et pour gérer l'auto-scaling en environnement de production. Le développement de Murano étant très récent, il doit cependant, à ce jour, être utilisé en environnement de développement. Murano est un service développé initialement par la société Mirantis et qui a été porté dans la communauté. Une fois Murano installé, le dashboard présente un nouveau service avec des fonctionnalités : Catalogue d'applications Environnements

23 94 Cloud Computing d entreprise, Infrastructure as a Service Applications Liste d'applications fournies initialement par Murano et qui peuvent être utilisées pour la fabrication des bundles (exemple : Apache HTTP Server, Zabbix Agent, WordPress, MySQL...). Il faut partir de ce catalogue pour créer l'environnement applicatif. Manage Images : liste des images disponibles pour la fabrication des bundles applicatifs. 4. Architectures 4.1 Architecture logique D'un point de vue logique, peut être représenté a minima avec trois services : un bloc de compute, un bloc de Networking et un bloc de Storage. Ces services utilisent un bus de communication pour communiquer entre eux. Ils exposent publiquement leurs fonctionnalités via des API. Un dashboard permet de se connecter aux services avec un portail présentant une IHM (interface homme-machine). Schéma d'architecture logique (source : Editions ENI - All rights reserved

24 Les composants d' Chapitre Architecture conceptuelle D'un point de vue conceptuel, est composé de services reliés les uns aux autres autour de deux services qui communiquent avec tous les autres modules : Horizon et Keystone. Schéma d'architecture conceptuelle 4.3 Architecture technique D'un point de vue technique, fonctionne soit en environnement virtuel, soit en environnement Bare-Metal ou les deux en fonction des services installés.

25 96 Cloud Computing d entreprise, Infrastructure as a Service Les serveurs d' 5. Gestion de l authentification et autorisation 5.1 Introduction Keystone (la clé de voûte) est le service de gestion des identités et des autorisations d'accès, c'est-à-dire qu'il fournit tout le mécanisme pour gérer les utilisateurs, les tokens et le catalogue de droits pour tous les composants d'. Ce module est sollicité par exemple lorsqu'un utilisateur souhaite se connecter sur le portail, lorsqu'un utilisateur souhaite provisionner une machine virtuelle... C'est de loin le module le plus utilisé d'. Editions ENI - All rights reserved