Jean-Daniel Cryans École de technologie supérieure, Montréal septembre 2009

Transcription

1 Jean-Daniel Cryans École de technologie supérieure, Montréal septembre 2009

2 1. Introduction 2. Le Cloud Computing selon la littérature 3. Les produits 4. Études de cas 5. Avantages/Désavantages 6. Construire son Cloud 7. Conclusion 8. Période de questions Jean-Daniel Cryans 2

3 À propos de moi : Committeur Apache pour Hadoop HBase depuis +1 an. Database Engineer à StumbleUpon. Obtenu mon bac à l ÉTS en LOG. Étudiant à la maîtrise (avec mémoire) avec prof. Roger Champagne. Jean-Daniel Cryans 3

4 Buzz word de l année 2008, le Cloud Computing (CC) est difficile à définir: Comment est-ce que j utilise le CC? Comment puis-je «construire» un cloud? Pourquoi est-ce que je devrais le faire? Est-ce qu un cloud est nécessairement accessible par Internet? Est-ce que le CC implique nécessairement de la virtualisation? De quel type de virtualisation parle-t-on? Quels seront les avantages/désavantages? Jean-Daniel Cryans 4

5 Selon Wikipedia[4]. Définition : style informatique où les capacités reliées aux technologies de l information sont fournies comme un service. Le nom provient de l image qui représente Internet dans les schémas de réseautique. S apparente au : grid computing (super ordinateur virtuel composé d une grappe de machines); utility computing (consommation de ressources informatique comme un service publique); et autonomic computing (systèmes informatique qui se gèrent eux-mêmes). Jean-Daniel Cryans 5

6 Divers niveaux : l infrastructure comme un service (IaaS); la plateforme comme un service (Paas); et le logiciel comme un service (Saas). Les utilisateurs du CC font souvent la location des ressources et ceux qui utilisent leurs produits n ont normalement besoin que d un fureteur web. Différents types : publique : accessible par le web; privé : à l intérieur d une entreprise; et hybride : certaines parties sont accessibles par le web. Jean-Daniel Cryans 6

7 Selon Mladen A. Vouk [5] Article de recherche portant sur les problèmes, la recherche et l implémentation du CC. En particulier, l auteur s intéresse à la construction de l infrastructure qui soutient un nuage plutôt que ce qui l entoure. Identifie la montée en popularité au moment où Google et IBM ont lancé l initiative Blue Clouds en octobre 2007 afin de favoriser la recherche en CC dans 6 universités américaines. Jean-Daniel Cryans 7

8 Tendance de la recherche des mots «Cloud Computing» et «MySQL» dans Google pour l'année 2009 [6] Jean-Daniel Cryans 8

9 3 concepts importants selon l auteur. L architecture orientée vers les services (en anglais SOA), où les services sont identifiés par leurs attributs de qualité mais aussi par leur dépendance au matériel dans le cas du CC. La virtualisation, un concept né dans les années 60 avec le mainframe IBM, s applique maintenant à tout (mémoire, processeur, entreposage, autres). Les utilisateurs, il y en a quatre types : les développeurs, les auteurs de services, les intégrateurs et les utilisateurs finaux. Jean-Daniel Cryans 9

10 L implémentation présentée est celle du Virtual Computing Laboratory (VCL) qui gère l utilisation de 150 images virtuelles par personnes sur 1000 serveurs Blade. Jean-Daniel Cryans 10

11 Selon Kent Langley[7] L auteur est un expert en CC et a écrit dans son blog comment il définit cette technologie. Cet article a été choisi car il semble créer un consensus. Le CC est donc définit comme une extension commerciale de ressources comme les cycles des processeurs et l entreposage offerts comme un service mesuré similaire aux services publiques comme l électricité et le gaz naturel. Le CC permet à un système informatique d acquérir et de libérer des ressources à la demande d une telle manière que la perte de n importe quelle composante n entraîne pas une panne. Jean-Daniel Cryans 11

12 Voici la représentation du CC de l auteur, ce qui le supporte et ce qu il supporte. Jean-Daniel Cryans 12

13 Amazon Web Services (AWS)[8] Elastic Cloud Computing (EC2) : Ce service permet, grâce un API, de créer des instances de serveurs à partir d images virtuelles publiques ou privées, Windows ou Linux. SimpleDB : Base de données avec comme modèle un tableur. Chaque item a un identifiant unique et au maximum 256 attributs. Simple Storage Service (S3) : Service d entreposage «infini», on doit d abord créer un dossier (avec un nom unique) à la racine du système de fichier pour pouvoir y entreposer ce que l on veut. Simple Queue Service (SQS) : Service qui offre un nombre «infini» de queues qui peuvent contenir des messages de 8KO. Le modèle de coûts respecte le utility computing. Jean-Daniel Cryans 13

14 3tera [9] Ce service permet de créer des centres de données virtuels (VDC) à partir d un fureteur web. L infrastructure peut être sauvegardée et redéployée à volonté. Joyent Accelerator[10] Ce service est comme EC2 mais plus simplifié, il ne fonctionne qu avec une image unique d OpenSolaris. Aucune interface web/api. GoGrid[11] Ce service offre le même type de fonctionnalité que EC2 et offre une version diminuée de S3. Il est par contre équipé de balanceurs de charge que l on peut intégrer à notre nuage. Jean-Daniel Cryans 14

15 Jean-Daniel Cryans 15

16 Google App Engine (GAE) [12] Cette application de Google offre une plateforme comme un service, le développeur utilise l API de GAE et dépose son site directement dans le nuage. Rackspace Cloud[13] Ce service se situe à un niveau un peu plus bas que GAE. L utilisateur a le choix du SE et des logiciels qui seront installés. Il peut ensuite déposer directement son site dans son nuage. Jean-Daniel Cryans 16

17 Eucaplytus [14] Académique, a pour but de permettre de créer des nuages privés selon le modèle de EC2. Il devrait aussi supporter les interfaces de d autres systèmes. Enomaly [15] Supporter par une entreprise, c est un logiciel qui permet à la fois de créer des nuages privés mais aussi des gérer des nuages distants comme EC2. Jean-Daniel Cryans 17

18 Hadoop [16] Supporté par Apache, permet de créer des systèmes de fichier distribués sur des milliers de machines et de faire du traitement basé sur MapReduce de Google. HBase [1] Sous-projet de Hadoop, permet de créer des bases de données non-relationnelles qui reposent sur Hadoop. A pour but d être un clone du Bigtable[22] de Google. Jean-Daniel Cryans 18

22 Modèle de données: Rowkey => { family => { qualifier => { version => data } } } Chaque table est ordonnée lexicographiquement et est partitionnée horizontalement en «régions». C est de cette façon que les charges sont distribuées. Jean-Daniel Cryans 22

24 Attributs AWS 3T J.A. GG GAE Mos. Euc. Eno. H/H IaaS x x x x x x PaaS x x x Utility x x x x x Virtual. x x x x x x Entrepo. virtuel x x x x x IU/API x x x x x Balanc. ~ x x x Extens. x x x x Restric. x ~ x Haut vol. x x x Payant x x x x x x Jean-Daniel Cryans 24

25 Amazon [17] Le site, de 1995 à 2001, était sous le modèle 2-tiers. Premier défi : faire grossir la partie persistance, réglé par la partition de la BD. Deuxième défi : faire grossir la partie applicative. Se révéla impossible à cause du couplage. Suite à une introspection, la solution choisie était de séparer les fonctionnalités en services qui regroupent alors autant le code du domaine que les données. Aucun accès aux BD sans passer par les Web Service Description Language (WSDL). Le processus de déploiement se termine toujours avec la création d une image virtuelle qui contient tout le code et les librairies nécessaires pour un service. EC2 est né. Résultat : efficacité de l utilisation des ressources augmentée, meilleure compétitivité et ouverture vers de nouveaux marchés. Aujourd hui, comme le démontre la prochaine image[20], l affichage d une seule page peut faire plus de 100 requêtes à différents services. Jean-Daniel Cryans 25

27 Google [18] Google.com a la plus grande part de marché du secteurs de la recherche et est 2 e sur Alexa au monde. En 2006, leurs centres avaient machines et chaque grappe en contient La base de l infrastructure repose sur le Google File System (GFS), semblable à Hadoop, et ils traitent leurs données avec MapReduce. À chaque jour, 20 pétaoctets sont traités. À un niveau supérieur, Bigtable permet de construire des BD hautement disponibles et qui répondent à des millions de requêtes à l heure. Il repose sur GFS et ses données sont accessibles par MapReduce. Le développement de nouvelles applications repose entièrement sur cette infrastructure car elle leur permet d être compétitifs dès le premier jour. C est de là que provient GAE. Jean-Daniel Cryans 27

28 Yahoo! [19] La Webmap contient l ensemble des sites web connus de Yahoo! et fonctionne sur plus de 1000 serveurs. Leur infrastructure est propriétaire et nécessite d en être expert pour pouvoir l utiliser. Elle a aussi de la difficulté à prendre de l expansion. Ils se sont donc intéressés au projet Hadoop et ont complètement convertis l ensemble de leurs applications, plus de 100, à MapReduce. Tout en réutilisant les mêmes machines, leur grappe en compte aujourd hui plus de Comme son fonctionnement est opaque, il ne faut plus en être expert pour l utiliser. Pour résultat, ils évaluent à environ 33% le temps gagné par cette transition et ce nombre devrait aller en grandissant. Jean-Daniel Cryans 28

29 Avantages : Dans tous les cas, il devient facile de «scaler» une application (agilité); Gestion du centre de données peut être faite avec la ligne de commande; Nul besoin d entretenir des serveurs en prévision d une hausse de trafique (slashdot effect); Permet de réduire les coûts à cause d une meilleure utilisation des serveurs; et Développement des applications en fonction des besoins et non des limitations des ressources. Jean-Daniel Cryans 29

30 Désavantages : À la merci des fournisseurs lorsqu ils utilisent des technologies propriétaires; Impossibilité d accéder à vos données si le fournisseur tombe en panne; Problèmes potentiels de sécurité, nécessite des connaissances de sysadmin plus poussées; Requiert des contrats de QoS et SLA; et Explosion des coûts dans certains cas, il vaut mieux faire ses devoirs et prendre en compte toutes les variables dans ses calculs. Jean-Daniel Cryans 30

31 Voir la présentation ci-jointe sur openplaces.org Jean-Daniel Cryans 31

32 Le Cloud Computing n est pas qu une seule technologie, qu un seul outil. C est plutôt le regroupement de solutions qui permettent de résoudre des problèmes à différents niveaux (infrastructure, plateforme, applicatif). Si cela vous intéresse, c est facile de s impliquer dans une communauté et de faire une différence. Jean-Daniel Cryans 32

33 ? Jean-Daniel Cryans 33

34 Cryans, JD; April, A; Abran, A, Criteria for Comparing Cloud Computing with Current Database Technology, in IWSM- MetriKon-MENSURA 2008, Lecture Notes in Computer Sciences LNCS5338, Berlin Springer Verlag, Munich (Germany), 2008, pp Vouk, M. A., Cloud Computing Issues, Research and Implementations, in Information Technology Interfaces, ITI th International Conference, 2008, pp Basili, V.R., Selby, R.W., Hutchens, D.h., Experimentations in Software Engineering, EIII Trans. on Software Engineering, Vol. SE-12, No. 7, July 1986, pp Jean-Daniel Cryans 34