Cloud Computing Platform as a Service Année académique 2014/15

Cloud Computing Platform as a Service Année académique 2014/15 Platform as a Service Exploitation professionnelle d'une infrastructure informatique Traditional deployment Server Storage Network OS Patch DB App Server Config App App Tiers START FINISH Infrastructure as a Service 20% time savings Infrastructure START OS Patch DB App Server Config App App Tiers FINISH Platform as a Service Platform App App Tiers 80% Time Savings START FINISH 2

Platform as a Service Rappel : Applications web en Java Servlets Un Servlet tourne à l'intérieur d'un serveur d'application Le serveur d'application invoque le Servlet pour traiter une requête HTTP Le Servlet est chargé de créer la réponse HTTP request Serveur d'applications Servlet Navigateur HTTP response Servlet Base de données Servlet 3 Platform as a Service Rappel : Applications web en Java Servlets Image complète du déroulement d'une requête HTTP Navigateur Serveur d'applications Servlet Base de données HTTP request URL HTTPServlet Request object requête données HTTPServlet Response object HTTP response HTML HTML 4

Platform as a Service Rappel : Applications web en Java Servlets Principe d'implémentation d'un Servlet package com.example; import java.io.ioexception; import java.io.printwriter; import javax.servlet.servletexception; import javax.servlet.http.*; @SuppressWarnings("serial") public class SampleServlet extends HttpServlet { } @Override protected void doget(httpservletrequest req, HttpServletResponse resp) throws ServletException, IOException { resp.setcontenttype("text/plain"); PrintWriter pw = resp.getwriter(); pw.println("hello, world"); } 5 Introduction est un service d'hébergement d'applications web Conçu particulièrement pour des applications dynamiques en temps-réel Facile de mettre en oeuvre une application web Le client fournit le code source de l'application La plateforme de Google s'occupe de son exploitation Restrictions concernant le type d'applications supportées L'application ne peut pas accéder à tout L'application doit avoir un temps de calcul limité Lancé en avril 2008 (preview) Production depuis septembre 2011 Langages et frameworks supportés : Python Java Go PHP (Beta) 6

Caractéristiques Évolutivité automatique Peut supporter un grand nombre d'utilisateurs Des ressources sont ajoutées automatiquement L'application n'a pas besoin de savoir quelle quantité de ressources elle utilise Étant un service cloud : Paiement à la pièce Libre service sur demande Peut être divisé en trois parties Instances d'applications Service de stockage de données Services complémentaires évolutifs 7 Architecture Request handlers Services HTTP HTTP Front ends Application servers Datastore Blobstore Browser HTTP Static file servers Memcache deploy app configure URL fetch Mail Images XMPP App master Channel Task queue 8

Modèle de programmation Java Le dévelopeur écrit des Servlets GAE implémente la Java Servlet Specification La plateforme offre des services de stockage Accessibles via API directe ou un ORM comme Java Data Objects (JDO) et Java Persistence API (JPA) Le dévelopeur peut utiliser des frameworks d'applications web Java Server Pages (JSP) Java Server Faces (JSF) Google Web Toolkit (GWT) Spring MVC Play... La plateforme offre d'autres APIs pour Tâches asynchrones Caching Traitement d'images... Le développeur peut aussi utiliser des langages qui utilisent la Java Virtual Machine Scala Python (Jython) Ruby (JRuby) PHP (Quercus)... 9 Abstraction s Un est une abstraction : c'est le bout de code responsable de créer une réponse à une requête HTTP Dans le cas de Java c'est un Servlet Un a un cycle de vie (1) Une requête arrive. (2) Le est créé. Il reçoit la requête. (3) Le crée la réponse. Pour ce faire il peut utiliser les services et le stockage. (4) Quand la réponse a été envoyée, App Engine est libre d'enlever le de la mémoire. Le est stateless 1 2 requête requête Services et stockage Services et stockage 3 4 requête réponse réponse Services et stockage Source: Dan Sanderson, Programming, O'Reilly 10 Services et stockage

Abstraction s Quand le nombre de requêtes augmente, App Engine alloue des supplémentaires qui traitent les requêtes en parallèle Services et stockage 11 Abstractions s et Instances Mais où vit un? Dans une instance! Serveur 1 Instance Serveur 2 Instance Serveur 3 Instance Mémoire locale Mémoire locale Mémoire locale requête réponse requête réponse Services et stockage 12

Abstractions s et Instances L'abstraction du est séduisante, mais créer et enlever un logiciel pour chaque requête ne serait pas judicieux. L'initialisation d'un logiciel est chère Notamment l'initialisation de la mémoire locale Les instances sont les conteneurs dans lesquels vivent les s Une instance conserve la mémoire locale qui sera réutilisée pour les requêtes suivantes A chaque instant, une application a un certain nombre d'instances allouées pour traiter les requêtes. Le front-end route les requêtes vers les instances disponibles Si nécessaire, App Engine crée des nouvelles instances Si une instance n'est pas utilisée pendant un certain temps (idle), AppEngine la libère requête Serveur 1 Instance Mémoire locale réponse 13 Abstractions s et Instances Les instances sont visibles dans la console. 14

Abstractions s et Instances Les instances actives sont facturés au client par heure instance. Le client peut changer les paramètres de l'algorithme d'allocation d'instances dans la console et ainsi influencer la performance et les coûts. 15 Isolation des différentes applications : la sandbox GAE ne peut pas fonctionner avec n'importe quelle application Java GAE doit distribuer les requêtes HTTP sur plusieurs serveurs. Les applications ne doivent pas interférer les unes avec les autres. Les applications tournent dans un environnement plus restreint comparé à un serveur d'application Java générique : Le sandbox (bac à sable). Une application ne peut pas... Écrire sur le système de fichiers. Utiliser le Datastore Ouvrir un socket ou accéder directement à un autre host. Utiliser le URL fetch service Répondre lentement. L'application doit répondre en quelques secondes. Utiliser le Task Queue service Faire d'autres appels système. Une application peut 16 Utiliser un sous-ensemble de la bibliothèque Java standard : JRE Class White List Utiliser des threads. Cependant les threads ne doivent pas vivre plus longtemps que la requête. Lire le système de fichiers. Utiliser la réflexion. Utiliser des classloaders customisés.

Les services de stockage de données offre principalement trois services relatifs au stockage de données App Engine Datastore : Stockage persistent de données dans une base de données NoSQL Google Cloud SQL : Une base de données relationnelle basée sur MySQL. Google Cloud Storage : Stockage persistent d'objets (= fichiers) En plus une application peut faire du caching des requêtes de base de données en utilisant le service Memcache : Un service de caching de données en mémoire 17 Datastore Le Datastore est un service de stockage de données Ce n'est pas une base de données dédiée au client. C'est une base de données gigantesque et évolutive qui contient les données de tous les clients. Modèle multi-locataire (multi-tenancy) Dans les coulisses le service prend en charge la distribution, réplication et équilibrage de charge automatiquement. L'application appelle simplement une API sans se soucier de savoir ou les données sont stockés. sans se soucier de la capacité : capacité virtuellement infinie. Le modèle de données est un peu différent du modèle SQL Pas de schéma à déclarer avant d'écrire des données Modèle orienté clé-valeur Les garanties pour les transactions sont différentes des BD SQL Garanties de cohérence relâchées 18

Datastore Modèle de données Le modèle de données du Datastore comporte trois concepts majeurs : Entité (entity) : Un objet dans le Datastore. Chaque objet a une clé (key) unique. Sorte (kind) : La sorte d'entité, p. ex. un client, un article, un ordre. Utilisé dans les requêtes pour retrouver les entités stockées. N'implique pas la présence de propriétés. Propriété (property) : Contient les données d'une entité, p. ex. nom du client, prix de l'article. Une entité peut avoir plusieurs propriétés. Chaque propriété a un nom et au moins une valeur. 19 Datastore Exemple de données Entity Key bookstore "Book" 837094 Property "title" "author" "copyrightyear" "The Grapes of Wrath" "John Steinbeck" 1939 Application ID Kind Entity ID Ancestor path "authorbirthdate" 1902-02-27 Name Value 20

Datastore Clé d'une entité La clé (key) d'une entité a la caractéristique qu'elle est unique dans le datastore. Elle est composée de plusieurs parties L'identificateur de l'application (application ID) Assure qu'il n'y a jamais collision avec les clés des autres applications. Est géré automatiquement par App Engine. Ne peut être modifié par l'application. La sorte (kind) de l'entité Contribue à l'unicité de la clé. Sera utilisé par le datastore lors des requêtes. L'identificateur de l'entité (entity ID). Cette partie peut être Spécifiée par l'application : Dans ce cas cette partie s'appelle key name. Automatiquement générée par le datastore : Dans ce cas cette partie s'appelle ID. (Facultatif) Le chemin des ancêtres de l'entité (ancestor path) Permet de localiser l'entité dans une structure hiérarchique. Quand une entité a été créée, sa clé ne peut plus être changée. 21 Datastore Correspondance des termes Correspondance (approximative) des termes utilisés dans la programmation orienté-objet, les bases de données relationnelles et le Datastore. Attention, les concepts ne sont pas équivalents! Orienté-objet Relationnel Datastore Classe Table Kind Objet Ligne Entity Attribut Colonne Property 22

Datastore API de bas niveau //... import com.google.appengine.api.datastore.datastoreservice; import com.google.appengine.api.datastore.datastoreservicefactory; import com.google.appengine.api.datastore.entity; //... DatastoreService ds = DatastoreServiceFactory.getDatastoreService(); Entity book = new Entity("Book"); book.setproperty("title", "The Grapes of Wrath"); book.setproperty("author", "John Steinbeck"); book.setproperty("copyrightyear", 1939); Date authorbirthdate = new GregorianCalendar(1902, Calendar.FEBRUARY, 27).getTime(); book.setproperty("authorbirthdate", authorbirthdate); ds.put(book); //... 23 Datastore API de haut niveau Java Persistence API (JPA) Une classe que l'on veut stocker dans le datastore : Le code qui va stocker cette classe : import java.util.date; import javax.persistence.entity; import javax.persistence.id; @Entity(name = "Book") public class Book { @Id private String isbn; } private String title; private String author; private int copyrightyear; private Date authorbirthdate; //... constructors, accessors import myapp.book; // our data class //... EntityManager em = null; try { em = emf.createentitymanager(); Book book = new Book(); book.settitle("the Grapes of Wrath"); //... em.persist(book); } finally { if (em!= null) em.close(); } 24

Datastore High Replication Datastore (HRD) Récemment Google a changé l'implémentation du Datastore : Le High Replication Datastore (HRD). Service ininterrompu même si des machines sont down à cause de failles ou maintenance. Utilise l'algorithme Paxos pour répliquer des données sur plusieurs data centers. Garanties de cohérence liés au modèle de données Chaque entity possède une clé qui l'identifie de manière unique. Optionellement une entity peut désigner une autre entity comme parent Cela crée une arborescence similaire à un système de fichiers. Notions traditionnelles de parent (parent), enfant (child), ancêtre (ancestor), descendant (descendant), racine (root). Garanties de cohérence Des entities qui ont le même ancestor appartiennent à un même entity group. Une requête sur un entity group doit seulement spécifier la clé de l'ancestor. Une requête qui se limite à un seul entity group est garantie de retourner des résultats à jour et cohérents Une requête sur plusieurs entity groups peut retourner des résultats incohérents. 25 Autres services URL Fetch service Accéder au contenu de pages web, ou Invoquer des services d'autres sites à travers HTTP Email service Envoyer et recevoir des messages email XMPP service Envoyer et recevoir des messages instantanés via le protocole XMPP Memcache service Accélerer la lecture d'objets stockés dans le service de stockage en les copiant dans un cache en mémoire Blobstore service Stocker des objets trop larges pour le Datastore Task Queue service Exécuter des tâches de fond dans un modèle de file d'attente Permet de contourner la limitation de durée des s Scheduled Task service Exécuter des tâches de fond à un moment déterminé Users service Authentifier les utilisateurs à travers de divers mécanismes Images service Manipuler des images (p.ex. créer des images vignettes) Channel service... Pousser en temps réel de l'information vers l'interpréteur JavaScript du navigateur 26

Logging Pour le debugging et monitoring d'une application les développeurs sont encouragés d'utiliser la bibliothèque java.util.logger Les messages de log sont sauvegardés Peuvent être consultés dans la console d'administration Ou téléchargés sur la machine locale Les flux de sortie standard (System.out) et erreur (System.err) sont aussi capturés Apparaissent dans les logs comme messages INFO / WARNING 27 Quotas Comme pour chaque service Cloud, Google charge le client pour les ressources utilisées à la pièce Mais l'allocation des ressources est automatique en fonction de la demande. Le client n'a pas de contrôle direct. Avec une allocation des ressources en principe imprévisible, les coûts le seraient aussi. Adoption d'un modèle similaire aux cartes prépayées mobiles On fixe un budget au début. Quand le budget est épuisé, le service est suspendu. Modèle de quotas : Au début de chaque jour (minuit Pacific time) sont fixés des maximums d'utilisation de ressources pendant les prochaines 24 heures : les quotas. Si l'utilisation reste au-dessous du quota, tout va bien. Quand l'utilisation dépasse le quota, le service est suspendu. Le service reprend le jour suivant. Un appel au service fait lever une exception. Dans le cas d'heures instances épuisées l'application ne répond plus aux requêtes des utilisateurs web. Il y a aussi des quotas par minute pour limiter des utilisations explosives de ressources. 28

Utilisation gratuite Google offre une utilisation de GAE gratuite. Dans ce cas les quotas journaliers sont ceux listés ci-aprés Une utilisation payante permet d'augmenter les quotas Quota Heures instance Données en entrée Données en sortie Datastore stockage Datastore opérations Google Cloud Storage Email API URLFetch API XMPP API Channel API... Limite (par jour) 28 heures 1 GB 1 GB 1 GB (total, pas par jour) 50k 5 GB 100 emails 657k appels 10k stanzas 100 channels ouverts 29