Cloud Computing Cloud Services Workshop

Transcription

1 HEIG-VD TIC Technologies de l Information et de la Communication Cloud Computing Cloud Services Workshop Academic year 2014/ Marcel Graf

2 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 2 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

3 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 3 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

4 Push Notification Service Romain Maillard Bastien Rouiller

5 Sommaire Qu est ce qu un «Push Notification Service»? Fournisseurs de services Différences entre les fournisseurs Amazon Simple Notification Service Types de Push Tarifs Démonstration Références

6 Qu est ce qu un «Push Notification Service» Permet l envoi de notification sous forme de push, mail ou sms sur tout type de terminal.

7 Fournisseurs de service Beaucoup d alternatives Et bien plus

8 Différences entre fournisseurs Méthodes de tarification Abonnement Quotas gratuit Services proposés (mobile push, SMS, )

9 Amazon Simple Notification Service Large éventail de services Notification Push SMS (seulement aux Etats-Unis!) Envoi d s Aucun coût initial et gratuit jusqu à un certain quota.

10 Limitations Chaque méthodes de notifications possèdent ces propres limitations en terme de contenu. Push SMS

11 Types de Push Messages perso pour chaque plateforme, ou un message commun.

12 Types de Push Messages perso pour chaque utilisateurs ou envoyer un broadcast

13 Tarification Démarque les différents fournisseurs Tarification pour Amazon

14 Démonstration

15 Références Pour plus d informations sur le sujet Comparatif de tarification

16 HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 1 Group Question 2 Est-il possible d utiliser SNS depuis un programme / application que j aurais créé? 4 - Qu est-ce que ça signifie la notification en mode push rapide? - Avec quoi l appareil doit être équipé pour qu il puisse être notifié? - Comment SNS peut communiquer avec les terminaisons http pour envoyer les messages de notification? 5 Coût d'envoi des messages push avec SNS? 4 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

17 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 5 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

18 Amazon EC2 Container Service Cloud Computing Calixte Melly & Antoine Messerli

19 Sommaire Introduction Rappel sur Docker Présentation d Amazon EC2 Container Service Utilisation concrète Coût Démonstration Conclusion Calixte Melly & Antoine Messerli 2

20 Introduction Faire tourner des conteneurs Docker sur des instances EC2 Docker permet d avoir un container par service Calixte Melly & Antoine Messerli 3

21 Rappel sur Docker Permet la création de conteneur léger Des applications peuvent être déployées dans ces conteneurs Les conteneurs sont isolés du reste des autres Contributeurs Red Hat Docker Team Google Cisco IBM Amadeus IT Group Calixte Melly & Antoine Messerli 4

22 Présentation d Amazon EC2 Container Service (1) Cluster d instances EC2 qui hébergent des conteneurs Docker Chaque instance peut héberger un ou plusieurs conteneurs Allocation de ressources par conteneurs Scalabilité rapide Panneau de contrôle permettant de gérer les conteneurs et les instances Compatible avec les autres services Amazon (Elastic Load Balancing, Elastic Block Store, Virtual Private Cloud) Calixte Melly & Antoine Messerli 5

23 Présentation d Amazon EC2 Container Service (2) API permettant d interagir avec ECS Cluster à haute disponibilité Pourquoi utiliser des conteneurs Portabilité Allocation de ressources par conteneur => par service Enlève les soucis de dépendances entre les services Versionning pour chaque container en regardant le dockerfile Calixte Melly & Antoine Messerli 6

24 Présentation d Amazon EC2 Container Service (3) Task Definitions : requit pour lancer des conteneurs Paramètres requis Image Docker Allocation CPU / mémoire Lien entre les conteneurs Mapping de ports avec l hôte Volumes de données Commandes a passer au conteneur avant son démarrage Calixte Melly & Antoine Messerli 7

25 Utilisation concrète Utilisation comme environnement de développement Apache proxy : répartition du trafic entre les conteneurs Jenkins : outil d intégration continue PhpMyAdmin : gestion de base de données Glassfish : serveur Java EE MySql : base de données Utilisation des ressources : quelle taille d instance pour combien de conteneurs Privilégier des instances assez «grosses» pour avoir de la marge Il est toujours possible d ajouter des instances et de migrer les conteneurs Calixte Melly & Antoine Messerli 8

26 Coût Le coût correspond aux services utilisés Instances EC2 Volumes EBS Elastic Load Balancing Auto-Scaling Group Il n y a pas de coût supplémentaire imputé par Amazon EC2 Container Services Calixte Melly & Antoine Messerli 9

27 Démonstration Calixte Melly & Antoine Messerli 10

28 Conclusion Docker concurrent des machines virtuelles Amazon héberge des Dockers sur des VMs Dockers et VMs même principe => isolation entre les machines Avantage pour Docker => isolation entre les services Avantages d Amazon ECS Console d administration permettant de voir l état de tous les conteneurs et de toutes les instances Scalabilité rapide Compatibilité avec les autres services d Amazon Simplicité de gestion des conteneurs Calixte Melly & Antoine Messerli 11

29 Sources guide/welcome.html Calixte Melly & Antoine Messerli 12

30 HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 2 Group Question 1 Est-ce qu'il existe d'autres alternatives, si oui qu'est-ce qui les différencie du service que propose Amazon? 3 Est-ce que c'est possible de faire des Dockers sur Windows? 5 Cas d'utilisation concret de Amazon EC2 Container Service? 6 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

31 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 7 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

32 HEIG-VD TIC Technologies de l Information et de la Communication Cloud Computing Amazon Kinesis Auteurs: Anthony Roubaty & Julien Bignens (C) 2015 Anthony Roubaty & Julien Bignens

33 HEIG-VD TIC Technologies de l Information et de la Communication Sommaire Introduction Kinesis Tarification Démonstration Questions 2 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

34 HEIG-VD TIC Technologies de l Information et de la Communication Introduction Besoins spécifiques Analyse de données en temps réel Sources diverses Grande montée en puissance Dans quels cas d utilisation? Internet des Objets (sensor) Réseaux sociaux Jeux vidéo (scoring, interaction du joueur) Analyse du comportement de l utilisateur 3 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

35 HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - introduction Kinesis est un service d Amazon Traitement en temps réel de plusieurs flux de données continues et accessible rapidement. Avantages Temps réel Gestion des flux simples Ajustement dynamique du débit Traitement en parallèle des flux Excellente fiabilité Faible coût pour ce service 4 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

36 HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - Spécifications Partitions C est l unité de base pour un débit d un flux 1 Mo/s en entrée et 2 Mo/s en sortie Prend en charge enregistrements / s Enregistrement des données Unité pour les données stockées dans un flux Nécessite 3 éléments Numéro de séquence : identifiant unique associé à l enregistrement Clé de partition: clé permettant l acheminement des enregistrements vers la partition Blob de données: données utiles qu un producteur ajoute au flux (taille max :1 Mo) Développement d applications Nécessite d être développée par nos soins Bibliothèque client Amazon Kinesis (KCL) Java, Node, Python et.net 5 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

37 HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - Infrastructure 6 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

38 HEIG-VD TIC Technologies de l Information et de la Communication Tarification Nous payons en fonction de notre utilisation des ressources Nombre de partition par heure Partition (max enregistrement / sec) => 1Mo/s en entrée et 2 Mo/s en sortie Nombre d unité de charge PUT Unité de charge correspond à des fragment de 25 Ko => 1 enregistrement de 25 Ko Différence de prix entre les continents et régions Continent - Région Partition / heure Unité Charge PUT (1 million payload PUT) USA (Est) Virgine du nord $ $ USA (Ouest) Oregon $ $ USA (Ouest) Caroline du nord $ $ Europe Irlande $ $ Europe Francfort $ $ Asie - Singapour $ $ Asie - Tokyo $ $ Australie - Sydney $ $ 7 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

39 HEIG-VD TIC Technologies de l Information et de la Communication 8 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

40 HEIG-VD TIC Technologies de l Information et de la Communication 9 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

41 HEIG-VD TIC Technologies de l Information et de la Communication Bibliographie Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens

42 HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 3 Group Question 1 Comment gère-t-on les flux entrants de données? 2 4 Quel doit être le format des données envoyées à Kinesis (XML, JSON)? Est-ce que plusieurs formats sont supportés? Est-ce qu il existe des librairies fournies par Amazon pour pouvoir envoyer des données depuis un programme dans un certain langage de programmation? - Est-ce que Kinesis utilise le concept de Mapper/Reducer pour traiter et filtrer les données? - Comment on peut normaliser cette technologie partout dans le monde entier? - J ai compris que Kinesis est pour collecter des informations et les traiter en temps réel. Alors pourquoi il parle de «mettre en œuvre des tarifs et des publicités dynamiques»? C est quoi le rapport? 8 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

43 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 9 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

44 AGHAMAHDI & KOUCHALI

45 Sommaire Description Format de Template Avantage Désavantage Démo Conclusion Question AGHAMAHDI & KOUCHALI

46 Description «L idée de CloudFormation nous est venu à l esprit lorsque nous avons développé nos propres applications au-dessus d AWS», déclare Adam Selipsky, en qualité de Vice-Président d Amazon Web Services. Répétition des mêmes procédures visant à construire des infrastructures Création des Template automatisation AGHAMAHDI & KOUCHALI

47 Description Configuration des ressources à partir des fichiers textes. AGHAMAHDI & KOUCHALI

48 Description D autre approche : AGHAMAHDI & KOUCHALI

49 Format de Template Exemple d un Template du format JSON AGHAMAHDI & KOUCHALI

50 Avantages Gestion des relations : Instance EC2 association automatique avec EBS (Equilibreur de charges) Réutilisable : utilisable pour plusieurs déploiements d'infrastructure Lancement direct (comparant à AMI): lancer une pile sans avoir à enregistrer le modèle Format courant : Json (format générique, format d'échange de données) AGHAMAHDI & KOUCHALI

51 Désavantages On devient dépendant d Amazon. Pas vraiment! Nécessite Internet! Mais L homme devient paresseux. L homme devient ignorant. AGHAMAHDI & KOUCHALI

52 Démo AGHAMAHDI & KOUCHALI

53 Conclusion Connaissance sur une fonctionnalité de AWS. Réduit le temps de création des modèles. S inspirer des modèles existants pour s améliorer. Fonctionnement flexible Modèles personnalisés via des paramètres AGHAMAHDI & KOUCHALI

54 Question AGHAMAHDI & KOUCHALI

55 HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 4 Group Question 2 Existe-il une plateforme d'échange de modèle entre utilisateurs du service? Peut-on fusionner deux modèles? 3 Est-il possible d'automatiser la création de CloudFormation? 5 Alternative à AWS CloudFormation? 10 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

56 HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service ( , SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 11 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf

57 Virtual Private Cloud Raphael Mas - Marco Monzione 14 Juin 2015

58 Index Description du concept VPC Divers fournisseurs de VPC Eléments qui constituent un VPC Cloud privé VS Cloud public Cloud privé VS Infrastructure traditionnel Bilan pour le Cloud privé Exemple d utilisation Raphael Mas - Marco Monzione 2

59 Description du concept de VPC Le Virtual Private Cloud consiste à héberger l ensemble de l infrastructures de l entreprise, c est-à-dire les machines physique, dans un service Cloud dont l accès est uniquement possible au ayant droit. Un Cloud privé permet également la création de sous-réseau à l'intérieur de celui-ci. On peut fournir un accès VPN à tous les usagers pour que ceux-ci puissent y accéder depuis n'importe où. Raphael Mas - Marco Monzione 3

60 Description du concept de VPC Raphael Mas - Marco Monzione 4

61 Divers fournisseurs de VPC Amazon Web Services vcloud by VMware Google App Engine IBM Cloud Computing Etc Raphael Mas - Marco Monzione 5

62 Eléments qui constituent un VPC Sous-réseaux Gateway DHCP Table de routage Access Control List Groupe de sécurités VPN Elastique Ips Raphael Mas - Marco Monzione 6

63 Cloud privé VS Cloud public Cloud public! S adapte facilement à la montée des charges Elasticité des serveurs Cloud privé " Meilleurs contrôles sur les données Et sur l infrastructures (services) Ressources physiques non-partagées par des tierces Raphael Mas - Marco Monzione 7

64 Cloud privé VS Infrastructure traditionnel Cloud privé " Frais d investissement initial réduit Haute disponibilité Adapter au besoin Evolutif Infrastructure traditionnel # Gestion à 100% local Choix du matériel Mise en place aisée Raphael Mas - Marco Monzione 8

65 Bilan pour le Cloud privé Avantages Connectivité multiples Sécurités Haute disponibilité Souplesses d actions Meilleurs performances Inconvénients % Coût initial Complexité de mise en place Confidentialité Extérieur à l entreprises Raphael Mas - Marco Monzione 9

66 Exemple d utilisations Raphael Mas - Marco Monzione 10

67 Des questions Raphael Mas - Marco Monzione 11

68 Sources WEB Raphael Mas - Marco Monzione 12

69 HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 5 Group Question 1 Quel est le principal intérêt d'avoir des machines du cloud dans le même réseau? 3 Est-il possible d'ajouter une machine externe, par exemple, dans le VPC? 4 - Est-ce que c est comme un Intranet? Si non, comment ça fonctionne? Si oui, alors dans ce cas, est-ce que le serveur central, lui, est lié à Internet? Comment un utilisateur peut se connecter sur le site local? - Est-ce que la création de sous-réseaux peut se fait à travers de CloudFormation? Si non, pourquoi? - Etant donné que le VPC (Virtual Private Cloud) est hébergé derrière le pare-feu de l entreprise, et que l on peut avoir le contrôle total sur les entrées et sorties, dans ce cas, est-ce que l'on a toujours besoin de l instance NAT, qui permet d éviter d exposer les adresses IP privées en les traduisant en adresses IP publiques? 12 Cloud Computing Bienvenue Année académique 2014/ Marcel Graf