HEIG-VD TIC Technologies de l Information et de la Communication Cloud Computing Cloud Services Workshop Academic year 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 2 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 3 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
Push Notification Service Romain Maillard Bastien Rouiller
Sommaire Qu est ce qu un «Push Notification Service»? Fournisseurs de services Différences entre les fournisseurs Amazon Simple Notification Service Types de Push Tarifs Démonstration Références
Qu est ce qu un «Push Notification Service» Permet l envoi de notification sous forme de push, mail ou sms sur tout type de terminal.
Fournisseurs de service Beaucoup d alternatives Et bien plus
Différences entre fournisseurs Méthodes de tarification Abonnement Quotas gratuit Services proposés (mobile push, SMS, email)
Amazon Simple Notification Service Large éventail de services Notification Push SMS (seulement aux Etats-Unis!) Envoi d emails Aucun coût initial et gratuit jusqu à un certain quota.
Limitations Chaque méthodes de notifications possèdent ces propres limitations en terme de contenu. Push SMS Email
Types de Push Messages perso pour chaque plateforme, ou un message commun.
Types de Push Messages perso pour chaque utilisateurs ou envoyer un broadcast
Tarification Démarque les différents fournisseurs Tarification pour Amazon
Démonstration
Références Pour plus d informations sur le sujet http://aws.amazon.com/fr/sns/ Comparatif de tarification http://b2cloud.com.au/wpcontent/uploads/2013/03/push.html
HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 1 Group Question 2 Est-il possible d utiliser SNS depuis un programme / application que j aurais créé? 4 - Qu est-ce que ça signifie la notification en mode push rapide? - Avec quoi l appareil doit être équipé pour qu il puisse être notifié? - Comment SNS peut communiquer avec les terminaisons http pour envoyer les messages de notification? 5 Coût d'envoi des messages push avec SNS? 4 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 5 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
Amazon EC2 Container Service Cloud Computing Calixte Melly & Antoine Messerli
Sommaire Introduction Rappel sur Docker Présentation d Amazon EC2 Container Service Utilisation concrète Coût Démonstration Conclusion Calixte Melly & Antoine Messerli 2
Introduction Faire tourner des conteneurs Docker sur des instances EC2 Docker permet d avoir un container par service Calixte Melly & Antoine Messerli 3
Rappel sur Docker Permet la création de conteneur léger Des applications peuvent être déployées dans ces conteneurs Les conteneurs sont isolés du reste des autres Contributeurs Red Hat Docker Team Google Cisco IBM Amadeus IT Group Calixte Melly & Antoine Messerli 4
Présentation d Amazon EC2 Container Service (1) Cluster d instances EC2 qui hébergent des conteneurs Docker Chaque instance peut héberger un ou plusieurs conteneurs Allocation de ressources par conteneurs Scalabilité rapide Panneau de contrôle permettant de gérer les conteneurs et les instances Compatible avec les autres services Amazon (Elastic Load Balancing, Elastic Block Store, Virtual Private Cloud) Calixte Melly & Antoine Messerli 5
Présentation d Amazon EC2 Container Service (2) API permettant d interagir avec ECS Cluster à haute disponibilité Pourquoi utiliser des conteneurs Portabilité Allocation de ressources par conteneur => par service Enlève les soucis de dépendances entre les services Versionning pour chaque container en regardant le dockerfile Calixte Melly & Antoine Messerli 6
Présentation d Amazon EC2 Container Service (3) Task Definitions : requit pour lancer des conteneurs Paramètres requis Image Docker Allocation CPU / mémoire Lien entre les conteneurs Mapping de ports avec l hôte Volumes de données Commandes a passer au conteneur avant son démarrage Calixte Melly & Antoine Messerli 7
Utilisation concrète Utilisation comme environnement de développement Apache proxy : répartition du trafic entre les conteneurs Jenkins : outil d intégration continue PhpMyAdmin : gestion de base de données Glassfish : serveur Java EE MySql : base de données Utilisation des ressources : quelle taille d instance pour combien de conteneurs Privilégier des instances assez «grosses» pour avoir de la marge Il est toujours possible d ajouter des instances et de migrer les conteneurs Calixte Melly & Antoine Messerli 8
Coût Le coût correspond aux services utilisés Instances EC2 Volumes EBS Elastic Load Balancing Auto-Scaling Group Il n y a pas de coût supplémentaire imputé par Amazon EC2 Container Services Calixte Melly & Antoine Messerli 9
Démonstration Calixte Melly & Antoine Messerli 10
Conclusion Docker concurrent des machines virtuelles Amazon héberge des Dockers sur des VMs Dockers et VMs même principe => isolation entre les machines Avantage pour Docker => isolation entre les services Avantages d Amazon ECS Console d administration permettant de voir l état de tous les conteneurs et de toutes les instances Scalabilité rapide Compatibilité avec les autres services d Amazon Simplicité de gestion des conteneurs Calixte Melly & Antoine Messerli 11
Sources http://docs.aws.amazon.com/amazonecs/latest/developer guide/welcome.html http://aws.amazon.com/fr/ecs/ http://aws.amazon.com/fr/containers/ http://aws.amazon.com/fr/ecs/details/ https://www.docker.com/ http://fr.wikipedia.org/wiki/docker_(logiciel) Calixte Melly & Antoine Messerli 12
HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 2 Group Question 1 Est-ce qu'il existe d'autres alternatives, si oui qu'est-ce qui les différencie du service que propose Amazon? 3 Est-ce que c'est possible de faire des Dockers sur Windows? 5 Cas d'utilisation concret de Amazon EC2 Container Service? 6 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 7 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Cloud Computing Amazon Kinesis Auteurs: Anthony Roubaty & Julien Bignens (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Sommaire Introduction Kinesis Tarification Démonstration Questions 2 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Introduction Besoins spécifiques Analyse de données en temps réel Sources diverses Grande montée en puissance Dans quels cas d utilisation? Internet des Objets (sensor) Réseaux sociaux Jeux vidéo (scoring, interaction du joueur) Analyse du comportement de l utilisateur 3 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - introduction Kinesis est un service d Amazon Traitement en temps réel de plusieurs flux de données continues et accessible rapidement. Avantages Temps réel Gestion des flux simples Ajustement dynamique du débit Traitement en parallèle des flux Excellente fiabilité Faible coût pour ce service 4 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - Spécifications Partitions C est l unité de base pour un débit d un flux 1 Mo/s en entrée et 2 Mo/s en sortie Prend en charge 1 000 enregistrements / s Enregistrement des données Unité pour les données stockées dans un flux Nécessite 3 éléments Numéro de séquence : identifiant unique associé à l enregistrement Clé de partition: clé permettant l acheminement des enregistrements vers la partition Blob de données: données utiles qu un producteur ajoute au flux (taille max :1 Mo) Développement d applications Nécessite d être développée par nos soins Bibliothèque client Amazon Kinesis (KCL) Java, Node, Python et.net 5 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Kinesis - Infrastructure 6 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Tarification Nous payons en fonction de notre utilisation des ressources Nombre de partition par heure Partition (max 1 000 enregistrement / sec) => 1Mo/s en entrée et 2 Mo/s en sortie Nombre d unité de charge PUT Unité de charge correspond à des fragment de 25 Ko => 1 enregistrement de 25 Ko Différence de prix entre les continents et régions Continent - Région Partition / heure Unité Charge PUT (1 million payload PUT) USA (Est) Virgine du nord 0.015 $ 0.014 $ USA (Ouest) Oregon 0.015 $ 0.014 $ USA (Ouest) Caroline du nord 0.0182 $ 0.0185 $ Europe Irlande 0.017 $ 0.0165 $ Europe Francfort 0.018 $ 0.0175 $ Asie - Singapour 0.0184 $ 0.0195 $ Asie - Tokyo 0.0195 $ 0.0215 $ Australie - Sydney 0.0184 $ 0.0195 $ 7 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication 8 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication 9 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Bibliographie http://aws.amazon.com/fr/kinesis/ http://aws.amazon.com/fr/kinesis/details/ http://aws.amazon.com/fr/kinesis/getting-started/ http://aws.amazon.com/fr/kinesis/pricing/ http://aws.amazon.com/fr/kinesis/developer-resources/ http://aws.amazon.com/fr/kinesis/faqs/ http://docs.aws.amazon.com/kinesis/latest/dev/introduction.html http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html 10 Cloud Computing Kinesis Année académique 2014/15 (C) 2015 Anthony Roubaty & Julien Bignens
HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 3 Group Question 1 Comment gère-t-on les flux entrants de données? 2 4 Quel doit être le format des données envoyées à Kinesis (XML, JSON)? Est-ce que plusieurs formats sont supportés? Est-ce qu il existe des librairies fournies par Amazon pour pouvoir envoyer des données depuis un programme dans un certain langage de programmation? - Est-ce que Kinesis utilise le concept de Mapper/Reducer pour traiter et filtrer les données? - Comment on peut normaliser cette technologie partout dans le monde entier? - J ai compris que Kinesis est pour collecter des informations et les traiter en temps réel. Alors pourquoi il parle de «mettre en œuvre des tarifs et des publicités dynamiques»? C est quoi le rapport? 8 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 9 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
AGHAMAHDI & KOUCHALI 14.06.2015 1
Sommaire Description Format de Template Avantage Désavantage Démo Conclusion Question AGHAMAHDI & KOUCHALI 14.06.2015 2
Description «L idée de CloudFormation nous est venu à l esprit lorsque nous avons développé nos propres applications au-dessus d AWS», déclare Adam Selipsky, en qualité de Vice-Président d Amazon Web Services. Répétition des mêmes procédures visant à construire des infrastructures Création des Template automatisation AGHAMAHDI & KOUCHALI 14.06.2015 3
Description Configuration des ressources à partir des fichiers textes. AGHAMAHDI & KOUCHALI 14.06.2015 4
Description D autre approche : AGHAMAHDI & KOUCHALI 14.06.2015 5
Format de Template Exemple d un Template du format JSON AGHAMAHDI & KOUCHALI 14.06.2015 6
Avantages Gestion des relations : Instance EC2 association automatique avec EBS (Equilibreur de charges) Réutilisable : utilisable pour plusieurs déploiements d'infrastructure Lancement direct (comparant à AMI): lancer une pile sans avoir à enregistrer le modèle Format courant : Json (format générique, format d'échange de données) AGHAMAHDI & KOUCHALI 14.06.2015 7
Désavantages On devient dépendant d Amazon. Pas vraiment! Nécessite Internet! Mais L homme devient paresseux. L homme devient ignorant. AGHAMAHDI & KOUCHALI 14.06.2015 8
Démo AGHAMAHDI & KOUCHALI 14.06.2015 9
Conclusion Connaissance sur une fonctionnalité de AWS. Réduit le temps de création des modèles. S inspirer des modèles existants pour s améliorer. Fonctionnement flexible Modèles personnalisés via des paramètres AGHAMAHDI & KOUCHALI 14.06.2015 10
Question AGHAMAHDI & KOUCHALI 14.06.2015 11
HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 4 Group Question 2 Existe-il une plateforme d'échange de modèle entre utilisateurs du service? Peut-on fusionner deux modèles? 3 Est-il possible d'automatiser la création de CloudFormation? 5 Alternative à AWS CloudFormation? 10 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
HEIG-VD TIC Technologies de l Information et de la Communication Workshop plan # Topic Presentation starts at Questions from group # 1 Push notification service (email, SMS, mobile push) - SNS 10:30 2, 4, 5 2 Run and manage Docker containers - EC2 Container Service 10:47 1, 3, 5 3 Capture, store and distribute real-time data streams - Kinesis 11:04 1, 2, 4 Break 11:21 4 Create distributed systems in the cloud by using templates - CloudFormation 11:26 2, 3, 5 5 Isolate cloud resources - Virtual Private Cloud 11:43 1, 3, 4 11 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf
Virtual Private Cloud Raphael Mas - Marco Monzione 14 Juin 2015
Index Description du concept VPC Divers fournisseurs de VPC Eléments qui constituent un VPC Cloud privé VS Cloud public Cloud privé VS Infrastructure traditionnel Bilan pour le Cloud privé Exemple d utilisation Raphael Mas - Marco Monzione 2
Description du concept de VPC Le Virtual Private Cloud consiste à héberger l ensemble de l infrastructures de l entreprise, c est-à-dire les machines physique, dans un service Cloud dont l accès est uniquement possible au ayant droit. Un Cloud privé permet également la création de sous-réseau à l'intérieur de celui-ci. On peut fournir un accès VPN à tous les usagers pour que ceux-ci puissent y accéder depuis n'importe où. Raphael Mas - Marco Monzione 3
Description du concept de VPC Raphael Mas - Marco Monzione 4
Divers fournisseurs de VPC Amazon Web Services vcloud by VMware Google App Engine IBM Cloud Computing Etc Raphael Mas - Marco Monzione 5
Eléments qui constituent un VPC Sous-réseaux Gateway DHCP Table de routage Access Control List Groupe de sécurités VPN Elastique Ips Raphael Mas - Marco Monzione 6
Cloud privé VS Cloud public Cloud public! S adapte facilement à la montée des charges Elasticité des serveurs Cloud privé " Meilleurs contrôles sur les données Et sur l infrastructures (services) Ressources physiques non-partagées par des tierces Raphael Mas - Marco Monzione 7
Cloud privé VS Infrastructure traditionnel Cloud privé " Frais d investissement initial réduit Haute disponibilité Adapter au besoin Evolutif Infrastructure traditionnel # Gestion à 100% local Choix du matériel Mise en place aisée Raphael Mas - Marco Monzione 8
Bilan pour le Cloud privé Avantages Connectivité multiples Sécurités Haute disponibilité Souplesses d actions Meilleurs performances Inconvénients % Coût initial Complexité de mise en place Confidentialité Extérieur à l entreprises Raphael Mas - Marco Monzione 9
Exemple d utilisations Raphael Mas - Marco Monzione 10
Des questions Raphael Mas - Marco Monzione 11
Sources WEB http://www.akamai.fr/enfr/html/solutions/public_private_cloud.html http://www.yeswecloud.fr/cloud/avantages-et-inconvenients-du-cloud-computing-2-810.html http://cloudtweaks.com/2012/06/4-things-to-know-about-virtual-private-clouds/ http://vcloud.vmware.com/uk/service-offering/virtual-private-cloud http://aws.amazon.com/fr/vpc/ http://www.ibm.com/cloud-computing/us/en/private-cloud.html https://en.wikipedia.org/wiki/ibm_cloud_computing https://en.wikipedia.org/wiki/virtual_private_cloud Raphael Mas - Marco Monzione 12
HEIG-VD TIC Technologies de l Information et de la Communication Questions for group 5 Group Question 1 Quel est le principal intérêt d'avoir des machines du cloud dans le même réseau? 3 Est-il possible d'ajouter une machine externe, par exemple, dans le VPC? 4 - Est-ce que c est comme un Intranet? Si non, comment ça fonctionne? Si oui, alors dans ce cas, est-ce que le serveur central, lui, est lié à Internet? Comment un utilisateur peut se connecter sur le site local? - Est-ce que la création de sous-réseaux peut se fait à travers de CloudFormation? Si non, pourquoi? - Etant donné que le VPC (Virtual Private Cloud) est hébergé derrière le pare-feu de l entreprise, et que l on peut avoir le contrôle total sur les entrées et sorties, dans ce cas, est-ce que l'on a toujours besoin de l instance NAT, qui permet d éviter d exposer les adresses IP privées en les traduisant en adresses IP publiques? 12 Cloud Computing Bienvenue Année académique 2014/15 2015 Marcel Graf