Cloud Computing : quels intérêts et quelles solutions pour les développeurs? Jérôme PANSANEL <jerome.pansanel@iphc.cnrs.fr> Directeur technique France Grilles JDEV 2015 BORDEAUX
Sommaire Cloud Computing : quels usages pour le développeur? Clouds commerciaux Clouds académiques 2
Cloud Computing : quels usages pour le développeur? Clouds commerciaux Clouds académiques 3
Quel Cloud? SaaS Applications logicielles disponibles à la demande (Science gateway, Cloud broker, DIRAC,...) PaaS Système d'exploitation avec un ensemble de briques logicielles préconfigurées (grille de calcul EGI,...) IaaS Ressources d'infrastructure virtualisées (FG-Cloud, Cloud IFB, EGI FedCloud, Helix Nebula, Cloud CNRS, ) DaaS Stockage virtualisé avec services associés (FG-iRODS, CNRS, Renater,...) 4
Usages pour le développeur Les Clouds de type IaaS peuvent être utilisés pour : Hébergement des outils de base de développement (SCM, CI, ) Utiliser différents types et versions d'os (cas spécial : Mac OS X) Déployer un ensemble d'os pour automatiser le packaging Déployer rapidement des infrastructures pour le test de logiciels (par exemple client / serveur) Tester simultanément sur un ensemble d'os Tester le passage à l'échelle des applications Pouvoir tester sans casser Mettre en place des formations Faciliter la distribution de logiciels en livrant des appliances 5
L'intégration continue au CC-IN2P3 https://ci.in2p3.fr/ Fonctionnalités : Être alerté rapidement des tests en erreur (unitaires et intégration) Exporter les processus de compilation sur des environnements "neutres" et variés (JDK6, JDK7,...) Permettre à des utilisateurs de lancer des compilations Plus de 800 plugins disponibles Gestion avancée des utilisateurs et des privilèges Solution basée sur : Jenkins http://jenkins-ci.org/ Infrastructure OpenStack du CC-IN2P3 Horizon (dashboard OpenStack) Poster JDEV 6
https://ci.in2p3.fr/ L'intégration continue au CC-IN2P3 7
Les points clés Avant de choisir un fournisseur de service, plusieurs points sont à étudier : Conditions d'utilisation Sécurité et confidentialité Prix / rétribution Fonctionnalités techniques (taille des VMs, débit, images,...) Emplacement et contrôle d'accès aux données Disponibilité des services (production?) Support utilisateur Critères sociaux Pérennité de la structure Possibilité de changer de fournisseur (API, engagement,...) 8
Cloud Computing : quels usages pour le développeur? Clouds commerciaux Clouds académiques 9
Amazon AWS https://aws.amazon.com/fr/ec2/ Leader des Clouds commerciaux IaaS Créé en 2006 Nombreux services dont EC2 (Elastic Compute Cloud), S3 (Simple Storage Service) et EBS (Elastic Block Service) Datacentres également disponible en Ireland et en Allemagne Virtualisation basé sur XEN Interface Web, API REST et SOAP, CLI Import et export de VMs (nombreux formats supportés, dont RAW et OVA) Big mem : 16 cœurs, 244 Go RAM et 240 Go SSD Possibilité d'avoir du GPU Très nombreuses flavor Tarification à l'heure Exemple : cluster 64 cœurs / 128 Go RAM ~ 101 / jour 10
Microsoft Azure http://azure.microsoft.com/fr-fr/ Cloud IaaS et PaaS créé par Microsoft en 2010 Accessible via une API REST et un SDK documenté Hébergé dans les datacentres Microsoft Cloud géré par Microsoft Azure Fabric Controller Disponibilité de serveurs Windows et Linux 2 datacentres en Europe (Irlande et Pays-Bas) Doit respecter le Patriot Act Respect la directive européenne sur la protection des données (95/46/EC) La confidentialité et de la sécurité sont gérées par le Microsoft Azure Trust Center Très nombreuses flavor Tarification à la minute Exemple: cluster 64 cœurs / 128 Go RAM ~ 103 / jour 11
Google Cloud Platform https://cloud.google.com/compute Composé d'offres IaaS (Google Compute Engine 2012), PaaS (App Engine 2008) et SaaS Datacentres disponibles en Europe (Belgique, Finlande, Irlande et Pays-Bas) Pour GCE, facturation à la minute (avec un minimum de 10 minutes) Possibilité d'utiliser ses propres images Accessible via une interface Web, une API REST ou un CLI Puissance processeur comptabilité en GCEU SSD disponible Tarification à la minute Offre spécifique génomique Exemple : cluster 64 cœurs / 128 Go RAM ~ 118 / jour 12
IBM Cloud http://www.ibm.com/marketplace/cloud Créé en 2011 (SmartCloud) Offre IaaS, PaaS et SaaS accessible comme Cloud public Possibilité également d'acquérir l'outil de gestion de Cloud IBM pour réaliser un Cloud privé ou hybride Service et matériel pré-configuré (Cloud in a box avec IBM Workload Deployer et Cloudburst) IBM est un partenaire actif de plusieurs groupes de standardisation ( CIMI) Un partenaire pour les productions critiques et le besoin d'accompagnement 13
CloudWatt http://www.cloudwatt.com Société appartenant à Orange depuis mars 2015 (projet Andromède Cloud souverain) Offre IaaS disponible depuis 2014 Datacentre à Val de Reuil API et CLI OpenStack Taille de machine virtuelle maximum en ligne : 16 vcpu / 60 Go RAM Images Ubuntu (12.04 et 14.04), CentOS, RedHat, Suse, Debian, Fedora, Windows server (2008 et 2012) Règlement par CB pour les commandes sur Internet Exemple : cluster 64 cœurs / 128 Go RAM ~ 85 / jour 14
Numergy http://www.numergy.com Société créé en 2012 par SFR et BULL (projet Andromède Cloud souverain) 3 Datacentres en France API et CLI OpenStack Images Linux (Ubuntu, CentOS, RedHat) et Windows 2008 disponible Taille de machine virtuelle maximum en ligne : 2 vcpu / 8 Go RAM Nombre maximum de VM payable en ligne : 5 Pour les configurations de taille importante, il faut passer par un revendeur Projet Numergy Santé Règlement par CB ou partenaire Exemple : cluster 64 cœurs / 128 Go RAM ~ 54 / jour 15
Difficultés Difficulté d'achat des heures (peu de fournisseurs acceptent les bons de commande) Aspects légaux sur les données Coût du stockage et du transfert des données (la simulation coûte moins chère que l'analyse) Saveurs d'image limitées risque de payer pour des services qui ne sont pas nécessaires Gestion de la production et des mises à jour des VMs (responsabilité) 16
Cloud Computing : quels usages pour le développeur? Clouds commerciaux Clouds académiques 17
Cloud IFB Cloud communautaire créé en 2011 Ouvert à la communauté des sciences de la vie Plus d'une dizaine d'appliances (Galaxy, nœud de calcul, bureau virtuel, biologie structurale, ) Catalogue d'images pré-configurées en fonction des applications Taille des VMs en adéquation avec les problèmes en biologie (grand nombre de CPUs / volume important de RAM) Stockage Cloud Formations régulières Hébergé à l'idris Accès : https://cloud.france-bioinformatique.fr/accounts/login/ 18
Cloud Privé CNRS Cloud disponible depuis octobre 2012 3 configurations disponibles : 1 vcpu HDD 50 Go RAM 2 Go / 4 Go / 8 Go 2 vcpu HDD 50 Go RAM 4 Go / 8 Go / 16 Go 4 vcpu HDD 50 Go RAM 8 Go / 16 Go / 24 Go Offre payante Catalogue d'images validées et compatibles Option de sauvegarde Basé sur les technologies VMWare Hébergé dans deux datacentres opérés par BULL Garantie de ressources CPU / RAM < 100 % Exemple : cluster 64 cœurs / 128 Go RAM ~ 40 / jour Contact : http://www.offres-de-services-unites.net/serveur.html 19
HelixNebula http://hnx.helix-nebula.eu/ Initiative portée par des organismes publiques et privés paneuropéens Cloud multi-disciplinaire durable pour la recherche scientifique Services accessible aux partenaires privés et académiques Projet ouvert à de nouveaux fournisseurs de ressources (conditions réglementaires et qualité de service) Utilisation basée sur le broker HNX (SlipStream) Cas d'utilisation EMBL : Développement d'un portail pour l'analyse des grands génomes Permettre aux scientifiques de réaliser des analyses de génome à grande échelle sans investir dans des infrastructures Fournir des pipelines pour l'analyse génomique Développement la recherche d'outils génomiques utilisant les Clouds 20
HelixNebula HelixNebula Strategic Plan Establish multitenant, multiprovider cloud infrastructure To support the computing capacity needs for the ATLAS experiment Additional Users: Setting up a new service to simplify analysis of large genomes, for a deeper insight into evolution and biodiversity To create an Earth Observation platform, focusing on earthquake and volcano research To improve the speed and quality of research for finding surrogate biomarkers based on brain images Identify and adopt policies for trust, security and privacy Suppliers Create governance structure Define funding schemes Adopters Bob Jones 21
Le Cloud fédéré EGI Fédération de 22 Clouds privés académiques Disponible en tant que Cloud IaaS pour les scientifiques en Europe et au-delà Basé sur l'utilisation de standards ouverts : OCCI, CDMI, OVF, GLUE,... Implémentation hétérogène : pas de contraintes pour la technologie Cloud du site dès lors qu'il expose les standards choisis Surveillance centralisée des infrastructures Équipe de sécurité internationale Catalogue important de VMs Utilisation Mai / Déc. 2014 : 244.913 VMs certifiées 10,6M d'heures CPU JDEV 2015 Bordeaux Cloud Computing : quels intérêts et quelles solutions pour les développeurs? 22
Accès au Cloud fédéré EGI Accès pour l'utilisateur : Rejoindre l'un des groupes existants (VO) Rechercher une VO sur le portail des opérations http://operations-portal.egi.eu/ Allocation de ressources par les RPs Ressources dédiées à un projet scientifique Soumission des demandes sur https://e-grant.egi.eu Rejoindre le Cloud comme RP : Installer les briques logicielles nécessaires à l'intégration au Cloud fédéré Contacter l'équipe Opérations de EGI operation@egi.eu Allocation de ressources e-grant 23
Le Cloud fédéré France Grilles FG-Cloud Objectifs Mettre en place un service de Cloud fédéré IaaS pour la recherche scientifique Définir la stratégie et construire l'infrastructure nationale Rédiger les conditions d'utilisation, la documentation et les services aux utilisateurs Mettre en place les outils et les procédures pour avoir un niveau Production Promouvoir la certification des sites au sein du Cloud fédéré EGI Réalisations Pilotage par un groupe technique ouvert Authentification et Marketplace communs aux différents sites VM-DIRAC et SlipStream disponibles pour accéder aux différentes ressources Financement des sites (infrastructure, EGI) Conditions d'utilisation pour les utilisateurs Formations utilisateurs (administrateurs prévue second semestre 2015) 24
Sites en production OpenStack@CC-IN2P3 (*) OpenStack@IPHC (*) CloudMIP@IRIT Stratuslab@LAL (*) StratusLab@LUPM Sites en pre-production StratusLab@LLR (*) StratusLab@LPSC (*) OpenStack@UNIV-LILLE Site prévu OpenStack@LPC (*) L'infrastructure FG-Cloud http://www.france-grilles.fr/6-cloud 25
Obtenir un accès Simplement en quelques étapes Envoyer une demande à info@france-grilles.fr Formulaire en retour (pour vérifier la faisabilité technique et améliorer l'accompagnement) Signature électronique des conditions d'utilisation Création des comptes Formation CLI / SlipStream Image / saveur spécifique Accompagnement sur le script d'instanciation Remerciements http://www.france-grilles.fr/pour-les-chercheurs-ou-ingenieurs 26
Questions? 27