Les Clouds de production : Panorama pour les sciences de la vie. Jérôme PANSANEL <jerome.pansanel@iphc.cnrs.fr> Directeur technique France Grilles

Transcription

1 Les Clouds de production : Panorama pour les sciences de la vie Jérôme PANSANEL <jerome.pansanel@iphc.cnrs.fr> Directeur technique France Grilles École Cumulo Numbio Aussois 2015

2 Sommaire Clouds de production Clouds commerciaux Clouds communautaires pour les sciences de la vie Clouds académiques

3 Clouds de production Clouds commerciaux Clouds communautaires pour les sciences de la vie Clouds académiques

4 Quel Cloud? SaaS Applications logicielles disponibles à la demande (Science gateway, Cloud broker, DIRAC,...) PaaS Système d'exploitation avec un ensemble de briques logicielles préconfigurées (grille de calcul EGI,...) IaaS Ressources d'infrastructure virtualisées (Cloud IFB, FG-Cloud, EGI FedCloud, Helix Nebula, ) DaaS Stockage virtualisé avec services associés (FG-iRODS, Renater, CNRS)

5 La production La production en informatique : Mise en production de services et de ressources Maintenance des services en condition opérationnelle Gestion de la transition Outils de surveillance et de métrologie Procédures Contrat d'utilisation Support utilisateur Pérennité Gestion de l'infrastructure en suivant les recommandations de bonnes pratiques (ITIL)

6 Les points clés Avant de choisir un fournisseur de service, plusieurs points sont à étudier : Conditions d'utilisation Sécurité et confidentialité Prix / rétribution Fonctionnalités techniques (taille des VMs, débit, images,...) Emplacement et contrôle d'accès aux données Disponibilité des services Support utilisateur Critères sociaux Pérennité de la structure Possibilité de changer de fournisseur (API, engagement,...)

7 Intérêts Facilité de déploiement Eli Lilly : Mise en production d'un nouveau cluster de 64 nœuds : 3 mois Mise en production d'un cluster sur le Cloud : à partir de 5 minutes Optimisation des coûts GlaxoSmithKline : L'utilisation des services en ligne a permis de réduire de 30 % le coût des opérations Optimisation du temps : Moins de temps passé sur l'infrastructure, c'est plus de temps à exploiter réellement les outils d'analyse / modélisation / Mettre à disposition d'autres laboratoires des services mutualisation

8 Clouds de production Clouds commerciaux Clouds communautaires pour les sciences de la vie Clouds académiques

9 Amazon AWS Leader des Clouds commerciaux IaaS Créé en 2006 Nombreux services dont EC2 (Elastic Compute Cloud), S3 (Simple Storage Service) et EBS (Elastic Block Service) Datacentres également disponible en Ireland et en Allemagne Virtualisation basé sur XEN Interface Web, API REST et SOAP, CLI Import et export de VMs (nombreux formats supportés, dont RAW et OVA) Big mem : 16 cœurs, 244 Go RAM et 240 Go SSD Possibilité d'avoir du GPU Très nombreuses flavor Tarification à l'heure Exemple : cluster 64 cœurs / 128 Go RAM ~ 101 / jour

10 Microsoft Azure Cloud IaaS et PaaS créé par Microsoft en 2010 Accessible via une API REST et un SDK documenté Hébergé dans les datacentres Microsoft Cloud géré par Microsoft Azure Fabric Controller Disponibilité de serveurs Windows et Linux 2 datacentres en Europe (Irlande et Pays-Bas) Doit respecter le Patriot Act Respect la directive européenne sur la protection des données (95/46/EC) La confidentialité et de la sécurité sont gérées par le Microsoft Azure Trust Center Très nombreuses flavor Tarification à la minute Exemple: cluster 64 cœurs / 128 Go RAM ~ 103 / jour

11 Google Cloud Platform Composé d'offres IaaS (Google Compute Engine 2012), PaaS (App Engine 2008) et SaaS Datacentres disponibles en Europe (Belgique, Finlande, Irlande et Pays-Bas) Pour GCE, facturation à la minute (avec un minimum de 10 minutes) Possibilité d'utiliser ses propres images Accessible via une interface Web, une API REST ou un CLI Puissance processeur comptabilité en GCEU SSD disponible Tarification à la minute Offre spécifique génomique Exemple : cluster 64 cœurs / 128 Go RAM ~ 118 / jour

12 IBM Cloud Créé en 2011 (SmartCloud) Offre IaaS, PaaS et SaaS accessible comme Cloud public Possibilité également d'acquérir l'outil de gestion de Cloud IBM pour réaliser un Cloud privé ou hybride Service et matériel pré-configuré (Cloud in a box avec IBM Workload Deployer et Cloudburst) IBM est un partenaire actif de plusieurs groupes de standardisation ( CIMI) Un partenaire pour les productions critiques et le besoin d'accompagnement

13 CloudWatt Société appartenant à Orange depuis mars 2015 (projet Andromède Cloud souverain) Offre IaaS disponible depuis 2014 Datacentre à Val de Reuil API et CLI OpenStack Taille de machine virtuelle maximum en ligne : 16 vcpu / 60 Go RAM Images Ubuntu (12.04 et 14.04), CentOS, RedHat, Suse, Debian, Fedora, Windows server (2008 et 2012) Règlement par CB pour les commandes sur Internet Exemple : cluster 64 cœurs / 128 Go RAM ~ 85 / jour

14 Numergy Société créé en 2012 par SFR et BULL (projet Andromède Cloud souverain) 3 Datacentres en France API et CLI OpenStack Images Linux (Ubuntu, CentOS, RedHat) et Windows 2008 disponible Taille de machine virtuelle maximum en ligne : 2 vcpu / 8 Go RAM Nombre maximum de VM payable en ligne : 5 Pour les configurations de taille importante, il faut passer par un revendeur Projet Numergy Santé Règlement par CB ou partenaire Exemple : cluster 64 cœurs / 128 Go RAM ~ 54 / jour

15 Difficultés Difficulté d'achat des heures (peu de fournisseurs acceptent les bons de commande) Aspects légaux sur les données Coût du stockage et du transfert des données (la simulation coûte moins chère que l'analyse) Saveurs d'image limitées risque de payer pour des services qui ne sont pas nécessaires Gestion de la production et des mises à jour des VMs (responsabilité)

16 Clouds de production Clouds commerciaux Clouds communautaires pour les sciences de la vie Clouds académiques

17 Cloud IFB Cloud créé en 2011 Ouvert à la communauté des sciences de la vie Plus d'une dizaine d'appliances (Galaxy, nœud de calcul, bureau virtuel, biologie structurale, ) Catalogue d'images pré-configurées en fonction des applications Taille des VMs en adéquation avec les problèmes en biologie (grand nombre de CPUs / volume important de RAM) Stockage Cloud Formations régulières Hébergé à l'idris Accès :

18 Le projet e-biothon Un projet CNRS, IBM, IFB et INRIA pour la phylogénie, l'épidémiologie et la génomique L'infrastructure : 2 baies Blue Gene/P IBM avec 200 To de stockage 2x1024 nœuds de 4 cœurs Jusqu'à 28 TFlops crête SysFera-DS pour l'accès web aux ressources 2 modes de calcul : Standard (MPI) HTC (1024 jobs indépendants en parallèle)

19 e-biothon : résultats Étude et caractérisation de la biodiversité en Guyane française espèces d'arbre (contre 300 en Europe) Plus de biodiversité sur 1ha de forêt en Guyane que sur l'europe Valeur ajoutée de e-biothon dans ce projet : Une puissance de calcul supérieure à celle disponible dans le mésocentre de Bordeaux Millions de lecture Calcul de distance exact sans heuristique (score d'alignement) Plusieurs To de données produites chaque semaine Sources : Alain Franc

20 Clouds de production Clouds commerciaux Clouds communautaires pour les sciences de la vie Clouds académiques

21 Cloud Privé CNRS Cloud disponible depuis octobre configurations disponibles : 1 vcpu HDD 50 Go RAM 2 Go / 4 Go / 8 Go 2 vcpu HDD 50 Go RAM 4 Go / 8 Go / 16 Go 4 vcpu HDD 50 Go RAM 8 Go / 16 Go / 24 Go Offre payante Catalogue d'images validées et compatibles Option de sauvegarde Basé sur les technologies VMWare Hébergé dans deux datacentres opérés par BULL Garantie de ressources CPU / RAM < 100 % Exemple : cluster 64 cœurs / 128 Go RAM ~ 40 / jour Contact :

22 HelixNebula Initiative portée par des organismes publiques et privés paneuropéens Cloud multi-disciplinaire durable pour la recherche scientifique Services accessible aux partenaires privés et académiques Projet ouvert à de nouveaux fournisseurs de ressources (conditions réglementaires et qualité de service) Utilisation basée sur le broker HNX (SlipStream) Cas d'utilisation EMBL : Développement d'un portail pour l'analyse des grands génomes Permettre aux scientifiques de réaliser des analyses de génome à grande échelle sans investir dans des infrastructures Fournir des pipelines pour l'analyse génomique Développement la recherche d'outils génomiques utilisant les Clouds

23 HelixNebula HelixNebula Strategic Plan Establish multitenant, multiprovider cloud infrastructure To support the computing capacity needs for the ATLAS experiment Additional Users: Setting up a new service to simplify analysis of large genomes, for a deeper insight into evolution and biodiversity To create an Earth Observation platform, focusing on earthquake and volcano research To improve the speed and quality of research for finding surrogate biomarkers based on brain images Identify and adopt policies for trust, security and privacy Suppliers Create governance structure Define funding schemes Adopters Bob Jones

24 Le Cloud fédéré EGI Fédération de Clouds privés académiques Disponible en tant que Cloud IaaS pour les scientifiques en Europe et au-delà Basé sur l'utilisation de standards ouverts : OCCI, CDMI, OVF, GLUE,... Implémentation hétérogène : pas de contraintes pour la technologie Cloud du site dès lors qu'il expose les standards choisis Surveillance centralisée des infrastructures Equipe de sécurité internationale Catalogue important de VMs

25 Le Cloud fédéré EGI Avril 2015 Ressources Le Cloud fédéré EGI 13 NGIs fournissant 22 ressources certifiées 4 NGIs en cours d'intégration 5 NGIs intéressées Utilisation Mai/Déc VMs certifé 10,6M d'heures CPU

26 Accès au Cloud fédéré EGI Accès pour l'utilisateur : Rejoindre l'un des groupes existants (VO) Rechercher une VO sur le portail des opérations Allocation de ressources par les RPs Ressources dédiées à un projet scientifique Soumission des demandes sur Rejoindre le Cloud comme RP : Installer les briques logicielles nécessaires à l'intégration au Cloud fédéré Contacter l'équipe Opérations de EGI operation@egi.eu Allocation de ressources e-grant

27 Le Cloud fédéré France Grilles FG-Cloud Objectifs Mettre en place un service de Cloud fédéré IaaS multi-disciplinaire pour la recherche scientifique Définir la stratégie et construire l'infrastructure nationale Rédiger les conditions d'utilisation, la documentation Définir les services aux utilisateurs Obstacles Co-existence avec des initiatives existantes (approche bottom-up) La stratégie France Grilles doit être compatible avec celle des parties tierces (sites, tutelles et partenaires) Fonctionnement avec les différents logiciels de déploiement de Cloud Les ressources doivent être accessibles simplement Démontrer les bénéfices d'un Cloud fédéré

28 Les sites partenaires du projet FG-Cloud Sites en production Sites en pré-production Plus d'information

29 FG-Cloud : projets en cours & perspectives Projets en cours Cloud Challenge (utilisation de l'intégralité des ressources par un projet scientifique) Vérification que le service fonctionne en mode de production (redondance des services, surveillance, catalogue de services, ) Extension des ressources disponibles et de la communauté d'utilisateurs Perspectives Valider VM-DIRAC avec StratusLab Faciliter le déploiement des images du Marketplace Finaliser le Cloud Challenge Déployer la solution de surveillance et mettre en place les procédures de fiabilité et de disponibilité Proposer l'expertise acquise en déploiement de Clouds à d'autres groupes

30 Questions?