Cloud Computing et Calcul Haute Performance (HPC High Performance Computing) LIG/UJF/INPG/CNRS/UPMF/INRIA 21 octobre, 2011, Formation-CNRS/ANGD
Sommaire Généralité, Historique et Classification Modèle en couche et services Type de déploiement Exemple de solutions orientées infrastructure Le HPC traditionnel Les performances Comparaison avec d autres approches Standardisation Le contrôle / sécurité / confidentialité Les images/environnements
Cloud Computing Ou l Informatique en Nuage ou Infonuagique 1 1 http://fr.wikipedia.org/wiki/cloud_computing
Apparition du Cloud Computing Dans les années 1960, John McCarthy : computation may someday be organized as a public utility. Métaphore des réseaux électriques (1966 Douglas Parkhill s) Grid Computing Computing On demand (essai de Sun entre autre) Le retour en force de la virtualisation (pour la consolidation de serveur) Amazon : suite à l éclatement de la bulle Internet exploitation de machine inutilisé avec Amazon EC2
Caractéristiques Agilité/Flexible: simplicité d accès, de mise en oeuvre pour le client Coût: seulement à l usage Pas de durée d usage Elasticity / Scalable dynamic ( on-demand ) provisioning (déploiement) Vision infinie du nombre de ressources (en pratique?) Performant (pour les infrastructures web) Maintenance simplifier des applications (pas d installation complexe) Maintenance nulle de l infrastructure
Couches
Les couches du CLoud Computing Client: laptop, telephone, navigateur... Application: Software as a Service (SaaS) bureautique, web-mail(gmail), flickr... Plateforme (logicielle): Platform as a Service (PaaS), pile logicielles. Google App Engine, Azure Services Platform, MapReduce, DB.. Infrastructure: infrastructure as a service (IaaS) : instrastructure de calcul computing, de serveur (généralement virtuel)
Tout est service: XAAS Un mantra marketing?
Types de cloud (de déploiement) Public cloud Private cloud Community cloud Hybrid cloud (Sky Computing) InterCloud: cloud of clouds???
Exemples (IASS,DASS,CAAS) Amazon Eucalyptus OpenNebula OpenStack Nimbus
Amazon page 108-125 - http://www.slideshare.net/dspip/ cloud-computing-introduction-2978287/download DSP-IP: Société de consulting
Eucalyptus Compatibilité AWS: EC2, EBS, S3 Techno de virtualisation: Xen, KVM, et VMware
OpenNebula OpenNebula 2 projet originaire d UCMadrid (Académique, Projet Européen puis startup C12G) Private et Hybride Cloud 2 http://opennebula.org
OpenNebula Ecosystéme riche et intéressant : Partenariat, Plugins, Extension, utilisation en recherche sur les CLouds...
OpenStack OpenStack is an IaaS cloud computing project by Rackspace Cloud and NASA. Currently more than 120 companies have joined the project among which are Citrix Systems, Dell, AMD, Intel, Canonical, SUSE Linux, HP, and Cisco.[1] [2] It is free open source software released under the terms of the Apache License. 3 3 http://en.wikipedia.org/wiki/openstack
OpenStack
Nimbus http://www.nimbusproject.org/
Grid versus Cloud www.dsp-ip.com
Cloud et HPC Performances Maitrise des workloads (tâches) Gestionnaire de tâches et de ressources Intégration du Cloud et autres approches dans l infrastructure de calcul Maitrise des environnements Contrôle, Sécurité et confidentialité Le Cloud pour absorber les pics? Pour remplacer le HPC classique?
Performance: virtualisation Pour les applications séquentiel: CPU bound OK Pour les applications séq. avec I/O disque: peu de perte Pour les applications parallèles résultats pas très bons Virtualisation de matériels spécifiques: Ce n est pas encore ca GPGPU Cartes réseaux type Infiniband La virtualisation des couches réseaux peut être couteuses Pb Pour les très gros sites avoir beaucoup de VM à plat avec une IP par VM (boum les caches ARP) Le problème du bruit système (OS Noise) est amplifié (à grande échelle)
Performances: en parallèle Sur Amazon EC2 et benchmark parallèle NAS-NPB 4, 32 noeuds. 4 Edward Olivier Walker: Richard (MdC- Benchmarking université de Grenoble) Amazon Cloud EC2Computing for high-performances et Calcul Haute Performance cientific (HPC High Performance C
Maitrise des workloads en HPC Les gestionnaires de tâches et de ressources: Batch Scheduler Slurm, LSF, PBSpro, OGE(sge), OAR Domaine bien connu, assez bien maîtrisé et classiquement utilisé sur les grappes (cluster) de calcul.
Batch scheduler
Batch scheduler Politiques d ordonnancements Backfilling FairSharing Timesharing Advance Reservation GangScheduling Prise en compte de contrainte de topologie (réseau, CPU) Pas très satisfaisant avec des applications qui comporte beaucoup I/O FileSystem (besoin d une meilleure intégration avec l ordonnancement des tâches vers un ordo tâches/transferts)
Dans le Cloud Computing Vous payez à l utilisation! Consolidation / Equilibrage de charge Pas de garantie en débit de calcul 5 Délicat pour des applis parallèles qui doivent être relativement synchrone (si pls VM sur le même noeud) Amazon EC2 plante(ait) au bout de 20 VM Amazon demo avec 30000 coeur (en 10/11) 5 jusqu à très récemment
Batch scheduler et Cloud Computing Un marriage possible
Moab / Adaptive Computing Une variation 6 http://www.adaptivecomputing.com
Entropy
StratusLab (Cloud et Grid Computing) StratusLab 6 Infrastructure as a Service cloud by European Grid Infrastructure (EGI) communitie. Basé sur OpenNebula 7 http://stratuslab.eu/index.php
Grid 5000 Une plate-forme pour l expérimentation 7 : une plate-forme de HaaS 8? 8 http://www.grid5000.fr 9 Hardware as a Service
Grid 5000 Une gestionnaire de tâches et de ressources (batch scheduler) par site (OAR). Une outil de déploiement d image 9 bas-niveau accessible au utilisateur (Kadeploy). Un outil de confinement réseau (Kvlan). Une API de type REST. Stokage NFS par site LDAP et SSH Pare-Feux en entrée et en sortie du HaaS qui permet à l utilisateur (expérimentateur) de tester n importe quelle couche logiciel (même un solution de Cloud Computing IaaS (OpenNebula, Nimbus) 10 provisioning
ComputeMode Des solutions légères: le calcul sur Intranet Wake-On-Lan - Déploiement via ipxe (OS-environement en RAM) + gestionnaire de tâche et ressource (OAR)
Standard OVF Open Virtualization Format: format standard pour les images virtuelles (virtual appliances) De fait: Amazon EC2 et S3 OCCI (p72-p78 DSP-IP)
DeltaCloud Deltacloud is an API developed by Red Hat that abstracts differences between clouds. It was announced on September 3, 2009. Each Infrastructure-as-a-Service clouds existing today provides its own API. The purpose of Deltacloud is to provide one unified REST-based API that can be used to manage services on any cloud. Each particular cloud is controlled through an adaptor called driver. As of October 2010, drivers exist for the following cloud platforms: Amazon EC2, GoGrid, OpenNebula, Rackspace(OpenStack), RHEV-M, and RimuHosting, with two more coming soon: Terremark and VMWare vcloud. 10 11 http://en.wikipedia.org/wiki/deltacloud
Contrôle, sécurité et confidentialité
Contrôle, sécurité et confidentialité
Les environnements Question importante (sous-estimée) Analogie avec les voitures anciennes / moderne Maîtrise de complexité? A la main Outils spécialisés et hétérogénes
Conclusion Le Cloud Computing a supplanté le Grid Compting? Recouvre énormément de contextes différents Le Cloud pour le HPC, contexte un peu particulier Attention aux performances pour certains types d application Niveau de complexité??? pour le client/l admin??? Question des images (construction, maintenance...) Est-ce vraiment une révolution du point de vue du HPC? * c est de l équilibrage de charge + des VM? * et les services alors? (trop de marketing?) HPC classique et Cloud Computing se rejoigne, se teintent mutuellement, se mixent?