La gestion des ressources pour des infrastructures vertes par la reconfiguration. Patricia STOLF

Transcription

1 La gestion des ressources pour des infrastructures vertes par la reconfiguration Patricia STOLF

2 Cursus : 2001 : Diplôme ingénieur informatique INSA 2004 : Doctorat INSA, LAAS-CNRS «Gestion de ressources pour des services déportés sur des grappes d ordinateurs avec qualité de service garantie» 2005 : Poste MCF à l Université Toulouse Jean- Jaurès : ESPE (IUFM), IUT Blagnac Introduction -> Cursus 2

3 Enseignements dans différents établissements de 2001 à aujourd hui : INSA : 1 ère année à la 4 ème année, formation continue ESPE : formation initiale et continue IUT Blagnac : DUT 1 ère et 2 ème année, Licence Professionnelle APSIO Différentes disciplines : système, programmation système, algorithmique et programmation Responsabilités administratives et collectives Responsable de formation LP en alternance et pilotage équipe pédagogique certifications (C2i2mi, C2i2e) Innovation pédagogique : ENT, ressources formations à distance Membre de comités : de sélection, CSQ (Collège Scientifique Qualifié) Président jury de bac Introduction -> quelques éléments de CV 3

4 Mots clés activité de recherche : environnements HPC ou Cloud, autonomic computing, efficacité énergétique Greenpeace Grappe Grille Cloud Env. Exascale Milieu Green500 GreenGrid PUE=E DC /E IT ères thèses «informatique verte» 2012 >2020??? Rapport Koomey Introduction -> Contexte de recherche 4

5 Quelques chiffres d (in)efficacité énergétique 2010 : GreenGrid: sur 188 centres de calcul enquêtés, en moyenne 10% des serveurs jamais utilisés Rapport Koomey: L énergie est consommée majoritairement par le calcul et le refroidissement En 2005, la consommation des centres de calcul représentait 1% de la consommation électrique mondiale Entre 2005 et 2010, l électricité utilisée par les serveurs Google a doublé Métrique PUE (Power Usage Effectiveness) : en moyenne 1,7 en 2014 (étude de l UptimeInstitute) l électricité devient un facteur limitant pour déployer des infrastructures de centres de calcul Introduction -> Contexte de recherche 5

6 Aperçu des approches de la littérature contributions Introduction -> Contexte de recherche 6

7 Comment gérer de manière optimale les ressources afin d obtenir des infrastructures matérielles et logicielles vertes c est-à-dire efficaces en énergie? Centre de décision autonome pour des infrastructures vertes 7

8 Efficacité énergétique des plateformes : Deux approches : Analyse et leviers verts sur le systèmecomplet sans connaissance des applications Construction d une infrastructure hétérogène Middleware vert : placement «energy-aware» et «thermal-aware» Les reconfigurations dans les systèmes autonomiques : Deux formalismes génériques : Modèles UML Graphes Conclusion : centre de décision autonome et projet de recherche 8

9 1 er axe de recherche : efficacité énergétique au niveau système et infrastructure 2 ème axe de recherche : décisions vertes au niveau middleware 3 ème axe de recherche : reconfigurations et informatique autonomique 9

10 Méthodologie pro-activeappliquée au système complet sans connaissance des applications. Motivation : réduire la consommation de l infrastructure en s adaptant dynamiquement à son comportement. Thèse de Landry Tsafack Efficacité énergétique -> Approche système 10

11 Aucune connaissance application leviers verts sur différents composants 1 ère étape : détection de phases = période où métriques sont Stables Compteurs de performance Stats syst(réseau, disque) [GreenCom2013] 11

12 Aucune connaissance application leviers verts sur différents composants 1 ère étape : détection de phases = période où métriques sont Stables 2ème étape : caractérisation de phases 3ème étape : Identification de phase et leviers verts [GreenCom2013] Système complet Classes de label Mémory intensive Compute intensive. [CCPE2014] DVFS Allumage/extinction ALR (réseau). [FGCS2014] reconfigurations MREEF Benchmarks sur Grid % de gains d énergie / on demand 7% dégradation performance 12

13 Diminution de la consommation dynamique de chaque composant système Vers la proportionnalité : Réduction du coût statique Plateforme hétérogène 13

14 Barroso, 2007 : La charge moyenne des serveurs est entre 10 et 50% La puissance idle peut représenter jusqu à 50% de la puissance maximale Une architecture proportionnelle n existe pas. Thèse en cours de Violaine Villebonnet Efficacité énergétique -> Proportionnalité 14

15 Puissance % de P max P max 100% Courbe souhaitée pour l infrastructure Courbe actuelle P min 50% 0 100% Idéesde départ: Inspiration de l implémentation ARM big.little(dispositifs mobiles) Utiliserdes architectures hétérogènesen performance et en consommation Thèse en cours de Violaine Villebonnet charge Efficacité énergétique -> Proportionnalité 15

16 Généralisation pour centres de calcul Big Medium Little Puissance Watts Puissance Watts 220 Puissance Watts idle 90 MaxPerfBigidle MaxPerfMedium 25 5 idle MaxPerfLittle Profils (énergie, performance) Surcoûts (on/off, migration) Caractéristiques applis Prédiction de charge [Parallel Processing Letters 2015] Choix d architectures cibles BML (Big, Medium, Little) Reconfigurations (on/off ; migrations) Efficacité énergétique -> Proportionnalité 16

17 Courbe d 1BIG Courbe de proportionnalité du BML idéal P max d un BIG P min d un LITTLE Efficacité énergétique -> Proportionnalité 17

18 Approche innovante pour constituer un centre de calcul Applicable à un centre de calcul de petite taille Utilisable pour les fédérations de cloud Nécessite un module de prédiction Généralisable à plus d architectures que BML Application à d autres domaines que serveurs web mais caractéristiques à prendre en compte : reconfigurables? malléables? migrables? Pourrait être utilisé pour dimensionner les infrastructures Efficacité énergétique -> Proportionnalité 18

19 1 er axe de recherche : efficacité énergétique au niveau système et infrastructure 2 ème axe de recherche : décisions vertes au niveau middleware 3 ème axe de recherche : reconfigurations et informatique autonomique 19

20 Deux sources de consommation des infrastructures : Alimentation des serveurs Refroidissement : charge processeurs énergie consommée par calcul chaleur produite énergie consommée par le système de refroidissement Ref: Thèse E. Feller, 2011 Gestion efficace des ressources nécessaire Placement efficace pour maîtriser énergie consommée par le calcul (consolidation) Placement efficace pour contrôler la génération de chaleur Middleware vert 20

21 Placement dynamique visant à diminuer la consommation d énergie totale : Allocation, réallocation Besoins en CPU, mémoire mais aucune connaissance du type d application Aucune connaissance du futur Problème NP-complet, compromis QoS/énergie/chaleur, surcouts à prendre en compte Proposition d heuristiques gloutonnes : Consolidation Prise en compte de la chaleur Middleware vert 21

22 Optimisation multi-critères Performance : makespan Consommation d énergie dynamique Production de chaleur o Approches de la littérature: Combinaison linéaire pondérée Optimisation contrainte Priorité Frontière de Pareto o Fonction de coût composite Middleware vert -> Chaleur 22

23 Critère chaleur : Modèles basés sur la dynamique des fluides (simulations CFD) => trop long pour placement enligne Modèle résistance-capacitance (lumpedrc model) et loi de Newton du refroidissement : approximation du comportement thermique (Skadron2002, Sheikh 2012) modèle temporel de la température d un nœud avec Middleware vert -> Chaleur 23

24 Nécessité de prise en compte des interférences entre nœuds voisins modèle spatial de température (Moore, 2005) Modélisation avec matrice D (Tang, 2008) : Combinaison des deux modèles (temporel et spatial) aboutit à un modèle analytique permettant de proposer des algorithmes de placement. Middleware vert -> Chaleur 24

25 Trois niveaux de prise en compte de la production de chaleur Centre de calcul Noeud Noeud Noeud Rack Rack Recherche -> Middleware vert 25

26 Au niveau d un nœud : optimisation performance / t placement avec contrainte de température min makespanavec T i (t) T thresh avec utilisation du modèle spatio-temporel. Heuristique en deux phases : Équilibrage de charge thermique pour choix du nœud Régulation de la température avec DVFS J b J a M 0 T i (t+1) < T thresh Q i J k J j M i T thresh choix du noeud J z M n P i (t+1)du nœud pour ne pas dépasser T thresh Vitesse S ij Post-doc de Hongyang Sun Collaboration avec LIP [Soumis à IPDPS] Middleware vert -> Chaleur 26

27 Au niveau d un ensemble de nœuds : optimisation conjointe Fonctions de coûts mono-objectifs : «Fastest» : minimisation de la date de terminaison de la tâche «Greenest»: J i estallouéà la machine M j qui génèrela consommation d énergiedynamiqueminimum «Coolest» : : J i estallouéà la machine M j qui minimise la température maximale de la sortie d air(en tenant compte de la circulation de chaleur) Middleware vert -> Chaleur 27

28 o Fonction de coût composite multi-critères proposée( fuzzy factor) X, Y deuxobjectifs Avec plus de deux objectifs ou Post-doc de Hongyang Sun [CCGRID2014] Middleware vert -> Chaleur 28

29 Au niveau du centre de calcul : optimisation bi-critères : Coût du refroidissement au niveau du centre de calcul et non plus au niveau d un serveur Coût énergie = coût énergétique du calcul + coût énergétique du refroidissement avec où le COP est le Coefficient de Performance Résolution avec approche «fuzzy factor» avec deux objectifs Post-doc de Hongyang Sun [SUSCOM2014] Middleware vert -> Chaleur 29

30 Validation: placement avec contrainte d énergie et de chaleur : Expérimentations réelles (OpenNebula) Simulation (DCWoRMS, simulateur maison) Différentes charges de travail, différents benchmarks d applications HPC Comparaison avec algorithmes de la littérature : best fit, coolest, greenest Middleware vert 30

31 Post-doc de Hongyang Sun [CCGRID2014] Middleware vert 31

32 Centre de calcul Noeud Noeud Gestion température nœud : -gestion dynamique DVFS et placement -modèle spatio-temporel Rack Noeud Rack Gestion température d un ensemble de nœuds : -placement multi-critères -modèle de température Gestion globale du coût de Refroidissement (centre de calcul : -placement bi-critères -intégration dans métrique énergie 32 Middleware vert

33 1 er axe de recherche : efficacité énergétique au niveau système et infrastructure 2 ème axe de recherche : décisions vertes au niveau middleware 3 ème axe de recherche : reconfigurations et informatique autonomique 33

34 Approche réactive basée sur l informatique autonomique Systèmes dynamiques et à large-échelle Evénements-> reconfigurations vertes 4 paradigmes à implémenter pour l autogestion(kephart, 2003) : Self-configuration (auto-configuration) Self-optimisation (auto-optimisation) Self-protection (auto-protection) Self-healing(auto-réparation) Propriétés self-* Autonomic computing 34

35 ANALYZE MONITOR Knowledge PLAN EXECUTE Logiciels patrimoniaux (boîtes noires) Formalisation de politiques d auto-gestion: Formalisation UML Graphes et réécriture de graphes. Autonomic computing 35

36 Formalisation UML Politique de gestion décrite par diagramme d activité UML OMNI NewLa MA : Master Agent LA : Local Agent SeD: Server Daemon OMNI : OmniNames Recherche -> Autonomic computing Autonomic computing36

37 Formalisation UML Politique de gestion décrite par diagramme d activité UML OMNI 37 Recherche -> Autonomic computing Autonomic computing

38 Avantages Simples à utiliser Algorithmes Applications à différents scénarios de mise en œuvre de propriétés self-* Limitations dans le cas self-protecting Mémorisation des actions nécessaires Annulations Approche basée sur les graphes Correction par construction Thèse de Rémi Sharrock [IJARAS 2011] Autonomic computing 38

39 Formalisation basée sur les graphes Configuration représentée par MA un graphe attribué LA Attributs = propriétés pertinentes OMNI SED, (nature, délai de transmission, services services fournis ) Reconfigurations s expriment avec règles de réécriture (L,R) L (Gauche) R (Droite) MA/LA Temp MA/LA SED, services G G MA MA LA LA LA LA SED, services Temp SED, services SED, services Thèse de Cédric Eichler Autonomic computing 39

40 Style architectural représenté par grammaire de graphes (grammaire générative) Motif minimal de l application Nœuds Ensemble de règles de réécriture (= règles de production) Graphe = instance de la grammaire = motif minimal + suite de règles de productions = état acceptable Autonomic computing 40

41 Grammaire de graphes = correcte par définition Self-protecting: vérification lors de la conception Preuve par théorème et correction par construction Expression d opérations sur les règles de réécriture conservant la correction Extension de la grammaire Attributs interdépendants et dynamiques A, 1 C, 2 D, 32 G, 43 H, 54 Problème: Modification d attributs limitée au sein des règles, risque d effet domino Contraintes au sein des configurations Expression d actions sur le système réel [SOSYM 2014] Autonomic computing 41

42 Deux formalisations de transformations : Génériques Gestion différente de la cohérence : Vérification de la cohérence à la fin de la reconfiguration Vérification à la conception Deux niveaux : UML : expression d une reconfiguration Graphe expression d une transformation Formalisme hybride UML-graphe : Reconfiguration correcte Règle réécriture État correct Règle réécriture État correct 42

43 La propriété la plus importante pour centre de décision vert : self-optimizing Seule la reconfiguration est exprimée Le style architectural est utilisable pour l infrastructure physique Validation sur applications réelles, implémentation dans TUNe 1, Frameself 2, GMTE 3, AGG 4 1 [IJARAS 2011] 2 [Journal of GridComputing2015] 3, 4 [SOSYM 2014] 43

44 Thèse placement d applications sur cluster ou grille-> HDR gestion de ressources avec objectif «vert» : 10 ans de carrière L évolution thématique a suivi l évolution du contexte technologique Exascale 2020 Centre de décision autonome et vert Domaine de recherche de l optimisation Domaine de recherche de l autonomic computing 44

45 Centre de décision autonome et vert : Intégration des décisions vertes dans les outils autonomiques Indépendant du type d infrastructure (cloud, HPC) Gestion optimisée et dynamique de l infrastructure, des ressources et des applications 45

46 ... 46

47 Perspectives Centre de décision : Décision distribuée Coordination de gestionnaires autonomiques : Gestion des événements concurrents Prise en compte d événements électriques et reconfiguration de l infrastructure électrique Intégration de sources d énergie renouvelables (projet ANR Datazero: démarrage oct 2015) 47

48 Transfert à la maison* / ville intelligente Maison / ville alimentée par plusieurs sources Réseau distribué de producteurs, consommateurs Mise en application de reconfigurations pour piloter les différents équipements connectés Optimisation de l infrastructure de service Distribution des ressources : Utilisateurs/producteurs «radiateur-calculateur» *Maison intelligente IUT Blagnac 48

49 HEMERA Projets et contextes applicatifs R. Sharrock Européen ANR Doctorants Financement région Resp. de tâche Resp. scientifique IRIT Co-respde challenge scientifique Avec T. Monteil G. Landry Financement Avec L. Lefèvre, JM. Tsafack 2013 Hemera Piersonet et G. Da Costa C. Eichler Financement ANR V. Villebonnet Financement Hemera AvecT. Monteil et K. Drira Avec L. Lefèvre, JM. Piersonet G. Da Costa I. Khlif Co-tutelle AvecK. Drira, A. Hadj Kacem et M. Hadj Kacem D. Borgetto Post-doctorants Financement ANR Publications Chapitres de livres 3 Journaux 10 Conférences 17 Collaborations LIP (Lyon) LAAS-CNRS (Toulouse) PSNC (Pologne) Université de Sfax (Tunisie) Industriels : Christmann, Atos Origin, QoS Design, Sysfera, Degetel H. Sun Financement européen Avec JM. Piersonet G. Da Costa 49