«Mesure de l impact de l architecture CPU sur la consommation énergétique des serveurs» WANG Yewan Thésarde d Orange Labs/OLN/SRG/REE 1
Sommaire I. Introduction & Objectifs II. État de l art III. Banc test de Mesure (Hardware, software) IV. Conceptions des tests V. Résultats et Analyses des tests VI. Bilan & Conclusions 2
I. Introduction --Pourquoi ce sujet? La consommation d énergie pour le data center et le réseau télécom Internet Worldwide: Le 12 ième plus grand consommateur; Les actions de Google, Facebook Engagement Orange COP21 De 216 à 22: - 2% CO2-15% consommation énergie Projet: «Green IT» 3
I. Introduction --Objectifs du test Sujet de test: Comparer l efficacité de l architecture des processeurs sur différents serveurs en mesurant la consommation énergétique rapporté au service rendu. Processeurs à évaluer: Aspects à évaluer: Xeon D- 154 CPU Xeon E5 CPU Mémoire Performance de calcul d entier Test d allocation et d accès Bande passante Opteron A1 SoC X-Gene 1 Disque dur Ethernet Débit du SSD Débit Ethernet 4
Sommaire I. Introduction & Objectifs du stage II. État de l art III. Banc test de Mesure (Hardware, software) IV. Conceptions des tests V. Résultats et Analyses des tests VI. Bilan & Conclusions 2
II. État de l art --ARMv8_64 ARM Holdings propose une licence ISA (Instruction Set Architecture) ARMv8 serveur software écosystème: En OS (Operating System) Le Linaro Enterprise Group (LEG); Canonical : Ubuntu 14,4 LTS en Avril 214; RedHat : Fedora en 213. En Application: Projets Open Source Applications commerciaux. 5
17cm 19 cm 3,5 cm 17cm 24,4 cm II. État de l art -- Périphériques des Serveurs 24,4 cm 24 cm 24,4 cm Serveur SuperMicro X1SDV-TLN4F Gigabyte MP3-AR Gigabyte MW5-SV Softiron Overdrive 3 CPU Intel Xeon-D 154 AppliedMicro XGene1 Intel Xeon E5-269v3 AMD Opteron A11 Mémoire Kingston 64 Go (4 x 16 Go) DDR3 16 MHz CL11 Kingston 64 Go (4 x 16 Go) DDR3 16 MHz CL9 Kingston 64 Go (4x16 Go) DDR4 16 Go DDR3 DRAM Storage Kingston SSD KC3 Series 48 Go Kingston SSD KC3 Series 48 Go Kingston SSD KC3 Series 48 Go 1T HDD ; Kingston SSD KC3 Series 48 Go Corsair HX1i 8PLUS Platinum interne France Télécom - Orange Corsair HX1i 8PLUS Platinum Corsair HX1i 8PLUS Platinum Alimentation 6
II. État de l art -- Caractéristiques des Différents processeurs Type du processeur Intel Xeon D- 154/1541 AppliedMicr o X Gene -1 Intel Xeon E5-269 v3 AMD A11 Opteron Architecture x86_64 ARMv8_64 x86_64 ARMv8_64 Fréquence de base 2 GHz 2.4 GHz 1.9 GHz 2. GHz Date de sortie Q1 215 Q1 213 Q3 214 Q1 216 Puissance (TDP) 45w 45w 85w 32W Nombre de Cores 8 1 6 8 Nombre de Thread 16 8 6 8 Cache:L1d/L1i/L2/L3 32K/32K/256K/12M 32K/32/256K /8M 32K/32K/256K/15M GUI * Unity 7.2.6 Unity 7.2.6 OS Linux Ubuntu 14.4 LTS Open Linux Linux Ubuntu 14.4 LTS 32K/32K/4M/8M Linux (CLI) OpenSuse *TDP:Thermal Design Power (TDP) représente la puissance moyenne, en watts *GUI: Graphical User Interface *L1d/L1i/L2/L3: CPU Cache, 3 niveaux, petite mémoire utilisé par CPU avec haute vitesse pour réduire le temps d accès au mémoire. *OS: Operating System *CMI: Command Line Interface 8
Serveur II. État de l art -- Budget des Serveurs SuperMicro X1SDV- TLN4F Gigabyte MP3- AR Processeur Intel Xeon-D 154 AppliedMicro X- Gene1 Gigabyte MW5-SV Intel Xeon E5-269v3 389 Softiron Overdrive 3 AMD Aperon11 2237 Mémoire Kingston 16 Go DDR4 2133 MHz CL15 (117.5 ) Kingston 16 Go DDR3 16 MHz CL9 (92 ) Kingston 16 Go DDR4 2133 MHz CL15 (117.5 ) 16 GB DDR3 DRAM Stockage Kingston SSD KC3 Series 48 Go 147.95 Kingston SSD KC3 Series 48 Go 147.95 Kingston SSD KC3 Series 48 Go 147.95 Kingston SSD KC3 Series 48 Go 147.95 HHD 1 Go Alimentation Corsair HX1i 8PLUS Platinum 249.95 Corsair HX1i 8PLUS Platinum 249.95 Corsair HX1i 8PLUS Platinum 249.95 Carte mère 1142.27 874.96 339.95 Carte graphique 62 Prix boîtier 128 128 128 Prix total plate-forme 1785.7 1492.9 1434.4 2384.95 7
Sommaire I. Introduction & Objectifs du stage II. Bibliographie III. Banc test de Mesure (Hardware, software) IV. Conceptions des tests V. Résultats et Analyses des tests VI. Bilan & Conclusions 2
III. Banc Test de Mesure --Appareil de mesure Source: http://www.tme.eu/en/details/flk-i5s/meters-and-ac-clamp-probes/fluke/fluke-i5s/ http://en-us.fluke.com/products/all-accessories/fluke-i5s.html#features http://en-us.fluke.com/products/power-quality-analyzers/fluke-434-series-ii-power-quality.html#features 9
III. Banc Test de Mesure -- Puissance de serveur en état «idle» *Energie de bench = Energie total Energie d idle 6 Servers average power in idle state Average power(w) 5 4 3 2 Processus arrières 1 Average power (W) Intel Xeon D 154 33.4 AppliedMicro X Gene 1 41.2 Intel Xeon E5 269 v3 48.2 AMD ApteronA1 48 11
Sommaire I. Introduction & Objectifs du stage II. Bibliographie III. Banc test de Mesure (Hardware, software) IV. Conceptions des tests V. Résultats et Analyses des tests VI. Bilan & Conclusions 2
IV. Conception des tests -- Benchmark Processeur Compression bzip2 Description du test: But: Ce test est capable de mesurer et de comparer la performance de calcul d entier intensif du processeur. Langage: Shell Script Méthodologie: Lancer certain thread selon la configuration du système, chaque thread va faire compresser au processeur. Processor Intel Xeon D- 154 AppliedMicro X-Gene 1 Intel Xeon E5-269 v3 AMD ApteronA1 Total thread count 16 (2 8 cores) 8 (1 8 cores) 6 (1 6 cores) 8 (1 8 cores) Type de test: 5% threads, chaque thread boucle 1 fois. 1% threads, chaque thread boucle 1 fois. 12
IV. Conception des tests -- Benchmark Processeur Compression bzip2 Modèle du programme 13
V. Résultats et Analyses du Test --Compression Bzip2 Compression BenchEnergy Energy consumption, 5% Threads, 1 Loops Compression Benchmark Duration, 5% Threads, 1 Loops Total Energy Consumption (J) 14 12 1 8 6 4 2 367 281 Intel Xeon D-1541 (x86) 3623.3 9156.7 AppliedMicro Gene1(ARMv8) 2575.9 189.2 4624.8 575.8 Intel Xeon E5 269 v3 AMD ApteronA1 Duration(s) 25 2 15 1 5 84.1 222.3 96.3 Duration(s) 119.8 Idle energy(j) Benchmark energy(j) Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 AppliedMicro Gene1(ARMv8) AMD ApteronA1 Compression Benchmark CPU Utilization, 5% Threads, 1 Loops Compression Benchmark Peak & Low Power, 5% Threads, 1 Loops CPU Utilization(%) 6 4 2 49.5 4.8 42.25 3.11 CPU Utilization(%) Intel Xeon D-1541 (x86) AppliedMicro Gene1(ARMv8) Intel Xeon E5 269 v3 AMD ApteronA1 1 8 6 4 2 Peak Power(Watt) Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 Lowest Power(Watt) AppliedMicro Gene1(ARMv8) AMD ApteronA1 14
IV. Conception des tests --Débit du SSD Description du test: Objectif: Ce test vise à mesurer et les débits du SSD pour différent tailles de block Langage: Shell Script Outil: La commande «dd» Pour écrire: dd if=/dev/zero of=test bs=$block size count=$n oflag=direct Pour lire: dd if=test of=/dev/null bs=$block size count=$n iflag=direct Taille de date transféré total = block size N Disk I/O Write Speed Test, MB/s Disk I/O Read Speed Test MB/s 6 6 5 5 4 4 3 3 2 64k 128k 256k 512k 1M 64M 128M 256M 512M 1G 2G Block Size 2 64k 128k 256k 512k 1M 64M 128M 256M 512M 1G 2G Block Size Xeon D-154 Xeon E5-269v3 AperonA1 Xeon D-154 Xeon E5-269v3 AperonA1 15
V. Résultats et Analyses du benchmark --Débit du SSD test analyses Disk I/O Test, Energy consumption Disk I/O Test, Duration Total Energy consumption (J) 35 3 25 2 15 1 5 667.8 123 4839.1 25342.2 22736 17841 Xeon D-154 Xeon E5-269v3 AperonA1 Duration (s) 6 5 4 3 2 1 534.2 528 Duration(s) 473.7 Idle energy(j) Benchmark energy(j) Xeon D-154 Xeon E5-269v3 AperonA1 CPU Utilization % 3 25 2 15 1 5 Disk I/O Test, CPU Utilization 25.5 9.36 16.3 Power (w) 8 7 6 5 4 3 2 Disk I/O Test, Peak & Lowest Power 75.1 6 57.2 58.3 38.2 49.3 CPU utilization (%) Xeon D-154 Xeon E5-269v3 AperonA1 1 Peak power(w) Lowest power(w) Xeon D-154 Xeon E5-269v3 AperonA1 16
IV. Conception des tests -- Bande passante de mémoire --Stream Description du test: But: Mesurer la bande passante mémoire Langage: C & Shell Script (StreamC.sh, StreamF.sh) Outil: STREAM Configurations du test Intel Xeon D-1541 Intel Xeon E5 269 v3 AMD ApteronA1 32Go DDR4, deux barrettes mémoires Dual Channel 32Go DDR4, deux barrettes mémoires Dual Channel 16Go DDR3, deux barrettes mémoires Bande passante de mémoire, test StreamC, GB/s 25 22.48 22.5 2 15 19.71 19.73 14.91 14.93 16.76 16.8 1 1.6 1.54 1.65 1.49 5 Xeon D-145 Xeon E5-269v3 AperonA1 Copy (GB/s) Scale (GB/s) Add (GB/s) Triad (GB/s) 19
V. Résultats et Analyses du Test --Bande passante de mémoire Total Energy consumption (J) 3 25 2 15 1 5 Memory Bandwidth StreamC, Energy consumption 858 6612 13314.6 12147 5157.5 18782.5 Xeon D-145 Xeon E5-269v3 AperonA1 Duration (s) 45 4 35 3 25 2 15 1 5 Memory Bandwidth StreamC, Duration 391.3 253.6 197.97 Duration(s) Idle energy(j) Benchmark energy(j) Xeon D-145 Xeon E5-269v3 AperonA1 CPU Utilization % 12 1 8 6 4 2 Memory Test, CPU Utilization Intel Xeon D-154 vs Intel Xeon E5-269v3 94.58 96.92 97.5 CPU utilization (%) Power (w) 9 8 7 6 5 4 3 2 1 Memory Test, Peak & Lowest Power 85.7 84.2 69.8 64.38 66.2 58.5 Peak power(w) Lowest power(w) Xeon D-145 Xeon E5-269v3 AperonA1 Xeon D-145 Xeon E5-269v3 AperonA1 2
IV. Conception des tests --Débit Ethernet Description du test But: Mesurer le débit Ethernet entre deux machines se trouvant dans le même réseau Outil: Iperf3 Câble d Ethernet Box débit 1Mbit/s Câble d Ethernet 17cm 17cm Serveur à évaluer comme serveur # iperf3 -s PC, comme client # iperf3 c <address IP de la machine A> -p <port indiqué> -n 1G Intel Xeon D-1541 Intel Xeon E5 269 v3 AMD OpteronA1 Bandwidth(Mbit/s) 932 941.5 941 Spécification Gigabyte Ethernet Gigabyte Ethernet 1GBase-T Ethernet Débit théorique 1GbE 1GbE 1GbE Contrôleur d Ethernet Intel I35-AM2 (211) Intel I21 (215)? 21
IV. Conception des tests -- Débit Ethernet test résultat et analyses Network Bandwidth, Energy consumption Network Bandwidth, Duration Energy consumption(j) 1 8 6 4 2 1349.8 265.32 1412.4 657 6574.7 4617.6 Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 AMD ApteronA1 Duration(s) 16 14 12 1 8 6 4 2 138.25 136.88 136.97 Duration(s) Idle energy(j) Benchmark energy(j) Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 AMD ApteronA1 Network Bandwidth, CPU Utilization Network Bandwidth, Peak & Lowest Power CPU Utilization(%) 25 2 15 1 5 15.63 7.8 19.5 Power(Watt) 7 6 5 4 3 2 1 62.5 53.43 49.68 Peak Power(Watt) 58.6 46 41.38 Lowest Power(Watt) Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 AMD ApteronA1 Intel Xeon D-1541 (x86) Intel Xeon E5 269 v3 AMD ApteronA1 22
Sommaire I. Introduction & Objectifs du stage II. Bibliographie III. Banc test de Mesure (Hardware, software) IV. Conceptions des tests V. Résultats et Analyses des tests VI. Bilan & Conclusions 2
VI. Bilan Synthèse des résultats sur consommation énergétique en Wh 1 9 8 7 q Intel Xeon D l emporte 4 fois par 8 sur l efficacité énergétique & le meilleur service rendu q OperonA1 obtient des résultats moyens sur l efficacité énergétique & le service rendu Le meilleur service rendu 6 5 4 3 2 1 Bzip2 5% threads Bzip2 1% threads Pi calculateur 5% Pi calculateur 1% Disk I/O vitesse Memory allocation NetworkBandwi dth Xeon D-154 1.8 3.4 3 4.8 6.3.7 1.7 4.2 Xeon E-269v3 2 2.3 3.4 3.9 8.9 2.55 2.2 6 AperonA1 1.9 2.8 3.7 4.1 6.6 1 1.9 6.55 StreamC 23
VI. Bilan Synthèse sur le budget total (k ) durant 5 ans (prix d achat + électricité ) 3 Xeon D-154 Xeon E-269v3 AperonA1 Prix d électricité :,11 /kwh (Augmentation 5% par an) 2.5 2 1.5 1.5 Bzip2 5% threads Bzip2 1% threads Pi calculateur 5% Disk I/O vitesse NetworkBandwidth StreamC Xeon D-154 2.7 2.1 2.6 1.88 1.89 2.9 Xeon E-269v3 1.64 1.67 1.74 1.57 1.67 1.72 AperonA1 2.69 2.73 2.71 2.65 2.65 2.71 24
VI. Conclusions q SuperMicro X1sdv (Xeon D) présente ainsi le meilleur compromis entre investissement, consommation énergétique et service rendu. q Gigabyte MW5-SV (Xeon E) est le meilleur choix si l on considère le budget total de cinq ans. q Softiron Overdrive 3 (AMD Opteron A1) obtient des résultat moyens sur l efficacité énergétique est le service rendu. q L écosystème des processeurs d ARM est incomplet. q Il n y pas de l intérêt économique sur des processeurs ARM appliqués au serveur Les travaux seront poursuivis et approfondis au cours d une thèse de doctorat. 25
Merci à tous Source: http://www.polytech-grenoble.fr/accueil.html https://commons.wikimedia.org/wiki/file:flag_map_of_greater_france.png https://commons.wikimedia.org/wiki/file:flag_map_of_the_people%27s_republic_of_china.png