Centres informatiques Architecture des microprocesseurs GIF-3000 Professeur : Christian Gagné Semaine 15 : 11 décembre 2012 GIF-3000 (U. Laval) Centres informatiques C. Gagné 1 / 44
Partie I Présentation des centres informatiques GIF-3000 (U. Laval) Centres informatiques C. Gagné 2 / 44
Centres informatiques Sujet de la présentation : Warehouse-Scale Computers (WSC) Terme difficile de traduire précisément en français Terme proposé : «centres informatiques» À strictement parler, ce terme est plus général que WSC, car inclus centres de données (datacentres) et centres de collocation WSC sont les fondations des services sur Internet Moteurs de recherche, réseaux sociaux, services de courriels, cartographie en ligne, partages de vidéos, achats en ligne, etc. Avec grande popularité de ces services, centres informatiques doivent répondre à des demandes grandissantes Malgré les apparences, WSC sont différents des centres de données Un WSC se comporte comme un seul ordinateur géant Coûts de l ordre de 150 M$ Inclut bâtiment, refroidissement, alimentation électrique, serveurs et réseautique Comprend typiquement 50 000 à 100 000 serveurs Croissance rapide de l infonuagique (cloud computing) permet l accès à ces ordinateurs uniquement à l aide d une carte de crédit GIF-3000 (U. Laval) Centres informatiques C. Gagné 3 / 44
Caractéristiques communes à la conception de centres informatiques et de serveurs Rapport coût-performance Réduire les coûts d un centre informatique de 10 % peut permettre de sauver 15 M$ Efficacité énergétique Grande consommation énergétique implique une capacité à distribuer cette énergie Il faut aussi être en mesure de retirer chaleur correspondant à énergie consommée Gestion responsable des ressources environnementales Influence coût de l équipement électrique et mécanique (refroidissement), en plus du coût de l énergie GIF-3000 (U. Laval) Centres informatiques C. Gagné 4 / 44
Caractéristiques communes à la conception de centres informatiques et de serveurs (suite) Fiabilité et redondance Disponibilité globale escomptée de centres informatiques de 99,99 % (1 h/an en panne max.) Redondance est la clé, effectuée par le logiciel Utilise un grand nombre de serveurs coût-efficaces et une réseautique abordable Connectivité externe Services généralement offerts sur Internet, requièrent donc une bonne connectivité Permet aussi synchronisation entre plusieurs centres informatiques Charges de traitement interactives et par lots Traitements interactifs : recherches par mots clé, réseaux sociaux Traitements par lots : calculs de métadonnées, indexations des pages Web GIF-3000 (U. Laval) Centres informatiques C. Gagné 5 / 44
Caractéristiques spécifiques aux centres informatiques Amplement de parallélisme Parallélisme de données : grande quantité de jeux de données indépendants Parallélisme de requêtes : millions d utilisateurs simultanés de services Internet Coûts d opération sont significatifs Bâtiments et infrastructure électrique et de refroidissement sont amortis sur 10 ans Coûts de l énergie peuvent représenter plus de 30 % des coûts Difficultés et opportunités de l échelle des WSC Économies d échelle Rabais substantiels à prévoir pour une commande de 50 000 serveurs Nombre de pannes élevé Avec 50 000 serveurs et MTTF de 25 ans, il faut prévoir 5 pannes de serveurs par jour! GIF-3000 (U. Laval) Centres informatiques C. Gagné 6 / 44
Grappes de calcul Grappes de calcul Stations de travail de type PC Réseautique abordable Linux + librairies open source Proposé en 1994 par des ingénieurs de la NASA (Beowulf project) Composantes «grand public» commençaient alors à offrir rapport performance/prix intéressant pour calcul haute performance (CHP) Requiert des problèmes bien découplés, avec peu de communication WSC : évolution logique des grappes de calculs Passage de centaines de serveurs à des dizaines de milliers WSC ne sont pas conçus pour le CHP CHP implique des calculs couplés et de longue durée Supercalculateurs modernes utilisent de meilleurs serveurs et une réseautique haute performance WSC sont utilisés à moins de 50 % de leur capacité GIF-3000 (U. Laval) Centres informatiques C. Gagné 7 / 44
Centres de données Centre de données Vise généralement consolidation de plusieurs serveurs de services distincts dans un même emplacement Utilisation de plus en plus importante de machines virtuelles Grande variété de matériels et logiciels pour servir différentes composantes de l organisation Coût principal est le personnel de maintenance Différences avec WSC WSC vise à ce que le centre soit vu comme un seul ordinateur Utilise du matériel homogène Spécialiser logiciels tiers et développer logiciel maison Coût principal est le matériel GIF-3000 (U. Laval) Centres informatiques C. Gagné 8 / 44
Partie II Traitements sur les WSC GIF-3000 (U. Laval) Centres informatiques C. Gagné 9 / 44
Traitements sur les WSC Principaux traitements sur WSC Répondre aux requêtes des utilisateurs de services Internet Recherche, réseaux sociaux, lecture de courriels, etc. Traitements en lots Indexer pages Web Convertir vidéos en différents formats Framework pour traitements en lots : MapReduce Inspiré par les fonctions map et reduce, courantes en programmation fonctionnelle (Lisp) Popularisé par Google, maintenant utilisé dans plusieurs autres centres (Yahoo!, Facebook) Caractérisé par une grande simplicité d utilisation Implémentations open source disponibles (Hadoop) Fonction map : traitement parallèle sur chaque élément d un lot Retourne valeurs intermédiaires dans dictionnaire de clés-valeurs Fonction reduce : collige valeurs intermédiaires et génère résultat final GIF-3000 (U. Laval) Centres informatiques C. Gagné 10 / 44
Exemple MapReduce function map(string key, String[] document): // key: a word to count // document: document tokens / words c = 0 for each word in document: if word == key : c++ emit(key, c) function reduce(string key, Int[] counts): // key: a word // counts: a list of partial counts c = 0 for each count in counts: c += count emit(key, c) Fonction map : compte le nombre d occurrences du mot recherché dans le document Fonction reduce : somme les comptes partiels des différents documents function main(document[] documents): for each document in documents: submit(document) GIF-3000 (U. Laval) Centres informatiques C. Gagné 11 / 44
Considérations sur MapReduce Peut être considéré comme une généralisation d opérations SIMD Traitements effectués par une fonction appliquée aux données (map), suivi d une fonction faisant une réduction des résultats (reduce) Réduction est une opération courante dans architectures SIMD Implantation de MapReduce implique mécanisme de robustesse Variabilité des temps d exécution courante dans les WSC Contraste avec les centres de données, où une tâche plus lente signifie souvent un bris de matériel Ordonnaceur de MapReduce assigne les tâches selon l historique de performance des nœuds de traitement Tâche lente peut bloquer l ensemble de l exécution En fin d exécution, ordonnanceur va relancer l exécution des tâches plus lentes sur d autres nœuds Premier résultat de chaque tâche sera utilisé Gains en performance observés de 30 % pour certaines tâches GIF-3000 (U. Laval) Centres informatiques C. Gagné 12 / 44
Autres composantes logicielles de WSC Système de fichier distribué Google File System (GFS) MapReduce utilise GFS pour assurer la distribution des fichiers traités Bases de données haute performance (NoSQL) Dynamo d Amazon BigTable de Google Ces services permettent de voir WSC comme machine unique Fiabilité et performance élevées du stockage par copies multiples des données Contraintes de cohérences relaxées relativement à bases de données standards Données seront éventuellement cohérentes dans le WSC Robustesse via logiciel permet d utiliser serveurs d entrée de gamme Différence d un facteur 20 du prix-performance avec équipement haut de gamme Google utilise du logiciel open source (Linux) et maison (BigTable, MapReduce) Aucun coût de licence GIF-3000 (U. Laval) Centres informatiques C. Gagné 13 / 44
Histogramme d utilisation des serveurs chez Google 0.03 0.025 0.02 Fraction of time 0.015 0.01 0.005 0 0 0.1 0.2 0.3 0.4 0.5 CPU utilization 0.6 0.7 0.8 0.9 1.0 Utilisation du WSC varie dans le temps et est rarement à 100 % Affecte la consommation énergétique GIF-3000 (U. Laval) Centres informatiques C. Gagné 14 / 44
Consommation énergétique selon utilisation GIF-3000 (U. Laval) Centres informatiques C. Gagné 15 / 44
Partie III Infrastructure physique des WSC GIF-3000 (U. Laval) Centres informatiques C. Gagné 16 / 44
Organisation d un WSC Réseau d un WSC relie des dizaines de milliers de serveurs Utilisation d une hiérarchie de réseaux Baie (rack) comporte 48 unités Au mieux, un serveur par unité Un commutateur de 48 ports par baie Coût de 30 $ par port de 1 Gb/s en 2011 Bande passante élevée et uniforme à l intérieur d une baie Deux à huit liens en amont par commutateur Bande passante réduite d un facteur 6 à 24 comparativement à l intérieur d une baie Désigné comme étant du dépassement de souscription (oversubscription) Impacts sur performances lors de communications entre serveurs de baies différentes Baies organisées en matrices (array) Typiquement 30 baies par matrice GIF-3000 (U. Laval) Centres informatiques C. Gagné 17 / 44
Organisation d un WSC Array switch Rack switch 1U Server Rack GIF-3000 (U. Laval) Centres informatiques C. Gagné 18 / 44
Stockage et réseautique Deux stratégies possibles pour le stockage 1 Distribuer le stockage dans les serveurs Chaque serveur à un ou plusieurs disques durs 2 Consolider le stockage dans serveurs spécialisés en réseau Permet des stratégies sophistiquées de redondance (ex. RAID) Plus dispendieux par téraoctets Première stratégie généralement suivie dans WSC Priorité à la réduction des coûts Infrastructure logicielle permet redondance et fiabilité Redondance logicielle permet robustesse aux pannes de baies et même de centres Répliques dans d autres baies et d autres centres Commutateur de matrice est dispendieux Coût commutateur croit quadratiquement selon le nombre de ports Requiert matériel spécialisé, à fortes marges de profit GIF-3000 (U. Laval) Centres informatiques C. Gagné 19 / 44
Hiérarchie de mémoire d un WSC Configuration typique d un WSC Chaque serveur comporte deux processeurs, 16 Go de mémoire, deux disques de 2 To et un port Ethernet 1 Gb/s Un commutateur pour chaque paire de baies Un commutateur de matrice de 30 baies GIF-3000 (U. Laval) Centres informatiques C. Gagné 20 / 44
Performance d un WSC 10000000 1000000 Disk capacity (GB) 100000 10000 1000 100 Disk bandwidth (MB/sec) Disk bandwidth (MB/sec) Disk latency (µsec) DRAM capacity (GB) DRAM latency (µsec) 10 1 DRAM bandwidth (MB/sec) 0 Local Rack Array GIF-3000 (U. Laval) Centres informatiques C. Gagné 21 / 44
Organisation d un WSC Internet CR Internet CR Datacenter Layer 3 AR AR AR AR... Layer 2 S A LB A S S A A A.... S S LB S A... Key: CR = L3 core router AR = L3 access router S = Array switch LB = Load balancer A = Rack of 80 servers with rack switch GIF-3000 (U. Laval) Centres informatiques C. Gagné 22 / 44
Localisation d un WSC Localisation d un WSC est un facteur important Accès internet adéquat Coût faible de l électricité Faible risque de catastrophes naturelles Près des utilisateurs (réduction de la latence) Climat favorable (refroidissement) Conditions fiscales Distribution de l électricité Nombreuses conversions entre haut voltage (115 kv) et les serveurs (208 V) Efficacité d environ 89 % GIF-3000 (U. Laval) Centres informatiques C. Gagné 23 / 44
Distributions de l électricité et son efficacité High-voltage utility distribution Generators IT Load (servers, storage, net, ) UPS & Gen often on 480 v 115 kv 13.2 kv 208 V ~1% loss in switch gear & conductors Substation UPS: Rotary or Battery Transformers Transformers 13.2 kv 13.2 kv 480 V 0.3% loss 99.7% efficient 6% loss 94% efficient, ~97% available 2% loss 98% efficient 2% loss 98% efficient GIF-3000 (U. Laval) Centres informatiques C. Gagné 24 / 44
Refroidissement de WSC Chaleur dissipée par WSC est élevée Énergie consommée par dispositifs électroniques et mécaniques transformée en chaleur Refroidissement des salles de serveurs Air chaud des serveurs passe dans serpentins d eau froide, qui s évapore (basse pression) Vapeur chaude transformée en eau froide dans condensateur externe pour libérer chaleur Conserve la température des salles entre 18 C et 22 C. Refroidisseurs consomment équivalent de 30 % à 50 % des serveurs Systèmes de ventillation consomment équivalent de 10 % à 20 % Optimisations possibles du système de refroidissement Conserver la température au-dessus de 22 C S assurer qu il n y a pas de hot spots dans la salle Refroidir à l aide d air ou d eau froide de l externe Idéal dans des climats tempérés Récupérer la chaleur C est ce qui est fait avec Colosse sur le campus GIF-3000 (U. Laval) Centres informatiques C. Gagné 25 / 44
Système de refroidissement Blow down & evaporative loss at 8 MW facility: ~200,000 gal/day Cooling tower CWS pump Server fans 6 to 9 W each Leakage Heat exchanger (Water-side economizer) A/C condenser A/C compressor Diluted hot/cold mix Primary pump A/C evaporator Cold Fans Hot Computer room air handler Air impeller Cold GIF-3000 (U. Laval) Centres informatiques C. Gagné 26 / 44
Efficacité énergétique de WSC Mesure d efficacité énergétique d un centre informatique : PUE (Power Usage Effectiveness) PUE = Puissance totale consommée Puissance équipements de TI Power usage effectiveness (PUE) 1.33 1.35 1.43 1.47 1.49 1.52 1.59 1.67 1.69 1.69 1.69 1.82 2.04 2.04 2.13 2.33 2.38 2.63 3.03 IT AC Other 0 0.5 1 1.5 2 2.5 3 3.5 GIF-3000 (U. Laval) Centres informatiques C. Gagné 27 / 44
Latence et bande passante de WSC Bande passante affecte significativement la performance Favoriser échanges entre serveurs d une même baie Latence est également cruciale pour l utilisateur Productivité des utilisateurs est inversement proportionnelle à la latence Expériences démontrent qu augmenter temps de réponse de 30 % rallonge les temps d interactions de 70 % Retards dans le temps de réponse font perdre le fil de pensée des utilisateurs GIF-3000 (U. Laval) Centres informatiques C. Gagné 28 / 44
Estimation du coût d un WSC Coût d exploitation d un WSC Exemple pour un serveur de 46 000 serveurs, puissance maximale de 8 MW Amortissement sur 10 ans de l infrastructure physique, sur 4 ans de la réseautique et sur 3 ans des serveurs Coût total par watt consommés coût mensuel infrastructure + coût mensuel puissance 12 = puissance disponible 765 k$ + 475 k$ 12 = 1,86 $/W 8 MW Donc, limiter à moins de 2 $/W par année d opération le coût des améliorations énergétiques GIF-3000 (U. Laval) Centres informatiques C. Gagné 29 / 44
Partie IV Infonuagique GIF-3000 (U. Laval) Centres informatiques C. Gagné 30 / 44
Infonuagique et WSC WSC offrent une économie d échelle substantielle Centres avec 50 000 à 100 000 serveurs Comparaison avec centres de données traditionnels Réduction coûts de stockage d un facteur 5,7 Réduction coûts administratifs d un facteur 7,1 Réduction coûts de réseautique d un facteur 7,3 Échelle permet de faire des optimisations Engager ingénieurs mécanique et en puissance pour optimiser l infrastructure Optimiser utilisation des WSC en offrant des accès externes Serveurs dans centres de données utilisés à 10 % à 20 % Donner accès non corrélés à utilisateurs externes permet d augmenter utilisation à 50 % Infonuagique (cloud computing) Retour de l informatique comme un service public Similaire aux services d aqueduc, d électricité, de téléphonie, etc. Le logiciel comme un service (SaaS, Software as a Service) GIF-3000 (U. Laval) Centres informatiques C. Gagné 31 / 44
Amazon Web Services Caractéristiques des services Web d Amazon (Amazon S3 et EC2) à son lancement Machines virtuelles Isoler les utilisateurs Facilite distribution du code sur l ensemble du WSC Contrôle aisé de l utilisation des ressources Masquer ancien matériel Possibilité d assigner plusieurs utilisateurs aux mêmes serveurs Très faibles coûts 0,10 $/h pour une unité EC2 ( AMD Opteron 1,0 à 1,2 GHz) Utilisation de logiciels open source Élimine les problèmes de licences et de coûts Maintenant possible d utiliser des logiciels commerciaux à prix plus élevé Aucune garantie de service À l origine, Amazon promet qu un meilleur effort (best effort) Maintenant, disponibilité de 99,95 % Aucun contrat Requiert uniquement l utilisation d une carte de crédit GIF-3000 (U. Laval) Centres informatiques C. Gagné 32 / 44
Coûts d Amazon EC2 sur demande GIF-3000 (U. Laval) Centres informatiques C. Gagné 33 / 44
Utilisation à la demande Attrait majeur de l infonuagique : utilisation à la demande Fournisseur de services prend les risques Recherché par les compagnies en démarrage Si grand succès, ressources doivent être disponibles rapidement Investir trop tôt dans les serveurs peut épuiser les ressources «Coûts associatifs» : 1 h sur 1000 serveurs coûte même prix que 1000 h sur 1 serveur Exemple 1 : jeu FarmVille de Zynga 1M d utilisateurs après 4 jours, 10M après 60 jours, 28M quotidiennement après 270 jours! Utilisation des services Web d Amazon a permis de suivre la demande Exemple 2 : Netflix Diffusion en flux connaît un grand succès depuis quelques années, compte pour 24,7 % du trafic sur Internet au É.-U. en 2011! Arrêt du développement de ses centres de données, passage aux services Web d Amazon Y effectue entre autre la conversion des films en différents formats pour visualisation sur plateformes mobiles GIF-3000 (U. Laval) Centres informatiques C. Gagné 34 / 44
Partie V Exemple : WSC de Google GIF-3000 (U. Laval) Centres informatiques C. Gagné 35 / 44
Ordinateurs dans des conteneurs Google et Microsoft fabriquent leurs WSC à partir de conteneurs de fret Permet une conception modulaire Modules indépendants, requiert uniquement alimentation électrique, lien réseau et échanges d eau froide et chaude WSC de Google étudié comporte 40 conteneurs de 40 pieds de long Correspond au WSC construit à The Dalles, Oregon, ouvert en 2006 Ressources hydroélectriques abordables, connexion au réseau par fibre optique et climat tempéré Deux rangées de 29 baies avec 20 serveurs chacune Puissance électrique consommée et efficacité énergétique Puissance maximale consommée de centre de 10 MW, avec PUE de 1,23 (2007) 85 % des pertes associées au refroidissement, 15 % associées à la puissance Chaque conteneur peut consommer jusqu à 250 kw, conteneur étudié consomme 222 kw en moyenne GIF-3000 (U. Laval) Centres informatiques C. Gagné 36 / 44
Conteneurs de Google 100 104 146 137 107 164 111 116 142 134 140 119 116 143 101 107 161 155 152 158 113 131 128 122 143 125 149 155 152 GIF-3000 (U. Laval) Centres informatiques C. Gagné 37 / 44
Refroidissement du WSC Air froid provient du sol au centre du conteneur Air chaud sort à l arrière des baies Température maintenue à 27 C Possible par bon cloisonnement entre les régions froides et chaudes Pas de refroidissement si température eau froide inférieure à 21 C Avantage de The Dalles : température varie entre -9 C et 19 C (moyenne de 5 C) GIF-3000 (U. Laval) Centres informatiques C. Gagné 38 / 44
Variation du PUE des WSC de Google 1.4 1.3 A B C D E F G H I J 1.2 1.1 1.0 Q3 07 Q4 07 Q1 08 Q2 08 Q3 08 Q4 08 Q1 09 Q2 09 Q3 09 Q4 09 Q1 10 Q2 10 Q3 10 Q4 10 GIF-3000 (U. Laval) Centres informatiques C. Gagné 39 / 44
Alimentation de serveurs Serveur alimenté directement par 12 V Pas d autres voltages fournis, alimentation similaire à ordinateurs portables Permet une amélioration de l efficacité Utilisation de piles 12 V standard comme alimentation sans interruption (UPS) Permet meilleure efficacité (99,99 %) Évite achat équipements coûteux Permet un déploiement incrémental Pas d ajustement dynamique de la fréquence et du voltage Demande une boucle de contrôle complexe tout en offrant des gains minimes GIF-3000 (U. Laval) Centres informatiques C. Gagné 40 / 44
Configuration des serveurs Configuration des serveurs du WSC de Google Deux processeurs AMD de deux cœurs chacun à 2,2 GHz 8 Go de RAM DDR2 avec bus mémoire fonctionnant à 533 MHz Réduction de la consommation appréciable relativement à bus fonctionnant à 666 Mhz Un lien Ethernet 1 Gb/s Un disque dur SATA Consommation maximale de 160 W et de 85 W au repos Nœuds de stockage Ajout d un deuxième plateau de 10 disques SATA Ajout d un deuxième disque sur le serveur (total de 12 disques) Deuxième lien Ethernet 1 Gb/s Consommation maximale de 300 W et de 198 W au repos Deux nœuds de base pour chaque nœud de stockage dans le centre Moyenne de presque 5 disques par serveur GIF-3000 (U. Laval) Centres informatiques C. Gagné 41 / 44
Serveurs du WSC de Google GIF-3000 (U. Laval) Centres informatiques C. Gagné 42 / 44
Réseautique Chaque commutateur de matrice comporte 480 ports 1 Gb/s et quelques dizaines de ports 10 Gb/s Ports 1 Gb/s utilisés pour se connecter aux commutateurs de baies Ports 10 Gb/s utilisés pour se connecter aux deux routeurs du centre Deux routeurs principaux dans le centre Lien vers l internet Redondance pour éviter qu une panne de routeur déconnecte complètement le centre 2 à 8 ports comme liens ascendants dans commutateurs de baies Dépassement de souscription variant d un facteur 20 : 1 à 5 : 1 GIF-3000 (U. Laval) Centres informatiques C. Gagné 43 / 44
Surveillance et réparations Un opérateur humain responsable de 1000 serveurs Exige du logiciel de surveillance Routines automatisées pour régler problèmes courants Machines en défaillance plus importante sont dans une file de réparations Réparations faites en lot par les techniciens, pour amortir les coûts Logiciels de diagnostic identifient les réparations les plus courantes Seules machines sans diagnostic, ou diagnostic peu fiables sont examinées manuellement Objectif de 1 % des nœuds dans file des réparations manuelles à tout moment MTTR d une semaine GIF-3000 (U. Laval) Centres informatiques C. Gagné 44 / 44