Écologie Virtualisation Sécurité. La Virtualisation. Enjeux, techniques, exemple de XEN. Sébastien Chaumat CEMAGREF. Le 14/10/2006

Transcription

1 La Enjeux, techniques, exemple de XEN CEMAGREF Le 14/10/2006 La

2 Licence Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License, Version 1.1 or any later version published by the Free Software Foundation ; with no Invariant Sections, no Front-Cover Texts and no Back-Cover Texts. La

3 Ça chauffe! L enjeu Diminuer le nombre de serveurs La

4 Ça chauffe! L enjeu Diminuer le nombre de serveurs Crédits : NASA La

5 La marge de manoeuvre 1/2 L enjeu Diminuer le nombre de serveurs Consommation électrique + climatisation des serveurs US : 14 G$ /an 10 W d économisés sur 100 millions d ordinateurs individuels dans le monde (8H/j) : -13 GWh /an (une centrale nucléaire :1GW) Cycle de vie d un ordinateur Fabrication Transport Exploitation Recyclage/Destruction La

6 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? La

7 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : La

8 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée La

9 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : La

10 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : 80% de l énergie totale dépensée La

11 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : 80% de l énergie totale dépensée Conclusion : pour diminuer l impact écologique La

12 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : 80% de l énergie totale dépensée Conclusion : pour diminuer l impact écologique Ne pas se contenter d augmenter la performance par Watt La

13 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : 80% de l énergie totale dépensée Conclusion : pour diminuer l impact écologique Ne pas se contenter d augmenter la performance par Watt Diminuer le nombre de machines produites La

14 La marge de manoeuvre 2/2 L enjeu Diminuer le nombre de serveurs Quelle partie du cycle de vie consomme le plus d énergie? Exploitation : 20% de l énergie totale dépensée Fabrication : 80% de l énergie totale dépensée Conclusion : pour diminuer l impact écologique Ne pas se contenter d augmenter la performance par Watt Diminuer le nombre de machines produites Environmental Science and Technology, Energy Intensity of Computer Manufacturing : Hybrid Assessment Combining Process and Economic Input-Output Methods, Eric Williams, 2004 ; 38(22) ; La

15 Les gains immédiats 1/2 L enjeu Diminuer le nombre de serveurs La

16 Les gains immédiats 1/2 L enjeu Diminuer le nombre de serveurs Pour un serveur 8000 kwh /an : 290$ d électricité 360$ de climatisation 30 kg (transport) 0,3 T CO 2 /an 5% de temps (administration du matériel) La

17 Les gains immédiats 2/2 L enjeu Diminuer le nombre de serveurs Pour un rack : N serveurs 1m 2 au sol N 0, 5kW électrique par serveur N 0, 8kW puissance froid En évitant le passage à la gamme de puissance supérieure Le recablage complet de l installation électrique La

18 Plan L enjeu Diminuer le nombre de serveurs 1 L enjeu Diminuer le nombre de serveurs 2 Les techniques XEN 3 La

19 Plan L enjeu Diminuer le nombre de serveurs 1 L enjeu Diminuer le nombre de serveurs 2 Les techniques XEN 3 La

20 Est-ce possible? L enjeu Diminuer le nombre de serveurs Pour les clients pour les développeurs : oui pour l utilisateur classique : non Pour les serveurs mesurer pour décider La

21 Catégories de serveurs 1/3 L enjeu Diminuer le nombre de serveurs À usage moyen La

22 Catégories de serveurs 2/3 L enjeu Diminuer le nombre de serveurs À usage intensif La

23 Catégories de serveurs 3/3 L enjeu Diminuer le nombre de serveurs Sous exploité La

24 Remarque L enjeu Diminuer le nombre de serveurs Un serveur qui ne fait rien consomme quand même ventilateurs disques cycles cpu (horloge) «monitoring» du Système d Exploitation La

25 Stratégies possibles L enjeu Diminuer le nombre de serveurs Maximiser l utilisation des ressources (serveurs sous exploités, à usage moyen) Rationnaliser l usage des serveurs surexploités Transférer de la charge à bon escient La

26 L enjeu Diminuer le nombre de serveurs Est-ce souhaitable 1/2? Le syndrome du Mikado copyright S.Chaumat La

27 Est-ce souhaitable 2/2? L enjeu Diminuer le nombre de serveurs L idéal de l administration système? Solution 1 service = 1 serveur Découper la machine physique en plusieurs serveurs logiques Plus ou moins indépendants Pas forcément avec un partage équitable des ressources (proc/mem/disk) La

28 Plan Les techniques XEN 1 L enjeu Diminuer le nombre de serveurs 2 Les techniques XEN 3 La

29 Les techniques 1/4 : l isolateur Les techniques XEN Logiciel de contrôle d après wikipedia User space isolateur OS hôte Matériel User space isolateur Exemples Linux-VServer : isolation des processus en user-space chroot : isolation changement de racine BSD Jail : isolation en user-space OpenVZ : libre, partionnement au niveau noyau sous Linux et Windows 2003 La

30 Les techniques XEN Les techniques 2/4 : le noyau user-space User space User space noyau user space noyau user space OS hôte Matériel d après wikipedia Exemples User Mode Linux : noyau tournant en user-space Cooperative Linux ou colinux : noyau coopératif avec un hôte Windows Adeos : micro noyau RT faisant tourner Linux en kernel-space non-rt L4Linux : micro noyau RT faisant tourner Linux en kernel-space non-rt La

31 Les techniques XEN Les techniques 3/4 : la machine virtuelle User space User space Logiciel de contrôle OS invité Drivers OS invité Drivers Machine virtuelle OS hôte Matériel d après wikipedia Exemples QEMU : émul. x86, PPC, Sparc Plex86 : émul. x86 bochs : émul. x86 PearPC : émul. PPC sur matériel x86 VMWare : propriétaire, émul. x86 Microsoft VirtualPC : propriétaire, émul. x86 Lismoresystems Guest PC : propriétaire, émul. x86 sur PPC MacOnLinux : émul. Mac OS sur Linux PPC La

32 Les techniques XEN Les techniques 4/4 : la para virtualisation (hyperviseur) Logiciel de contrôle User space OS invité Drivers Xen Xen User space OS invité Drivers Xen Exemple Xen : noyau léger supportant des noyaux Linux, Plan9, NetBSD, etc. Matériel d après wikipedia La

33 Les techniques XEN Les techniques 5/4 :-) le matériel matérielle : virtualisation propriétaire Mainframes : VM/CMS Sun E10k/E15k HP Superdome AMD Pacifica Intel VT (Virtualization Technology, anciennement Vanderpool) La

34 Plan Les techniques XEN 1 L enjeu Diminuer le nombre de serveurs 2 Les techniques XEN 3 La

35 Motivations Les techniques XEN XEN Libre Performant Léger Confortable Dynamisme de la communauté La

36 Les points essentiels Les techniques XEN Indépendance par rapport au hardware Possibilité de suspendre/reprendre l activité (freeze) Possibilité de déplacer la machine virtuelle d un hôte physique à un autre : sans interrompre le service ou avec interruption de quelques secondes Facilité d ajout de ressources virtuelles à chaud (cpu,ram,disk) Bénéfices pour la sécurité La

37 Les techniques XEN Cycle de vie d un serveur virtuel 1/2 Installation de l hyperviseur Installer le serveur hôte a minima make install hyperviseur noyau précompilé + ses modules Informer le bootloader Reboot La

38 Les techniques XEN Cycle de vie d un serveur virtuel 2/2 Installation machine virtuelle On utilise les xen-tools pour automatiser le process : préparation d un espace disque (lvm) installation d une Debian dessus écriture du fichier de configuration Xen server1.cfg kernel = /boot/vmlinuz-2.6-xen memory = 128 name = server1 root = /dev/sda1 ro disk = [ phy :VG/srv1-root,sda1,w, \ phy :VG/srv1-swap,sda2,w ] vif = [ ip= ] La

39 Utilisation 1/2 Les techniques XEN xm list Name ID Mem(MiB) VCPUs State Time(s) Domain r server b server p server b La

40 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy La

41 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console La

42 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console pause, unpause La

43 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console pause, unpause save, restore La

44 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console pause, unpause save, restore migrate La

45 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console pause, unpause save, restore migrate mem-set, vcpu-set La

46 Utilisation 2/2 Les techniques XEN Les commandes xm create, reboot, shutdown, destroy console pause, unpause save, restore migrate mem-set, vcpu-set That s all? La

47 Plan 1 L enjeu Diminuer le nombre de serveurs 2 Les techniques XEN 3 La

48 Clarifier 1 service = 1 serveur La

49 Isoler Le process fou Le process fou occupe en permanence 100% du CPU La

50 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel La

51 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) La

52 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles La

53 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O La

54 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O Donc seul un serveur est indisponible La

55 Isoler Le process fou OR Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O Donc seul un serveur est indisponible La

56 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O Donc seul un serveur est indisponible OR 1 service = 1 serveur La

57 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O Donc seul un serveur est indisponible OR 1 service = 1 serveur Conclusion La

58 Isoler Le process fou Le process fou occupe en permanence 100% du CPU Ce cpu est virtuel Et correspond à une charge bornée du cpu final (ex 20%) Les 80% restant du CPU réel restent à disposition des autres machines virtuelles De même pour la mémoire et les I/O Donc seul un serveur est indisponible OR 1 service = 1 serveur Conclusion Seul 1 service est indisponible La

59 Procédures d urgence Arrêts d urgence Détection d intrusion : xm pause Alerte sur le matériel : xm migrate Surcharge : xm vcpu-set mem-set La

60 Redondance / Failover : méthode NAS Partage des filesystems par un NAS CPU / RAM / Ethernet CPU / RAM / Ethernet heartbeat Disques Disques Disques Disques NAS copyright S.Chaumat La

61 Redondance / Failover : méthode NBD RAID 1 sur Network Block Devices V CPU / RAM / Ethernet heartbeat V CPU / RAM / Ethernet Disques NBD Maître Hôte Production écritures Hôte de Secours Disques NBD Esclave copyright S.Chaumat La

62 La cerise sur le dom0 Un Bridge Transparent gratuit! Copyright c 2006 Thomas M. Eastep La

63 Conclusion La réduction du nombre de machines est indispensable La virtualisation nous permet d atteindre cet objectif Et apporte un surcroît de confort pour les équipes d administration système La

64 Espoir La

65 Espoir copyright : «La plus haute fonction de l écologie est la compréhension des conséquences.» Pardot Kynes, premier Planétologiste d Arrakis La