Centre d Enseignement et de Recherche en Informatique Université d Avignon et des Pays de Vaucluse Projet Master1 Hyperviseur vs Docker, le choc des virtualisations Réalisé par Houda BOUHRIZI Tuteur Janod Killian Responsables Sophie Nabitz Bassem Jabian 1 P a g e
Sommaire 1 Introduction... 4 2 Descriptions des environnements.... 4 2.1 Logiciels utilisés... 4 3 Description des tests... 4 3.1 Programme support des tests dans les différents environnements.... 4 3.2 Environnements de tests... 5 3.3 Données mesurées et fréquence des empruntes... 5 4 Présentation des résultats de Test1... 6 4.1 Performances CPU de Test1... 6 4.2 Performances mémoire Test1... 7 4.3 Activité disques de Test1... 7 5 Présentation des résultats de Test2... 8 5.1 Performances CPU de Test2... 8 5.2 Performances mémoire de Test2... 9 5.3 Performances disque Test2... 9 6 Présentation des résultats de Test3.... 11 6.1 Image et exécution.... 11 6.2 Performances CPU de Test3... 13 6.3 Performances mémoire de Test3... 13 6.4 Performances disque de Test3... 14 7 Présentation des résultats de Test4.... 14 7.1 Installation Vagrant et VM ubuntu.... 14 7.2 Création de la machine virtuelle avec vagrant.... 15 7.3 Performances CPU de Test4... 19 7.4 Performances mémoire de Test4... 20 7.5 Performances disque Test4... 21 8 Présentation des résultats de Test5... 22 8.1 Performances CPU de Test5... 22 8.2 Performances mémoire de Test5... 23 8.3 Performances disque de Test5... 24 9 Analyse comparée des résultats des quatre tests... 25 9.1 Tableau comparé des résultats... 25 9.2 Présentation globale des résultats... 26 10 Conclusion... 28 11 Annexe... 29 2 P a g e
11.1 Installation docker... 29 11.1.1 Téléchargement du binaire... 29 11.2 Installation Vagrant... 40 11.2.1 Téléchargement... 40 11.3 Environnement VMWare... 44 3 P a g e
1 Introduction Après l'étude théorique de différentes solutions de virtualisation menée au premier semestre, nous présentons dans ce second document une étude consacrée aux performances des programmes. Il s'agit précisément de benchmarks réalisés dans les différents environnements virtualisés et non virtualisés. L'objectif étant de déterminer l'impact de la virtualisation sur les performances des programmes. 2 Descriptions des environnements. 2.1 Logiciels utilisés Les logiciels suivants seront utilisés dans le cadre de ces tests de performances. Software/hardware Version Commentaire Windows 7 service pack1 Système d'exploitation Windows Process explorer 16.04 Outil d'analyse de performance sous windows Virtual box 4.3.20 Hyperviseur type II Docker 1.6 Virtualisation de type container ubuntu 15 Système d'exploitation linux WMWare workstation 11.1 Logiciel de virtualisation Hyperviseur type II. Version d'évaluation. nmon 15d Outil d'analyse de performance sous Unix. Machine Process Inter i7-3610 QM 2.3GHz 8Go RAM Machine d'usage courant. 3 Description des tests 3.1 Programme support des tests dans les différents environnements. svm_multiclass_classify svm_multiclass_learn Il s'agit de programmes implémentant les algorithmes dits à de machines à vecteurs de support et de classification linéaire. Ces algorithmes sont très utilisés dans le domaine de la recherche et une littérature riche existe autour de ces techniques. Notons seulement que ces programmes s'exécutent suivants des cycles relativement longs et consomment beaucoup de ressources. Ils sont donc de bons candidats pour effectuer des tests de performances. Nous disposons d'une version Windows et d'une version Unix permettant d'effectuer des tests dans les différents environnements. 4 P a g e
3.2 Environnements de tests Nous mènerons des tests dans des environnements différents dont les architectures sont présentées sur les schémas ci-dessous. 3.3 Données mesurées et fréquence des empruntes CPU Mémoire disques Données mesurées Commentaire Les données d'activité seront collectées toutes les 10s pour ces systèmes afin de générer les graphes de performances. 5 P a g e
4 Présentation des résultats de Test1 Empilement des couches 4.1 Performances CPU de Test1 Evolution des performances CPU à l'exécution du programme svm Ce graphe montre que les performances CPU de la machine atteint très rapidement les 100%, avant une chute pour ensuite tomber à une activé autour des 30% de la puissance CPU. 6 P a g e
4.2 Performances mémoire Test1 Performances mémoire de la VM ubuntu àl'exécution du programme svm Au démarrage du programme les performances augmentent brutalement pour ensuite fluctuer entre 1400 et 1200 mb avec un comportement de type libération incrémentale. 4.3 Activité disques de Test1 Performance disques VM ubundu à l'exécution du programme svm Nous constatons, comme le montre le graphe que l'activité du disque reste faible, avec cependant un pique d'activité, comme si le programme écrivait par accoups sur le disque. 7 P a g e
5 Présentation des résultats de Test2 Architecture utilisée pour le test 2 5.1 Performances CPU de Test2 Activité CPU windows + svm Le graphe ci-dessus présente les performances CPU induit par le programme à support de vecteur. Il montre que les performances CPU répartie sur les quatre cœurs sont d'environ 20% de la puissance CPU de la machine. Il montre claire, les performances induites par les appels systèmes en rose et celles induites par les appels utilisateur. Dans les deux cas, les courbes montrent des performances quasi constantes sans grande variation autour de 20%. 8 P a g e
5.2 Performances mémoire de Test2 Performances mémoire windows + svm Le graphe ci-dessus montre une faible variation de la mémoire consommée par le système pour le programme à support de vecteur. 5.3 Performances disque Test2 Activité disque windows + svm Le graphe ci-dessus montre l'activité disque dans le temps pendant l'exécution du programme à support vectoriel. Nous constatons que l'activité connait des piques d'écriture régulières et brèves. 9 P a g e
Performances CPU par core. 10 P a g e
6 Présentation des résultats de Test3. 6.1 Image et exécution. Avant de pouvoir exécuter le programme SVM sous docker, il est nécessaire de construire une image "dockérisée" du programme. Pour ce faire, il faut écrire un fichier Dockerfile décrivant les commandes utilisées pour le build. Fichier Dockerfile permettant de construire l'image docker contenant le programme de test. ################################################ ## Image de base pour ce build FROM ubuntu ################################################ # Personne chargée de la maintenance du build MAINTAINER HOUDA ################################################ # Ajout du répetoire contenant le programme à l'image ADD SVM_project_m1 SVM_project_m1 ################################################ # Répertoire de travail du programme et de l'image. WORKDIR SVM_project_m1 ################################################ # Commande à lancer à l'exécution de l'image par docker. # Il s'agit du make.sh permettant de lancer SVM CMD bash make.sh Commandes docker Sudo docker build -t my_svm. Sudo docker run my_svm Description Construction de l'image Exécution de l'image 11 P a g e
Build de l'image docker du programme de test Exécution du programme svm dans docker. 12 P a g e
6.2 Performances CPU de Test3 Le programme consomme quasiment l'intégralité de la puissance CPU. Au même titre que le test réalisé avec ubuntu. 6.3 Performances mémoire de Test3 Les performances mémoire du programme sont inférieures au cas ubundu mais supérieures au cas Windows. 13 P a g e
6.4 Performances disque de Test3 L'activité disque est moindre avec docker. Meilleur débit en écriture et en lecture. 7 Présentation des résultats de Test4. 7.1 Installation Vagrant et VM ubuntu. Vagrant peut être vu comme un logiciel de packaging de machines virtuelles configurées pour un usage particulier. Il permet ainsi de préparer des environnements en chargeant des logiciels pour un usage dans un contexte particulier. Le plus courant est la préparation d'environnements de développements avec des logiciels donc de développement. Vagrant permettra, de construire facilement des VM à partir d'un fichier de configuration dit Vagrantfile. 14 P a g e
7.2 Création de la machine virtuelle avec vagrant. La création de la machine virtuelle se fait à partir du fichier vagrant suivant : # -*- mode: ruby -*- # vi: set ft=ruby : # All Vagrant configuration is done below. The "2" in Vagrant.configure # configures the configuration version (we support older styles for # backwards compatibility). Please don't change it unless you know what # you're doing. Vagrant.configure(2) do config # The most common configuration options are documented and commented below. # For a complete reference, please see the online documentation at # https://docs.vagrantup.com. # Every Vagrant development environment requires a box. You can search for # boxes at https://atlas.hashicorp.com/search. config.vm.box = "hashicorp/precise32" # Disable automatic box update checking. If you disable this, then # boxes will only be checked for updates when the user runs # `vagrant box outdated`. This is not recommended. # config.vm.box_check_update = false # Create a forwarded port mapping which allows access to a specific port # within the machine from a port on the host machine. In the example below, # accessing "localhost:8080" will access port 80 on the guest machine. # config.vm.network "forwarded_port", guest: 80, host: 8080 # Create a private network, which allows host-only access to the machine # using a specific IP. # config.vm.network "private_network", ip: "192.168.33.10" # Create a public network, which generally matched to bridged network. # Bridged networks make the machine appear as another physical device on # your network. # config.vm.network "public_network" # Share an additional folder to the guest VM. The first argument is # the path on the host to the actual folder. The second argument is # the path on the guest to mount the folder. And the optional third # argument is a set of non-required options. config.vm.synced_folder "vagrant_data", "/vagrant_data" # Provider-specific configuration so you can fine-tune various # backing providers for Vagrant. These expose provider-specific options. # Example for VirtualBox: # 15 P a g e
# config.vm.provider "virtualbox" do vb # # Display the VirtualBox GUI when booting the machine # vb.gui = true # # # Customize the amount of memory on the VM: # vb.memory = "1024" # end # # View the documentation for the provider you are using for more # information on available options. # Define a Vagrant Push strategy for pushing to Atlas. Other push strategies # such as FTP and Heroku are also available. See the documentation at # https://docs.vagrantup.com/v2/push/atlas.html for more information. # config.push.define "atlas" do push # push.app = "YOUR_ATLAS_USERNAME/YOUR_APPLICATION_NAME" # end # Enable provisioning with a shell script. Additional provisioners such as # Puppet, Chef, Ansible, Salt, and Docker are also available. Please see the # documentation for more information about their specific syntax and use. # config.vm.provision "shell", inline: <<-SHELL # sudo apt-get update # sudo apt-get install -y apache2 # SHELL End Il s'agit du fichier de configuration par défaut auquel nous rajoutons le partage d'un répertoire pour l'accès au programme svm. Après avoir mis à jour le fichier Vagrantfile, il suffit d'exécuter la commande vagrant up pour lancer l'installation de la Machine Virtuelle ubuntu vagrant, ce que l'on peut voir sur le snapshot suivant. 16 P a g e
Installation de la machine virtuelle à partir de vagrant L'installation de la machine virtuelle avec vagrant est un enchaînement de commandes effectuées par un script en ruby. La machine virtuelle créée par ce script est ensuite intégrée au provider VirtualBox. 17 P a g e
Apparition de la machine virtuelle vagrant dans virtualbox Snapshot montrant l'exécution du programme svm dans le cas Test4 18 P a g e
7.3 Performances CPU de Test4 Performances CPU dans le cas vagrant + VM ubuntu 32 bits. Dans le cas d'une machine virtuelle construite avec Vagrant, les performances CPU sont quasiment à 100% sur la première demi-heure avant de diminuer progressivement. Le programme semble se comporter différemment que dans les autres cas de test. Sans doute cela provient-il du fait que Vagrant génère une Machine Virtuelle à partir d'une image 32 bits de ubuntu. 19 P a g e
7.4 Performances mémoire de Test4 Performances mémoire dans le cas vagrant + VM ubuntu 32 bits. Les performances mémoire de la Machine Virtuelle restent étonnamment basses pendant l'exécution du programme SVM avec une petite pique après une demi-heure d'exécution. C'est le meilleur résultat en termes de performances mémoire obtenues sur les quatre tests. Cela peut semble-t-il être expliqué. Dans le cas de ce test, vagrant se contente de créer une machine virtuelle très simple, dépourvue de programmes superflus. Nous pensons aussi que l'utilisation d'une machine 32 bits est mieux exploitée dans cette configuration. 20 P a g e
7.5 Performances disque Test4 Activité disque dans le cas Vagrant + VM ubuntu 32 bits. Nous constatons que l'activité des disques est plus importante en particulier après la demi-heure d'exécution la VM augmente considérablement son activité disque tant en lecture qu'en écriture. 21 P a g e
8 Présentation des résultats de Test5 Environnement pour Test5 8.1 Performances CPU de Test5 Comportement de la CPU de la machine avec VMWare + ubuntu. + docker Les performances CPU atteignent les 100% et notre machine swap quelque peu. Cependant les performances des appels utilisateurs sont meilleures que dans le cas ubuntu sur virtualbox. 22 P a g e
8.2 Performances mémoire de Test5 Comportement de la mémoire de l'application dans le cas VMWare + ubuntu + docker La courbe montre que la mémoire varie en moyenne entre 60 et 80MB et semble constante dans le temps. Nous notons cependant un pique à 100MB quelques minutes après le début du test. Le graphe montrant la consommation mémoire comparée des différents processus sur la machine. Ce graphe montre que le processus docker consomme un minimum de 100MB et un maximum de près de 800MB. Le programme svm_multiclass consomme jusqu'à 800MB. 23 P a g e
8.3 Performances disque de Test5 Performances disques dans le cas VMWare + ubuntu + docker + svm Le graphe montre une augmentation de l'activité du disque sda5 avec un taux de transferts autour de 8KB/s. 24 P a g e
9 Analyse comparée des résultats des quatre tests Nous présentons dans les paragraphes qui suivent, les résultats comparés des tests réalisés. 9.1 Tableau comparé des résultats Test1 Test2 Test3 Test4 Test5 CPU Mémoire Disque 1,4G avec fluctuation Activité disque très faible régulière de 200M de type sinusoïde. 100% pendant 1h30 puis stagnation à 30% 25% CPU en moyenne avec peu de fluctuation. 100% tout le long de l'exécution. 100% pendant la première demiheure avant une diminution asymptotique. 100% mais avec une meilleure performance en milieu utilisateur. Une dizaine de méga tout le long du test. Environ 100M en moyenne avec saut et libération. Environ 5M avec saut à20m après une demiheure. Entre 60 et 80 MB avec fluctuation sinusoïdale. Activité disque faible avec pique régulière. Activité faible avec piques régulières. Activité importante après la demiheure. Taux de transfert moyen d'environ 8KB/s Au vu de ces résultats, il est difficile de dire quelle est la meilleure solution en termes de performance. Certaines donnent de meilleurs résultats en terme de performances CPU, d'autre en terme de performances mémoire, d'autre encore en terme d'activité disque. Nous effectuerons un classement factuel. 25 P a g e
9.2 Présentation globale des résultats Environnements de tests. Performance CPU Performance mémoire Performance I/O Tableau comparatif des résultats des différents tests de performances réalisés. 26 P a g e
L'analyse des résultats nous permet d'établir un classement des performances par type de ressources que nous présentons dans le tableau ci-dessous. Classement par performances CPU Classement par performances mémoire Classement par activité disque Windows VMWare+unbuntu+docker Vagrant +ubuntu 32 VirtualbBox+ubuntu VirtualBox+ubuntu+docker Windows VMWare+unbuntu+docker Vagrant+ubuntu 32 VirtualBox+ubuntu+docker VirtualbBox+ubuntu Windows VMWare+unbuntu+docker Vagrant +ubuntu 32 VirtualBox+ubuntu+docker VirtualbBox+ubuntu Ces différents classements s'inspirent des résultats obtenus et semblent somme toute assez logiques. Il semble que plus il y ait de couches et plus l'impact est important sur les performances. L'exécution du programme en natif sur Windows donne dans tous les cas des meilleures résultats mais parmi les différentes solutions de virtualisation c'est la couche VMWare+ubuntu+docker qui donnent de meilleurs résultats. Ensuite les différents empilements de virtualisation donnent des performances acceptables avec chacun des avantages dans un domaine particulier. La solution docker semble dans notre cas consommer pas mal de CPU mais pour une faible performance mémoire et une faible activité disque. La solution Vagrant reste meilleure que la solution de VirtualBox+ubuntu+docker avec cependant des performances disque importante. Si ces résultats nous ont permis d'établir un classement il faut cependant vite tempérer. La machine sur laquelle ces tests ont été effectués n'est pas forcément prévue pour ce genre de tests. Nous avons dans la plupart des cas utilisé des configurations simples, sans chercher forcément à les optimiser. Nous n'avons pas tenu compte des aspects 32 ou 64 bits qui peuvent avoir leur importance en termes de performances mémoire et de performance CPU. 27 P a g e
10 Conclusion. L'exécution de ces tests et l'analyse des résultats nous montrent que le programme testé reste plus performant dans l'environnement Windows. Les performances se dégradent avec l'empilement des couches dès lors qu'on utilise des environnements virtualisés. Ces différences sont sans doute atténuées avec l'utilisation de machines puissantes et finalement, ces solutions restent acceptables dans des environnements qui ne requièrent pas des performances pointues. C'est pour cela qu'il faut regarder ces outils non pas seulement pour leurs seules performances, mais surtout pour les avantages qu'ils apportent à l'utilisateur. Docker reste un formidable outil de création d'images logiciels faciles à réutiliser dans des environnements dits dockérisés. En ce sens, c'est une solution d'avenir au regard de la complexité des systèmes d'informations d'aujourd'hui et des cycles de développements des projets informatiques. Cette solution permet sans conteste de gagner du temps dans le cycle qui va de la configuration des environnements jusqu'au déploiement des applications en production. Vagrant reste un puissant outils de packaging et de construction d'environnements complexes. Dès lors qu'on doit gérer différents profils d'environnements, Vagrant peut-être d'un apport intéressant et permettre de gagner du temps. Le grand vainqueur de ces tests reste tout de même la virtualisation considérée dans son ensemble. Ces solutions, si elles offrent des performances sensiblement moindres que dans les environnements natifs ont changé les systèmes d'informations modernes. 28 P a g e
11 Annexe Nous décrivons dans cette annexe les différentes étapes nécessaires à l'installation de docker et de Vagrant sur plateforme windows. 11.1 Installation docker 11.1.1 Téléchargement du binaire https://github.com/boot2docker/windows-installer/releases/tag/v1.6.2 Téléchargement du binaire d'installation depuis le site GitHub 29 P a g e
On double clique pour lancer l'installation. Début de l'installation docker sur windowws. 30 P a g e
Répertoire d'installation de docker L'installation propose d'installer également Virtualbox et git 31 P a g e
Ajout du raccourci Docker 32 P a g e
Ajout du raccourci boot2docker sur le bureau et mise à jour du PATH 33 P a g e
Résumée avant installation Extraction et copie des fichiers sur le système de fichiers 34 P a g e
Fin de l'installation Ajout des raccourcis Boot2Docker et Oracle VM VirtualBox sur le Bureau de l'utilisateur 35 P a g e
Lancement de Boot2Docker Exécution de l'image boot2docker.iso 36 P a g e
Création et démarrage d'une VM dans VirtualBox et démarrage du démon docker. 37 P a g e
Shell d'accès à la VM Boot2Docker Visualisation de la VM créée dans VirtualBox. 38 P a g e
Exécution de la commande uname - a pour connaître la version unix de la VM. 39 P a g e
11.2 Installation Vagrant 11.2.1 Téléchargement Téléchargement Vagrant pour Windows Lancement du binaire 40 P a g e
Début de l'installation graphique Accepter la licence pour autoriser l'installation 41 P a g e
Résumé avant installation 42 P a g e
Copie des fichiers sur disque Fin de l'installation 43 P a g e
11.3 Environnement VMWare Interface VMware montrant l'exécution du programme smv avec docker dans une machine Virtuelle ubuntu 44 P a g e