Une Plate-forme d Émulation Légère pour Étudier les Systèmes Pair-à-Pair

Transcription

1 Une Plate-forme d Émulation Légère pour Étudier les Systèmes Pair-à-Pair Lucas Nussbaum Laboratoire Informatique et Distribution Laboratoire ID-IMAG Projet MESCAL RenPar 17 Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 1 / 25

2 Sommaire 1 Introduction : Étude des Systèmes Pair-à-Pair 2 P2PLab 3 Conclusion Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 2 / 25

3 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Sommaire 1 Introduction : Étude des Systèmes Pair-à-Pair Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé 2 P2PLab 3 Conclusion Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 3 / 25

4 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Systèmes Pair-à-Pair Noeuds hétérogènes (CPU, réseau) Noeuds non-persistants Difficiles (Impossible?) à contrôler Difficiles à étudier (correction, performance) et à comprendre Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 4 / 25

5 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Solutions pour l étude des systèmes P2P log(coût) Modélisation des : Systèmes Applications Plateformes Conditions Vrais systèmes Vraies applications Plateformes de laboratoire Conditions synthétiques Vrais systèmes Vraies applications Vraies plateformes Vraies conditions Mécanismes clés des systèmes (Algorithmes...) Plateformes virtuelles Conditions synthétiques log(réalisme) Modélisation Simulation Émulation Systèmes réels mathématique Source : F. Cappello Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 5 / 25

6 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Émulation machine physique 1 machine physique 2 Réseau émulé machine physique 3 machine physique 4 Virtualisation des noeuds Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 6 / 25

7 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Outils Existants Outils Existants Modelnet, NetBed/Emulab, MicroGrid, PlanetLab Exemple : Modelnet Edge nodes switch Modelnet Core switch Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 7 / 25

8 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Outils Existants (2) Exemple : PlanetLab 700 noeuds distribués disponibles comme plateforme d évaluation pour la recherche en systèmes distribués, mais : 700 «millions Noeuds hébergés par des universités, des centres de recherche, de grandes entreprises. "Vrai" Internet? Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 8 / 25

9 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Outils pour l émulation et la virtualisation Émulation réseau Change les caractéristiques du réseau (bande passante, latence, congestion/perte de paquets) NIST Net (Linux 2.4 et 2.6) TC et Netem (Linux 2.6) Dummynet (FreeBSD) Virtualisation Exécuter plusieurs instances d une application sur le même système physique User Mode Linux VServer Xen Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 9 / 25

10 Systèmes Pair-à-Pair Solutions pour l étude des systèmes P2P Résumé Résumé Solutions visant un très grand réalisme Efficacité? Passage à l échelle? Virtualisation d un SE complet Vraiment nécessaire pour les systèmes P2P? (applis indépendantes) Émulation réseau visant le coeur du réseau Vraiment important pour les systèmes P2P? (applications exécutées sur les "bords" d Internet) Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 10 / 25

11 Sommaire 1 Introduction : Étude des Systèmes Pair-à-Pair 2 P2PLab Introduction P2PLab : émulation réseau P2PLab : Évaluation Ratio de virtualization Passage à l échelle Comparaison de différentes implémentations de BitTorrent 3 Conclusion Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 11 / 25

12 P2PLab : Introduction Idée principale système d émulation léger et efficace (bon rapport de virtualisation) Visant spécifiquant les systèmes P2P Points clés Utilise FreeBSD 5 (pour Dummynet) Virtualisation au niveau processus (en virtualisant l identité réseau : affectation d une adresse IP à chaque processus) Émulation réseau décentralisée pour un bon passage à l échelle Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 12 / 25

13 P2PLab : émulation réseau Utilise des alias d interface (surcout minimal) Gère l émulation réseau sur les noeuds (en entrée et en sortie) Limite la bande passante et ajoute de la latence pour chaque noeud virtuel Ajoute de la latence entre des groupes de noeuds virtuels Noeud Physique 3 Noeud Physique 1 Noeud Virtuel 3.1 Noeud Virtuel 3.2 Noeud Physique 2 Noeud Virtuel 1.1 Noeud Virtuel 2.1 Noeud Virtuel 1.2 Noeud Virtuel 2.2 Filtrage Dummynet en entrée Filtrage Dummynet en sortie Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 13 / 25

14 Émulation de topologies /16 100ms 400ms /16 latence : 5ms bande passante : 10 Mbps 1000 noeuds /24 latence : 40ms bande passante : 512 kbps/128kbps 250 noeuds 100ms /24 latence : 20ms bande passante : 8 Mbps/1Mbps 250 noeuds /24 latence : 100ms bande passante : 56kbps/33.6kbps 250 noeuds 100ms 1s 600ms /16 latence : 10ms bande passante : 1 Mbps 1000 noeuds Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 14 / 25

15 P2PLab : Évaluation Rapport de virtualisation Combien de machines virtuelles sur chaque noeud physique? Passage à l échelle? Éxpériences avec un grand nombre de noeuds? Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 15 / 25

16 P2PLab : Évaluation (2) BitTorrent protocole de transfert de fichiers populaire chaque client reçoit une liste de peers du tracker, se connecte directement à eux, et échange des morceaux d un fichier Largement étudié via modélisation, simulation, et exécution sur des systèmes réels très complexe, difficile à étudier correctement Plateforme d évaluation GridExplorer (fait partie de Grid 5000) 200 bi-opteron 2 Ghz, 2Go of RAM, gigabit ethernet Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 16 / 25

17 Ratio de virtualisation Récupération d un fichier de 16 Mo avec BitTorrent 160 téléchargeurs Démarrés toutes les 10 secondes Paramètres réseaux : 2 Mbps descendant, 128 Kbps montant, latence 30 ms (ADSL) Sur 160 noeuds physiques, puis 16, 8, 4 et 2. Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 17 / 25

18 Ratio de virtualisation (2) total amount of data received by clients (MB) client per physical node 10 clients per physical node 20 clients per physical node 40 clients per physical node 80 clients per physical node time (s) Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 18 / 25

19 Ratio de virtualisation (3) Récupération d un fichier de 16 Mo avec BitTorrent 160 téléchargeurs Démarrés toutes les 10 secondes Paramètres réseaux : 2 Mbps descendant, 128 Kbps montant, latence 30 ms (ADSL) Sur 160 noeuds physiques, puis 16, 8, 4 et 2. Aucun Surcoût visible, même avec 80 clients par noeud physique Premier facteur limitant : performances du réseau sous-jacent Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 19 / 25

20 Passage à l échelle Téléchargement d un fichier de 16 Mo avec BitTorrent Entre participants (13031 peers, 8 seeders, 1 tracker) Démarrés toutes les 0.25s Sur 163 machines physiques Paramètres réseaux : 2 Mbps descendant, 128 Kbps montant, latence 30 ms Clients affichés : n 0, 100, Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 20 / 25

21 Passage à l échelle (2) 100 pourcentage recu sur chaque client temps (s) Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 21 / 25

22 Comparaison de différentes implémentations de BitTorrent Comparaison de BitTorrent (client originel) avec CTorrent Téléchargement d un fichier de 16 Mo avec BitTorrent Entre 500 participants et 8 seeders Paramètres réseaux : 2 Mbps descendant, 128 Kbps montant, latence 30 ms Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 22 / 25

23 Comparaison de différentes implémentations de BitTorrent (2) 16 quantite moyenne de donnees recues BitTorrent seul (100% BT) 250 BitTorrent avec 250 CTorrent 2 CTorrent seul (100% CT) 250 CTorrent avec 250 BitTorrent temps (s) Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 23 / 25

24 Sommaire 1 Introduction : Étude des Systèmes Pair-à-Pair 2 P2PLab 3 Conclusion Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 24 / 25

25 Conclusion L émulation : un outil intéressant pour l étude des systèmes pair-à-pair Une virtualisation complète n est pas toujours nécessaire... l approche simple de P2PLab peut être suffisante et utile Encore beaucoup de travail : Poursuivre la validation de l approche Comparaison avec d autres outils (Modelnet, NetBed/Emulab, MicroGrid, PlanetLab) Comparaison avec les générateurs de topologie classiques Quelle est l importance de la congestion dans le "coeur d Internet" pour les systèmes P2P? Virtualisation et équité? Paramètres réalistes pour les expériences? Injection de fautes, conditions réseaux variables Lucas Nussbaum Émulation légère pour étudier les systèmes P2P 25 / 25