Maîtrise Polyvalente. Internet et Multimédia. Cours 9 : Localisation des médias

Transcription

1 à l Université Pierre et Marie Curie, le 26 avril 2004 Maîtrise Polyvalente Internet et Multimédia Cours 9 : Localisation des médias Timur FRIEDMAN Copyright 2004 by Timur Friedman 1 Deux problèmes de localisation Où placer le média? les CDNs Comment trouver le média? les DHTs 2

2 Où placer le média? La problématique Gros fichiers et forte demande Surcharge pour un serveur centralisé Effets d un réseau moindre effort Délais, gigue, pertes quand le serveur est loin du récepteur Solutions réplication proximité vers l utilisateur Implémentation : les CDNs «Content Distribution Networks» Réseaux de diffusion de contenu Exemple : Akamai 3 La problématique Comment trouver le média? Emplacement dynamique Exemple : réseaux poste à poste Multiples copies d un fichier stockées Postes qui se connectent, se déconnectent, se déplacent Indexation classique par moteur de recherche impossible Solutions Localisation dynamique Implémentation : les DHTs «Distributed Hash Tables» Tables de hachage distribuées Exemples : Tapestry, Pastry, Chord, CAN 4

3 Où placer le média? Les CDNs ces transparents sont basés sur des transparents de J. Iyengar et G. Borkar 5 Les problèmes réseau serveur réseau fédérateur serveur surchargé réseau d accès lien congestionné pénurie de bande passante 6

4 Une solution : équilibrage de charge serveur surchargé commutateur à la couche applicative 7 Avantages Equilibrage de charge Décharge un serveur surchargé Désavantages N aide pas au niveau de délai ou gigue N aide pas contre la congestion dans le réseau 8

5 Une solution : serveurs mandataires lien congestionné pénurie de bande passante «proxy» Web 9 Avantages Serveurs mandataires Délais plus courts Enlève la congestion Décharge le serveur principal Désavantages N aide pas les clients sans proxy Hors contrôle du serveur principal copies à jour? facturation? 10

6 CDN : architecture serveur infrastructure d annuaire &'1 infrastructure de distribution et comptabilité substitut substitut client client 11 Les substituts CDN : Composants distribution de données aux clients Infrastructure d annuaire dirige le client vers le substitut Infrastructure de distribution distribution de données serveur substituts Infrastructure de comptabilité récolte d informations clients tarification de serveur 12

7 1. Le serveur pousse les données vers le CDN 28 Le CDN tire les données du serveur Interaction serveur CDN 2. Le serveur demande de l information et de la comptabilité du CDN 28 Le CDN fournit de l information et de la comptabilité au serveur serveur 2 1 infrastructure de distribution infrastructure de comptabilité &'1 13 Interaction client CDN 1. Demande : IUQHZV\DKRRFRPRQX 2. Direction : substitut PDUVHLOOH\DKRRDNDPDLFRP 3. Demande de contenu : RQX 4 Comment le CDN choisi le VXEVWLWXW 0DUVHLOOHau lieu du VXEVWLWXW/\RQ? substitut substitut 3 infrastructure d annuaire 1 &'1 2 Client 14

8 & $ $! Basé sur le DNS Infrastructure d annuaire infrastructure déjà existante Ajout d un serveur DNS spécialisé retour de records A, NS, CNAME en fonction de mesures, politiques 15 4 &RPPHQWOH'16 G $ NDPDL VDLWTXHO VXEVWLWXWHVWOHSOXV $NDPDL SURFKH" &'1 Session SVRSKLDLQULDIU " % $ substitut " $ $ $ % $ DNS query: ZZZFQQFRP DNS response: # " $ $ $ % $ Annuaire et DNS IUQHZV\DKRRFRP Akamai DNS DNS response: DNS query: ZZZFQQFRP substitut $ $ % % $ DNS serveur local VRSKLDLQULDIU " " 16

9 $ $ $ Annuaire et DNS IUQHZV\DKRRFRP Session $NDPDL &'1 résultats des mesures substitut mesures Akamai DNS DNS response mesures vers Client DNS DNS query résultats des mesures mesures vers Client DNS mesures substitut SVRSKLDLQULDIU " % $ DNS query DNS response DNS serveur local VRSKLDLQULDIU " " 17 Annuaire et DNS, avec mémoire IUQHZV\DKRRFRP $NDPDL &'1 Akamai DNS 5HTXHVWLQJ'16 " " 6XEVWLWXW " $ $ $ % $ substitut " $ $ $ % $ # YDLODEOH%DQGZLGWK % NESV 5HTXHVWLQJ'16 " " 577 % PV substitut $ $ % % $ # YDLODEOH%DQGZLGWK $ NESV 5HTXHVWLQJ'16 " " 577 % % PV Client " $ $ Client DNS " " # " $ $ $ % $ IUQHZV\DKRRFRP 77/ % V 18

10 Comment trouver le média? Les DHTs 19 Les tables de hachage Les DHTs Outil standard d informatique Principe : traduction FOHI ORFDOLVDWLRQ fonction de hachage H(x) exemple : H(D) = 3 0 fichier B 1 fichier E 2 fichier A 3 fichier D 4 fichier C Les tables de hachage distribuées Les données sont stockées sur plusieurs machines Ces machines sont dispersées dans l Internet 20

11 Les DHTs pour les réseaux P2P Réseaux P2P «Peer to Peer Networks» Réseaux poste à poste Napster, Gnutella, Kazaa, Freenet, JXTA, etc. Le hachage : l idéale x = nom d une chanson H(x) d une machine qui stocke la chanson exemple H(«Oh Marie») = / Napster DHT P2P V.1 La gestion de la DHT n est pas P2P Les informations sont centralisées sur un serveur désavantage : facteur d échelle «Oh Marie» /

12 Gnutella, edonkey, etc. Il n y a pas de table DHT P2P V.2 Recherche en anneaux croissants désavantages performance aléatoire trafic de signalisation «Oh Marie» «Oh Marie» «Oh Marie» / DHT P2P V.3 Tapestry, Pastry, Chord, CAN Définir une espace virtuelle H(x) = coordonnées dans cette espace désavantage : passer par une représentation intermédiaire avantages décentralisé table universelle Q : Pourquoi ne pas traduire la clef directement en adresse IP? H(«Oh Marie») = (5,6)

13 Exemple d un DHT : CAN «Content Addressable Network» Réseau adressable par le contenu Un modèle simple et intuitive Espace euclidienne Mais pas le plus déployé Tapestry et Pastry ont plusieurs applications basées dessus Les transparents qui suivent viennent de la présentation SIGCOMM 2001 de Sylvia Ratnasamy, qui a crée CAN. Ils ont été traduits et légèrement modifiés. 25 CAN : idée principale 26

14 CAN : idée principale inser t (K 1,V 1 ) 27 CAN : idée principale inser t (K 1,V 1 ) 28

15 CAN : idée principale (K 1,V 1 ) 29 CAN : idée principale r et r ieve (K 1 ) 30

16 CAN : solution système virtuel de coordonnées cartésiennes espace partitionnée parmi tous les nœuds à chaque nœud «appartient» son morceau d espace imaginer pour les points de l espace : pouvoir stocker des données à un point pouvoir router d un point à l autre assuré par le nœud auquel appartient le point 31 CAN : exemple simple 1 32

17 CAN : exemple simple CAN : exemple simple

18 CAN : exemple simple CAN : exemple simple 36

19 CAN : exemple simple, 37 CAN : exemple simple node I ::inser t (K,V), 38

20 CAN : exemple simple node I ::inser t (K,V) (1) a = h x (K), x = a 39 CAN : exemple simple node I ::inser t (K,V) (1) a = h x (K) b = h y (K), y = b x = a 40

21 CAN : exemple simple node I ::inser t (K,V) (1) a = h x (K) b = h y (K), (2) r out e(k,v) -> (a,b) 41 CAN : exemple simple node I ::inser t (K,V) (1) a = h x (K) b = h y (K), (2) r out e(k,v) -> (a,b) (K,V) (3) (a,b) st ocke (K,V) 42

22 CAN : exemple simple node J ::r et r ieve(k) (1) a = h x (K) b = h y (K) (2) r out e r et r ieve(k) ver s (a,b) (K,V) - 43 CAN : routage 44

23 CAN : routage (a,b) (x,y) 45 L état d un nœud CAN : routage Ses propres données Information à propos de ses voisins rien d autre 46

24 CAN : insertion d un nœud nœud boot st r ap nouveau nœ ud 1) Tr ouver un nœud I déj à dans le CAN 47 CAN : insertion d un nœ ud I nouveau nœ ud 1) Tr ouver un nœ ud I déj à dans le CAN 48

25 CAN : insertion d un nœ ud I (p,q) 2) choisir une point e à l aléat oir e nouveau nœ ud 49 CAN : insertion d un nœ ud I (p,q) J nouveau nœ ud 3) I r out e ver s (p,q), découvr e nœ ud J 50

26 CAN : insertion d un nœ ud J nouveau 4) diviser l espace de J la moit ié appar t ient au nouveau 51 Les mises à jour Le nœ ud même Ses voisins rien d autre CAN : insertion d un nœ ud 52

27 CAN : défaillance d un nœ ud L espace doit être réparée les données du nœ ud défaillant mises à jour périodiques de la redondance dans les voisins routage les voisins assument la responsabilité seulement les voisins sont impliqués 53 CAN : Routage résistant dest inat ion sour ce 54

28 CAN : Routage résistant 55 CAN : Routage résistant dest inat ion 56

29 CAN : Routage résistant 57 CAN : Routage résistant 58

30 CAN : facteur d échelle Soit Q le nombre de nœ uds dans le CAN G le nombre de dimensions de l espace virtuelle Voisins le nombre par nœ ud est 2d Chemins entre les nœ uds (dn')(* )/4 sauts, en moyenne Tapestry et Chord log(n) voisins par nœ ud log(n) sauts sur un chemin 59 Efficacité de routage A est le voisin CAN de B A est à Paris, B à Tokyo CAN : Problèmes Défaillance de plusieurs nœ uds Plus un problème que pour les voisins Concentrations de trafic Nœ uds responsables pour de chansons réclamées 60