Redirection. Distribution de contenu 4 - Réseaux d acheminement de contenu Content Delivery Networks (CDN) Les fournisseurs de contenu.

Transcription

1 istribution de contenu 4 - éseaux d acheminement de contenu ontent elivery Networks (N) hristophe eleuze Grenoble INP EIA NE Les fournisseurs de contenu veulent : rendre contenu accessible capacité serveur capacité réseau distribution géographique garder le contrôle fraîcheur comptage etc web dynamique gestion de site N ontent elivery Network N - systèmes surrogate placé près des clients géré par le fournisseur de contenu + charge origine + débit réseau + délai client + stats origine + fraicheur rapprocher le contenu des clients quatre systèmes delivery serveurs surrogates redirection distribution réplication routage du live comptabilité distribution redirection comptabilité delivery N N fournisseur de contenu consommateurs opérateur réseau opérateur N F Qu est-ce qu un N? $ $ $ contenu service N IP BP Akamai : 500 serveurs Edgeast Mirror Image igital Island pérateurs de N services connexes de gestion de contenu monitoring reporting M identification des utilisateurs spécialiser/segmenter les contenus N 4 N 5 edirection (request routing) edirection trouver le meilleur surrogate (équilibrage de charge + distance au client) surrogate = f(consommateur, contenu, état réseau, états surrogates) routage de requête routage (construction des tables) relayage (forwarding) transparent pour le client différentes méthodes pour le relayage N 6

2 edirection : application redirect edirection N hiérarchique ex HTTP : 07 temporary redirect + précis adresse client UL contenu connexion vers l origine à implémenter pour chaque type de contenu l UL du document change! GET url 07 newurl GET newurl 00 K fournisseur de contenu content.com N opérateur de N cdn.com N paris.cdn.com N londres.cdn.com N 4 TTL = j LNE TTL = 0s TTL = 0s PAI N 7 N 8 edirection N hiérarchique à A? NAME content.cdn.com répond en fct de l adresse de content.cdn.com A? content.cdn.com NAME paris.content.cdn.com répond en fct de la charge des surrogates paris.content.cdn.com A? paris.content.cdn.com NAME s.paris.content.cdn.com s.paris.content.cdn.com A a.b.c.d ésolveurs bien placés? sur des sites populaires, ajout d un lien sur un GIF de pixel transparent <img src=" height= width=> GET image GET image edirect ip cs.example.com? ip cs.example.com serveur de l image serveur rd.example.com serveur de nom pour *.cs.example.com IP = , N = N 9 N 0 Proximité client/résolveur éécriture N valeurs de proximité dans le même A dans le même réseau mesurés % req % client A network 4 6 meilleurs possibles % req % client A 9 88 network onclusion impact faible pour N actuels fortes améliorations possibles (et nécessaires) si densification des N si tout le monde utilise le même résolveur? interception N réécrit la req. pb : très intrusif = N standard (màj dynamiquement)? content.com content.com = ? pop.cdn.net! pop.cdn.net = N N éécriture HTTP éécriture HTTP pour pop a pop a pop b GET /content.html Host: provider.com HTTP/. 0 Found Location: a b pop.cdn.net A? pop.cdn.net NAME a a A a.b.c.d pop pop pop GET /provider.com/content.html Host: pop.cdn.net HTTP/. 00 K <a href="pop.cdn.net/provider.com/news.html">news!</a> N N 4

3 éécriture HTTP pour GET /content.html Host: provider.com HTTP/. 0 Found Location: éécriture HTTP pour pop a pop a pop b pop.cdn.net A? pop.cdn.net NAME a a A a.b.c.d a b GET /provider.com/content.html Host: pop.cdn.net HTTP/. 00 K <a href="pop.cdn.net/provider.com/news.html">news!</a> pop pop pop N 5 N 6 edirection : routage edirection : routage intra A requête client pour document ensemble des gtes ayant le document charge (PU, nb. connexions) distance au client (hops, délai, débit ) réponse rapide + infos à jour méthode passive (IGP/BGP) méthode active (network probing) à la demande à l avance Akamai secret sauce trouver un surrogate raisonnable approche active/à l avance décision centralisée clusters de surrogates pop (agrégats de clients) charge des services dans chaque cluster chaque cluster probe tous les pops association (pop, service) cluster associations pop { réseaux } (ex. IGP) cluster pop décision probe rapport N 7 N 8 edirection : routage extra A outage à la demande point de peering = pop liste des réseaux fournie par BGP (route descendante ) A A A cluster pop A A A si topologie inconnue ou très gd nb de pops potentiels req. arrive probe le client (ou son pop) maintient un cache de n clients (ou pops) découverte topologie dynamique cache contient infos pour zones actives N 9 N 0 Mesure des métriques Passive infos des protocoles de routage IGP Interior Gateway Protocol PF topologie IP distances en nb de nœuds EGP Exterior Gateway Protocol : BGP A path length traces de trafic Active TT : echo IMP (ping) pertes débit packet pair : débit lien goulot packet train : débit disponible Packet pair. lien à 00 Mb/s j envoie paquets de 500 octets, dos-à-dos tps de transmission, = ms. lien goulot à Mb/s tps de transmission, = 00 ms. retour sur lien à 00 Mb/s les paquets sont espacés mais impact possible d autres paquets N N

4 N boomerang P P 00 ms 00 ms P ms 00 ms P P ms ms P ms Boomerang/Flash N/N flooding les clusters répondent ère arrivée gagne proximité réseau si serveurs chargés retarder la réponse routage très simple! N B B N N 4 istribution : réplication istribution éplication copie push pull synchronisation (cohérence) Push multicast? problème de la fiabilité contrôle de flux (hétérogénéité) interface des surrogates N 5 éplication : copie éplication : synchronisation Pull où chercher le contenu? origine voisins hiérarchie ex. IP forme de routage déterminer les routes possibles choisir la meilleure (distance réseau + charge serveur) maintenir la cohérence des surrogates avec l origine surrogate = serveur authoritatif invalidation de contenu mises à jour multicast content signaling tentatives passées WIP Web ache Invalidation Protocol (IETF/isco) UP esource Update Protocol (IETF) WP (académique) N 6 N 7 Web ontent istribution Protocol WP content group (choix du créateur de contenu) register <cg> pseudo-push invalidation avec rafraich. immédiat ou rafraich retardé (charge) cohérence forte envoie invalidation attend les AK publie le nouvel objet WP cohérence forte avec push proxy/surrogate pulle mais relaie les req. qd ts les AK reçus, origine publie et envoie MMIT proxy/surrogate publie à réception du MMIT -cohérence heartbeat (revalidation périodique par le serveur) invalidation temporaire scalabilité N 8 N 9

5 WP cohérence forte avec push soon invalid nouvelle version GET new new version 4 GET K GET K AK attend tous les AK GET K publie nouv. vers. MMIT Leases (Baux) gestion classique côté serveur (invalidation) états côté client (revalidation systématique) msgs compromis : lease (bail) {,,d} serv s engage à notifier des modifs de pendant d Lease-ontrol: Grant-Lease enew-lease cohérence forte relachée Invalidate-Lease: Invalidate-Ack: serv attend les AK ou fin du bail pour modifier relaie les requêtes N 0 N istribution de stream stream : non élastique on demand/live TP, TP/TP gros fichiers longue occupation au serveur tream à la demande qualité dépend du chemin N : streamer depuis le bord du réseau pb : taille des fichiers prefix caching puis transfert élastique de la suite segmentation des fichiers et répartition sur les réplicas qualité : path diversity plusieurs surrogates en // N N tream live N réseau overlay multicast soulage l origine soulage le réseau routage spécifique ex. route avec débit min assuré protection des flots FE flots redondants hétérogénéité Multicast applicatif noeud N routeur Autres N 4 elivery system proxy caches web (statique, dynamique) stream real networks windows media machines spécialisées (hardware, ) Network Appliances (NetApp), Blue oat (ex acheflow), Inktomi isco, Intel besoins spécifiques des N? omptabilité les logs sont répartis dans tous les surrogates besoin de générer une vision globale pour le fournisseur de contenu pour l opérateur de N scalabilité? structure hiérachique (multicast inverse) N 5 N 6

6 dig ;; QUETIN ETIN: ; IN A Qui utilise des N? ;; ANWE ETIN: 75 IN NAME toggle. toggle. 00 IN NAME g. g. 00 IN NAME lb. lb. 00 IN A lb. 00 IN A lb. 00 IN A lb. 00 IN A ;; AUTHITY ETIN: akadns.net IN N eur.akadns.net. akadns.net IN N use.akadns.net. akadns.net IN N usw.akadns.net. akadns.net IN N asia9.akadns.net. akadns.net IN N za.akadns.org. akadns.net IN N zb.akadns.org. akadns.net IN N zc.akadns.org. akadns.net IN N zd.akadns.org. ;; AITINAL ETIN: za.akadns.org. 5 IN A zb.akadns.org. 65 IN A zc.akadns.org. 67 IN A zd.akadns.org. 04 IN A deleuzec@e044:~/ne50$ dig ;; QUETIN ETIN: ; IN A ;; ANWE ETIN: 77 IN NAME IN A deleuzec@e044:~/ne50$ dig ;; QUETIN ETIN: ; IN A ;; ANWE ETIN: 00 IN NAME IN A ;; AUTHITY ETIN: akadns.net IN N usw.akadns.net. akadns.net IN N asia9.akadns.net. akadns.net IN N za.akadns.org. akadns.net IN N zb.akadns.org. akadns.net IN N zc.akadns.org. akadns.net IN N zd.akadns.org. akadns.net IN N eur.akadns.net. akadns.net IN N use.akadns.net. ;; AITINAL ETIN: za.akadns.org. 9 IN A zb.akadns.org. 4 IN A zc.akadns.org. 6 IN A zd.akadns.org. 80 IN A N 7 N 8 deleuzec@e044:~/ne50$ dig ;; QUETIN ETIN: ; IN A ;; ANWE ETIN: IN NAME IN NAME a75.g.akamai.net. a75.g.akamai.net. 0 IN A a75.g.akamai.net. 0 IN A ;; AUTHITY ETIN: g.akamai.net. 675 IN N n7g.akamai.net. g.akamai.net. 675 IN N n8g.akamai.net. g.akamai.net. 675 IN N n0g.akamai.net. N / caches web qu est-ce qui les différencie? redirection? mais caches transparents push? systèmes hybrides ontent Networks deleuzec@e044:~/ne50$ dig trendmicro.com ;; QUETIN ETIN: ;trendmicro.com. IN A ;; ANWE ETIN: trendmicro.com. 800 IN A ;; AUTHITY ETIN: trendmicro.com. 777 IN N aus.akam.net. trendmicro.com. 777 IN N usc.akam.net. trendmicro.com. 777 IN N use.akam.net. trendmicro.com. 777 IN N use4.akam.net. N 9 N 40 Les N Qu est-ce qu un N?. partagent dynamiquement l infrastructure de réplication. utilisent les UL classiques. fournissent un espace de noms adapté et paraissent contradictoires Un N est : une infrastructure de réplication un changement de sémantique de l espace de noms UL N 4