Les CDNs et leurs technologies

Transcription

1 Les CDNs et leurs technologies Emmanuel Filiot 24 mai 2004 Table des matières 1 Introduction 1 2 Mise en cache par proxy 3 3 Redirection DNS et réécriture d URL [2] Redirection DNS [2] [5] [7] Réécriture d URL [2] [7] Placement des serveurs caches 7 5 Conclusion 8 1 Introduction Depuis que l Internet est exploité commercialement, par exemple à travers le e-business, les acteurs de l Internet se sont rendus compte que pour garder un client, il faut le fidéliser. Le meilleur moyen pour fidéliser un client est de lui fournir une haute qualité de services : haute disponibilité des serveurs, rapidité d accès à l information, et ciblage facile de l information cherchée. Le ciblage de l information relève plus ici de la conception même des sites internet, mais la haute disponibilité des serveurs et la rapidité d accès font partie d un concept universel de qualité dans les réseaux, applicable à tout type de service de tout système d information : la disponibilité de l information et la performance du service offert. A cet effet, les acteurs de l Internet doivent veiller à optimiser les ressources réseaux, sachant que le trafic Internet double actuellement tous les trois à six mois, et que certaines informations sont consul- 1

2 tées beaucoup plus souvent que d autres, de manière répétitive, contribuant à la croissance exponentielle des flux. Les CDNs tentent d optimiser l utilisation des ressources et d améliorer la qualité des services offerts. Définition Le terme CDN (Content Delivery Network) est utilisé dans la littérature avec différents sens, nous parlerons dans un premier temps plutôt d une philosophie CDN. La philosophie du CDN est de bâtir le réseau de transport pour qu il délivre chaque flux en fonction de ses contraintes de qualité de service propres : ainsi, le moteur du réseau n est plus le traditionnel routage, mais le contenu. L information obtenue ne proviendra pas forcément du serveur d origine, mais d autres serveurs en amont faisant partie du CDN [2] [8] [9] [10]. Les technologies CDNs fournissent des services pour améliorer l accès à l information, quelle soit statique ou en streaming, l utilisation des ressources, la prévention de la congestion. Un serveur appartenant à un CDN peut se trouver au même endroit que le serveur du site d origine, ou ailleurs dans le réseau, avec la totalité ou une partie du site d origine qui soit sauvegardée. Pour chaque requète, le CDN détecte un serveur du CDN qui soit le plus près possible du client avant de répondre à la requète. La notion de proximité ici considère ici des critères géographiques, topologiques, ou de latence. Les serveurs qui distribuent le contenu du site d origine doivent donc avoir un contrôle sur ce dernier, effectuant des mises à jours si nécessaires. Pour l instant, les CDNs ne sont proposés que par quelques sites ( [2]) mais ont un succès grandissant auprès des entreprises, qui proposent de plus en plus de services CDNs [11]. La localité géographique, la multitude des contenus, obligent alors les entreprises à se regrouper pour faire interagir leurs services CDNs, afin d en améliorer les performances. Dans le e-business, il n est pas rare qu on fasse intervenir plusieurs services (banque, livraison, etc...), chacun de leurs réseaux CDNs doivent intéragir. Les avantages pour les entreprises qui utilisent un CDN sont multiples [11] [9] [12] : la diffusion d informations en streaming est améliorée le fonctionnement global du réseau est amélioré un réseau CDN peut augmenter la bande passante à souhait (en supposant que l information requise est dans le cache) en fonction de la bande passante requise par les applications du client comme l information est à proximité du client, cela réduit globalement l usage de la bande passante au niveau du WAN. 2

3 les contenus peuvent être filtrés la disponibilité des contenus est améliorée, ainsi que la prévention des overloads excellente résistance à une montée en charge importante qu un serveur centrale unique ne pourrait pas tenir, utile pour lutter contre les attaques informatiques tout cela se traduit par une baisse globale du coût du réseau Dans cet article seront présentés les différentes technologies CDNs et leurs avantages. Les technologies reposent essentiellement sur la mise en cache des contenus sur des serveurs caches et la gestion des contenus. Nous nous intéresserons principalement au premier aspect, le deuxième n étant pas directement lié à l aspect réseau. La mise en cache des contenus soulèvent plusieurs problèmes, dont la résolution caractérise les CDNs : comment diriger le client vers le bon serveur cache? où placer les serveurs caches? Nous exposerons dans la première partie les bases architecturales d un CDN, et répondrons à la première question dans la deuxième section, qui expose les techniques de redirection DNS et de réécriture d URL. Enfin, dans la dernière partie sera exposé un point de vue plus théorique relatif à un problème de minimisation NP-Complet répondant à la deuxième question. 2 Mise en cache par proxy Une optimisation traditionnelle est de mettre des serveurs proxies en périphérie du réseau, comme indiqué sur la figure. En de multiples endroits du réseau, les proxies ou serveurs caches gardent en mémoire les informations qui ont déjà transité par leur biais. Ainsi, lorsque l internaute veut se reconnecter à un site éloigné, situé par exemple sur un autre continent, le proxy peut lui resservir les pages afin de diminuer le temps de réponse à sa requête. Cette solution a quelques désavantages : le proxy n est d aucune utilité pour les données dynamiques (formulaires, etc...), au contraire, elle dégrade le temps d accès car elle ajoute son propre délai dans le traitement de la requète le proxy n a pas un traitement intelligent des requètes, par exemple, il ne distinguera pas un contenu de type commercial, d un autre contenu, et affectera la même priorité à tous les contenus dans le traitement des requètes. 3

4 Fig. 1 un Content Delivery Network Les solutions CDNs gardent l architecture des caches proxies mais apportent en plus des équipements d aiguillage des flux travaillant au niveau transport, qui permettent de prendre des décisions suivant le type de contenu, et même suivant le contenu lui-même [10] [9] : reconnaissance des flux dynamiques, les caches proxies sont alors ignorés. [6] propose une architecture pour les réseaux de livraison de contenus dynamiques. le client est dirigé vers le cache qui délivera l information le plus rapidement (minimiser la traversée du réseau en prenant le cache le plus proche, minimiser le temps de traitement en prenant le cache le moins chargé, diriger vers un cache dédié à une famille d URLs) traitement intelligent des requètes A l inverse, les serveurs sources doivent mettre à jour les caches proxies qui sont là pour proposer le contenu du serveur source. Cette démarche s appelle le reverse proxy. Le serveur source doit optimiser le nombre de requètes qui lui sont faites par les proxies, et contrôler le contenu de ces derniers, par exemple en les mettant à jour dès que que le contenu du serveur source change, comme illustré à la figure 2. 4

5 Fig. 2 Le procédé de reverse proxy 3 Redirection DNS et réécriture d URL [2] Les serveurs caches d un CDN sont localisés à différents endroits du réseau. Un problème posé par les CDNs est de savoir comment diriger la requète d un client, pour un objet du réseau CDN, vers un un serveur cache de ce réseau. La redirection DNS et la réécriture d URL sont deux techniques qui ont pour but de répondre à cette question. D autres techniques non présentées ici sont exposées dans [7]. 3.1 Redirection DNS [2] [5] [7] Dans la redirection DNS, le serveur DNS autoritaire (Authoritative DNS server (ADNS) 1 ) est contrôlé par le CDN. Lorsque le serveur ADNS reçoit une requète DNS du client, ou plutôt du serveur DNS local du client, il résoud le nom du serveur appartenant au CDN, ce serveur lui envoie une IP correspondant à un serveur cache qui optimise le traitement de la requète, et enfin le serveur ADNS retourne cette adresse IP au client, avec des informations sur sa durée de 1 C est un serveur DNS pour certains noms de domaines, qui sera consulté par les serveurs DNS locaux 5

6 vie (TTL). Généralement, les durée de vie sont faibles, ce qui permet au CDN de changer les mappings rapidement afin de mieux équilibrer la charge sur les serveurs caches du CDN. Par exemple, supposons que http :// fournisse un service CDN et que le site http :// y soit abonné. Lorsque A fait une requète p vers http :// p est transmise au serveur DNS local de A, qui transmet p au serveur ADNS du nom de domaine (qui fait partie du CDN), qui transmet la requète au serveur http :// http :// fait alors des requètes de mesures auprès des serveurs caches du CDN, qui eux-mêmes vont faire un ping sur le serveur DNS local de A, renvoyer leur mesure à http :// qui décidera ensuite de l adresse IP du serveur cache minimisant le traitement de la requète, qu il enverra à A par l intermédiaire des serveurs DNS. Si le contenu du site demandé n est dans aucun serveur cache, alors l IP du serveur d origine est renvoyée. livraison partielle ou totale Il y a deux types de livraisons de contenu (Content Delivery), partielle ou totale. Dans une livraison totale, le serveur d origine est complétement caché aux clients, sauf aux équipements du CDN. Le site d origine modifie son fichier de zone DNS de manière à ce qu il soit dans les domaines gérés par le serveur ADNS fournit par le CDN. Adero et Net- Catching sont deux exemples de CDNs délivrant la totalité du contenu du site. Toutes les requètes vers le site d origine sont alors redirigées via DNS vers des serveurs du CDN. Dans une livraison partielle, le site d origine modifie simplement les URLs des objets contenus dans les pages web, souvent les images, qui sont les contenus les plus fournis par les CDN actuellement, de telles sortes qu ils soient fournis par le CDN. Les URLs modifiés sont maintenant mappés par le serveur DNS du CDN. Par exemple, le réseau CDN Speedera change en toto.speedera.net/ Akamai, Digital Island, Mirrorimage, Solidspeed, et Speedera sont des exemples de CDNs qui font de la livraison partielle. problèmes des petits TTL [1] Les adresses IP ont une durée de vie (Time To Live) limitée, dont la valeur est fournie au client par le serveur DNS. Les réseaux CDNs utilisent de faibles valeurs TTL afin d avoir plus de réactivité dans l équilibrage de la charge du réseau (load balancing), cependant les clients sont alors obligés d interroger le serveur DNS plus souvent, ce qui augmente la 6

7 latence, étant données les mauvaises performances des serveurs DNS. On peut d ailleurs voir dans [2] qu en général les faibles TTLs ne diminuent pas le temps de téléchargement. 3.2 Réécriture d URL [2] [7] Cette technique est utilisé pour modifier le contenu des serveurs caches, et pour pouvoir envoyer directement le client ayant fait la requète vers un serveur cache. Le site d origine est accédé par les clients, mais les URLs du site (les liens vers des données statiques ou en streaming) sont changés dynamiquement en adresses IP de serveurs caches. Le changement dynamique s effectue suivant les critères habituelles de rapidité de traitement de la requète. Ainsi, le serveur d origine n est pas surchargé, et peut garder son nom de domaine, et permet d éviter de surcharger les serveurs DNS. La réécriture est effectuée par l entreprise CDN, qui, lorsqu elle remarque qu un contenu est susceptible d être accédé souvent, le copie (push) sur un serveur cache, et modifie dynamiquement le lien sur la page d origine pour le remplacer par l adresse IP de serveur cache. 4 Placement des serveurs caches Le placement des serveurs caches dans le réseau CDN doit être optimisé pour minimiser les distances [4]. La notion de distance pour les CDNs fait appel à divers critères, distance géographique, bande-passante, congestion, etc... Nous pouvons modéliser ce problème avec le formalisme suivant, étant donnés : N noeuds, des demandes de bande passante r(i) pour chaque noeud, modélisées par un entier, K serveurs localisés en s = (s 1,..., s K ), un coût de transmission d(i, s k ) entre le noeud i et le serveur s k, V k = {i : d(i, s k ) < d(i, s l ) l} la zone de service, il faut trouver min s la zone de service de v k. k V k r(i)d(i, v k ) où V k r(i)d(i, v k ) représente le coût de Thoérème (Kariv et Hakimi 1979) Ce problème est NP-complet. Ce problème est un problème de la théorie des graphes. 7

8 Etat de l art [4] pour les arbres, il existe un algorithme optimal de complexité O(N 2 K 2 ) il a été ensuite amélioré à O(N 2 K) avec des algorithmes de programmation dynamique, on a une complexité O(NKH) où H est la hauteur de l arbre un algorithme en (logn) a été trouvé pour placer un serveur dans un arbre, et en (log 3 N) pour en placer deux dans un arbre binaire complet. [4] propose une 4-approximation dans le cas général de complexité (N 3 ), ce qui est le mieux que l on puisse faire à l heure actuelle 5 Conclusion Comme on l a vu, les CDNs sont des réseaux de serveurs caches proposés par certaines sociétés, visant, d un point de vue client, à améliorer le traitement de leurs requètes et la qualité du service, en diminuant les risques de congestion par une livraison de proximité des contenus des sites requis et par un routage par le contenu, d un point de vue professionnel, à améliorer la qualité de leurs services, à prévenir les attaques informatiques en pouvant faire face à de grosses montées en charge, et indirectement à fidéliser le client. À la différence des serveurs proxies, ils réalisent un aiguillage intelligent des flux, et permettent aux providers de contrôler le contenu des serveurs caches. Les différentes technologies CDNs concernent principalement le routage et la modification du contenu. La technique de routage la plus utilisée actuellement est la redirection DNS, et la technique de modification de contenu, et en même de temps de routage, est la réécriture d URL. Enfin, un problème posé par les CDNs est le placement des serveurs caches, qui est un problème NP-Complet pour lequel la meilleure approximation est d un facteur 4. Finalement, il est important de dire que les réseaux CDNs sont de plus en plus utilisés par les acteurs de l Internet, des études exposées dans [2] montrent, qu en décembre 2000, 31% d un ensemble de 107 sites populaires, et 17% d un ensemble de 1030 sites populaires utilisaient des CDNs pour diffuser leur contenu, contre 1 à 2 % en 1999 sur un échantillon de 600 sites populaires. Les études montrent aussi que les performances pour l utilisateur sont nettenement meilleures dans la consultation des sites utilisant les CDNs que pour ceux ne l utilisant pas. Une étude périodique sur les changements de serveurs caches pour un même utilisateur a montré que 90% des contenus vus par un utilisateur les avait été sur le 8

9 même serveur cache la fois précédente, ce qui montre que le mapping des IPs sur les serveurs caches change peu. [2] souligne enfin que : 20% à 30% des contenus délivrés par les CDNs sont des images il y a de sérieuses différences de performance entre les différents réseaux CDNs la résolution DNS (DNS Lookup) peut affecter considérablement les performances pour certains réseaux CDNs de petits TTL n augmentent pas en général les temps de téléchargement le problème d affecter les TTLs est difficile est très important avoir plus de serveurs caches n impliquent pas nécessairement une amélioration des performances 9

10 Références [1] Arup Acharya, Anees Shaikh, Renu Tewari, Dinesh Verma, MPLS-based request routing, IBM TJ Watson Research Center. [2] Balachander Krishnamurthy, Craig Wills, Yin Zhang On the Use and Performance of Content Distribution Networks, [3] R. Cohen, L. Kazir, and D. Raz Scheduling Algorithms for a Cache Pre-Filling Content Distribution Network, Infocorn [4] Craig W. Cameron, Steven H. Low, David X. Wei High-Density Model for Server Allocation and Placement, [5] Girish Borkar Content Distribution Networks CISC 856 TCP/IP and Upper Layer Protocols, Department of Computer and Information Sciences, University of Delaware, [6] Himabindu Pucha DynCoDe : An Architecture for Transparent Dynamic Content Delivery School of Electrical and Computer Engineering, Purdue University. http ://www2003.org/cdrom/papers/poster/p239/dynamic.htm. [7] Md. Humayun Kabir, Eric G. Manning, Gholamali C. Shoja, Request-Routing Trends and Techniques in Content Distribution Network,Proc ICCIT 02, Dhaka, Bangladesh, December pp ISBN [8] http ://whatis.techtarget.com/definition/0,sid9_gci214325,00.html [9] http :// [10] http :// [11] http :// [12] http :// pdf 10