Évaluation des performances des caches HTTP, le 1er Bake-off

Transcription

1 Évaluation des performances des caches HTTP, le 1er Bake-off C. Claveleira Cellule technique du CRU

2 Quelles performances? les plus évidentes - temps de délivrance d objets en cache - nombre d urls/s servies moins évidentes - nombre maximal de connexions simultanées possible - relation entre temps de réponse et charge - relation entre taux de succès et charge - fraîcheur des documents Quelles performances? CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 2 / 16

3 Évaluation tests et outils des constructeurs (CacheFlow, Inktomi, Network Appliance,...) : mettent en évidence les qualités de leur produit, rarement celles des autres outils maison (tests cache national) tests et outils indépendants problème récurrent : comment reproduire les conditions réelles de fonctionnement lors des tests? problème de la fiabilité des mesures. Exemple : temps de réponse - ce qu affichent les logs des caches? - ce que voient les clients? - influence du réseau? - influence de la taille de l url? - méthode d affichage (exemple MRTG)? Évaluation CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 3 / 16

4 1er Bake-off but : tester les produits de cache HTTP à l aide d un outil ouvert et indépendant de tout constructeur dans des conditions les plus réalistes possible par qui : groupe Ircache (NLANR, UCSD) quand : 15 au 17 mars 1999 comment : une (grande) plate-forme de test a été montée pour mettre sur le grill tous les producteurs de caches (logiciels ou matériels) volontaires outil utilisé : Web Polygraph 1.0p5 1er Bake-off CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 4 / 16

5 Participants osèrent : refusèrent : - IBM - InfoLibria - Network Appliance - Novell/Dell - université du Wisconsin - NLANR/IRCACHE - CacheFlow - Cisco - Entera - Inktomi les participants avaient le droit de refuser la publication des résultats de leurs tests, ce que firent IBM et Network Appliance Participants CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 5 / 16

6 Règles du Bake-off disponibilité : les produits testes doivent être disponibles dans les six mois suivant les tests temps de remplissage des caches <= 8H répétition de tests autorisée coûts : caches plus équipements réseau annexes (switches) pris en compte droit de non publication des résultats droit de commentaire maximum request rate annoncé à l avance par les fournisseurs (droit à une modification en cours de test) paramètre TCP time-wait fixé à 60s Règles du Bake-off CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 6 / 16

7 Web Polygraph outil client (polyclt) - serveur (polysrv) paramétrable hautes performances tourne (au moins) sur : FreeBSD, OSF1, SunOS 5, IRIX, Linux version actuelle polyclt envoie au cache un flot de requêtes HTTP répondant à certains critères polysrv répond aux requêtes envoyées par le cache trois phases : démarrage (10%), plein régime puis arrêt Web Polygraph CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 7 / 16

8 Profil de charge du Bake-off taille des réponses : distribution exponentielle avec une moyenne de 13Ko proportion d urls cachables/non cachables : 80%/20% temps de latence des serveurs : distribution normale, 3s de moyenne, 1,5s de déviation hits, misses : taux de succès fixé à 55% popularité des objets : distribution uniforme (en réalité : Zipf) émission des requêtes : cadence constante (indépendante des réponses) Profil de charge du Bake-off CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 8 / 16

9 Déroulement du Bake-off tous les fournisseurs à la fois, sur une même plate-forme, pendant 72H 80 PC Compaq DeskPro EN 233MHz, 128Mo de RAM, interface 100Mb/s, loués pour génération de charge et contrôle FreeBSD adapté pour Polygraph équipements réseau apportés par les fournisseurs tests faits avec les caches pleins série de tests avec profil de charge identique et cadence croissante Déroulement du Bake-off CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 9 / 16

10 Résultats : temps de réponse Résultats : temps de réponse CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 10 / 16

11 seuls Squid et Peregrine présentent un temps de réponse conforme aux "attentes" (croissance exponentielle) Novell/Dell présente un temps de réponse quasiment constant les courbes d InfoLibria s expliquent par un mécanisme de délestage du cache au-delà d une certaine charge Résultats : temps de réponse CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 11 / 16

12 Taux de succès Taux de succès CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 12 / 16

13 seul Peregrine garde un taux de succès constant curieusement le taux de succès de la petite configuration Novell/Dell est toujours en dessous de la valeur nominale (bogue corrigée d après Novell) Squid cesse d ouvrir des fichiers au-delà d un certain nombre ouverts le taux de succès d InfoLibria baisse dès que se déclenche le mécanisme de "pass-through" : plus que 9% et 14% à la charge maximale Taux de succès CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 13 / 16

14 Le coût du débit prix ramené à la requête/s : Le coût du débit CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 14 / 16

15 prix des configurations testées : Matériel Tableau 1 : prix des configurations complètes InfoLibria-L InfoLibria-S Novell/Dell-L Novell/Dell-S Peregrine Squid 3960 Prix $ US prix des configurations testées : CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 15 / 16

16 Références Bake-off : Polygraph : Références CRU-CT/CC ( ) Évaluation des performances des caches HTTP Cache-show-31/5/99-Paris- 16 / 16