Archivage de site web Enregistrer chaque réponse matériellement différente d un site web

Dimension: px

Commencer à balayer dès la page:

Download "Archivage de site web Enregistrer chaque réponse matériellement différente d un site web"

Hugues Mélançon
il y a 8 ans
Total affichages :

1 Archivage de site web Enregistrer chaque réponse matériellement différente d un site web Web site archiving - an approach to recording every materially different response produced by a website Kent Fitch, 2003

2 Le Web aujourd hui Utilisé pour publier de l info (commerciales ou gouvernementale) Un document web est publié chaque fois qu il est vu Le contenu change relativement peu Une minorité des pages reçoivent une majorité de visites Le pourcentage de page générée (dynamique) par des scripts ne cesse d augmenter (PHP, ASP, etc.)

4 Wayback Machine 1996

6 Wayback Machine 2000

7 85 milliards de pages depuis 1996 (2PB, 20TB/mois) Visite chaque site presque une fois par mois 50% des pages ont changé à chaque visite Difficulté à tout archiver (JavaScript, images, robots.txt) Non prévu pour un usage légal

8 Archiver: motivations Légal : équivalent papier Avantages commerciaux: pouvoir retrouver l information augmente la réputation Beaucoup essayent (Archive.org)

9 Archiver: les techniques 1. Enregistrer tout changement du logiciel de génération, de l environnement dans lequel il tourne et des entrées qu il utilise pour générer la réponse ( input side ) 2. Utiliser un spider pour prendre des snapshot réguliers 3. Faire des backups réguliers du site 4. Enregistrer toutes les réponses matériellement différentes ( output side )

10 Les différents critères d évaluation Couverture Robustesse Coût Recréation

11 Les différents critères Couverture: Tous les événements sont-ils couverts? Contenu dynamique enregistré? Contenu des champs, BDD, info temps réel (prix, etc.)? Changements non matériels peuvent-ils être ignorés?

12 Les différents critères Robustesse: Passe le test keep it simple? Facilement compréhensible? S adapte au changement du contenu ou du système de publication?

13 Les différents critères Coût: Faisaible économiquement? Quid tu temps et de la multiplication de site web?

14 Les différents critères Recréation: Peut-on recréer le site d un instant donné? Reproduction exacte? Peut-on détecter le changement de contenu?

15 1. Enregistrer tous les changements sur les entrées et les algorithmes Dépister tous les changements fait du côté des entrées sur les données qui changent le contenu des réponses du site. + Coût faible: versioning souvent déjà utilisé Couverture: complétude : connait-on tous les systèmes qui ont un impact sur la génération? diversité de composants modifiables: on n inclut pas les BDD, OS, etc. Recréation: Restaurer l OS, systèmes externes...

16 2. Utiliser un spider pour prendre des snapshots Crawler le web et archiver les résultats + Robustess: il existe déjà des spiders efficaces + Recréation: on archive les réponses HTTP: ne nécessite pas l environnement d exécution original

17 2. Utiliser un spider pour prendre des snapshots Couverture: les spiders ne parcourent pas tout le web (pages dynamiques, réponses transactionnelles) nécessite plusieurs parcours avec configurations différentes (cookies) perd les changements entre les parcours Coût: le crawl régulier génère beaucoup de données Recréation: impossible de recréer un site à un temps donné (pages dynamiques, cookies)

18 3. Faire des backups réguliers du site Créer un backup du site et des composants associés et l archiver. + Coût: souvent déjà effectué + Couverture: le backup couvre tout le système Couverture: le backup ne couvre pas les systèmes externes changements entre backups perdus

19 3. Faire des backups réguliers du site Coût: le backup d un système entier prend de l espace Recréation: problèmes avec les systèmes externes cookies... nécessite du hardware

20 4. Enregistrer toutes les réponses matériellement différentes Inspecter toutes les réponses du serveur web et archiver les nouvelles. + Couverture: indépendant du type de contenu et de la génération de réponse toutes les réponses sont inspectées, les variations côté client sont enregistrées + Recréation: enregistre les réponses HTTP, on se passe de l environnement d exécution

21 4. Enregistrer toutes les réponses + Coût: volume de réponses unique faible Coût: matériellement différentes overhead dû à la détermination de l unicité Robustesse: la détermination de l unicité est faite entre le serveur et le client (si le système de détermination plante, le site web plante). Couverture: les réponses peuvent être différentes, mais non matériellement différentes (personnalisation, script renvoyant l heure, etc.)

22 Une idée du volume Site Date #Requêtes #Réponses màj #URL distincts (incl. param.) NASA 1/7/95-31/8/ Clarknet ISP 28/8/95-10/9/ Large Public Australian Site 5/11/02-1/12/

23 Une idée du volume Le nombre de réponses uniques et leurs tailles décroissent en fonction du temps Dépend du type de site NASA

24 Une idée du volume Le nombre de réponses uniques et leurs tailles décroissent en fonction du temps Dépend du type de site Large Public Site

25 Archiver les réponses: trois approches 1. Utiliser un sniffeur de réseau capturant les réponses de manière asynchrone depuis une machine séparée 2. Utiliser un proxy HTTP entre les clients et le serveur ( reverse proxy ) 3. Insérer un filtre du côté de l entrée du serveur web (requêtes) et de la sortie (réponse)

26 Archiver les réponses: trois approches 1. Utiliser un sniffeur de réseau capturant les réponses de manière asynchrone depuis une machine séparée SSL impossible

27 Archiver les réponses: trois approches 2. Utiliser un proxy HTTP entre les clients et le serveur ( reverse proxy ) SSL très couteux augmente la latence et masque l IP du client

28 Archiver les réponses: trois approches Accès complet à la requête et à la réponse Bien supporté par Apache + Microsoft Utilisé par pagevault 3. Insérer un filtre du côté de l entrée du serveur web (requêtes) et de la sortie (réponse)

29 pagevault 4 composants Filtre Distributeur Archiveur Servlet d interrogation

31 pagevault: Filtre Utilisé dans l espace d adresse du serveur Identifie les paires uniques requête/réponse et les stocks Génère des faux positifs, car n a pas une vue globale si le serveur web est réparti sur plusieurs machines

32 pagevault: Distributeur Lis les réponses uniques générées par le filtre Identifie la majorité des FP (les élimine) Envoie l URL et le checksum à l archiveur (ainsi que la réponse compressée si l archiveur la considère unique)

33 pagevault: Archiveur Maintiens une base de données des requêtes archivée Utilise cette BDD pour déterminer l unicité d une paire requête/réponse

34 pagevault: Servlet d interrogation Servlet Java Frontend de la BDD de l archiveur

35 pagevault Le code du filtre doit être petit et optimisé (portabilité et performances) Le filtre doit pouvoir rejeter les réponses inintéressantes le plus rapidement possible (en se basant sur l URL ou le type de contenu) Le filtre doit facilement décider l unicité d une requête/réponse en se définissant sur le contenu non matériel (ex. : contenu du panier)

36 pagevault L archiveur doit pouvoir archiver du contenu de plusieurs serveurs web L archiveur doit offrir une navigation complète à un temps donné (JavaScript, feuilles de styles, applets...)

37 pagevault Exemples de requêtes: Comment était cette page le 5 mai à 9h30? Combien de fois et comment à changé cette page en 6 mois? Quelles étaient les réponses à la requête contenant le mot poison durant les derniers mois?

38 pagevault Ne doit pas demander la modification du serveur web actuel Ne connaît pas les raisons de changement de contenu et ses auteurs N archive pas le contenu jamais demandé (sauf en utilisant des spiders) Ne détermine pas qui a vu quoi

39 Finalement pagevault consomme peu de ressources (+0.4 ms) Solution attractive ($8 000) pour archiver des sites individuels ou une union d archives

46 Merci

Documents pareils

INTERNET est un RESEAU D ORDINATEURS RELIES ENTRE EUX A L ECHELLE PLANETAIRE. Internet : interconnexion de réseaux (anglais : net = réseau)

INTERNET est un RESEAU D ORDINATEURS RELIES ENTRE EUX A L ECHELLE PLANETAIRE. Internet : interconnexion de réseaux (anglais : net = réseau) CS WEB Ch 1 Introduction I. INTRODUCTION... 1 A. INTERNET INTERCONNEXION DE RESEAUX... 1 B. LE «WEB» LA TOILE, INTERCONNEXION DE SITES WEB... 2 C. L URL : LOCALISER DES RESSOURCES SUR L INTERNET... 2 D.