Mesure des usages et présentation des projets MESURE et AnalogIST / ezpaarse

Transcription

1 Mesure des usages et présentation des projets MESURE et AnalogIST / ezpaarse novembre 2012 stephane.gully@inist.fr thomas.porquet@couperin.org

2 Un besoin attesté et récurrent Réaliser des statistiques d'utilisation Récupérer, nettoyer, enrichir les données d'usage Auprès des éditeurs (au format COUNTER dans le meilleur des cas) Localement Nos objectifs Créer une boite à outils pour la récupération, la création puis l'analyse de données d'usage Fournir aux utilisateurs des indicateurs / éléments d'analyse pour l'aide à la décision 2

3 Deux projets complémentaires MESURE : un portail pour moissonner, stocker et présenter les données d'usage fournis par les éditeurs Analog'IST / ezpaarse : un projet commun CNRS-INIST, Université de Lorraine, Couperin produire des données d'usage exploitables à partir de fichiers de log générés localement (ex : proxy) et mettre en commun la chaîne de traitement 3

4 MESURE : Le portail JUSP comme point de départ JUSP (Journal Usage Statistics Portal) financé par le JISC pour moissonner, aggréger et présenter les données fournies par les éditeurs Premier prototype établissements / 41 fournisseurs Périmètre : Seulement les rapports JR1 et JR1a Via SUSHI 4

5 A quoi ça ressemble? 5

6 Le JUSP : JR1 6

7 Le JUSP : courant / archive 7

8 Le JUSP : les titres les plus vus 8

9 MESURE : un prototype en cours Mutualisation et Evaluation des Statistiques d Utilisation des Ressources Electroniques Objectifs : Implémenter le moissonnage automatique de rapports COUNTER via SUSHI Stocker les données disponibles de 2009 à aujourd'hui Point d'accès unique à nos membres Fournir une mise en forme simple et pratique des données 9

10 Le périmètre de notre prototype 4 éditeurs : IOP (electronic journal et science) Elsevier (ScienceDirect) Springer (Metapress) American Chemical Society (ACS) 5 établissements : Bordeaux 1, Rennes 1, Paris 5, Toulouse 3 et UL (i.e. Nancy 1, Nancy 2, Metz, INPL) 10

11 MESURE : présentation / page d'accueil générale 11

12 MESURE : page d'accueil pour un établissement 12

13 MESURE : représentation graphique du JR1/JR1a 13

14 MESURE : représentation tabulée enrichie du JR1a 14

15 MESURE : usage courant / archive 15

16 MESURE : le détail par titre de l'usage courant / archive Courant et archive agrégés Archive seulement Courant seulement 16

17 MESURE : évolution annuelle comparée 17

18 À ce jour Le prototype est en ligne pour les établissements pilotes qui le testent et accèdent aux données COUNTER moissonnées Le prototype sera soumis à la validation du Groupe de Travail COUPERIN Puis élargissement du périmètre : À d'autres établissements membres de COUPERIN À d'autres fournisseurs qui ont implémenté la norme COUNTER 18

19 AnalogIST / ezpaarse AnalogIST - Analyse des logs de l'ist EzPAARSE - easy / Progiciel d'analyse des Accès aux RessourceS Electroniques Idée : une plateforme logicielle intitulée ezpaarse servira de brique essentielle dans la création d'une plateforme nationale AnalogIST, synchronisable avec des instances locales, installées au sein des institutions intéressées SG 19

20 Le point de départ : L'existant à l'inist Pour le suivi de ses BiblioSites thématiques, l'inist met en place un groupe statistiques en utilisateurs 1 informaticien et développe des outils et des procédures d'analyse de fichiers logs d'un EzProxy Parseurs (un par plateforme éditeur) Tests manuels de validation SG 20

21 Le cœur du travail : l'analyse de lignes de log toto [10/Jun/2010:03:00: ] "GET /data/page1.html HT/1.1" " "IE6" bob [10/Jun/2010:03:01: ] "GET /data/page3_.html HT/1.1" " "Chrome" username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" titi [10/Jun/2010:03:01: ] "GET /data/page3.html HT/1.1" " "Safari/3.0" username [10/Jun/2010:03:01: ] "GET /data/page3.html HT/1.1" " "Mozilla/5.0" SG 21

22 L'analyse de lignes de log IP machine utilisateur username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" SG 22

23 Contenu d'une ligne de log IP machine utilisateur Log-in utilisateur username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" SG 23

24 Contenu d'une ligne de log IP machine utilisateur Log-in utilisateur Date de la requête username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" SG 24

25 Contenu d'une ligne de log IP machine utilisateur Log-in utilisateur Date de la requête Page consultée username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" SG 25

26 Contenu d'une ligne de log IP machine utilisateur Login utilisateur Date de la requête Page consultée Code retour HT username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" SG 26

27 Contenu d'une ligne de log IP machine utilisateur Login utilisateur Date de la requête Page consultée Code retour HT username [10/Jun/2010:03:01: ] "GET /data/page2.html HT/1.1" " "Mozilla/5.0" Taille de la requête SG Référent Version de navigateur 27

28 Portails INIST SG 28

29 Portails INIST Chercheur Éditeur Des titres de revues lui sont présentés. SG 29

30 Fonctionnement d'ezproxy EZproxy Client HT HT HTML* PDF SG Éditeur Réécriture transparente des URL HTML PDF 30

31 Logs générés par EZProxy [13/Mar/2012:16:10: ] "GET HT/1.1" [13/Mar/2012:16:13: ] "GET HT/1.1" ISSN = id PDF = 01 SG 31

32 Avantages d'ezproxy Transparent pour l'utilisateur Pré-configuré pour les grands éditeurs Flexible pour l'authentification Possibilité de mesure des consultations SG 32

33 Mesures locales des consultations Analyse des logs EZproxy permet de : Compter les consultations par éditeurs Compter les consultations par revues Compter les consultations par articles Par individu Par laboratoire Par «groupe» Chiffres utiles pour : Évaluation des campagnes de tests d'abonnements Choix des abonnements pour le CNRS/ESR Négocier les tarifs avec les éditeurs SG 33

34 Stratégie d'analyse des logs locales SG 34

35 Structure d'une URL _ob=miamiimageurl&_cid=271664&_user= &_pii=S &_check=y&_ origin=browse&_zone=rslt_list_item&_coverdat e= &wchp=dglbvltzskwb&md5=f5d8d157ccda6d597cb466af123d bff3/1-s2.0-s main.pdf SG 35

36 Structure d'une URL _ob=miamiimageurl&_cid=271664&_user= &_pii=S &_check=y&_ origin=browse&_zone=rslt_list_item&_coverdat e= &wchp=dglbvltzskwb&md5=f5d8d157ccda6d597cb466af123d bff3/1-s2.0-s main.pdf ISSN & type du fichier consulté SG 36

37 Structure d'une URL ISSN En essayant l'url manuellement on voit que c'est un sommaire HTML SG 37

38 Structure d'une URL ID_ARTICLE=RFG_218_0009 Code éditeur ISSN RFG LMS Type PDF & ID éditeur Nécessite une base de connaissances pour décoder. SG 38

39 Découper l'url _ob=miamiimageurl&_cid=271664&_user= &_pii=S &_check=y& _origin=browse&_zone=rslt_list_item&_coverda te= &wchp=dglbvltzskwb&md5=f5d8d157ccda6d597cb466af123d bff3/1-s2.0-s main.pdf /_pii=s([0-9]{0,7}[0-9x])/i SG 39

40 Une structure d'url par plate-forme Sciencedirect = une structure d'url Cairn = une structure d'url SG Chaque plate-forme possède sa structure d'url Un système de reconnaissance d'url par plate-forme Écriture d'un : parseur / module / plugin 40

41 Limites de l'analyse des URLs URL opaques (session, cryptages) Bases de connaissances à compléter manuellement Exemple chez Springer : 510m63/fulltext.pdf Exemple chez Cairn : ID_ARTICLE=RFG_218_0009 SG 41

42 Processus d'analyse des logs Développement peut être réalisé collaborativement Travail d'enrichissement manuel mais peut être réalisé collaborativement SG 42

43 Le point de départ du projet L'expertise développée depuis 2006 pour ce travail peut être partagée moyennant une refonte du socle technique L'Université de Lorraine, voisine, utilise désormais un reverse proxy unique pour tout ses accès réservés 43

44 Analog'IST / ezpaarse Une mutualisation à plusieurs endroits : Description du procédé de collecte et d'analyse des logs (formats d'écriture, modalités de stockage) Partage des parseurs utilisés Conception collaborative de nouveaux parseurs Mise à jour des parseurs existants (et des bases de connaissances associées) si la plate-forme d'un fournisseur est modifiée 44

45 Le calendrier Réunion de faisabilité en novembre 2011 Convergence des abonnements (26 plateformes en commun entre UL et INIST) et des configurations Seconde réunion début janvier 2012 Début mai : 3 jours dégagés pour la rédaction d'un cahier des charges Septembre : Signature d'une convention Couperin/INIST qui acte l'embauche d'un IE supplémentaire Novembre : lancement officiel de l'implémentation 45

46 La vision du produit Analyse, enrichissement et exploitation des logs d'accès collectés localement aux ressources électroniques proposées par les plate-formes Web des éditeurs Utilisateurs à terme : les SCD de l'esr Pour la 1e mouture : INIST-CNRS et direction de la documentation et de l'édition de l'ul en partenariat avec Couperin 46

47 Une réponse aux besoins Quantifier et caractériser l'utilisation des ressources électroniques en lien avec : Des groupes d'usagers Des champs disciplinaires Sur des périodes de temps définies Permettre la construction d'indicateurs homogènes, à partir de traitements communs Servir d'aide à la décision pour la conduite des politiques documentaires et scientifiques 47

48 Fonctionnalités principales (1/2) Reconnaissance des consultations par éditeurs à l'aide de modules spécifiques (parseurs) Traitement des logs en suivant les recommandations COUNTER Utilisation de référentiels d'ezpaarse (éditeurs et groupes d'usagers) dans un format permettant le partage avec une autre instance de l outil 48

49 Fonctionnalités principales (2/2) Interface Web pour la correction et l'enrichissement des référentiels d'ezpaarse Génération de rapports d'exécution compilés API d'entrée des logs bruts et de sortie des données compilées via des connecteurs multiples Détection des anomalies dans les logs avec système d alerte 49

50 Attention! EzPAARSE n'est pas : Un outil d'analyse ou de visualisation des statistiques en entrée : un fichier log «brut» en sortie : les données nettoyées et enrichies en fonction des référentiels utilisés Un producteur de logs 50

51 Modalités du développement Logiciel libre Partage / élargissement des partenariats Diffusion du code source à la communauté Facile à déployer par les différents utilisateurs de l'esr Modèle SaaS à mettre en perspective dans les différentes phases de développement Pour réaliser les fondations de la première instance : 10 mois de travail avec 2 E informaticiens 51

52 Conclusion / perspectives Des réunions régulières sont organisées pour suivre l'avancée des travaux et redéfinir les priorités au fil de l'eau Les avancées seront documentées et diffusées Les premières instances d'ezpaarse qui constituent le point de départ du dispositif AnalogIST seront déployées à l'inist et à l'ul 52

53 Les premières priorités (1/2) 14 «items» ont été dégagés Instance nationale publique AnalogIST Organisation fonctionnelle du réseau AnalogIST Instance locale ezpaarse Recommandations COUNTER (dédoublonnage) Interopérabilité avec MESURE (qui nécessitera une étape supplémentaire de transformation du résultat livré par ezpaarse, non encore spécifiée) Reconnaissance du format de la ligne de log Reconnaissance de l'url de la plateforme 53

54 Les premières priorités (2/2) Utilisation de référentiels éditeurs Utilisation de référentiels de qualification des ressources Utilisation de référentiels de qualification des utilisateurs Interface Web pour correction et enrichissement des référentiels importants Interface WS Interface Web pour injection des logs Détection des anomalies 54