COUNTER Code de bonnes pratiques Version 2 Annexe E Spécifications et tests d audit I. Spécifications d audit générales a. Audits et scripts de tests Les spécifications d audit de COUNTER sont nécessaires pour assurer que les rapports d utilisation fournis par les fournisseurs sont bien conformes aux principes de crédibilité, de cohérence et de compatibilité de COUNTER. C est la raison pour laquelle COUNTER a défini des scripts de test pour l audit de chacun des rapports d utilisation requis par COUNTER. Comme la majorité des fournisseurs auront leur propre auditeur, les scripts de test garantissent que chacun d entre eux suivra la même procédure d audit et de mesure des résultats. b. Conditions générales pour la réalisation d un test d audit COUNTER a défini une période de référence pour les rapports : il s agit du mois calendaire. Un rapport relatif à un mois donné reflètera l ensemble de l activité d un client pour l intégralité du mois concerné. Par voie de conséquence, ceci s applique aussi aux activités d audit et un auditeur doit toujours finaliser les tests d audit au cours d un seul et unique mois calendaire. On doit éviter de faire figurer sur un relevé d audit (audit account) toute activité qui ne serait pas liée au test d audit, puisque cela nuirait à la fiabilité des rapports de tests. Afin d éviter tout conflit entre les données figurant dans les rapports, un auditeur doit être autorisé à créer et gérer des comptes séparés pour chacun des tests d audit. L auditeur utilisera également un compte d essai pour préparer les tests d audit. Tous les comptes devront être configurés de manière à ce que seul l auditeur réalisant un test ait accès au site du fournisseur. c. Deux types de tests d audit : 1. l auditeur testera la présentation, le format et la transmission d un rapport d utilisation d un fournisseur. 1
2. l auditeur vérifiera les chiffres inscrits par le fournisseur dans le rapport en appliquant des scripts de tests détaillés. II. Les tests d audits requis 1. Test de la présentation, du format du fichier et de la transmission du rapport par rapport au code de bonnes pratiques L auditeur testera si chacun des rapports mentionnés ci-dessous est conforme aux exemples et aux descriptions de rapports qui figurent dans le code de bonnes pratiques. Les éléments suivants doivent être vérifiés : A. la présentation du rapport (en-têtes et pieds de page, nombre de champs, ordre des champs, le total par champ et le format des chiffres figurant dans le rapport) B. les formats «save-as» (enregistrer sous) requis C. la réception et le délai de l alerte par courrier électronique une fois que les rapports ont été mis à jour. 2. Vérifier les chiffres d utilisation qui figurent dans le rapport Journal report 1 (Rapport sur les revues 1) : nombre de requêtes réussies portant sur des articles en texte intégral par mois et par revue. (Le titre complet de la revue, les Print ISSN et Online ISSN sont indiqués.) Remarque : 2
1. La ligne «Total revues» (Total for all journals) figure en haut du tableau pour que l on puisse la supprimer sans perturber le reste du Tableau puisque le nombre de revues concerné peut changer d un mois à l autre. 2. les revues pour lesquelles le nombre de requêtes d articles en texte intégral est égal à zéro chaque mois seront incluses dans le Journal report 1 (Rapport sur les revues 1). Le rapport ci-dessus est conforme au Code de bonnes pratiques COUNTER pour la collecte des données d'utilisation et l'établissement des rapports les concernant. Pour les définitions des termes utilisés ci-dessus, voir la Partie 3. Journal report 1 : spécifications d audit Un audit de ce rapport nécessite les étapes suivantes : I. Le test d audit doit être effectué de telle manière que les activités de l auditeur au cours du test d audit puissent être isolées des autres activités se déroulant sur le site du fournisseur. Selon le site audité, l auditeur doit effectuer le test d audit sur un ordinateur ayant une adresse IP unique et/ou en utilisant un numéro de compte unique. II. L auditeur doit accepter les cookies d utilisateur/de machine III. et de sessions lorsqu il y est invité. L auditeur doit avoir accès à toutes les revues disponibles qui sont publiées sur la plate-forme du fournisseur. IV. Test d audit JR1-1 : a. pour le rapport d audit, l auditeur doit lancer 100 requêtes pour des Articles en texte intégral sur une sélection de revues disponibles sur le site du fournisseur. Pour les fournisseurs qui proposent des Articles en texte intégral à la fois en PDF et en HTML, ces 100 requêtes doivent être également réparties entre les deux formats (c est-à-dire 50 requêtes pour chaque format). N. B. : l auditeur doit laisser passer au moins 30 secondes entre chaque requête d article. b. L auditeur doit noter les revues utilisées dans le test d audit et le nombre de requêtes d articles en texte intégral pour chacune des revues. c. Le rapport d audit doit indiquer le Total des requêtes réparties par revue. d. Le fournisseur aura réussi ce test d audit lorsque le Total cumul année en cours (YTD Total) pour l ensemble des revues, et les sous-totaux année en cours (YTD subtotals) pour le PDF et le HTML sur le rapport d audit se situent dans une fourchette comprise entre -8 % et +2 % par rapport au total présenté sur le Journal Report 1 du fournisseur. 3
V. Test d audit JR1-2 : les filtres 10 et 30 secondes. a. L auditeur effectuera un test d audit sur le filtre de 10 et 30 secondes pour ce rapport. Ce test d audit consiste à cliquer deux fois de suite sur des liens vers le texte intégral d un article (double-clic). Pour les articles au format HTML, si les deux clics interviennent dans un délai de 10 secondes, une seule requête en texte intégral devra être comptabilisée, si les deux clics sont espacés de plus de 10 secondes, alors deux requêtes devront être comptabilisées. Pour les articles au format PDF, le délai est de 30 secondes. Le test d audit doit inclure des requêtes sur des articles avec double-clic dans le délai seuil et des requêtes sur des articles avec un intervalle entre deux clics au-delà du délai seuil. b. L auditeur doit demander le texte intégral de 10 à 20 articles en effectuant des doubles-clics dans un délai de 10 secondes si le format demandé est de l HTML et de 30 secondes si le format demandé est du PDF. Pour chaque article demandé, l auditeur comptabilisera une seule requête de texte intégral pour chaque double-clic, notera l activité par revue et séparera l activité selon le format (HTML ou PDF). c. L auditeur doit demander le texte intégral de 10 à 20 articles en effectuant des doubles-clics en respectant un délai de 11 secondes ou plus entre les clics si le format demandé est de l HTML et de 31 secondes ou plus si le format demandé est du PDF. Pour chaque article demandé, l auditeur comptabilisera une requête de texte intégral pour chaque clic (soit 2 par article), notera l activité par revue et séparera l activité selon le format (HTML ou PDF). d. Le fournisseur aura réussi ce test d audit 2 lorsque les totaux de l activité pour les revues auditées sur le rapport du fournisseur se situent dans une fourchette comprise entre -8 % et +2 % par rapport aux totaux de l auditeur. VI. Il est nécessaire de séparer les tests d audit JR1-1 et JR1-2 et d utiliser deux comptes séparés pour éviter tout conflit de chiffres. Journal report 2 (Rapport sur les revues 2) : nombre de refus de connexion par mois et par revue (Le titre complet de la revue, les Print ISSN et Online ISSN sont indiqués.) Ce rapport concerne uniquement les modèles où l accès de l utilisateur est basé sur un nombre maximum d utilisateurs simultanés. 4
Le rapport ci-dessus est conforme au Code de bonnes pratiques COUNTER pour la collecte des données d'utilisation et l'établissement des rapports les concernant. Pour les définitions des termes utilisés ci-dessus, voir la Partie 3. Journal report 2 : spécifications d audit I. Le test d audit doit être effectué de telle manière que les activités de l auditeur au cours du test d audit puissent être isolées des autres activités se déroulant sur le site du fournisseur. Selon le site audité, l auditeur doit effectuer le test d audit sur 4 ordinateurs disposant d un numéro de compte unique ; le fournisseur doit autoriser l accès simultané de 3 utilisateurs enregistrés à l ensemble des bases de données NdT disponibles du fournisseur. Si le système du fournisseur ne peut pas autoriser l accès de 3 utilisateurs simultanés, alors l auditeur doit connaître le nombre d utilisateurs simultanés autorisés pour le test et utiliser ce chiffre à chaque fois que le chiffre 3 est mentionné plus bas. N.B. : le chiffre important pour le fournisseur est le nombre de sessions actives autorisées avant que le système ne refuse les sessions supplémentaires. II. L auditeur doit accepter les cookies d utilisateur/de machine et de sessions lorsqu il y est invité. NdT Sic. Il s agit peut-être de revues? 5
III. L auditeur doit avoir accès à toutes les revues disponibles qui sont publiées sur la plate-forme du fournisseur. IV. Test d audit JR2-1 : a. le test d audit consiste à avoir 3 utilisateurs (enregistrés) actifs sur le site demandant des articles en texte intégral dans une seule et même revue. Ceci signifie que toutes les sessions disponibles sont actives. Un ordinateur supplémentaire sera alors utilisé pour se connecter et tenter de demander un article pour la même revue. L accès de cet utilisateur doit être refusé parce qu il dépasse le seuil des utilisateurs simultanés autorisés. A chaque fois qu un accès est refusé, l auditeur le notera comme un refus de connexion (turn-away). b. Le test d audit doit être réitéré 40 à 50 fois et à différents moments de la journée en respectant un délai de 20 secondes entre chaque test. L auditeur doit noter à chaque fois l heure à laquelle se produit le refus de connexion et le nom de la revue concernée. c. Le fournisseur aura réussi ce test d audit lorsque le nombre total de refus de connexion relevés est compris dans un intervalle de confiance entre -8 % et +2 % par rapport au total figurant dans le rapport de l auditeur. Database Report 1 (Rapport sur les bases de données 1) : nombre total des interrogations et des sessions par mois et par base de données 6
Le rapport ci-dessus est conforme au Code de bonnes pratiques COUNTER pour la collecte des données d'utilisation et l'établissement des rapports les concernant. Pour les définitions des termes utilisés ci-dessus, voir la Partie 3. Database report 1 : spécifications d audit Un audit de ce rapport nécessite les étapes suivantes : I. Le test d audit doit être effectué de telle manière que les activités de l auditeur au cours du test d audit puissent être isolées des autres activités se déroulant sur le site du fournisseur. Selon le site audité, l auditeur doit effectuer le test d audit sur un ordinateur ayant une adresse IP unique et/ou en utilisant un numéro de compte unique. II. L auditeur doit accepter les cookies d utilisateur/de III. machine et de sessions lorsqu il y est invité. L auditeur doit avoir accès à toutes les bases de données disponibles sur la plate-forme du fournisseur. IV. Test d audit DB1-1 : a. Si un fournisseur propose plus d une base de données, l auditeur doit lancer 100 interrogations sur un sous-ensemble de bases de données mises à sa disposition. S il n y a qu une seule base de données, le nombre d interrogations sera de 50. Les différentes interrogations doivent porter uniquement sur une seule base de données à la fois. Toutes les interrogations des bases de données sont considérées comme valides et pour chaque interrogation l auditeur notera le nom de la base de données et le nombre total de résultats obtenus suite à l interrogation (le cas échéant). Si les rapports COUNTER n incluent pas les interrogations qui donnent zéro résultat ou lorsque le nombre de résultats excède un certain seuil prédéfini, alors ces catégories d interrogations doivent être consignées séparément et ne seront pas incluses dans le décompte final. N. B. : l auditeur doit laisser passer au moins 11 secondes entre chaque interrogation lorsqu il réitère la même interrogation sur la même base de données. b. Pour pouvoir mesurer le nombre de sessions, les tests doivent comprendre au moins deux sessions. Au cours des tests, l auditeur peut soit quitter explicitement une session et se reconnecter pour poursuivre les tests, soit, si aucune fonction «quitter» n est disponible, l auditeur doit fermer le navigateur et l ouvrir à nouveau pour poursuivre le test. (Remarque : si le fournisseur maintient active la session précédente même si le navigateur a été 7
fermé et rouvert, l auditeur devra attendre le délai de temporisation défini par le fournisseur en général 30 minutes avant de continuer le test dans une nouvelle session). c. A chaque fois qu une nouvelle session est ouverte, l auditeur doit le noter. d. A chaque fois qu une interrogation est effectuée, l auditeur doit noter quelle est l interrogation et la base de données interrogée. e. Lors de chaque interrogation, l auditeur doit noter qu il a accédé à la base de données au cours de la session. N.B. : une base de données sera prise en compte pour une session uniquement si elle a fait l objet d une interrogation au cours de cette même session. f. Le rapport d audit doit présenter le détail des interrogations et des sessions par base de données ainsi que le total pour chacune d entre elles. g. Le fournisseur aura réussi ce test d audit lorsque le Total des interrogations et des sessions sur le rapport d audit est compris dans un intervalle de confiance entre -8 % et +2 % par rapport à la somme des sessions et des interrogations pour toutes les bases de données sur le Database Report 1 (rapport sur les bases de données) du fournisseur. V. Test d audit DB1-2 : les interrogations multibases (interrogation fédérée). a. Il est nécessaire de séparer les tests d audit DB1-1 et DB1-2 et d utiliser deux comptes séparés pour éviter tout conflit de chiffres. b. L auditeur doit réaliser 100 interrogations au total et s assurer qu environ 50 interrogations portent sur une association de 2 bases de données et que les 50 autres interrogations portent sur l ensemble des bases de données mises à disposition par le fournisseur. c. L auditeur doit noter le nombre d interrogations effectuées pour ces deux options et indiquer le nom de la base de données interrogée. Si les rapports COUNTER d un fournisseur n incluent pas les interrogations qui donnent zéro résultat ou lorsque le nombre de résultats excède un certain seuil prédéfini, alors ces catégories d interrogations doivent être consignées séparément et ne seront pas incluses dans le décompte final. d. Le rapport d audit doit indiquer le nombre d interrogations par base de données plus le total des interrogations des bases de données (par 8
exemple, si la procédure d audit est suivie exactement et si l auditeur a accès à 10 bases de données, le total sera de 600, soit 50x2 + 50x10). e. Le rapport du fournisseur aura réussi ce test lorsque la somme des interrogations par base de données correspond au total sur le rapport d audit et est compris dans un intervalle de confiance entre -8 % et 2 %. Database report 2 (Rapport sur les bases de données 2) : nombre de refus de connexion par mois et par base de données Ce rapport concerne uniquement les modèles où l accès de l utilisateur est basé sur un nombre maximum d utilisateurs simultanés. Le rapport ci-dessus est conforme au Code de bonnes pratiques COUNTER pour la collecte des données d'utilisation et l'établissement des rapports les concernant. Pour les définitions des termes utilisés ci-dessus, voir la Partie 3. Database report 2 : spécifications d audit Un audit de ce rapport nécessite les étapes suivantes : I. Le test d audit doit être effectué de telle manière que les activités de l auditeur au cours du test d audit puissent 9
II. III. être isolées des autres activités se déroulant sur le site du fournisseur. Selon le site audité, l auditeur doit effectuer le test d audit sur 4 ordinateurs disposant d un numéro de compte unique ; le fournisseur doit autoriser l accès simultané de 3 utilisateurs enregistrés à l ensemble des bases de données disponibles du fournisseur. Si le système du fournisseur ne peut pas autoriser l accès de 3 utilisateurs simultanés, alors l auditeur doit connaître le nombre d utilisateurs simultanés autorisés pour le test et utiliser ce chiffre à chaque fois que le chiffre 3 est mentionné plus bas. N.B. : le chiffre important pour le fournisseur est le nombre de sessions actives autorisées avant que le système ne déconnecte les sessions supplémentaires. L auditeur doit accepter les cookies d utilisateur/de machine et de sessions lorsqu il y est invité. L auditeur doit avoir accès à toutes les bases de données disponibles qui sont publiées sur la plate-forme du fournisseur. IV. Test d audit DB2-1 : a. La base de données utilisée pour ce test doit être différente celle utilisée pour le Database Report 1 (rapport sur les Bases de données 1) b. Le test d audit consiste à avoir 3 utilisateurs (enregistrés) actifs sur le site interrogeant une seule et unique base de données disponible. Ceci signifie que toutes les sessions disponibles sont actives. Un ordinateur supplémentaire sera alors utilisé pour se connecter et tenter d interroger la même base de données. L accès de cet utilisateur doit être refusé parce qu il dépasse le seuil des utilisateurs simultanés autorisés. A chaque fois qu un accès est refusé, l auditeur le notera comme un refus de connexion (turn-away). c. Le test d audit doit être réitéré 40 à 50 fois et à différents moments de la journée en respectant un délai de 20 secondes entre chaque test. L auditeur doit noter à chaque fois qu un refus de connexion se produit et le nom de la base de données concernée. d. Le fournisseur aura réussi ce test lorsque le nombre total de refus de connexion relevés sur son Database Report 2 (rapport sur les bases de données 2) est compris dans un intervalle de confiance entre -8 % et +2 % par rapport au total figurant dans le rapport de l auditeur. Database report 3 (Rapport sur les bases de données 3) : nombre total des interrogations et des sessions par mois et par service 10
Database report 3 : spécifications d audit NdT I. Ce test d audit doit être réalisé en relation avec les résultats du test du Database Report 1 (rapport sur les bases de données 1) tel que décrit dans la partie V. Dans le Database Report 1 (rapport sur les bases de données 1), l auditeur a noté le nombre d interrogations réalisées ainsi que le nombre de sessions et a relevé le nom des bases de données concernées. II. Le Database Report 3 (rapport sur les bases de données 3), recense uniquement les interrogations et sessions individuelles. Par exemple, si les 100 interrogations nécessaires au Database Report 1 (rapport sur les bases de données 1) ont été réalisées sur 10 sessions comprenant 10 interrogations chacune et si l auditeur a eu accès à 10 bases de données, le Database Report 3 (rapport sur les bases de données 3) devra comporter un total de 10 sessions et 100 interrogations (même si la somme des interrogations et des sessions du Database Report 1 (rapport sur les bases de données 1) est de respectivement 600 et 60). III. Le fournisseur aura réussi ce test lorsque le son Database Report 3 (rapport sur les bases de données 3) indique un total pour les sessions et interrogations qui est NdT Sous réserve. Ces spécifications nous ont paru peu claires en anglais. La notion de service apparaît dans la copie d écran mais n est pas explicitée dans les spécifications. 11
compris dans un intervalle de confiance entre -8 % et +2 % par rapport au total figurant dans le rapport de l auditeur sur le Database Report 1 (rapport sur les bases de données 1). 12