Le contrôle des données numérisées Contrôle qualité d une prestation de numérisation

Transcription

1 Le contrôle des données numérisées Contrôle qualité d une prestation de numérisation Formation 27 et 28 février 2012 Carine Rizzardi

2 Programme: 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité 1.3 Mon projet 2. Les différentes étapes du contrôle + récolement 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR

3 1. La notion de contrôle qualité 1.1 Le contrôle qualité : pourquoi? Le contrôle est une opération destinée à déterminer, avec des moyens appropriés, si le produit contrôlé (ici un lot de fichiers) est conforme ou non à ses spécifications ou exigences préétablies (dans le CCTP) et incluant une décision d'acceptation, de rejet ou de retouche.

4 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité Méthode par échantillonnage 2 NORMES: - NF X , Principes du contrôle statistique de lots, AFNOR, octobre NF ISO Avril 2000 (Ancienne NF X ) : Règles d échantillonnage pour les contrôles par attributs Partie 1 : Procédures d échantillonnage pour les contrôles lot par lot, indexés d après le Niveau de qualité acceptable (NQA)

5 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité L échantillonnage N

6 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité Le NQA: seuil d acceptation ou rejet 1,0 Ac Re N

7 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité Le contrôle qualité: - Il garantit la réussite du projet - Il a un coût - Il doit être réalisé dans un temps limité (Rappel: 90 jours) - Pour le contrôle par échantillonnage je me réfère à 2 tableaux (Norme ISO ) - Je connais le niveau du contrôle (niveau général 2) et le Niveau de qualité acceptable (NQA) (1%)

8 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité 1. 3 Mon projet Pour réaliser mes contrôles, je dois : - Connaître mon projet (lecture du cahier des charges) - Connaître ce que le prestataire doit me livrer (cahier des charges et réponse du client) - Définir les contrôles à réaliser et les spécifications de la livraison (cahier des charges rapport phase de test) Les conditions de réalisation du contrôle: - Le matériel (PC) - Les principaux logiciels ( word, excel, xn-view et si possible Photoshop)

9 1. Notion de Contrôle qualité 1.1 Le contrôle qualité : pourquoi? 1.2 Méthodologie du contrôle qualité 1.3 Mon projet Importance de l environnement de travail (essentiel pour le contrôle d image en couleur) - Pièce plutôt sombre (sans être totalement plongée dans le noir) - La température de couleur de l éclairage de l environnement de contrôle devrait être plus faible que celle du moniteur. Régler l écran par exemple à D65 (6500 K) avec un éclairage de l environnement de contrôle du document original à D50 (5000 K). - Eviter les sources lumineuses qui pourraient provoquer des reflets sur l écran de contrôle. - Les objets situés dans le champ de vision de l opérateur de contrôle sont idéalement de couleurs neutres et ne doivent pas provoquer de réflexion qui vienne perturber l œil. (Normes: ISO : 2000 «Conditions d examen visuel Technologie graphique et photographie» - ISO : 2004 «Technologie graphique Affichages pour la réalisation d épreuves en couleur Caractéristiques et conditions d examen visuel» Le matériel adapté: - La puissance du PC est importante surtout pour la manipulation de fichiers volumineux (ex: carte et plan en couleur) - l utilisation d un écran calibré : calibration grâce à un colorimètre ou spectrophotomètre ce qui permettra une meilleure restitution des couleurs et de la qualité de l image

10 2.1 Etape 1: le contrôle des originaux et le fichier de récolement (contrôle 0) * Les originaux - Je sais précisément ce qui sort de l établissement - Je connais l état de conservation - Je prends connaissance des volumes les plus problématiques * Le fichier de récolement LR2L_modeledefichiersderecolement (1).xls - Je remplis le fichier ( si possible jusqu au niveau du volume) - Je vérifie que les informations essentielles sont bien renseignées - Je fais un commentaire sur l état de conservation (si nécessaire) Le fichier de récolement est un pont entre l établissement et le prestataire. Le remplir est impératif.

11 2.1 Etape 1: Le contrôle des originaux 2.2 Etape 2: Le contrôle du disque dur 5 contrôles Exhaustif - type d erreur : majeur - Contrôle n 1 : Mon disque dur fonctionne et les fichiers sont lisibles - Contrôle n 2: Organisation des répertoires + récolement rempli - Contrôle n 3: Organisation des fichiers - Contrôle n 4: Nombre de fichiers par dossier (DD et Récolement) - Contrôle n 5: Nommage des fichiers (DD et récolement) Pour l ensemble des contrôles: - Tableau de suivi du contrôle qualité - format excel - Des fiches techniques et de spécifications CONTROLE_QUALITE.xlsx

12 Contrôle n 1: le disque dur - Je branche mon disque dur - Je vérifie que j arrive à parcourir les données - Je copie les données Contrôle n 2: organisation des répertoires et récolement 2 logiciels: - Explorateur windows - Xn-view

13 Contrôle n 2: organisation des répertoires Dans windows: Affichage des fichiers cachés et des extensions: Outils "option des dossiers - J ouvre le fichier de récolement - Je vérifie que le prestataire l a rempli. Contrôle n 3: organisation des fichiers ( en même temps que le contrôle n 2) - Fichier de spécifications comme référence SPECS.pub

14 Contrôle n 4: Nombre de fichiers par dossier Génération de la liste des fichiers du disque dur: - Utilisation du logiciel Karen s directory printer (libre) Onglet à choisir Onglet File

15 - Contrôle n 4 Utilisation du logiciel Karen s directory printer (libre) Onglet folder Une fois l ensemble des éléments cochés : cliquer sur Save to disk et indiquer le dossier où le logiciel va enregistrer le fichier TXT.

16 - Contrôle n 4 PROCESSUS Génération de la liste des fichiers du disque dur: - Utilisation du logiciel Karen s directory printer (libre) Exploitation de la liste des fichiers du DD Dans le tableur excel - notions de filtre et de trie a- je contrôle que j ai le même nombre de fichiers dans les dossiers conservation, consultation, OCR et OCR-texte (TOTAL) - Idem pour les dossier OCR_PDF et Mets (TOTAL) Comparaison entre la liste DD et Récolement Dans le tableur excel utilisation de fonction: SI et SI(ET b- je contrôle que j ai le même nombre de fichiers dans les dossiers conservation, consultation, OCR et OCR-texte (TOTAL) DD et Récolement - Idem pour les dossier OCR_PDF et Mets (TOTAL) DD et Récolement c- vérification que je retrouve les mêmes noms de fichier pour chaque format dans le DD et le récolement

17 - Contrôle n 4 Excel: Utilisation de la fonction SI =si(a2=d2;"-";faux) Pas d espace dans les formules

18 - Contrôle n 4 Excel: Utilisation des fonctions SI et ET =si(et(a2=b2;(b2=c2);(c2=d2);(d2=e2);(e2=f2) ;"-";FAUX)

19 Contrôle n 5: Nommage Excel: Utilisation des fonctions NBCAR() - Calcule le nombre de caractères d une cellule Règle de nommage des fichiers: conservation (tiff), consultation (jpeg), ocr, ocr texte (granularité jusqu à la page) FRB _528PER_01_1849_0057_0001.jpg FRB : identité de l établissement 528PER : côte du titre ou à défaut les initiales du périodique ex: JPO 01 : côte de l'unité documentaire (volume) 1849 : Année de publication 0057 : n de l'édition (4 chiffres) 0001: numéro de la vue (4 chiffres) Jpg : extension du fichier Règle de nommage des fichiers: mets et PDF (on s arrête au n d édition) FRB _528PER_01_1849_0057.xml FRB : identité de l établissement 528PER : côte du titre ou à défaut les initiales du périodique ex: JPO 01 : côte de l'unité documentaire (volume) 1849 : Année de publication 0057 : n de l'édition (4 chiffres) Xml ou jpg : extension du fichier

20 - Création de l échantillon - Création d une liste de fichiers de manière aléatoire - Utilisation d excel fichier ALEA (source internet) - ALEA.xls Feuille 2 Résultat Feuille 1 1- Colonne A: je copie ma liste de fichiers jpg 2- Je clic sur tirage au sort 3 Je renseigne le nombre de lots

21 Contrôles des métadonnées internes: EXIF et IPTC 3 contrôles Echantillon - type d erreur : majeur - Contrôle n 6 : les métadonnées sont bien présentes - Contrôle n 7 : Contrôles des métadonnées Exif : les champs sont remplis correctement - Contrôle n 8: Contrôles des métadonnées IPTC : les champs sont remplis correctement Métadonnées EXIF: Exchangeable image file format ces données techniques sont incorporées au fichier image. Elles nous renseignent sur le modèle d appareil photo, date de la prise de vue, la résolution, la focale etc Métadonnées IPTC: L'IPTC (International Press Telecommunications Council) a défini un standard informatique pour le stockage des métadonnées descriptives (titre, auteur, agence, copyright, description, etc) afin de favoriser les échanges. Elles sont peu à peu remplacées par le XMP (Extensible Metadata platform) plus performant développé par Adobe.

22 Les métadonnées internes exif et iptc Contrôle n 6: IPTC et EXIF (infos présentes) Affichage Xn-view

23 Les métadonnées internes exif et iptc Affichage Xn-view Extraction des métadonnées internes Menu " Edition" Méta-données " Exporter donnés IPTC ou EXIF Le logiciel génère un fichier Txt qu il nomme par défaut export. Attention: bien nommer chaque export avec le nom du fichier En cas de doute faire la vérification avec photoshop.

24 Les métadonnées internes exif et iptc Affichage Photoshop Extraction des métadonnées internes Fichier " Informations Ne pas hésiter à parcourir les onglets Attention il existe un onglet IPTC extension et un onglet IPTC (choisir l onglet IPTC)

25 Les métadonnées internes exif et iptc Contrôle n 7: IPTC Les champs IPTC Ex: d un fichier validé

26 Les métadonnées internes exif et iptc Contrôle n 8: EXIF Les champs Exif Les champs

27 Le Contrôles des images 5 contrôles Echantillon NQA 1% _ type d erreur: MINEUR - Contrôle n 9 : Résolution colorimétrie taille de l image - Contrôle n 10 : Mode d acquisition : 1 page = 1 image - Contrôle n 11: Cadrage - Contrôle n 12: Lisibilité - Contrôle n 13: Plage dynamique

28 2.3.3 Contrôle des images Contrôle n 9: Résolution colorimétrie taille de l image - La résolution: nombre de pixels par unité de longueur (ppp ou dpi) plus le nombre est élevé, plus il y a de détail mais plus l image est volumineuse. 300 Dpi est la résolution d impression généralement choisie Numérisation : Codage sous forme numérique d informations initialement sous forme analogique. Analogique : Qualifie un phénomène représenté ou quantifié de façon continue. Numérique : Qualifie un phénomène représenté ou quantifié de façon discontinue, par découpage d échantillons. La représentation de la vitesse d une voiture par un cadrant à aiguille, de même que la représentation de la température par un thermomètre à mercure passent (de façon continue) par une quasi-infinité de valeurs entre deux graduations. Un compteur de vitesse ou un thermomètre numérique ne délivre en revanche leurs informations que lors d un changement d état suffisant (un dixième de degré, 5 Km/heure), Numériser c est rechercher (à partir d une information analogique) un découpage d échantillons suffisant pour représenter cette information de façon à satisfaire un besoin.

29 2.3.3 Contrôle des images Contrôle n 9 : résolution - La colorimétrie: le choix a été fait de numériser en niveaux de gris (sauf exceptions) Méthode de contrôle: Générer la liste des JPEG - Utilisation xn-view Exploitation de la liste - Tableur excel (fonction =SI)

30 2.3.3 Contrôle des images Contrôle n 9 : résolution-colorimétrie Xn-view : création d une liste 1- sélectionner le dossier avec les fichiers jpeg 2- menu " Créer " Générer la liste des fichiers 3- cocher l ensemble des paramètres suivants 4- un fichier.csv est créé

31 2.3.3 Contrôle des images Contrôle n 9 : résolution-colorimétrie-taille de l image Excel: Fonction = SI Contrôle n 10: mode d acquisition 1p = 1 vue Xn-view ou explorateur windows: - Visuel : vignettes

32 2.3.3 Contrôle des images Contrôle n 11: le cadrage Contrôle visuel de l échantillon - Les tests précisent que le cadrage est à l intérieur de la page au plus près des bords. - Afin de conserver l intégralité du texte, le bord peut parfois apparaître - Cela élimine également l effet de travers dans le cadre d un redressement de la page

33 2.3.3 Contrôle des images Contrôle n 12: La lisibilité Contrôle visuel de l échantillon - l image est lisible - Flou relatif (notion subjective) - La gestion des courbures, des pliures et des pages abîmées.

34 2.3.3 Contrôle des images Contrôle 12 : lisibilité

35 2.3.3 Contrôle des images Contrôle n 13: La plage dynamique

36 2.3.3 Contrôle des images Contrôle n 13: plage dynamique

37 2.4 Etape 4: xml-alto, PDF, OCR et Mets Les XML-ALTO XML ALTO: Analysed Layout and Text Object. Le format alto est basé sur XML et géré par un schéma. Il conserve toutes les coordonnées du contenu (texte, illustrations, graphiques) dans l image et permet la superposition de l image et du texte (fichier PDF multicouches) ainsi que la surbrillance des mots recherchés lors d une requête. (source bnf)

38 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Exemple de découpage (bnf) TopMargin : désigne la zone supérieure de la page du bord gauche au bord droit hors zone de texte. Quand c est possible, il s agit de la zone contenant le titre, l ours, etc. BottomMargin : désigne la zone inférieure de la page du bord gauche au bord droit hors zone de texte. LeftMargin : désigne la zone gauche de la page hors zone supérieure, zone inférieure et zone de texte RightMargin : désigne la zone droite de la page hors zone supérieure, zone inférieure et zone de texte. PrintSpace : désigne la zone de texte. Cet élément est obligatoire. Il contient au moins un élément BlockGroup. Les éléments BlockGroup : TextBlock : désigne le bloc de texte. Cet élément est utilisé pour regrouper les lignes de textes en un ensemble cohérent ; Illustration : désigne une image ou un dessin ; GraphicalElement : désigne un élément graphique autre qu une image ou un dessin. Il peut être utilisé pour décrire un élément de séparation intertextuel ou un élément textuel non reconnu en tant que tel par l OCR ; ComposedBlock : est utilisé pour permettre l imbrication d éléments BlockGroup. Document bnf sur OCR et Alto : charte_technique_ocr_presse.pdf

39 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Contrôle n 14: schéma des XML-ALTO MAJEUR Exemple de fichier alto validé- sert de point de comparaison Alto_FRB _JPO_1818_0001_0001.xml

40 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Les fichiers texte (html) OCR : reconnaissance optique (ROC, en anglais optical character recognition : OCR) traduction en fichier texte d images de textes imprimés ou dactylographiés. Le logiciel permet de récupérer le texte de l image Contrôle n 15: l OCR - 1 mot erroné = 1 erreur (on ne compte pas au caractère) - On ne prend pas en compte les parties illisibles (arrachées, tâchées ou encore les pliures) - 1 ponctuation à la place d un caractère alphabétique = 1 erreur - Les erreurs sur la ponctuation ne sont pas prises en compte. - Les substitutions ou omissions de diacritiques ne sont pas une erreur ex. «e» à la place de «é» - Les erreurs sur les chiffres arabes ne sont pas comptabilisées. - En cas de doute toujours revenir à l image pour vérifier.

41 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Les fichiers PDF PDF : Portable Document Format (communément abrégé en PDF) est un langage de description de pages d'impression créé par Adobe Systems. La spécificité du PDF est de préserver la mise en forme (polices d'écritures, images, objets graphiques ) telle qu'elle a été définie par son auteur, et ce quelles que soient l'application et la plate-forme utilisées pour imprimer ou visualiser ledit fichier. Contrôle n 16: Cohérence entre l image et le nommage - MAJEUR Contrôle n 17: lisibilité, les pages se suivent, pas de doublon ou manque. Il y a bien l OCR (Mineur) - En cas de doute toujours revenir aux images pour vérifier. Exemple de fichier: LR2L_LALBUM-DU-GARD_ _ pdf

42 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Les fichiers METS Mets : Metadata Encoding and Transmission Standard. Ce format a été élaboré à l'initiative de ladigital Library Federation qui avait pour objectif de fournir une stratégie de mise en œuvre de métadonnées de conservation afin de permettre les échanges de documents numériques entre institutions patrimoniales. - Le METS est un schéma XML qui sert à encoder les métadonnées descriptives, administratives et structurelles de documents, ou plutôt d objets numériques. Il contient la description de la structure hiérarchique de ces objets numériques (constituant une ressource numérique), répertorie les noms et la localisation des fichiers leur correspondant et contient toutes les métadonnées qui leur sont associées. Ainsi, toutes les données concernant un objet numérique sont regroupées dans un même fichier. - Un objet METS est composé de la ressource numérique elle même et d'un document METS comprenant toutes les métadonnées de structure, administratives et descriptives. Il est structuré en sept sections, pouvant comprendre un ou plusieurs groupes de métadonnées.

43 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Le xml mets Les 2 sections principales sont obligatoires : File Section : liste des fichiers composant l objet, c'est à dire la description des noms de fichiers et leur localisation (identifiant, format, URL) Structural Map : carte de structure, soit la description du plan du document (logique ou logique) Les 5 autres sections sont facultatives et répétables : Header : en-tête, soit des informations sur le document METS Descriptive Metadata : métadonnées descriptives, externes avec des liens ou encapsulées dans le document Administrative Metadata : métadonnées administratives, externes ou encapsulées Structural Links : liens entre les différents éléments de la carte de la structure Behavior : association d exécutables (programmes qui vont faire fonctionner l objet) Le système de pointeurs est un élément important du schéma METS : il permet de mettre en relation des éléments de métadonnées et des fichiers entre eux. 5 types de pointeurs sont proposés : xlink pour pointer vers un bloc de métadonnées stocké à l extérieur du document METS DMDID et AMDID permettent d'appliquer un identifiant à chaque bloc afin de les relier entre eux filepointer est interne au document METS et permet de pointer vers l'identifiant un fichier (cf file section) metspointer est externe au document METS et permet de lier plusieurs documents METS entre eux area est intégré dans la carte de structure et permet de pointer vers une partie de fichier

44 2.4 Etape 4: Le contrôle des métadonnées externes (xml alto, mets), PDF et OCR Le xml mets Contrôle n 18: Vérification des principales balises et présences des ref. fichiers (fin) Exemple de fichier: rapport pdf

45 Merci pour votre attention Et bon courage pour les contrôles Carine