LR2L Rapport sur les tests v2 Sommaire 1 INTRODUCTION... 1 2 LOT DE TEST... 2 2.1 DOCUMENTS TRAITES... 2 2.2 SCANNERS... 2 2.3 LIVRABLES... 3 3 CADRAGE... 5 4 CAS PARTICULIERS RENCONTRES... 7 4.1 REDRESSEMENT... 7 4.2 PLIURES... 8 4.3 COURBURES... 9 4.4 TRANSPARENCE... 9 4.5 PAGES EN MAUVAIS ETAT...10 1 Introduction Ce document accompagne la livraison du second lot de test du projet de numérisation LR2L. Il a notamment pour objectif de présenter la typologie des cas particuliers rencontrés et les résultats associés. Cette livraison fait suite à un rejet du premier lot test de livré, notamment à cause de nombreux fichiers corrompus lors du transfert des images par FTP. rapport_testsv2_diadeis.doc 1
2 Lot de test 2.1 Documents traités Dans le but d accélérer la phase de test, ce second lot traité ne reprend qu un échantillon du lot de test complet. Les titres traités sont toujours les mêmes mais au sein de chaque titre seul un nombre réduit de numéros (1 à 3 par titre) ont été repris. Cependant, même si les volumes de tests sont réduits, leur qualité engage toujours Diadeis sur la qualité qui sera fournie en production. Les titres concernés sont : - Dominique - Lou Camel - Journal de Cette (1886, 1912) - La Cèze - La Commune - La Volonté Nationale - Passe Partout - La Chronique Bagnolaise - Lou Caleu - Lou Gaveu - L Album du Gard - La Cigalo d Or - La Cigalo Narbouneso (1913, 1923, 1928) - Le Moniteur Judiciaire (1893, 1907) - Le Journal de Nismes (1786) - La Campana de Magalouna - La Liberté - Le Furet Nimois - Le Nimois - L Hirondelle - Le Messager du Midi - Midi Taurin - Le Publicateur de Beziers (PB06, PB16) 2.2 Scanners Différentes filières de scan sont utilisées en fonction des documents. Elles sont réparties entre Diadeis et le Centre des Archives Du Nord. - >A3 : Zeutschel OS14000 A1 ou Digibook (CADN) - <A3 non-relié : Copibook (DIADEIS) - <A3 relié : Zeutschel OS 14000 A2 ou A1 (DIADEIS/CADN) - Microfiches : Zeutschel OM 1600 (CADN) Les images sont scannées en 300 DPI Niveau de Gris (exceptionnellement en couleur comme dans Lou Caleu). rapport_testsv2_diadeis.doc 2
L utilisation du Zeutschel pour les ouvrages reliés permet de ne plus avoir de problème d ombre centrale : Copibook Zeutschel 2.3 Livrables Comme convenu avec LR2L, le lot de test livré vise à la validation des images (cadrage ) et de l OCR, et ne contient donc pas les livrables liés aux métadonnées (METS, fichiers de récolement ). L organisation et le nommage des fichiers n avaient pas encore été définis pour la première livraison des tests. Nous reprenons ici la version «provisoire» du nommage, où seule une décomposition par année a été ajoutée. On a donc : - un dossier par titre, éventuellement par année - 5 sous-dossiers correspondants aux différents livrables : o Conservation : images TIF o Consultation : images JPEG o OCR : fichiers ALTO o OCR_PDF : fichiers PDF avec texte caché o OCR_texte : fichiers texte HTML - Au sein de chacun de ces sous-dossiers, on a une décomposition en numéros (un dossier par numéro) Les images sont en 300 DPI Niveau de Gris (exceptionnellement en couleur comme dans Lou Caleu). rapport_testsv2_diadeis.doc 3
Les JPEG sont compressés à 70% de qualité. Remarques sur l OCR : Livrable OCR texte : L «OCR texte» est livré sous forme de HTML qui tente de reproduire la mise en page d origine. Cependant, la sortie de l OCR ne permet pas d obtenir directement la mise en page exacte au format HTML. Nous avons modifié le programme de génération de ce livrable pour corriger au mieux les problèmes de paragraphes qui se superposent, chaque début de ligne est maintenant positionnée selon ses coordonnées repérées sur la page. Mais les caractères ne peuvent être reproduits que dans une police existante, ce qui pose encore de problèmes sur les titres : il arrive que le titre «déborde» sur 2 lignes. Reconnaissance des titres : Les titres, le plus souvent en très gros caractères, sont assez mal reconnus par l OCR, et sont même souvent pris automatiquement comme une illustration. rapport_testsv2_diadeis.doc 4
LR2L Rapport sur les tests v2 3 Cadrage La règle de cadrage est de détourer à l intérieur des bords de page, au plus proche des bords. La priorité reste bien entendu de conserver l intégralité du texte, ce qui peut amener dans certains cas à rendre visible le bord de page. Un tel cadrage présente l avantage de favoriser le confort visuel de l utilisateur final, car il permet notamment de masquer : - l épaisseur de l ouvrage dans le cas des documents reliés : - les déchirures dans le cas de bords de pages abimés : rapport_testsv2_diadeis.doc 5
LR2L Rapport sur les tests v2 - les bords de page de travers suite au redressement sur le texte* *Les pages sont redressées automatiquement sur le texte par un programme qui évalue l orientation moyenne des lignes de texte. Cela permet d avoir le texte le plus droit possible pour la lecture mais aussi pour optimiser l OCR. Dans les cas où le texte est de travers par rapport au bord de page, c est le bord qui se retrouve de travers après redressement sur le texte. Exemple de cas où on voit la pliure car le texte est proche du bord : rapport_testsv2_diadeis.doc 6
4 Cas particuliers rencontrés 4.1 Redressement Les pages sont redressées automatiquement sur le texte par un programme qui évalue l orientation moyenne des lignes de texte. Cela permet d avoir le texte le plus droit possible pour la lecture mais aussi pour optimiser l OCR. Cependant, nous avons rencontré de nombreux cas où les colonnes de texte n était pas droites les unes par rapport aux autres, ou bien le texte est bien horizontal mais la colonne n est pas droite : Dans ces cas, le redressement est fait «au mieux» pour optimiser l orientation moyenne des lignes de texte. rapport_testsv2_diadeis.doc 7
4.2 Pliures Certaines pliures ne peuvent pas être compensées par l application de la vitre du scanner et resteront visibles sur l image finale, notamment : - les grosses pliures très marquées (pages pliées en 2 ou en 4) : - les micro-pliures : C est également le cas des pages gondolées qui ne pourront pas être totalement aplaties. rapport_testsv2_diadeis.doc 8
4.3 Courbures Quand la reliure est trop serrée pour être bien aplatie, cela crée une courbure du côté intérieur de la page : Pour les ouvrages où le texte se retrouve pris dans la reliure (cas du Journal de Nismes), Diadeis est en train de faire des tests sur ATIZ et Zeutschel en angle réduit pour proposer les différents résultats à LR2L. 4.4 Transparence Certaines pages présentent des phénomènes de transparence (verso visible par transparence). rapport_testsv2_diadeis.doc 9
4.5 Pages en mauvais état Certaines pages sont tachées, abîmées, etc. rapport_testsv2_diadeis.doc 10