Le traitement d image dans l analyse de documents anciens Séminaire de recherche du groupe DIVA Université de Fribourg 29 mai 2008 Denis BOSSY Le traitement d image dans l analyse de documents anciens 1
1. Résumé Le traitement d image est une étape importante de la numérisation des documents anciens. Les traitements présentés ici permettent de restaurer ou nettoyer l image, d extraire les différentes structures du document (illustrations, éléments graphiques et textuels,...). Les différents traitements se font selon leur niveau : pré-traitement, analyse et reconnaissance. 2. Introduction L analyse de documents anciens consiste en plusieurs types de documents : documents médiévaux, documents plus modernes (Renaissance) et des documents manuscrits. Ceux-ci se caractérisent par des présentations et écritures très variées. Le temps a également pu affecter le document provoquant des imperfections (taches, écritures fragmentées, trous,...). Les techniques de traitement d image se situent à différents niveaux : pré-traitement, segmentation et reconnaissance. A chacun de ces niveaux, des structures de données sont produites ou utilisées et celles-ci ont une granularité grandissante (de l image à son interprétation). Des traitements intermédiaires tels que le déchiffrement de l image, la recherche de structures intermédiaires (blocs, lignes, mots), la séparation des couches graphiques et symboliques sont tout autant des étapes nécessaire au but ultime : la reconnaissance de tous les composants graphiques et textuels du document. Tout au long de cet article, des références seront faites au projet DEBORA 1 afin d illustrer au mieux cette théorie. 3. Traitement d image 3.1 Présentation La numérisation des documents anciens est un enjeu important pour les services d archives, les bibliothèques, les historiens,... Une fois un document numérisé (minimum 300 dpi), il se présente sous la forme d une image non structurée et uniquement visualisable. Tout le travail réside donc d associer aux données image des données textuelles qui, par la suite, permettront d effectuer des recherches informatisées. Le traitement d image dans les documents anciens va donc permettre cela, c est-à-dire rechercher des informations directement dans les images, d en dégager la structure et même d en améliorer la qualité visuelle. Tout au long du processus de traitement, différentes images intermédiaires seront produites. 1 Digital AccEss to BOoks of the RenAissance. Projet européen ayant pour but de numériser et rendre plus accessibles des livres du XVIème siècle. Le traitement d image dans l analyse de documents anciens 2
Exemples d images provenant de livres du XVIème siècle. 3.2 Pré-traitement La première étape du traitement consiste à améliorer la qualité de l image en éliminant les défauts dus à l éclairage et au processus d acquisition. Le vieillissement (trous, taches d humidité,...) du document produit lui aussi des imperfections lors de la numérisation du document. Les pré-traitements utilisent des opérations sur les images telles que modifications d histogrammes 2 et filtrages (passe-bas 3, passe-haut 4 et morphologiques 5 ) pour corriger la luminosité, réduire les bruits, rehausser les contrastes. Pour la plupart des imperfections, il existe différentes méthodes associées afin de les corriger dont voici un tableau récapitulatif. Défaut Luminosité trop faible/forte Taches Points parasites Rotation légère de l image Courbure de l écriture Pré-traitement Modification d histogramme Filtrages passe haut Filtrages passe bas Filtrages morphologiques Ré-échantillonage Ré-échantillonage 2 La modification d'un histogramme est généralement représentée sur une courbe (appelée courbe tonale) indiquant la modification globale des composantes de l'image avec en abscisse les valeurs initiales et en ordonnées les valeurs après modification. 3 Ce type de filtrage est généralement utilisé pour atténuer le bruit de l'image, c'est la raison pour laquelle on parle habituellement de lissage. 4 Est l inverse du filtre passe-bas, permet notamment d'accentuer les détails et le contraste. 5 Simplifie l image en préservant la structure, mais il perd en général de l information. Le traitement d image dans l analyse de documents anciens 3
Défaut Ecriture fragmentée Contours de l écriture flous Ecriture du verso apparaissant sur le recto Pré-traitement Filtrages (passe haut/bas, morphologiques) Filtrages passe haut Filtrages morphologiques Combinaison des images recto et verso Ces traitements doivent être utilisés consciencieusement, car certains filtres peuvent avoir des effets néfastes sur d autres éléments de l image! L étape suivante consiste à séparer les textes et éléments graphiques du fond de l image. Elle est appelée binarisation. 3.2.1 La binarisation dans DEBORA C est un point critique et qui ne nécessite pas qu une simple modification de seuil. L utilisation de la méthode Niblack ou Sauvola n est pas assez précise pour des documents de la Renaissance du fait de l état du papier. Les meilleurs résultats ont été trouvés en utilisant un algorithme qui adapte les paramètres et la méthode de seuil pour chaque élément de l image. Image avant traitement Image après traitement 3.3 Segmentation texte / graphique Une fois la binarisation effectuée (séparation des formes du fond), on passe à la segmentation. Cette manipulation opère sur les pixels de l image, elle est donc de bas niveau. Il s agit tout d abord de classer les éléments extraits du fond en entités similaires et de distinguer les éléments textuels (caractères, symboles) des éléments graphiques (paraphes, ratures, lettrines, illustrations,...). Cette étape est appelée segmentation texte/graphique. L analyse en composantes connexes est un bon moyen pour effectuer cette séparation en recherchant les ensembles de pixels noirs connectés. Ces différentes opérations effectuées, l image intermédiaire obtenue est propre, débarrassée d éléments non textuels et l écriture est nette (ni fragmentée, ni épaissie). Le traitement d image dans l analyse de documents anciens 4
3.3.1 Segmentation dans DEBORA Etant donné que l on n a pas de modèle défini pour la mise en page, DEBORA procède à une segmentation classique de haut en bas. Comme mentionné plus haut, l analyse en composantes connexes est également utilisée ici. Elle permet donc de fusionner les textes, graphiques, cadres,... Ensuite les textes sont séparés des graphiques par le biais de mesures géométriques et la régularité des composantes connexes. Une simple formule permet de déduire si la composante connexe CCx est un texte ou un graphique. Elle associe à chaque CCx une probabilité P(x), si cette dernière est inférieure à un certain seuil, alors CCx est un graphique et sinon un texte. On peut voir dans la figure suivante que plus un rectangle est blanc, plus il a de chance d être du texte et inversément. Classification des composantes connexes. Equation qui permet de déterminer la probabilité pour chaque CC 3.4 Structuration et reconnaissance L extraction de structures sur les objets extraits lors de l étape de segmentation est un préalable à la reconnaissance et l interprétation. Ces structures sont recherchées à un ou plusieurs niveaux de granularité : blocs, colonnes, lignes ou mots. Les techniques de reconnaissance des caractères peuvent être envisagées sur des documents de bonne qualité dont les caractères sont isolés et relativement bien formés. Le traitement d image dans l analyse de documents anciens 5
4. Extraction des structures de ligne Cette étape permettra de de trouver les mots à l intérieur d images. La procédure se fait en éliminant préalablement les composantes graphiques proches du texte, voire même superposées. Pour ce faire, il est possible de reprendre le concept des composantes connexes ou alors la projection des pixels. En s aidant des composantes connexes et une direction haut/bas, ces dernières vont progressivement évoluer de caractères en mots, de mots en lignes et de lignes en paragraphes. Au final, cette manipulation nous permet d obtenir une approche de la structure physique du document. Encore une fois, il est utile de rendre sensible sur le fait que la structure des documents anciens est bien plus complexe que les documents actuels et qu il est très difficile de déterminer leurs structures physiques. 4.1 Extraction dans DEBORA Les mêmes problèmes reviennent dans ce projet. Néanmoins, les livres numérisés de DEBORA ne produisent pas trop d erreurs dans la segmentation de caractères. Les problèmes surviennent le plus souvent dans la segmentation des mots, dus au fait que l espace entre les mots sur une ligne est trop aléatoire. La segmentation des colonnes et paragraphes n est pas évaluée dans DEBORA. DEBORA poursuit aussi son extraction avec les méta-données. Elle classifie les éléments graphiques en trois classes : frises, lettrines et illustrations. La reconnaissance des lettrines et des frises se fait selon un modèle fixe jouant sur les positions dans la page, de la taille des objets et de la justification autour des zones de texte. Les frises sont de grands éléments graphiques positionnés, en principe, en haut de page. Les lettrines sont des éléments graphiques de forme carrée entourés de lignes de textes à droite et en bas. Et finalement, les illustrations sont de grands éléments graphiques situées dans la zone principale et qui peuvent être entourées de zones de texte. Résultats de la segmentation de la structure physique par une approche haut/bas. Le traitement d image dans l analyse de documents anciens 6
5. Conclusion Le traitement des images dans les documents anciens est une étape primordiale dans leur analyse. Ce traitement s opère sur plusieurs niveaux : pré-traitement, segmentation, extraction, reconnaissance. Toutes ces manipulations permettent notamment d améliorer la qualité de l image (nettoyage, restauration), reconnaître les différents éléments graphiques (traits, lignes, symboles,...) et de délimiter les zones de textes (caractères, mots, lignes, paragraphes) et des images. Le travail à accomplir dans ce domaine est encore long du fait de la quantité très importante de ces documents anciens mais également, et surtout, de la constante progression des outils, applications concernant le traitement d image. Une simple recherche sur internet permet de voir l étendue des recherches à ce sujet. Personnellement, ce séminaire m a beaucoup plu. Il a été un bon moyen de conjuguer les cours Traitement de l image et Analyse de documents. De plus, tout l aspect mathématique, qui se cache derrière, m impressionne et souligne bien le fait que l analyse de quelque sorte qu elle soit, c est des mathématiques avant tout. Le traitement d image dans l analyse de documents anciens 7