Rapport de ANRT. Hongliu CAO Salah GHAMIZI Matthias LLOYD. Candidat(s) Seul ou en équipe. Nom(s) et prénom(s)

Transcription

1 Rapport de ANRT Candidat(s) Seul ou en équipe Nom(s) et prénom(s) Hongliu CAO Salah GHAMIZI Matthias LLOYD

2 Résumé du projet... 1 Introduction Agrandir l'image Caculer le moyenne Détection de contours Vectorisation... 6 Conclusion... 7

3 Résumé du projet Dans ce projet conjoint entre Mines Nancy, le LORIA et l ANRT, nous étudions comment des outils d analyse automatique d images peuvent être mis à profit pour l interprétation typographique des caractères présents dans des ouvrages imprimés de la Renaissance. Notre approche consistera à déconstruire des instances de polices particulières (i.e. provenant de documents imprimés réels numérisés) en des hypothèses d interprétation typographique «moderne» les plus plausibles possibles et de trouver les résonnances avec l état de l art en algorithmes d analyse d images de documents avec ces interprétations. En d autres termes, d identifier des algorithmes robustes et utiles qui permettraient d extraire des mesures et des modèles ayant du sens sémantiquement et qui pourraient ensuite être utilisés pour exprimer des polices anciennes dans un langage typographique moderne. Les logiciels classiques d analyse de texte (OCR) sont développés avec une logique «orthogonale» à notre projet. En effet, dans le but d identifier les lettres et les mots, tout est mis en œuvre pour s affranchir des différences de formes induites par l usage de différentes polices de caractères ou effets typographiques pour se concentrer sur l essentiel : la lettre. Ce projet prend le contre-pied de l état de l art en tentant non pas d identifier les lettres, mais de bien cerner les caractéristiques typographiques, plus particulièrement dans des documents pour lesquels ces caractéristiques ont été perdues (notamment des documents de la Renaissance) Mots Clés: Analyse d images, typographie, ARTEM, OCR, reconnaissance de formes 1

4 Introduction Ce projet s inscrit dans une mouvance mondiale de numérisation et référencement des connaissances. De grandes entreprises comme Google mobilisent d énormes ressources pour cela. Actuellement, il existe deux formes possibles d archivage des documents. Soit réaliser des scans en haute résolution et stocker l ensemble des images, ce qui engendre des volumes de données énormes (de l ordre du gigaoctet pour un manuscrit d une centaine de pages), soit réaliser des opérations d OCR (Reconnaissance de Caractères) et ne stocker que l information textuelle. Cette seconde méthode est particulièrement légère, mais ne préserve aucune information sur la forme ou la typographie. Ce sujet s est fait en collaboration avec des typographes de l ANRT (Atelier National de Recherche Typographique) et des spécialistes en traitement d images du LORIA. L objet est d utiliser une série d outils existants, permettant d extraire des séries d images de caractères imprimés, a partir de versions scannées de documents anciens. Il s agit ensuite de mettre en œuvre des techniques simples de manipulation d images pour identifier des «formes moyennes» de l ensemble des glyphes, et ensuite proposer des outils pour aider les typographes a définir des nouvelles polices vectorielles s approchant au mieux des caractères typographiques originaux. Le projet consistera en les phases suivantes : récupération et installation des logiciels. Les premiers tests pourront se faire sur des ensembles pre -segmente s, comme la base de dessins de caractères sur calques détenue par l ANRT. développement d algorithmes de calcul de forme moyenne sur les glyphes ainsi extraits, ainsi que des outils d extraction de «paramètres» intéressants à l étude des polices de caractères(épaisseur, empâtement, ) concevoir un outil d extraction et de vectorisation de glyphes. 2

5 1. Agrandir l'image Les mots anciens disponibles chez l ANRT sont trop petits (comme dans figure 1.1) pour tout traitement.... Figure 1.1 Afin de maintenir autant que possible les informations d'origine, on les agrandit en utilisant une interpolation bilinéaire. L'interpolation bilinéaire est une méthode d'interpolation pour les fonctions de 2 variables sur une grille régulière. Elle permet de calculer la valeur d'une fonction en un point quelconque, à partir de ses 2 plus proches voisins dans chaque direction. C'est une méthode très utilisée en imagerie numérique pour le redimensionnement d'image, qui permet d'obtenir de meilleurs résultats que l'interpolation par plus proche voisin, tout en restant de complexité raisonnable. Nous obtenons par exemple le résultat suivant: Figure 1.2 On calcule ensuite la moyenne des images, la taille de l'image n'étant pas le même, nous choisissons la méthode suivante: Premièrement, nous pouvons choisir un point commun (en bas à gauche, au centre, etc.) selon lequel nous allons aligner toutes les images, définir la taille maximale des images et rajouter des pixels vierges à chaque image pour atteindre cette taille. Nous remplissons ensuite les pixels vierges par interpolation. 2. Calcul de la moyenne 2.1 Première itération: moyenne progressive par accumulation 3

6 Etant donné que les images traitées sont toutes en noir et blanc, nous utilisons une matrice d entiers pour représenter chaque image: des char (donc compris entre 0 et 255) donnant la nuance de gris de chaque pixel. Pour l alignement nous avons choisi l origine au coin bas gauche de l image ou alors par le centre de celui-ci. L alignement par le centre semble plus adapté pour la plupart des lettres mais il peut être intéressant aussi d avoir la possibilité de le faire par le bas (notamment pour les lettres accentuées) ou par le haut (on peut penser au c et au ç). Pour les pixels où les images se recoupent, on prend la moyenne de la valeur des deux images. Par contre, lorsqu elle n est présente que dans une des deux, nous avons décidé de garder cette valeur-là afin de garder un maximum d information. Enfin, pour les pixels qui ne sont représentés dans aucune des deux images, l idée était d estimer la valeur par une moyenne des plus proches voisins. Cependant, cette dernière mesure n a pas été mise en place à la première itération en attendant de voir les résultats. 2.2 Deuxième itération Ayant pris une caractérisation char (entier compris entre 0 et 255) pour les valeurs en nuances de gris des pixels, la division par n+1 (images) était fortement arrondie, de façon à ce que, pour plus d une dizaine d images, les résultats n étaient plus cohérents par rapport aux données, ni même exploitables. C est pourquoi nous réalisons alors la sommation d abord et la division après, pour que l arrondi ne soit calculé qu une fois. Se posent alors d autres problèmes: il faut changer le format de stockage des données puisque l on somme plusieurs (a priori un grand nombre puisque l on veut opérer sur beaucoup d images) entiers pour chaque pixel. Il faut également faire l alignement simultané de toutes les images, s occuper du remplissage des pixels non attribués et prendre en compte que la somme n a pas le même nombre d éléments pour chaque pixel. 2.3 Limitations Il semblerait que le remplissage par proche en proche soit insuffisant notamment dans l incorporation des accents et autres marques. En effet, lorsque le glyphe est coupé par le scan (présence de noir sur le bord), la bavure d encre est trop grande et interfère avec d autres 4

7 objets. Nous n avons par exemple pas eu de résultats convaincants avec le é, l accent ayant été flouté par ces bavures. Une perspective serait alors d opérer une analyse de courbes de béziers pour estimer la bonne forme à donner à ces dépassements. Figure 2.1 le moyenne des images 3. Détection de contours Une fois l image moyenne calculée, nous extrayons alors les contours des objets. Ainsi, les limites des objets (glyphes) sont définies comme les zones à fort gradient. Nous utilisons dans cette optique un détecteur de contours canny avec un opérateur de Sobel. public static void cvcanny( IntPtr image, IntPtr edges, double threshold1, double threshold2, int aperture_size ) Trouve les bords sur l'image de l'image d'entrée et les marque dans les bords de l'image de sortie en utilisant l'algorithme de Canny. Le plus petit des threshold1 et threshold2 (seuils) est utilisé pour la liaison de contours, le plus grand seuil de trouver des segments initiaux de bords forts. Ensuite, on utilise le function findcontours et drawcontours pour trouver le contour et dessiner le contour. findcontours( src, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE ); En entrée, findcontours prend une image en niveau de gris (CV_8UC1), une variable de stockage des points formant les contours trouvées (std::vector<std::vector<cv:point> > contours) et des paramètres sur la forme dans laquelle on veut que les points soit stockés. 5

8 Avec ces paramètres, on peut récupérer chaque contour séparément (CV_RETR_LIST) et on auras tous les points formant le contours (pas d'approximation polygonale ou autre) (CV_CHAIN_APPROX_NONE). 4. Vectorisation Jusqu à maintenant, nous avons travaillé sur des bitmaps. Un bitmap représente une image comme une grille de pixels noirs ou blancs. L objectif était d obtenir à la sortie une image vectorielle. Soit une description algébrique de ses contours, ici sous la forme de courbes de Bézier. L'avantage de représenter une image comme un contour vectoriel est qu'il peut être adapté à n'importe quelle taille sans perte de qualité. Les informations du contour sont indépendantes de la résolution du périphérique de sortie. Ils sont particulièrement populaires dans la description des polices, qui doit être reproductible à différentes tailles. Des exemples de formats de polices vectorielles sont les polices PostScript, TrueType et Metafont. D'autre part, la plupart des périphériques d'entrée et de sortie réels, tels que les scanners, écrans et imprimantes, finalement produisent ou consomment des bitmaps. Le processus de conversion d'un contour vectoriel en bitmap est appelé rendu. Le processus inverse de tourner des images bitmap en vecteurs est appelé «tracing» ou «traçage». Le tracing a fait le sujet de nombreux logiciels et algorithmes. Nous choisissons pour notre part Potrace, qui signifie polygone traceur. Cependant, la sortie de l'algorithme n'est pas un polygone, mais un contour lisse fabriqué à partir de courbes de Bézier. L'algorithme Potrace est conçu pour fonctionner sur des images haute résolution. Ainsi, une application typique est de produire un plan de vecteur d'un logo d'entreprise ou une université qui a été numérisée en haute résolution. Effectivement, aucun algorithme de traçage n arrive à produire des résultats satisfaisants à très petites échelles. Après calcul de la moyenne, nous soumettons notre image à Potrace qui produit les résultats suivant: Figure 4.1 Le résultat de vectorisation 6

9 Conclusion En collaboration avec des typographes de l ANRT et de chercheurs du LORIA, nous avons utilise OpenCV en C++ afin d extraire des informations typographiques à partir d une série d images de caractères imprimés. Des premiers résultats convaincants de par leur généralité et leur efficacité confirment l intérêt porté à ce projet et complètent l apport pédagogique d un projet de développement multiplateforme (il a été développé conjointement sur mac, windows et linux) en équipe réduite. Ce projet ouvre une perspective nouvelle à l analyse d images et peut être développé bien d avantage encore afin d obtenir dans de futures itérations des résultats plus cohérents et plus faciles à manipuler par des typographes. En particulier, l ANRT souhaite pérenniser le projet sous la forme d une solution open-source, ou un développement logiciel complet qui gère l ensemble des étapes du traitement. Leurs besoins sont exprimés par d autres instituts de recherche en typographie ou par les entreprises de design. L une de leurs utilisations envisagées est de comparer et détecter les variations dans des ouvrages anciens pour réaliser une bibliographie des ouvrages et étudier l'histoire de l'imprimerie (suivre l'origine des polices, reconnaitre l imprimeur, ) Les domaines d application du projet couvrent néanmoins autant la typographie que le design graphique, et les implémentations peuvent être multiples. Le projet nécessite néanmoins l engagement d un développeur pour coordonner et réaliser les parties restantes (simplifier l interface graphique, analyser d autres paramètres du glyphe, ) 7