Segmentation de chèques bancaires arabes

SETIT 2005 3 rd International Conference: Sciences of Electronic, Technologies of Information and Telecommunications March 27-31, 2005 TUNISIA Segmentation de chèques bancaires arabes Fadoua BOUAFIF SAMOUD, Samia SNOUSSI MADDOURI, Kamel HAMROUNI Laboratoire de système et de Traitement de Signal (LSTS) Ecole Nationale d Ingénieur de Tunis (ENIT), B.P 37 Belvédère 1002, Tunis Fadoua.Bouafif@fsegn.rnu.tn Kamel.Hamrouni@enit.rnu.tn Samia.Maddouri@enit.rnu.tn Résumé: Le traitement automatique du chèque bancaire nécessite la segmentation préalable des différentes zones d information existant dans le chèque. Dans cet article, nous présentons le problème d extraction du montant littérale du chèque bancaire rédigé en arabe. Une méthode de segmentation de cette zone est proposée. Cette méthode est basée sur les transformations de base de la morphologie mathématique et exploite la structure physique et logique du chèque. Mots clés: Composantes connexes, morphologie mathématique, segmentation, structure du chèque bancaire. 1. Introduction La reconnaissance de l'écriture manuscrite intéresse de nombreux domaines d applications tels que le tri automatique du courrier, le traitement automatique des dossiers administratifs, ou encore l'enregistrement des chèques bancaires. Quelques systèmes de reconnaissance de l'écriture manuscrite ont été réalisés. Cependant, ils sont spécifiques à un domaine précis et sont encore limités. Par exemple, le système «IKRAA» qui est développé au sein du laboratoire LSTS à l ENIT est capable de reconnaître les mots des montants littéraux des chèques arabes (71 mots), et nécessite une extension pour reconnaître tous les noms de villes tunisiennes (946 mots). Ces mots sont extraits manuellement des documents (Snoussi, 2003). Les chercheurs sont donc confrontés au problème de l extraction automatique des mots qui relèvent du domaine de la segmentation La segmentation est un processus qui consiste à découper une image en régions connexes et homogènes au sens d un critère donné (Christophe, 2003). C est une étape importante pour l extraction des informations et est nécessaire dans le développement d un système de reconnaissance automatique de l écriture. Mais cette opération est rendue délicate, dans le cas de l écriture manuscrite et en particulier pour les chèques bancaires, par la présence des espacements irréguliers entre les lignes et les points diacritiques pour l écriture arabe. Dans cet article, nous présentons une méthode d extraction automatique du montant littéral manuscrit existant dans un chèque bancaire. Cette méthode est basée principalement sur l utilisation des transformations de la morphologie mathématique. Nous présentons dans la section suivante quelques méthodes de segmentation couramment utilisées dans le domaine documentaire. La méthode de segmentation choisie est présentée dans la troisième section. Dans la section quatre nous présentons la conception et la réalisation d une méthode de segmentation. Dans la cinquième section nous présentons une évaluation de notre méthode, et nous terminons par une conclusion et perspectives. 2. Différentes approches et méthodes de segmentation La segmentation est une technique très importante dans le domaine du traitement d image, en particulier les documents. La segmentation de documents dépend des caractéristiques de l écriture et de l approche de reconnaissance. Il existe différentes approches et différentes méthodes de segmentation de documents. 2.1 Approches de segmentation de document Il existe principalement trois stratégies de segmentation : L approche analytique explicite, l approche implicite et l approche globale (Caesar & al, 1993). 2.1.1 Approche analytique explicit Cette approche repose sur la segmentation et la reconnaissance d éléments caractéristiques proches 1

des lettres (qu on appelle graphème). Il y a dans ce cas une pré-segmentation explicite qui s appuie souvent sur des critères perceptifs tels que l emplacement des ligatures entre les lettres. Les graphèmes sont reconnus individuellement. L identification du mot est effectuée s appuie sur l information contextuelle (Dargento & al, 1993). 2.1.2 Approche analytique implicite L approche analytique implicite évite certains résultats de la segmentation explicite. Cette fois, il n y a pas de pré-segmentation du mot. La segmentation s effectue pendant la reconnaissance. Le système cherche dans l image les composantes ou les groupes de graphèmes qui correspondent à ses classes de lettres. Classiquement, il peut le faire de deux manières ; soit par fenêtrage, soit par recherche de primitives (Dargento & al, 1993). 2.1.3 Approche analytique mixte La plupart des méthodes actuelles pratiquent un mélange des deux stratégies précédentes. D abord, une phase de pré-segmentation est appliquée pour sursegmenter l image. Puis la meilleure combinaison de reconnaissance est choisie en considérant les combinaisons possibles de 1,2,.,n graphèmes. Cette recherche est faite au moyen de méthodes d optimisation telles que la programmation dynamique ou les modèles de Markov Cachés (Caesar & al, 1993). 2.1.4 Approche global Dans l approche globale, le mot est reconnu par sa forme générale. Il n y a pas de segmentation (ni explicite, ni implicite). C est pourquoi cette approche est censée être robuste au bruit ou aux imperfections du signal. Habituellement la reconnaissance dépend d un lexique (Caesar & al, 1993). Puisque cette méthode nécessite un modèle pour chaque mot du lexique et que chaque modèle doit être appris, elle est plutôt utilisée pour des applications où le lexique est restreint comme c est le cas dans le traitement automatique des chèques. 2.2 Méthodes de segmentation Il existe plusieurs méthodes de segmentation, nous présentons les plus utilisées dans le domaine de la reconnaissance de l écriture. 2.2.1 RLSA (Run Length Smoothing Algorithm) Run Lengh Smoothing Algorithm est une technique due à Wong (Wong & al, 1982). Elle est fondée sur un double lissage unidirectionnel de l image à segmenter. Elle consiste à noircir, suivant une direction donnée, les segments de pixels blancs de longueur inférieure à un seuil S donnée. La segmentation est alors obtenue en appliquant l opérateur logique «and» (^) sur les deux images résultant respectivement d un lissage horizontal et d un lissage vertical. La nature des blocs isolés est intimement liée au choix des seuils. Des seuils trop faibles provoquent une sur-segmentation alors que des seuils trop élevés provoquent une sous segmentation. Les principales limites de cette technique sont : - le choix arbitraire des seuils de lissage. - sa sensibilité aux inclinaisons, - son inadaptation à segmenter des blocs graphiques, formules et tableaux. 2.2.2 Découpe récursive Un grand nombre de techniques de segmentation procèdent par découpe récursive, alternant les profils horizontaux avec les profils verticaux. Un profil de projection est une accumulation de pixels noirs d une image suivant un axe donné. Le profil de projection vertical sert à la segmentation en ligne ainsi qu à l estimation des lignes de base (Péden, 1994). Les principales limites pour ce genre de technique sont : - la sensibilité aux inclinaisons, - l inadaptation à segmenter des blocs mosaïques. 2.2.3 Segmentation ascendante par fusion des composantes connexes Cette méthode nécessite la segmentation en blocs ; on calcule la hauteur d un caractère sans hampe ni jambage, tel que le «x» ; cette estimation locale, fournit une valeur relativement précise. Le calcul est basé sur l étude de la fonction de distribution de la hauteur des composantes connexes du bloc, la méthode est appliquée aux documents présentant une petite inclinaison (Christophe, 2003). 2.2.4. Segmentation en ligne et en mot Cette méthode est réalisée en plusieurs étapes. Les composantes connexes sont d abord détectées et étiquetées, les zones de chevauchement entre ligne adjacentes sont localisées. Les composantes connexes sont ensuite regroupées en lignes et en mots (Ingold, 1990). Venturelli (Venturelli, 2000) utilise trois segmentations successives et indépendantes, de même structure de base. Chacune d entre elles fonctionne selon le schéma suivant : - Découpage de l image en colonnes, - Construction de l histogramme de la projection horizontale pour chaque colonne, - Définition des chemins identifiant les lignes de textes par l utilisation des densités maximales des histogrammes, - Segmentation en lignes, - Affinement de la segmentation par un suivi de contour des caractères. 3. Choix de la méthode de segmentation Après l étude de quelques méthodes de segmentation utilisée, nous avons constaté que toutes les méthodes permettent de décomposer le document 2

traité en composantes connexes à reconnaître. Or dans le cas des chèques bancaires il est difficile de délimiter des composantes connexes. La méthode que nous avons élaborée, utilise des opérateurs de la morphologie mathématique pour la construction de composantes connexes avant l étape d extraction. 3. 1. Présentation de la morphologie mathématique La morphologie mathématique est une théorie qui propose des outils robustes pour le traitement et l'analyse d'images (Serra, 1982). Les outils proposés ont été développés soit pour traiter des images binaires (comme dans notre cas), nous parlons alors de la morphologie mathématique sur les ensembles. Soit pour traiter des images en niveaux de gris, nous parlons, à ce moment, de morphologie mathématique sur les fonctions (Boudry, 2002). Le principe de base de la morphologie mathématique est de prospecter l espace image à l aide d une forme particulière dite «élément structurant» et de répondre à des questions simples du genre «l élément structurant est-il inclus dans l ensemble?» ou «coupe-t-il l ensemble?». Selon la réponse, le centre de l élément structurant est retenu ou non dans l ensemble transformé. 3. 2. Erosion Soit un ensemble X et un élément structurant B z centré en z. B z est déplacé de telle sorte que son centre occupe successivement toutes les positions de l espace. Tous les points z ayant une réponse positive forment un nouvel ensemble dit érodé de X par B. On note : X θ B = {z E / B z X} Lors de cette transformation : les objets de taille inférieure à celle de l'élément structurant vont disparaître, les autres seront "amputés" d'une partie correspondant au rayon de l'élément structurant, s'il existe des trous dans les objets, c'est à dire des "morceaux" de fond à l'intérieur des objets, ils seront accentués, les objets reliés entre eux vont être séparés (Boudry, 2002). 3. 3. Dilatation Soit un ensemble X et un élément structurant B z centré en z. B z est déplacé de telle sorte que son centre occupe successivement toutes les positions de l espace. L ensemble des points z ayant une réponse positive forme l ensemble dilaté de X. On note : X B = {z E / B z X } Lors de cette transformation : tous les objets vont "grossir" d'une partie correspondant au rayon de l'élément structurant, s'il existe des trous dans les objets, c'est à dire des "morceaux" de fond à l'intérieur des objets, ils seront comblés, si des objets sont situés à une distance moins grande que la taille de l'élément structurant, ils vont fusionner (Boudry, 2002). 3. 4. Ouverture Une érosion suivie d une dilatation par le même élément structurant B est dite «Ouverture». Elle est notée : X B = (X θ B) B L ensemble ouvert est plus régulier et moins riche en détail. L ouverture adoucit les contours. Elle joue le rôle de filtre linéaire. 3.5. Fermeture La fermeture est une transformation duale de l ouverture (dilatation suivie d une érosion). Elle est notée : X B = (X B) θ B La fermeture est aussi un filtre similaire à l ouverture mais sur le complémentaire. La fermeture bouche les canaux étroits suppriment les petits lacs et les golfes étroits. 4. Conception et réalisation d une méthode de segmentation du chèque bancaire Malgré les recherches effectuées sur la segmentation de document, cette dernière reste dépendante de la structure du document. Un grand pas est effectué pour la segmentation des documents latins bien structurés et. Par contre la segmentation de documents arabes, aussi bien que manuscrits reste encore au stade de recherche. Notre travail concerne la segmentation des chèques bancaires tunisiens ainsi que l automatisation de l étape d extraction des montants littéraux. La particularité du chèque tunisien est qu il est multilingue et riche en information. Nous trouvons de l imprimé et du manuscrit, du littéral et des chiffres numériques, de l arabe et du latin. 4.1 Structure physique et logique du chèque Les chèques bancaires tunisiens sont multilingues, comme le montre la figure 1, nous trouvons de l arabe et du français, de l imprimé et du manuscrit, des chiffres et des images. 3

repérer le lecteur. Dans la mesure où elle ne tient pas compte de la présentation, la structure logique constitue une représentation abstraite du document. Elle a pour but de décrire l organisation du chèque telle qu elle est perçue par la banque. Cette abstraction offre l avantage de rendre la description du chèque indépendante du support physique. Figure 1. Exemple d un chèque tunisien Les chèques présentent une structure particulière de document. Une étude de la structure physique et logique est nécessaire pour notre méthode de segmentation. Elle donne la position préalable de chaque composante du chèque. La structure physique indique la nature du contenue de chaque composante et la structure logique présente la signification du contenue de la zone.la figure 2 montre la structure du chèque et les différentes composantes qui le constitue. 3 4 Figure 3. La structure physique et logique du chèque tunisien Le tableau-1 présente le contenue physique et la signification logique de chaque composante du chèque tunisien. Numéro de Interprétation zone physique 1 Digits manuscrits et écriture imprimée 7 9 8 10 Interprétation logique Le montant numérique 2 Ecriture imprimée et image le nom et le sigle de la banque 3 Ecriture et digits le numéro du chèque 4 Ecriture imprimée le montant littéral et manuscrite 5 Ecriture imprimée le nom du receveur et manuscrite 6 image La signature le numéro du compte 7 Ecriture et digits du scripteur 8 Ecriture et digits la date 9 Ecriture et digits 10 Digits imprimée 2 1 l adresse et le numéro de téléphone de la banque le numéro du chèque, le code de la banque et le numéro du compte du scripteur Tableau 1. Le contenue physique et la signification logique de chaque zone du chèque tunisien Les entités logiques sont des concepts servant à structurer le message de l auteur, elles servent à 6 5 4.2 Pré traitement de l image L image du chèque est le résultat d une étape d acquisition effectuée à l aide d un scanner. Cette étape introduit une déformation de l image acquise. D ou la nécessité d effectuer une étape de prétraitement dont le but de réduire la quantité de bruit et d améliorer la qualité de l image. Dans notre cas cette phase est composée de deux opérations: un filtrage et une binarisation. 4.2.1 Filtrage Le filtre est une opération d amélioration appliqué sur l image bruité dont le but de diminuer la quantité de bruit. Il existe différents types de filtre comme le filtre moyenneur, le filtre médian, les filtres morphologiques, etc. le choix du filtre dépend du type de l image traitée. Dans notre cas, nous avons choisi d appliquer le filtre médian, dont Le principe est de remplacer le pixel courant par la valeur médiane des neuf voisins ordonnés par ordre croissant. Il a la propriété de lisser l image tout en préservent le contraste au niveau de contour. L application de ce filtre sur l image du chèque est illustrée par la figure 3. Figure 3. image initiale du chèque tunisien, résultat de filtrage médian 4.2.3. Binarisation L image du document traité est numérisée en niveau de gris. A chaque pixel est associée une valeur entre 0 et 255. La binarisation consiste à mettre à zéro tout pixel ayant une valeur inférieure à un certain seuil S, et à 1 toute valeur supérieure à S. Différentes méthodes sont conçues, développées et testées pour le 4

calcul du seuil. Nous avons deux types de chèques : les premiers ayant un fond simple homogène et les seconds ayant un fond contenant des motifs. Pour ces deux types de chèques, la méthode de détermination de la valeur du seuil n est pas la même. Dans le premier cas, nous avons utilisé la moyenne comme valeur de seuil, alors que dans le deuxième cas, nous avons appliqué la méthode d Otsu (Otsu, 1979). La première méthode est appliquée sur l image initiale du chèque tunisien et la deuxième est appliquée sur l image initiale du chèque saoudien. La figure 4 illustre le résultat de ses deux méthodes. l aide d une application de transformation morphologique. La méthode proposée comprend donc les étapes suivantes : - Construction de composantes connexes, - Etiquetage des composantes connexes, - Construction d un masque de la zone recherchée, - Extraction du chèque original la zone du montant. 4.3.1. Construction de zones connexes Il est facile de constater que l écriture manuscrite arabe est généralement une écriture verticale formant des composantes connexes correspondant aux morceaux de mots (POW : «Piece Of Word»). Pour les connecter il suffit d appliquer une dilatation par un segment horizontal comme élément structurant. Une dilatation par un segment vertical permet de connecter les points diacritiques et les lignes adjacentes. En effet la dilatation consiste, comme son nom l indique à «dilater l image». Elle est appliquée sur une image binaire, ainsi les points noirs isolés au milieu de parties blanches sont engloutis, et on aboutit à une image plus agréable dans le cas de formes fines, dégradés ou pas trop clairs. Dans d autres cas, différentes zones très proches sont connectées entre elles pour former une seule composante connexe. L opération de dilatation est appliquée sur l image binaire de la figure 4. Le résultat est illustré par la figure 4. (c) (d) Figure 4. image initiale du chèque tunisien, résultat de binarisation par la méthode de valeur moyenne, (c) image initiale du chèque saoudien, (d) Résultat de binarisation par méthode d Otsu. 4.3. Méthode de segmentation proposée L objectif de notre méthode de segmentation est de localiser et d extraire la zone contenant le montant littéral comme constituant pour une composante connexe. Or les méthodes de segmentation permettent de détecter les composantes. L idée de base de notre méthode est de construire des composantes connexes à Figure 5. Dilatation horizontale au niveau 5, Dilatation horizontale verticale au niveau 2 La figure 5 montre l effet de la dilatation. Les POWs sont bien connectés en formant une seule composante comme le nom de la banque, le montant numérique, etc. Mais certaines composantes se trouvent connectées ensemble alors qu elles devraient être séparées. Pour les séparer ses il suffit d appliquer un filtre morphologique de type fermeture du fond du 5

chèque. Cette opération qui permet de supprimer la petite liaison entre les composantes. Elle est appliquée sur l image de la figure 5. Le résultat est montré par la figure 6. littéral, une étape d extraction est nécessaire. Nous appliquons un ET logique entre l image originale et le masque construit. Le résultat est illustré par la figure8. ET Figure 6. Résultat de fermeture La figure 6 montre bien la séparation entre la composante du receveur, la date et la signature. 4.3.2 Étiquetage des zones connexes Une fois les composantes connexes sont délimitées, une étape d étiquetage est nécessaire dans cette phase pour la distinction entre les différentes composantes. Le principe de cette étape est d affecter à chaque zone une étiquette correspondant à une couleur, donc elle permet de donner une dégradation en niveaux de gris à l image. Ce traitement est appliqué sur l image de la figure 6. Le résultat est montré par la figure 7. Figure 7. Image après étiquetage 4.3.3 Construction d un masque de la zone recherché D après l étude physique et logique du chèque, nous avons une idée préliminaire sur la forme des différentes zones de l image (forme rectangulaire), ainsi que l emplacement de zone à extraire. La construction d un masque va retenir la composante connexe correspondante à la zone recherchée, c est le montant littéral dans notre cas. Ce masque à une hauteur inférieure à un seuil donnée et de longueur la plus longue existante au milieu du chèque. Le résultat est donné par la figure 7. Figure 8. image originale, masque de la zone du montant littérale, (c) extraction zone 5. Evaluation de taux de segmentation Pour l évaluation de notre méthode, nous avons utilisé différents types de chèques tels que des chèques tunisiens, des chèques artificiellement construits au laboratoire LSTS et des chèques issus de la base de données de chèques saoudiens disponible au Canada au laboratoire LIVIA. Le travail d évaluation du taux d extraction a été effectué sur chaque base séparément car le type de document chèque, son contenu et le nombre de scripteur varient d une base à l autre. Nous avons testé la méthode proposée sur 60 chèques de 6 banques tunisiennes, 100 chèques de la base de données artificiel de LSTS et 10 chèques de la base de données de chèques saoudien disponible au Canada au laboratoire LIVIA. Le tableau 2 présente le nombre total de chèques de chaque banque tunisienne, le nombre de zones correctement extraites de chaque type et le taux d évaluation d extraction. NTC Amen Bank BNA BIAT (c) South Bank BH STB 10 10 10 10 10 10 NZE 8 6 7 3 9 8 TE 80% 60% 70% 30% 90% 80% Figure 7. Masque de la zone du montant littéral 4.3.4 Extraction de la zone du montant littéral Pour la reconnaissance automatique du montant Tableau 2. Evaluation du taux d extraction sur 60 chèques de différentes banques tunisiens (NTC : Nombre Totale de cheque, NZE : Nombre de Zones correctement Extraite, TE : Taux d Extraction) Le taux d évaluation de ce type du chèque varie 6

entre 30% et 90%. Le taux faible ( 30% ) de la banque du Sud est du au fait que les zones d écriture imprimée arabe et français ainsi que la zone du montant manuscrit sont reliés par une ligne continue qui rend l extraction plus difficile. Le taux élevé (90%) de la banque de l Habitat est dû au fait que le fond est simple homogène et le contenu est bien structuré. L évaluation de la base de données artificielle LSTS et de la base de données de LIVIA est illustrée dans le tableau 3. Tableau 3. Evaluation du taux d extraction sur un échantillon de la base de données de LSTS et de LIVIA Le taux d évaluation de la base de données artificiel de LSTS est de 80%. Le taux 20% de mauvaise extraction est dû essentiellement à l inclinaison remarquable avec laquelle ces chèques sont scannées. Le taux d évaluation du chèque saoudien de la base de donnés de LIVIA est de 90%. Le taux 10% de mauvaise extraction est du au fait de chevauchement existe entre l écriture imprimée et l écriture manuscrite. 6. Conclusion et Perspectives NTC NZE TE LSTS 100 80 80% LIVIA 10 9 90% La méthode d extraction automatique du montant littéral des chèques bancaires proposée est basée sur les transformations de base de la morphologie mathématique et exploite la structure physique et logique du chèque. Cette méthode construit des composantes connexes à l aide d une application de transformation morphologique. Elle permet d étiqueter les composantes connexes construites, de construire un masque de la zone cherchée afin d extraire du chèque original la zone du montant littérale. Cette méthode est appliquée sur des images scannées à niveau de gris. Le résultat d évaluation obtenu est entre 30% et 90% pour les chèques tunisiens, de 80% pour les chèques artificiellement construits au laboratoire LSTS, de 90% pour les chèques issus de la base de données de chèques saoudiens disponible au Canada au laboratoire LIVIA. Vu que le chevauchement entre l écriture imprimée et l écriture manuscrite entraîne un faible taux d extraction. Nous pensons dans une première perspective, à une méthode qui permet de séparer le manuscrit de l imprimé en utilisent les outils de Reconnaissance Optique des Caractères (OCR) latins ou arabes. Nous prévoyons l extraction des autres zones, comme le nom de la banque, le montant numérique, la signature et le numéro de compte (RIB). Notre traitement est appliqué sur des images à niveau de gris avec un fond plus ou moins simple sur les quelles nous appliquons une étape de binarisation. Nous pensons à travailler directement sur l image à niveau de gris, les images couleurs et surtout sur les images avec fond complexe (couleur et motif). Bibliographies C.Boudry, URFIST de Paris, support de cours Traitement et analyse d images, Octobre 2002. D.Péden, O.Morbé, A.Thépaut, Analyse et reconnaissance de documents par méthodes morphologique et neuronale, 3 ème Colloque National sur l écrit et le Document, 1994. F.Venturelli, A Successful Technique for Uncontrained Hand-Written Line Segmentation, Progress in Handwriting Recognition pp563-568.2000. J.Caesar, B.Gloger, Pre-processing and feature extraction for a handwriting recognition system, second international conference on document analysis and recognition, pp.408-411, 1993. J.Christophe, support de cours traitement d image et vision artificielle. 2003. J. Serra. Image analysis and mathematical morphology. Academic Press, London 1982. R.Ingold, Structure de documents en lecture optique : une nouvelle approche, press polytechnique romandes, 1990. K.Y. Wong, R.G. Casey, and F.M. Wahl, Document analysis system, IBM J. Res. Develop., Vol 26, pp. 647-656, 1982. N.Otsu, Atherhold selection method from grey scale histogrm, IEEE Trams. On Syst, Man and Cyber, vol1, pp 62-66, 1979. P.Dargento, N.Vincent, H.Emptoz Construction d'un graphe structurel représentatif d'une forme. ICOHD'93, Sixth International Conference on Handwriting and Drawing, P Conference on Handwriting and Drawing, p. 231-233, 1993. S.Snoussi, modele perceptif neuronal à vision globale locale pour la reconnaissance de mots arabes omn_sripteurs, thèse de doctorat Ecole National d Ingénieur de Tunis, 2003. 7