APPRENTISSAGE CROISÉ EN RECONNAISSANCE ANALYTIQUE DE L ÉCRITURE MANUSCRITE

Transcription

1 APPRENTISSAGE CROISÉ EN RECONNAISSANCE ANALYTIQUE DE L ÉCRITURE MANUSCRITE Christophe Choisy et Abdel Belaïd LORIA/CNRS, Capus scientifique BP 239, Vandoeuvre les Nancy cedex, France RÉSUMÉ Ce papier présente une éthode d apprentissage croisé de lettres dans le cadre d une approche analytique de reconnaissance de ots. Les ots sont repré sentés par des HMMS où chaque état représente une lettre. Chaque lettre est décrite par un chap de Markov causal. La génération des odèles de ots est obtenue par fusion des odèles de lettres. La réestiation des paraètres de ces odèles, objet de cet article, est réalisée au travers de l apprentissage des odèles de lettres et des transitions des HMMS représentant les ots. L apprentissage des lettres se fait par croiseent des paraètres extraits des différents odèles des ots les conte nant, de anière à exploiter tous les contextes d écriture possibles de ces lettres. L utilisation de l algorithe de Bau Welch peret une réestiation optiale de ces paraètres tout en suppriant la nécessité d une segentation. Les transitions des HMMS représentant les ots sont égaleent réestiées à l aide des inforations des odèles générés. Les preiers tests, effectués sur 7031 ots de ontants de chèques fournis par la SRTP (2/3 en apprentissage, 1/3 en reconnaissance), donnent un taux de reconnaissance de 83.4%. Mots clés: HMM, NSHP HMM, Apprentissage croisé, Algorithe de Bau Welch, Méta odèles. 1. INTRODUCTION Les travaux récents en reconnaissance stochastique de l écriture s orientent de plus en plus vers des approches 2D; celles ci prennent en effet ieux en copte la nature fondaentaleent 2D de l écriture [1,2,3,4,5]. Les estiateurs sont généra leent des réseaux de neurones (RN), ou des HMMS pseudo 2D (PHMM). Les RN sont généraleent appliqués soit sur des lettres [5] soit sur des segents [3]. L inconvénient ajeur des RN est leur anque d élasticité, ne perettant pas un recalage des inforations en entrée. Les PHMMS, appliqués avec succès dans de nobreux travaux [1,2], s affranchissent de cette liite : basés sur

2 Titre de l article un HMM principal selon un axe de l écriture (par exeple l horizontale) et des HMMS secondaires selon l autre axe (les colonnes), ils ont des propriétés d élasticité 2D. Cependant, ils nécessitent une hypothèse d indépendance entre colonnes qui n est pas toujours vraie en pratique. G. SAON a proposé dans [6] un nouveau odèle basé sur des chaps de Markov : le NSHP HMM. Son architecture, utilisant un HMM, lui confère une élasticité horizontale lui perettant de s adapter à la longueur des échantillons analysés. Ce odèle s applique directeent sur des iages binaires, qu il analyse colonne par colonne; l analyse d un point prend en copte un voisinage 2D de pixels, lui peret tant de se libérer de l hypothèse d indépendance des colonnes des PHMMS. Il a ontré de très bonnes perforances en reconnaissance de ots de ontants de chèques [7,8]. Ce odèle a été appliqué selon une approche globale des ots de type odèle discriinant. Cette approche a ses liites : l une est la quantité de paraè tres du NSHP HMM, nécessitant d iportantes bases d apprentissage (cf chap. 2). Les autres, inhérentes à l approche globale, sont la liitation à un vocabulaire réduit et distinct. Pour dépasser ces liites, une approche analytique est proposée : les odèles de lettres étant plus petits que ceux des ots, la quantité de paraètres se trouve netteent diinuée; de plus, cette approche peret d étendre le vocabulaire a priori sans liitations. De nobreux travaux en reconnaissance analytique de l écriture se basent sur une segentation en graphèes [9,3,10]; cette segentation, généraleent basée sur des critères topologiques, ne peut être totaleent fiable [9]. De fait, il seble plus intéressant de laisser soin au systèe de décider lui êe des eilleures liites pour les lettres. Alors que la plupart des travaux s appuient sur des algorithes de type prograation dynaique pour l apprentissage et la reconnaissance, notre systèe utilise l algorithe de Bau Welch, qui garantit un optiu local. La éthode proposée est une génération dynaique de odèles de ots, basée sur les odèles de lettres et des HMMS représentant l enchaîneent de ces lettres. La réestiation des odèles de lettres et des transitions entre les lettres se fait par apprentissage croisé. Cette technique, dérivant directeent des forules de Bau Welch et déjà utilisée en reconnaissance de la parole, consiste à croiser les inforations relatives aux lettres dans les différents odèles de ots. L utilisation de l algorithe de Bau Welch peret au systèe de déteriner la eilleure réparti tion des paraètres dans les odèles, à partir de la siple connaissance des labels des classes de ots servant à l apprentissage. 2. LE MODÈLE NSHP HMM Le NSHP HMM (NON SYMMETRIC HALF PLANE HIDDEN MARKOV MODEL) est un odèle stochastique de type chap de Markov, architecturé autour d un HMM. Les états du HMM (états du NSHP HMM) observent les différentes colonnes d une iage, la probabi lité d observation étant le produit des probabilités de chaque pixel de la colonne. La probabilité d un pixel est conditionnée par un voisinage de points pris dans le dei plan non syétrique analysé avant ce pixel, ce qui peret de solutionner le problèe de corrélation entre colonnes adjacentes. La figure 1 ontre un exeple d application d un tel odèle sur une iage de lettre. Les éthodes d apprentissage et de reconnaissance des NSHP HMM sont décrites dans [6].

3 Titre de l article Figure 1 Exeple de NSHP HMM appliqué sur une lettre, associé à un éta état x Les paraètres déterinants du NSHP HMM sont la hauteur des colonnes analy sées (hauteur du odèle), la taille du voisinage (ordre du odèle) et le nobre d états du HMM sous jacent. Pour aéliorer la répartition des observations (les colonnes) dans les états, deux états tapons D et F ont été ajoutés aux HMMS utilisés; ils perettent de odéliser la probabilité de coencer et de teriner en chaque état. 3. MODÉLISATION DES MOTS Pour odéliser les ots, nous utilisons des éta HMMS dans lesquels chaque éta état représente une lettre (cf figure 2). Pour des raisons techniques, il n est pas possible de boucler directeent sur un état. Soit un éta odèle représentant un ot, ayant S états noraux et D et F coe états tapon. à chaque éta état x S est associée une lettre l x à laquelle correspond un NSHP HMM l ayant S x états noraux et les états tapon D x et F x. On note i x l état i du odèle de lettre associé au éta état x,et D x et F x les états tapons de ce odèle (cf figure 1). Figure 2 Exeple d architecture du éta odèle pour le ot francs intégrant des erreurs fréquentes (absence du s ) et des raccourcis d écriture ( frs, fcs ) Partant d un éta odèle, un NSHP HMM global est construit en connectant les NSHP HMMS associés aux lettres de chaque éta état. Chaque séquence d états de type i x F x D y j y est replacée par une transition i x j y, dont la valeur est le produit des transitions entre les états de la séquence : P j y i x =P j y D y P D y F x P F x i x

4 Titre du colloque Suivant le êe principe, nous avons : P i x D =P i x D x P D x D P F i x =P F F x P F x i x La figure 3 ontre les étapes de création d un NSHP HMM de ot, par replace ent des éta états par les NSHP HMMS de lettre correspondant et transforation des transitions (seuls les états des NSHP HMMS sons représentés). Le odèle ainsi obtenu est un NSHP HMM qui peut être appliqué coe un odèle global de ot. La liitation interdisant le bouclage sur un éta état s explique par le fait que cela générerait des transitions entre les états du NSHP HMM associé, qui écraseraient alors celles déjà existantes. Figure 3 Principe de construction du NSHP HMM global correspondant au ot et à partir du éta odèle du ot et et des NSHP HMM associés au e et au t 4. APPRENTISSAGE CROISÉ 4.1 Réestiation des odèles de lettres Figure 4 Exeple d apprentissage croisé du odèle de i L apprentissage croisé consiste à réestier les odèles de lettres en utilisant les résultats de la réestiation des odèles de ots. Cette éthode dérive directe ent de l apprentissage Bau Welch, en considérant que chaque état de chaque odèle de ot appartient égaleent à un odèle de lettre. La figure 4 illustre ce

5 Titre de l article principe. La réestiation des transitions entre les états tapon et les états noraux des odèles de lettres se fait au travers des transitions générées entre les lettres. Pendant la construction d un odèle global de ot, les états tapon D x et F x des odèles de lettres disparaissent; la réestiation des transitions a D x i a et x i x x se fait alors au travers des liaisons générées. Soit un éta odèle F ; K est le nobre d échantillons (iages) analysés, O k le k ièe échantillon, T k le nobre de colonnes de l échantillon k ; P k =P O k. Pour deux éta états x y reliés dans un éta odèle : la transition a est intégrée dans les transitions a D, y x et a x i x j y i x D i x la transition a i x F x est intégrée dans les transitions a i x j y, y x et a i x F les transitions internes au odèle de lettre a i x j x restent inchangées. Le principe de la réestiation croisée est de recueillir ces inforations pour tous les odèles associés à une êe lettre dans les différents éta odèles. Connaissant, par construction, la structure des odèles globaux générés, il est possible de retrouver pour un état d un odèle généré le odèle de lettre dont il provient, et l état correspondant dans ce odèle. Il suffit alors d appliquer l algo rithe de Bau Welch sur tous les odèles générés et de rassebler les résultats concernant cet état pour le réestier. En ce qui concerne les transitions entres états des odèles de lettres, deux cas se distinguent : les transitions entre états noraux et les transitions vers les états tapons : a et D a x i x i x x. Les preières se réestient de anière F analogue aux états. Les secondes nécessitent une soation de tous les cheins contenant une transition construite grâce à elles. Ainsi, pour la réestiation de a : D x i x W D x i x Soit la soe pondérée sur tous les cheins utilisant cette transition dans le odèle : W D x i x K = k=0 1 P k T k 1 t =0 S y=1 y x S y α t j y a j b y i x i x j y =1 k O t 1 β t 1 i x a D i x b i x O 0 k β 0 i x Suivant les forules de Bau Welch, les transitions depuis l état tapon D vers un état noral i pour un odèle NSHP HMM correspondant à la lettre l sont réestiées coe suit : l a Di = M =1 M =1 x S l x =l x S l x =l W D x i x x S W D x i x j x =1 Intuitiveent, cela revient à faire le rapport de tous les cheins passant par la transition a D x i x par la soe des cheins passant par l état D x, qui est en fait la soe de tous les cheins passant par les transitions a D x j x pour tout j x,et ce pour tous les odèles de ots contenant la lettre l.

6 Titre du colloque 4.2 Réestiation des éta odèles La génération des odèles globaux de ots se fait à partir de éta odèles. étant des HMM, on peut réestier les transitions entre les éta états à partir des inforations des odèles de ots générés. En effet, pour deux éta états x y S, nous avons par construction a xy =a F x D y, a =a D x D D x, a xf =a F x F (cf figure 3). la transition a xy est utilisée pour construire les transitions a i x j y la transition a D x est utilisée pour construire les transitions a D i x la transition a xf est utilisée pour construire les transitions a i x F Suivant le êe principe que pour la réestiation des odèles de lettres, l application des forules de Bau Welch peret de réestier chaque éta tran sition en soant les inforations sur tous les cheins l utilisant. 5. EXPÉRIMENTATIONS Le systèe a été testé sur une base de 7031 ots issus de ontants de chèques français, fournis par la SRTP 1. Les paraètres des NSHP HMM des odèles de lettres sont : hauteur de 20 pixels, voisinage de 3 pixels; le nobre d états noraux pour un NSHP HMM correspondant à une lettre est n 2 1,où n est le nobre oyen de colonnes pour les échantillons de lettre. Pour chaque éta odèle, quatre NSHP HMM sont créés, correspondant aux quatre syétries possibles des iages. La probabilité d une iage est le produit des probabilités obtenues par chaque odèle. Les éta odèles synthétisent les erreurs fréquentes des ots (cf figure 2). Deux prétraiteents sont appliqués : une correction de la pente de l écriture, coe proposée dans [8], et une noralisation différentielle, raenant l iage à 20 pixels de hauteur en noralisant les trois bandes de l écriture dans trois parties verticales égales. Deux tests ont été effectués. Le preier valide le principe de l apprentissage croisé : l intérêt de cette éthode est que tous les odèles et éta odèles peuvent théoriqueent être appris en êe teps. apprentissage croisé top 1 top 2 top 3 top 5 5 passes 80.96% 88.48% 91.43% 94.47% 10 passes 83.12% 89.23% 92.35% 95.14% 15 passes 83.41% 89.31% 92.02% 94.84% 20 passes 82.83% 89.15% 91.56% 94.43% 30 passes 82.58% 88.90% 91.64% 94.43% 40 passes 82.20% 88.52% 91.14% 93.97% 50 passes 82.33% 88.36% 91.06% 93.60% Tableau 5 Taux de reconnaissance oyen pour différents nobres de passes d apprentissage 1Service de Recherche Technique de la Poste

7 Titre de l article La base est décoposée en 2 3 (4626 ots) pour l apprentissage croisé et 1 3 (2405 ots) pour les tests de reconnaissance. Les éta odèles et les odèles de lettres sont initialisés avec des probabilités d observation et de transition égales, et plusieurs passes d apprentissage croisé sont effectuées. Les résultats sont indiqués dans le tableau 5. Les résultats sont relativeent bons, si l on considère qu aucune connaissance a priori n a été fournie au systèe. On rearque une ontée puis une décrois sance des probabilités; cela est dû à un phénoène de surapprentissage, détec table au fait que la probabilité des échantillons d apprentissage continue de croître. Un second test a été effectué avec préapprentissage des odèles de lettres. La base est séparée en deux ensebles : le preier contient 759 ots segentés anuelleent en 3896 lettres; le second contient les 6272 ots restants. L enseble d apprentissage des lettres est relativeent petit, et le nobre d échantillons très variable selon les lettres (539 échantillons pour n, et seuleent 12 pour p ); de fait, l initialisation est pauvre. L initialisation consiste en 5 passes d apprentissage des odèles de lettres sur les échantillons de cet enseble. Les 6272 ots du second enseble sont répartis en un enseble d apprentis sage de 3867 ots et 2405 ots pour les tests, divisant la base initiale dans des conditions siilaires au preier test ( ). Les résultats pour diverses passes d apprentissage croisé sont reportés dans le tableau 6. apprentissage croisé top 1 top 2 top 3 top 5 sans (lettres seuleent) 72.78% 80.75% 84.55% 89.14% 5 passes 79.92% 87.35% 90.90% 93.86% 10 passes 81.50% 88.10% 90.48% 93.82% 15 passes 81.00% 87.56% 90.02% 93.11% 20 passes 80.54% 87.52% 89.81% 92.69% 30 passes 80.13% 86.47% 89.14% 91.90% 40 passes 80.13% 86.43% 88.77% 91.52% 50 passes 79.67% 85.93% 88.52% 91.11% Tableau 6 Taux de reconnaissance oyen pour différents nobres de passes d apprentissage On constate que les resultats sont inférieurs, ce qui peut paraître surprenant. Cependant, sur la base d apprentissage les résultats s avèrent coparables pour les deux tests effectués. Ces résultats inférieurs sont vraiseblableent dûs à deux facteurs : d une part la base d apprentissage des lettres est de taille relativeent faible, ce qui peut fausser la représentativité des odèles ainsi appris et égaleent entrainer un surapprentissage initial. D autre part, cette base étant retranchée de la base d apprentissage, la taille de cette dernière est considérableent diinuée (16.4% de oins), ce qui augente le phénoène de surapprentissage. Ce dernier point se rearque dans le décalage à 10 passes d apprentissage des eilleurs résultats, pour 15 passes lors du preier test (les 5 passes d apprentissage des odèles de lettres ayant vrai seblableent déjà contribué à ce surapprentissage). D autres tests devront être faits pour confirer ces hypothèses. L approche analytique peret de réduire la coplexité du systèe proposé par G. SAON [6,8] : le nobre de calculs flottants est en effet proportionnel au nobre d états des odèles, chacun analysant chaque colonne de l iage. L approche globale proposée par G. SAON considère la taille oyenne des ots, utilisant ainsi

8 Titre du colloque beaucoup d états; considérant la oyenne des lettres, notre approche peret de diviser ce nobre d états par un facteur 7. Dans un êe teps, nous avons observé qu un voisinage de 4 points était trop iportant pour odéliser correcteent les lettres. 3 points donnent de eilleurs résultats, divisant ainsi par 2 le nobre de paraètres à réestier, ce qui donne au total une réduction d un facteur 14 des paraètres à apprendre. 6. CONCLUSION Nous avons proposé une nouvelle approche pour la reconnaissance analytique de ots, basée sur la génération dynaique de odèles globaux. Cette approche peret une réduction de coplexité d un facteur 14 par rapport au systèe proposé par G. SAON. Les preiers tests donnent des résultats très encourageants. L appren tissage des odèles de lettres se fait au travers des odèles de ots, et l utilisation de l algorithe de Bau Welch assure un apprentissage optial. Des tests plus coplets doivent être effectués sur des bases plus iportantes afin de valider ce systèe. Le odèles de ots sont générés dynaiqueent d après les éta odèles. On rearque que cette éthode peut aiséent être étendue à des ontants coplets grâce à un niveau suppléentaire de éta odèles, ce qui perettrait d éliiner la segentation en ots. Cette extension nécessite cependant de pouvoir trouver la eilleure séquence de ots, si l on veut éviter de générer tous les ontants possibles. Ce problèe est du êe ordre qu une généralisation du systèe à un vocabulaire illiité : il faut trouver la eilleure séquence d états dans le éta odèle qui décrit le ot analysé. Ce point nécessite des recherches afin de ne pas perdre les avantages de l algorithe de Bau Welch. BIBLIOGRAPHIE [1] O. E. Agazzi and S. Kuo, Hidden Markov Model Based Optical Character Recognition in the Presence of Deterinistic Transforation, Pattern Recognition, p , Feb [2] R. Bippus, 1 Diensional and Pseudo 2i Diensional HMMs for the Recognition of Geran Literal Aounts., ICDAR 97, vol 2 p , Aug [3] B. Learié, M. Gilloux, and M. Leroux, Un odèle neuro arkovien contextuel pour la recon naissance de l écriture anuscrite, actes 10èe Congrès AFCET de RFIA, [4] H.S. Park and S.W. Lee, SAn HMMRF Based Statistical Approach for Off line Handwritten Character Recognition, IEEE Proceedings of ICPR 96, vol 2 p , [5] J.C. Sion, O. Barret, and N. Gorski, A Syste for the Recognition of Handwritten Literal aounts of checks, DAS 94, p , Sept [6] G. Saon, Modèles arkoviens uni et bidiensionnels pour la reconnaissance de l écriture anuscrite hors ligne, PhD thesis, [7] G. Saon and A. Belaïd, High Perforance Unconstrained Word Recognition Syste Cobi ning HMMs and Markov Rando Fields, IJPRAI, p , [8] G. Saon and A. Belaïd, OffP line Handwritten Word Recognition Using a Mixed HMM MRF Approach, ICDAR 97, vol 1 p , [9] M Y. Chen, A. Kundu, and J. Zhou, Off Line Handwritten Word Recognition Using a Hidden Markov Model Type stochastic Network, IEEE Transactions on Pattern Recognition and Machine Intelligence, p , [10] F. Kiura, M. Shridhar, G. Houle, Handwritten word recogntition using lexicon free and lexicon directed word recognition algoriths, ICDAR 97, 1997.