Interface Homme-Machine orientée stylo Interaction Homme-Document. Analyse de documents

Transcription

1 Rapport d'activit scientique 1997 Projet Imadoc Interpr tation et Reconnaissance d'images et de Documents Th me Inria 3 Interaction homme-machine, images, donn es, connaissances (Version du 26 janvier 1998) INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE

2 2 Projet Imadoc Table des mati res 1 Composition de l' quipe Pr sentation g n rale et objectifs Contexte Objectifs M thodologies Strat gies d'analyse de documents Mod lisation de l' criture manuscrite Fondements scientiques Segmentation par ltrage de Kalman Reconnaissance des formes par syst mes d'inf rence oue Introduction des connaissances sous formes grammaticales Domaines d'applications criture manuscrite Analyse de partitions musicales Logiciels R sultats nouveaux Analyse et reconnaissance du trac des mots Unication de la reconnaissance en-ligne et hors-ligne de l' criture Reconnaissance des symboles musicaux Int gration de connaissance lexicale Organisation de dictionnaire Interface homme machine orient e stylo Actions industrielles Convention SRTP : tude et traitement d'images de documents en niveaux de gris, CDP Actions r gionales, nationales et internationales Actions r gionales Diusion de r sultats Animation de la communaut scientique Enseignement universitaire Participation des colloques, s minaires, invitations Bibliographie

3 Th me 3 3 Projet Imadoc Interpr tation et Reconnaissance d'images et de Documents Localisation : Rennes Mots-cl s : analyse de document, apprentissage automatique, interface hommemachine, interpr tation d'image, interpr tation de signal. 1 Composition de l' quipe Responsable scientique Jean Camillerapp, professeur, Insa Assistante de projet Edith Blin, TR, Inria Personnel INSA ric Anquetil, bourse menesr, puis ma tre de conf rences depuis le 1er septembre 1997 Bertrand Co asnon, ma tre de conf rences Ivan Leplumey, ma tre de conf rences Personnel Universit de Rennes 1 Guy Lorette, professeur Gildas M nier, Ater, jusqu'au 1er septembre 1997 Charles Qu guiner, ma tre de conf rences Chercheur doctorant Laurent Pasquer, bourse menrt 2 Pr sentation g n rale et objectifs 2.1 Contexte En d pit d'annonces insistantes et r p t es de l'av nement d'une soci t sans papier, la multitude de documents papiers existants pose encore d' normes probl mes de transfert sur un support lectronique.

4 4 Projet Imadoc Le document papier, une fois mis sous forme lectronique, permet une recherche par le contenu, un transport tr s rapide, un archivage et une gestion beaucoup plus ais e. Par contre, le document sous forme papier permet, in-ne, l'utilisateur de disposer d'une plus grande autonomie, d'une possibilit de lecture d taill e plus confortable et de possibilit s d'annotations plus grandes. Ces deux formes de repr sentation des documents sont compl mentaires, et il est n cessaire de pouvoir passer facilement d'une forme une autre. S'il s'agissait, soit d'un simple passage du document papier une image bitmap, soit d'imprimer le contenu de l'image d'un document lectronique, le probl me serait trivial. En r alit, les probl mes scientiques sous-jacents sont complexes car l'objectif est de passer, soit d'un document conceptuel sa r alisation d nitive (synth se de document), soit du document papier son interpr tation s mantique (analyse de document), [6], [12], [16]. 2.2 Objectifs Les recherches men es au sein du projet Imadoc concernent l' crit et le document sous toutes leurs formes (manuscrit, imprim, image, graphique, multim dia, etc.) ainsi que les activit s qui y sont li es, notamment la production de nouveaux documents hypertextes ou multim dia interactifs, la transformation sous forme lectronique labor e de documents papier existants et leur traitement intelligent ainsi que l'interaction Homme-Document (I.H.D.). Demani re plus g n rale, les centres d'int r t du projet Imadoc touchent la communication crite sous un triple aspect : synth se de documents, analyse de documents, interaction homme-document (cf. gure 1). Synth se de documents : de la s mantique la g n ration nale du document lectronique Elle concerne la production automatique de nouveaux documents ainsi que la g n ration dynamique, adaptative, on dit encore interactive, de documents lectroniques. La synth se de documents tudie des mod les de documents qui rendent compte la fois de leur organisation logique ou abstraite (structure logique) ainsi que de leur pr sentation graphique et de leur contenu (structure physique). Elle s' tend l' tude de la structure et de la typographie de documents structur s [AFQ89] hypertextes et multim dia. Analyse de documents : du document papier sa s mantique extraite de sa forme lectronique An d'aboutir une interpr tation able du contenu informationnel d'un document, il s'agit de faire en sorte que l'ordinateur soit capable d'analyser, de mani re automatique, les signaux ou les images de documents [OK95], et de reconna tre tous les [AFQ89] J. Andr, R. Furuta, and V. Quint. Structured documents. Cambridge University Press, [OK95] L. O'Gorman and R. Kasturi. Document Image Analysis. IEEE Computer Society Press, 1995.

5 Th me 3 5 Interface Homme-Machine orientée stylo Interaction Homme-Document Document manuscrit en-ligne Papier électronique Homme Homme Document manuscrit hors-ligne Lecture optique de caractères (OCR) abc Scanner Feuille de style Analyse de documents Synthèse de documents (textes, images, graphismes) (documents structurés, hypertextes, multimédia) Modélisation de documents Fig. 1Communication crite l ments qui constituent un document et d'analyser leurs relations mutuelles tant physiques que logiques [BW97]. Pour aboutir une interpr tation nale correcte et robuste, il faut utiliser intelligemment plusieurs types de contextes. De plus, la communication crite tant une activit humaine, il faut tre capable de g rer des connaissances impr cises, incertaines et incompl tes, ce qui cr e un degr suppl mentaire de complexit. Les recherches sur la reconnaissance et l'analyse du document manuscrit [Pla93] se subdivisent traditionnellement en deux cat gories selon l'origine du document: l'analyse statique ou hors-ligne, dans laquelle le document est l'origine sur support papier, puis est num ris au moyen d'un scanner, et l'analyse dynamique ou en-ligne dans laquelle l'auteur du document est en interaction avec la machine au travers d'une interface orient e stylo. Interaction Homme-Document Cette interaction se fait l'aide de la conception de nouvelles interfaces hommemachine (I.H.M.) orient es stylo et de nouvelles modalit s d'interaction, papier lectronique, reconnaissance du geste graphique, qui sont plus naturelles, plus conviviales et plus ergonomiques que l'utilisation du clavier et de la souris pour l'annotation, la modication et la correction de documents. [BW97] [Pla93] H. Bunke andp.s.p. Wang. Handbook of Character Recognition and Document Analysis. World Scientic, R. Plamondon. Special issue on handwriting processing and recognition. Pattern Recognition, 26(3), 1993.

6 6 Projet Imadoc 2.3 M thodologies Strat gies d'analyse de documents Si l'action de lire, de reconna tre ou d'interpr ter, un document peut sembler simple et naturelle, il s'av re que cette activit est dicile d crire et formaliser sous la forme d'une application informatique, car cette action fait intervenir de mani re subjective la gestion de plusieurs contextes d'analyse. Il semblerait d'ailleurs que dans ce domaine on soit en pr sence d'un paradoxe maintenant bien connu: pour reconna tre ilfautsegmenter le signal d'entr e, mais pour bien segmenter il faut avoir reconnu. L'existence de ce paradoxe implique donc qu'on ne peut pas se restreindre une analyse ascendante, c'est dire du signal vers le documentinterpr t, ou au contraire une analyse compl tement descendante. Les m canismes de reconnaissance que nous allons utiliser vont donc encha ner des actions de segmentation et des actions de regroupement enmettant en uvre des strat gies de g n ration et de validation d'hypoth ses. L'approche d velopp e dans le projet consiste galement essayer de mettre en vidence les informations contextuelles utilis es et d'en obtenir une description informatique simple et bien s par e des proc dures qui les utilisent. La premi re segmentation est une segmentation physique. Elle s'appuie sur des propri t s simples du signal : composantes connexes d'une image binaire, points singuliers dans la trajectoire du stylo,... Ces propri t s qui n'utilisent qu'une information contextuelle tr s pauvre et pratiquement ind pendante de l'application permettent d'aboutir une d composition assez s re du signal d'entr e, d composition sur laquelle les tapes suivantes de regroupement et de segmentation logique pourront s'appuyer, sans remise en question majeure Mod lisation de l' criture manuscrite Dans le mod le que nous proposons, le trac d'un mot se d compose en un ensemble d'allographes 1 concat n s. Dans chaque allographe, on distingue les constituants associ s au corps de l'allographe et les zones (amorce et terminaison) situ es en d but et en n du trac de l'allographe, qui composent la liaison entre deux allographes juxtapos s. Ces zones de liaison peuvent tre invisibles et se r duire, dans certains cas, un simple lever de stylet. Dans une phase d'analyse plus ne, on extrait de chaque allographe les structures fondamentales (traits descendants signicatifs), leur environnement graphique local dit contexte morphologique (second niveau de mod lisation), et les zones de liaison (troisi me niveau de mod lisation) qui peuvent tre, l aussi, invisibles et correspondre un lever de stylet (cf. gure 2). Cette d composition re te la mod lisation des lettres manuscrites dont les param tres sont tablis partir d'un apprentissage automatique. Plus pr cis ment, la d tection et la mod lisation des di rentes zones pertinentes de trac (appel es primitives) sont tablies par classication non supervis e de type possibiliste partir 1. le mot allographe d signe l'un des trac s possibles d'une lettre

7 Th me er niveau Traits descendants 2 ème niveau Contextes morphologiques 3 ème niveau Zones de liaison Fig. 2Illustration des 3 niveaux de mod lisation pour la classe de la lettre g. d'un ensemble de graph mes extraits du trac de lettres isol es. Ces graph mes sont construits partir de la d tection de points d'ancrage visuel correspondant aux singularit s du trac : points de forte variation angulaire, intersections, etc. [5]. Les primitives ainsi mod lis es sont repr sent es sous la forme de prototypes formalis s de mani re qualitative par des r gles oues. Chaque classe de lettres est alors d crite par un ensemble de syst mes d'inf rence oue(cf. section 3.2) hi rarchis s d'apr s la robustesse des connaissances mod lis es. On obtient ainsi une mod lisation compacte et explicite de chaque classe de lettres [11]. Les di rents constituants du trac, mis en vidence dans ces trois niveaux de d composition, travers le mod le logique que nous venons de d crire, composent une base d'informations sur laquelle peut s'appuyer l'analyse logique du trac d'un mot pour d velopper une m thodologie de reconnaissance. 3 Fondements scientiques 3.1 Segmentation par ltrage de Kalman Mots-cl s : ltrage de Kalman. R sum : Les traitements d'images li s la reconnaissance de documents ont souvent besoin d'extraire des structures liformes, c'est dire des objets dont la largeur est tr s faible par rapport leur longueur. Dans les images de documents, ces structures ne sont g n ralement pas isol es mais se croisent ou se chevauchent, ce qui en complique la d tection. Pour les identier, nous avons propos d'utiliser le formalisme

8 8 Projet Imadoc du ltrage de Kalman qui fournit un cadre coh rent permettant de bien faire la s paration entre la d nition des caract ristiques des objets reconna tre, et les proc dures de segmentation. Les structures lin aires tiennent une grande place dans les documents, et elles sont g n ralement tendance horizontale ou verticale, aussi peut-on se ramener une analyse de l'image soit colonne par colonne, soit ligne par ligne. Les structures lin aires pr sentent une coh rence forte, il est donc possible de pr dire leurs caract ristiques dans une colonne (ou dans une ligne) partir des positions dans les colonnes pr c dentes. Nous utilisons pour cela le formalisme de Kalman dont on pourra trouver un expos dans [Sor85] et une description de son application au traitement de documents dans [4]. Dans la colonne k, chaque structure lin aire est repr sentable par un vecteur d' tat S(k) qui comporte l'ordonn e dans la colonne, l' paisseur, la pente et ventuellement une luminosit pour les images en niveaux de gris. Ce vecteur volue en fonction de la colonne analys e k selon l' quation : S(k +1)=A:S(k) +W dans laquelle A est la matrice caract risant l' volution du vecteur d' tat S d'une colonne l'autre et W un bruit de moyenne nulle. Cette structure lin aire, si elle tait isol e, produirait dans l'image une trace, qui se traduirait dans chaque colonne par un empan - ensemble de pixels connexes de la colonne - g n ralement plus sombre que son voisinage. Les caract ristiques de cet empan fournissent le vecteur de mesure X(k) qui est reli l' tat S(k) par l' quation : X(k) =C:S(k) +N dans laquelle C est la matrice permettant de passer de l'espace des tats celui des mesures et N le bruit de mesure. Pour l'analyse de la colonne suivante, le ltrage de Kalman permet de pr dire l' tat ^S(k +1) et la mesure ^X(k +1), ainsi que la matrice de covariance H(k +1) de l'erreur de pr diction. La v ritable dicult de cette approche ne r side pas dans ces quations, mais dans le processus d'aectation des mesures extraites d'une colonne de l'image avec les mesures pr dites. En eet, les structures lin aires se coupent et se chevauchent ce qui perturbe les traces dans l'image, il n'y a donc pas une correspondance biunivoque entre les tats caract risant les structures lin aires et les mesures. Nous avons donc rajout un m canisme de contr le qui, en utilisant les matrices de covariance H, est capable de d tecter les empans qui proviennent de la fusion de plusieurs structures et qui associe les empans ou des parties d'empans avec les mesures estim es et donc avec les tats. Ce m canisme de contr le d tecte galement l'apparition de nouvelles structures en cr ant un nouvel tat quand il existe des mesures qui ne sont pas interpr tables par les pr dictions. Ce formalisme a t appliqu pour : la d tection des lignes de port es lors de l'analyse des partitions musicales [Sor85] H. Sorenson. Kalman ltering. IEEE Press, 1985.

9 Th me 3 9 la d tection des traits d limitant des tableaux la d tection et la suppression des lignes de base dans des images de ch ques en niveaux de gris. 3.2 Reconnaissance des formes par syst mes d'inf rence oue Mots-cl s : mod lisation explicite des connaissances, syst mes d'inf rence oue, apprentissage, classication. R sum : Dans le domaine de la reconnaissance de forme, la mod lisation de syst mes complexes engendre g n ralement l'interaction de plusieurs processus interd pendants an de faire face la mod lisation et l'interpr tation des formes, ou encore, l'int gration et la fusion de connaissances. Face la complexit d'interaction des di rents maillons qui composent un tel syst me, il est important de pouvoir ma triser chacun des concepts mis en jeu. Dans cet objectif, les syst mes d'inf rence oue (SIF) permettent la conception de syst mes de reconnaissance interpr tables bas s notamment sur une mod lisation explicite des connaissances. Pour la plupart des probl mes r els de reconnaissance de forme, la conception automatique d'une mod lisation explicite constitue un probl me particuli rement complexe par suite de la grande variabilit observ e tant l'int rieur de chaque classe de formes (variabilit intra-classes) qu'entre classes de formes di rentes (variabilit inter-classes). La plupart des approches s'appuient sur la capacit d'apprentissage automatique des m thodes de type stochastique ou connexionniste en se basant respectivement, soit sur une mod lisation de l' tendue de la variabilit des formes, soit sur une discrimination directe des classes. Ces approches conduisent souvent des syst mes de reconnaissance opaques (type bo te noire) pour lesquels il est tr s dicile d'avoir une interpr tation des processus de d cision mis en uvre. C'est pourquoi, m me si ces approches permettent la r alisation de syst mes achant assez rapidement des performances int ressantes, ces syst mes se r v lent peu volutifs et par cons quent tr s dicilement optimisables. Dans l'optique de pouvoir r aliser des syst mes interpr tables, nous avons mis au point une m thodologie de mod lisation bas e sur la g n ration automatique de syst mes d'inf rence oue [1]. Plus pr cis ment, les r gles oues utilis es r pondent aux hypoth ses suivantes : les entr es x =(x1 ::: x n ) sont non oues et d nies dans l'espace n dimensions appel espace des attributs ou encore espace des entr es les sous-ensembles ous de sortie B ik sont des singletons fb ik g les conclusions des r gles (Y k = b ik ) sont donc pr cises, Y k repr sente le degr d'appartenance de la forme pr sent e en entr e, vis vis de la r gle R i et de la classe k. Consid rons maintenant N r r gles oues formant un SIF permettant de caract riser ou de classer les formes consid r es dans C classes. L'expression linguistique d'une

10 10 Projet Imadoc r gle oue associ e la caract risation d'une classe k se formalise d'une mani re g n rale de la fa on suivante : R i : SI x1 est M i1 et x2 est M i2 et... et x n est M in ALORS la donn e appartient la classe k et pas aux autres classes. Ce qui se traduit dans le formalisme classique des r gles oues par : R i : SI x1 est M i1 et x2 est M i2 et... et x n est M in ALORS Y1 = b i1 et Y2 = b i2 et... et Y u = b iu et... et Y c = b ic, avec : 8k= 1 k C k 6= u b ik =0 et b iu =1. Chaque condition (x j est M ij ) est interpr t e comme le degr d'appartenance de l'observation x j au sous-ensemble ou M ij, c'est dire Mij (x j ). L'inf rence oue est alors d nie de la mani re suivante : B 0 k (y) =? Nr i=1 I( i Bik (y)) avec i = T n j=1 M ij (x j ) o T est une T -norme symbolis e par le et utilis e dans la partie pr misse des r gles, i repr sente la valeur d'activation de la r gle R i, I est l'implication oue,? repr sente l'op rateur d'agr gation et N r est le nombre total de r gles. Le r sultat obtenu en sortie du SIF mesure alors le degr d'appartenance de la forme pr sent e en entr e, relativement chacune des classes. Les syst mes d'inf rence oue permettent de concilier une mod lisation de nature num rique qui caract rise la plupart des probl mes r els de reconnaissance de forme, avec une mod lisation robuste et qualitative des connaissances extraites. La g n ration automatique des SIF repose sur une analyse non supervis e des donn es d'apprentissage. Pour ce faire, nous proposons d'utiliser les concepts r cents de la classication possibiliste an d'extraire et de qualier un ensemble de propri t s pertinentes. Ces propri t s sont alors repr sent es directement par les sous-ensembles ous M ij et par cons quents d crites de mani re explicite par des r gles oues dites prototypes au regard de leur caract re g n rique [13]. L'approche m thodologique propos e a t mise en uvre pour la conception d'un syst me complet de reconnaissance en-ligne d' criture manuscrite. 3.3 Introduction des connaissances sous formes grammaticales Mots-cl s : analyse structurelle, grammaire, Denite Clause Grammar ou DCG, segmentation, gestion des connaissances a priori. R sum : An de tenter de r soudre les probl mes de segmentation que l'on rencontre en reconnaissance de documents, nous proposons une m thode baptis e DMOS permettant de formaliser grammaticalement la connaissance a priori, pour r aliser une segmentation contextuelle des documents structure forte. L'introduction du contexte permet d'am liorer la qualit de la segmentation, donc de la reconnaissance.

11 Th me 3 11 Dans le cadre de la reconnaissance optique de documents, la abilit est importante an que l'utilisateur n'ait pas relire l'ensemble du document pour y d tecter et corriger d' ventuelles erreurs r siduelles. Cette abilit peut s'obtenir, d'une part en am liorant la qualit de la reconnaissance, notamment en r solvant les probl mes de segmentation, et d'autre part en faisant d tecter par le syst me lui-m me les r gions comportant des erreurs de reconnaissance. Pour atteindre ces deux objectifs, il faut utiliser la connaissance a priori, qui permet de r gler certains probl mes de segmentation et permet galement de mod liser la redondance, ce qui autorise une d tection d'erreurs. Nous proposons pour des documents forte syntaxe dans lesquels des r gles d' criture peuvent tre connues, une m thode baptis e DMOS (Description et MOdication de la Segmentation), constitu e d'un formalisme grammatical de position permettant de mod liser la connaissance, et d'un analyseur associ autorisant une modication en cours d'analyse de la structure analys e. Cette modication permet d'introduire le contexte (niveau symbolique) dans la phase de segmentation (niveau num rique), an d'am liorer la reconnaissance. En outre, cette m thode est charg e de faire appel un classieur pour reconna tre les symboles pouvant tre assimil s des caract res. Ainsi, des hypoth ses de segmentation peuvent tre produites gr ce au contexte puis valid es par le classieur. La m thode DMOS ore en plus l'avantage de s parer la connaissance (d crite sous la forme d'une grammaire) des outils de traitement [3], et de produire automatiquement l'analyseur par compilation de la grammaire. Cette d composition facilite largement la ma trise de l'introduction de connaissances complexes et l'adaptation di rents types de documents. 4 Domaines d'applications 4.1 criture manuscrite Mots-cl s : criture manuscrite, en-ligne, hors-ligne. R sum : Aujourd'hui, les taux de reconnaissance obtenus sur l' criture manuscrite en-ligne et hors-ligne laissent entrevoir court terme la possibilit de tr s nombreuses applications commerciales et industrielles. Pour envisager des applications utilisables par le plus grand nombre, qui sont donc conomiquement int ressantes, il faut parvenir des taux de reconnaissance pour l' criture manuscrite tr s prochesdeceuxdel' trehumain. Face cet enjeu conomique important, les premi res tudes sur la reconnaissance d' criture ont d but tr s rapidement, sans avoir forc ment conscience de la complexit des m canismes intervenant dans la lecture car elle constitue pour l'homme une activit courante et naturelle. Ces premi res tudes se sont tr s vite heurt es cette complexit et ont engendr la conception de syst mes de reconnaissance d' criture manuscrite aux performances m diocres. Ces premiers syst mes, trop rapidement commercialis s, ont alors eu tendance discr diter les applications envisag es pour int grer l' criture comme une nouvelle modalit d'interaction possible entre l'homme et la machine. Depuis quelques ann es, les tudes men es sur la reconnaissance d' criture

12 12 Projet Imadoc connaissent unnouvel essor avec l'apparition de nouvelles m thodologies pour faire face aux probl mes les plus complexes de la reconnaissance des formes. Dans ce sens, nous avons cherch d velopper un syst me de reconnaissance d' criture manuscrite omni-scripteurs dont le caract re volutif et les performances d j obtenues permettent d s pr sent d'envisager la conception de ce type d'application. En ce qui concerne la reconnaissance d' criture en-ligne, nous nous int ressons au d veloppement d'interfaces orient es stylo permettant d'int grer de mani re homog ne des commandes d' dition gestuelles la saisie directe de commandes ou de textes manuscrits. Ce type d'interface graphique s'inscrit dans le cadre d'applications sp ciques o les fonctionnalit s de pointage, de dessin, et de saisie limit e de texte sont fortement coupl es. Ces applications recouvrent par exemple, les interfaces pour ordinateur portable, les logiciels de CAO, DAO, PAO ou encore les bloc-notes lectroniques,... En reconnaissance hors-ligne, les besoins industriels sont aujourd'hui consid rables, et par cons quent l'attente de syst mes de reconnaissance robustes et ables est tr s grande. L' tendue des applications est vaste elle recouvre notamment les probl mes de traitement automatique du montant des ch ques, ou des adresses postales, mais aussi, d'une mani re g n rale, le traitement de tout type de document papier, notamment les bordereaux de livraison, les feuilles de s curit sociale, ou encore les t l copies. Il existe d j de nombreuses applications industrielles qui traitent de mani re partielle ces di rents probl mes. L'apport d'une reconnaissance able, m me limit e 30% des cas (rejet direct d'une grande partie des documents) peut tre d'une tr s grande utilit dans les domaines d'application dans lesquels les quantit s de documents traiter sont consid rables. C'est pourquoi, l'eort des syst mes de reconnaissance hors-ligne porte aujourd'hui sur la garantie d'une grande abilit des r sultats en cas de traitement automatique eectif pour viter tout risque d'erreur (m me si pour cela il faut rejeter a priori un grand nombre de cas et donc les traiter manuellement). Dans cette optique, nos recherches ont pour objectif de concevoir un syst me de reconnaissance hors-ligne bas sur les concepts de la mod lisation en-ligne de l' criture que nous avons mis au point (cf section 6.2). Ce syst me devrait permettre, de par son caract re interpr table, de concilier de bons taux de reconnaissance tout en garantissant une grande abilit des r sultats. 4.2 Analyse de partitions musicales Mots-cl s : dition de partitions musicales, Braille. R sum : Les applicationsdelareconnaissance de partitions musicales sont importantes pour le d veloppement de l'informatique musicale. Elles interviennent principalement dans le monde de l' dition de partitions et dans la constitution de bases musicales. La reconnaissance optique de partitions musicales est un domaine d' tude particuli rement int ressant car tr s repr sentatif des dicult s g n ralement rencontr es en reconnaissance de documents structur s.

13 Th me 3 13 En outre, ses applications directes sont relativement nombreuses. Elles s'inscrivent dans le cadre du d veloppement de l'informatique musicale, qui manipule g n ralement l'information musicale l'aide de la notation classique : la partition. Cependant, cette notation relativement complexe est dicile saisir sous une forme num rique. De la m me mani re que la reconnaissance optique de caract res (OCR) pour les traitements de texte, la reconnaissance optique de partitions musicales permet d' viter cette phase de saisie lente et fastidieuse. Il est ainsi possible, gr ce un chier au format Midi (Musical Interface for Digital Instruments) g n r par la phase de reconnaissance, de produire par exemple des documents sonores de tr s faible encombrement pour utilisation sur le Web. Les musicologues ont galement un besoin important en bases de donn es qui leur sont n cessaires pour analyser le style et la structure musicale (statistiques), indexer des bases de th mes musicaux,... Contrairement aux applications pr c dentes, celles li es l' dition musicale n cessitent de reconna tre l'ensemble des symboles rencontr s sur une partition. Lorsque le document analys est une partition imprim e, les applications ayant trait l' dition peuvent tre par exemple : r aliser une nouvelle dition d'une dition ancienne (avec une mise en page di rente), qui ne serait peut- tre pas dit e pour des raisons de co ts de saisie trop lev s produire, partir d'une partition d'orchestre, les partitions pour chaque instrumentiste et inversement extraire chacune des voix d'une partition port es polyphoniques, an de g n rer une partition avec une seule voix par port e (lorsque par exemple, chaque voix correspond un chanteur) adapter une partition pour un autre instrument traduire une partition en Braille. Nous travaillons sur la reconnaissance des partitions an de produire une repr sentation pivot servant de point de d part aux applications pr sent es ci-dessus. 5 Logiciels Participants : ric Anquetil, Jean Camillerapp, Bertrand Co asnon, Ivan Leplumey R sum : Le projet a d velopp et maintient plusieurs cha nes de logiciels : un syst me de reconnaissance en ligne de mots trac s sur une tablette graphique des outils de binarisation adaptative et d'extraction du trac un syst me de reconnaissance de partitions musicales un outil de d tection des segments quasi rectilignes qui se croisent ou qui se chevauchent. Cet ensemble d'outils permet d' valuer rapidement les dicult s de traitement de nouveaux types de documents.

14 14 Projet Imadoc 6 R sultats nouveaux 6.1 Analyse et reconnaissance du trac des mots Participants : ric Anquetil, Guy Lorette Mots-cl s : segmentation, mots manuscrits. R sum : En suivant la mod lisation g n rique de l' criture manuscrite d crite en section 2.3.2, nous proposons une nouvelle approche analytique pour d velopper un syst me de reconnaissance omni-scripteur de mots manuscrits. Cette approche utilise directement la mod lisation explicite des lettres d crite pr c demment en s'appuyant notamment sur une nouvelle approche de segmentation structurelle du trac des mots. Pour aborder la conception d'un syst me de reconnaissance de mots pouvantint grer un contexte lexical de plusieurs dizaines de milliers de mots, il est n cessaire de consid rer la forme d'un mot non pas comme une forme part enti re (approche globale de reconnaissance) mais comme la juxtaposition de plusieurs constituants l mentaires reconna tre et interpr ter selon di rents niveaux de contexte (approche analytique). Lorsque l'on envisage ce type d'approche, le probl me de la segmentation a priori du trac du mot en lettres appara t imm diatement. De nombreuses approches de segmentation s'appuient sur la d tection directe de singularit s susceptibles de correspondre des points de segmentation du trac du mot et nous avions, dans un premier temps, tent d'absorber la variabilit de l' criture par utilisation de Mod les de Markov Cach s (M.M.C.) [2]. Dans un second temps, nous avons mis en vidence dans l' criture, l'existence de zones stables (zones descendantes) et de zones discrimantes [7], [8]. De plus, si l'on observe les liaisons inter-lettres, il s'av re qu'elles ne co ncident pas forc ment avec une zone singuli re. Elles correspondent, le plus souvent, des zones r guli res du trac qu'il est dicile de d limiter de mani re directe. C'est la raison pour laquelle, plut t que d'opter pour une d tection a priori de points de segmentation, nous avons propos une nouvelle approche constructive de segmentation [14]. Elle s'appuie sur la localisation des structures d'ancrage qui correspondent aux zones descendantes stables mod lis es pour chacune des classes de lettres. En eet, l'observation du premier niveau de mod lisation (cf. gure 2) associ aux di rentes classes de lettres montre que la structure fondamentale d'une lettre ne peut tre compos e, en principe, que d'une, deux ou trois zones descendantes stables. Par cons quent, il est possible de localiser de mani re exhaustive l'ensemble des portions de trac susceptibles de correspondre une lettre pour en d duire ensuite progressivement les zones de liaison intra et inter-lettres. La gure 3 illustre le graphe de juxtaposition des hypoth ses de lettre organis es de mani re g n rique, graphe qui a t obtenu sur le trac du mot try. Le processus de reconnaissance consiste alors parcourir de mani re exhaustive les di rents chemins de ce graphe, en valuant pour chacun d'eux une mesure de validit correspondant la fusion oue des mesures d'ad quation de chacune des hypoth ses de lettre avec les mod les et des mesures de coh rence du contexte li es

15 Th me 3 15 Fig. 3Graphe de juxtaposition des hypoth ses de lettre. l'agencement spatial relatif de ces hypoth ses de lettre. Le processus de reconnaissance s'ach ve par une phase de validation ou de correction lexicale. L'apprentissage a t eectu sur une base de lettres isol es, tandis que les tests ont t r alis s sur un ensemble de 1128 mots di rents crits par sept scripteurs soit 7896 mots. Les scripteurs n'ont pas particip la constitution de la base de lettres an de valider les capacit s omniscripteur du syst me. Dans ce cadre le taux des mots reconnus en premi re position s' chelonnent entre 87% et 73% en fonction de la taille du lexique des mots possibles, taille qui varie de mots. Il se situe entre 94% et 85% si l'on consid re les cinq premi res positions [10]. 6.2 Unication de la reconnaissance en-ligne et hors-ligne de l' criture Participants : ric Anquetil, Jean Camillerapp, Charles Qu guiner Mots-cl s : criture manuscrite. R sum : An de tirer parti des performances int ressantes du reconnaisseur en-ligne d velopp dans le projet ainsi que pour mettre en vidence une synergie qui pourrait se d gager d'un rapprochement m thodologique entre le en-ligne et le hors-ligne, nous proposons une m thode d'extraction du trac de l'image sous forme d'une liste ordonn e de points. Bien que pr vu initialement pour un autre type de donn es, nous avons montr que le reconnaisseur tait capable de fonctionner convenablement avec des donn es hors-ligne. Les travaux faits ant rieurement dans le projet [9] sur l'extraction du trac dans des images de documents mettent en vidence une ressemblance forte entre les zones r guli res que d tecte la partie traitement d'images et celles sur lesquelles s'appuie la reconnaissance en-ligne. Comme aujourd'hui la communaut reconna t que les r sultats obtenus en reconnaissance en-ligne d passent tr s largement ceux obtenus en reconnaissance hors-ligne nous avons entrepris de d velopper une approche uni e de la reconnaissance de l' criture manuscrite selon le sch ma d crit dans la gure 4.

16 16 Projet Imadoc Le mot "after" numérisé La séquence de points Extraction du tracé Recherche de la dynamique Reconnaisseur en-ligne Fig. 4Reconnaissance hors-ligne et en-ligne d'un mot manuscrit. Les algorithmes de traitement d'images commencent d'abord par isoler les r gions r guli res ou liformes qu'ils repr sentent par la liste des points constituant leur axe m dian. Cet algorithme est capable de d nir chaque extr mit d'une r gion r guli re, une valeur de la luminoist qui constitue un bon seuil local de binarisaton. Celui-ci permet d'isoler les r gions singuli res dont le r le principal est de connecter les r gions r guli res. Dans ces r gions de petite taille la position du trac n'a pas besoin d' tre d termin e avec beaucoup de pr cison puisque le reconnaisseur utilise peu les informations provenant de ces parties du trac. En utilisant des propri t s de l' criture manuscrite, les r gions r guli res sont orient es et reconnect es travers les r gions singuli res an de retrouver l'ordre dans lequel les points ont t trac s. C'est cette liste de points qui est transmise notre reconnaisseur. Nous avons fait quelques essais dans lesquels il y avait acquisition du trac en ligne puis num risation par un scanner de la trace laiss e sur le papier. Malgr un nombre de points presque cinq fois plus nombreux dans le cas du signal extrait de l'image que dans le cas du signal acquis directement en-ligne, nous avons pu montrer que le reconnaisseur pouvait fonctionner sans aucune modication car il continuait extraire les primitives sur lesquelles il s'appuie (cf gure 5). Nous avons galement pu faire des tests partir de documents papier num ris s ant rieurement. Il est clair que ces premiers r sultats demandent tre am lior s et valid s sur des bases de tests plus importantes, mais la possibilit d'une connexion entre les deux approches nous para t tre acquise.

17 Th me 3 17 Fig. 5 Ordre du trac des points reconstruit partir de l'image num ris e. Les points noirs rep rent les d buts de trac. 6.3 Reconnaissance des symboles musicaux Participants : ric Anquetil, Bertrand Co asnon Mots-cl s : classication neuronale, Radial Basis Function (RBF), rejet, interpr tabilit. R sum : Dans le cadre du d veloppement d'une cha ne compl te de reconnaissance de partitions musicales, un classieur neuronal de symboles musicaux a t d velopp. Gr ce unecompl te interpr tabilit, un rejet able est possible tout en conservant un bon pouvoir de g n ralisation. Ceci permet de valider des hypoth ses de segmentation contextuelle. La reconnaissance de partitions musicales est un domaine d' tude particuli rement int ressant dans lequel la connaissance aprioriest tr s structur e et o de nombreux probl mes de segmentation n'ont pas encore t r solus par les m thodes usuelles. En outre, ces probl mes de segmentation sont tr s repr sentatifs de ceux que l'on rencontre en reconnaissance de documents. Pour pouvoir appliquer la m thode DMOS (section 3.3) ce type de document structur, nous avons d ni une grammaire compl te de la notation musicale avec l'aide de Bernard R tif, professeur, conseiller aux tudes au Conservatoire de musique de R gion, Caen. Dans le cadre du d veloppement d'une cha ne compl te de reconnaissance de partitions musicales, il est n cessaire de d nir un classieur permettant de reconna tre les symboles musicaux pour valider les essais de segmentation produits par la m thode DMOS gr ce au contexte et l'introduction de la connaissance a priori. Comme les symboles musicaux correspondent tous les objets pouvant tre assimil s des caract res (cl s, alt rations...), leur reconnaissance est relativement proche de la reconnaissance optique de caract res. Cependant, la principale di rence, et c'est ce qui en fait la principale dicult, est due aux nombreux probl mes de segmentation rencontr s sur les partitions. Ceux-ci impliquent que le classieur d velopp doit absolument tre capable de rejeter une forme inconnue correspondant par exemple un symbole mal segment. Le rejet du classieur permet alors de tenter une nouvelle segmentation contextuelle.

18 18 Projet Imadoc Fig. 6Partition reconstruite (image du bas), partir d'une image binaire (image du haut). Le classieur d velopp est constitu d'un r seau de neurones fonctions bases radiales (Radial Basis Functions, RBF), prenant enentr e des caract ristiques g om triques classiques en reconnaissance de caract res. Son originalit provient de la m thode d'apprentissage, locale chaque classe et en deux tapes, qui permet de r aliser un rejet bien d ni et ecace, tout en conservant de bonnes propri t s en g n ralisation. Les premiers tests eectu s sur le classieur ont port sur une base de symboles musicaux, r partis sur 13 classes. Sur cette base, par exemple avec un rejet de 2,7%, on obtient un faible taux d'erreur de 0,3% et donc un taux de reconnaissance de 97%. Ces r sultats sont int ressants car les faibles taux d'erreurs sont g n ralement diciles obtenir sans un fort rejet. Ce classieur est en cours d'int gration dans la cha ne compl te de reconnaissance. Cette cha ne s'appuie sur une d tection des segments l'aide d'un ltre de Kalman (section 3.1), et est d j capable de reconna tre des partitions d'orchestre port es polyphoniques, en corrigeant certaines erreurs de segmentation (symboles touchant des notes) et en indiquant les zones comportant des erreurs (la gure 6 donne un exemple de reconnaissance dans lequel la r gle pour les demi-soupirs n'est pas impl ment e et qui ne comporte pas l'achage de la d tection des erreurs, mais dans laquelle la s paration des voix est r alis e). La prise en compte de rejets d cid s par le classieur de symboles musicaux devrait permettre de r soudre d'autres probl mes de segmentation, les symboles qui se touchent, par exemple.

19 Th me Int gration de connaissance lexicale Participants : Guy Lorette, Laurent Pasquer Les cha nes de reconnaissance en-ligne ou hors ligne ne peuvent arriver lever certaines ambigu t s lorsque les lettres sont un peu d form es par rapport leur mod le th orique. Ainsi on peut passer continuement d'un a unu, selon le caract re plus ou moins ferm de la partie haute de la boucle (cf. gure 7). Fig. 7 Di rence d'interpr tation d'un m me graphisme en fonction du contexte lexical. Pour am liorer les performances de reconnaissance au niveau des mots, il faut s'appuyer sur d'autres connaissances que celles issues du signal d'entr e. Nous travaillons actuellement sur l'incorporation de connaissances lexicales. Classiquement celle-ci se fait sous la forme d'un post-traitement liminant de la liste des mots fournie par le reconnaisseur, les mots qui n'appartiennent pas au lexique. Au contraire, nous introduisons directement les connaissances lexicales dans le processus de fabrication de cette liste de mots tel qu'il est d crit dans la section 6.1. Pour cela on fusionne les contraintes lexicales avec les informations graphiques extraites par le reconnaisseur pour arriver un consensus sur les mots les plus problables en tenant compte, d'un c t, des classes de lettres pouvant tre confondues et de l'autre, des lettres dont la reconnaissance est tr s s re (lettres cl s, points d'ancrage). La fusion int gre aussi l'ad quation entre les di rentes successions de lettres propos es par le reconnaisseur. Cette int gration proc de par g n ration et validation d'hypoth ses, ce qui nous permet de ne plus avoir besoin de g n rer toutes les hypoth ses de lettres, puis de rechercher les mots les plus proches. 6.5 Organisation de dictionnaire Participants : Guy Lorette, Gildas M nier Mots-cl s : dictionnaire, organisation, acc s. R sum : Une organisation particuli re d'un dictionnaire, qui soit mieux adapt e la reconnaissance de l' crit manuscrit, est propos e. Elle permet une recherche beaucoup plus rapide que dans un dictionnaire structure arborescente. Pour obtenir des syst mes de lecture automatique de l' crit manuscrit, dont les performances soient proches de celles de l'homme, il est n cessaire de disposer de

20 20 Projet Imadoc dictionnaires dont l'organisation, le mode d'acc s et la rapidit de recherche soient optimis s. L'organisation classique d'un dictionnaire sous forme arborescente ne permet pas d'eectuer une recherche par le contenu lexical partir d'un sous-ensemble r duit de lettres cl s qui constituent autant d'indices visuels. Ces lettres cl s sont celles qui, l'int rieur d'un mot, ont t pr alablement reconnues avec l'indice de conance le plus lev. Ce type d'organisation arborescente de dictionnaire ne permet pas non plus une recherche du sous-ensemble des mots dont l'orthographe est voisine de celle d'un mot donn. Nos recherches ont port sur l'organisation d'un dictionnaire sous forme d'une pyramide multir solution de cartes de Kohonen [15], en s'inspirant de celle que l'on trouve au niveau du cortex c r bral pour repr senter les entr es sensorielles, (cf. gure 8). An de respecter la notion de voisinage, les cartes 2D de Kohonen sont plaqu es sur une structure torique. Cette approche eectue une classication a priori de type non supervis de l'ensemble des mots du dictionnaire. Cette classication est faite partir des vecteurs qui repr sentent le contenu lexical de chacun des mots et ce, en utilisant un crit re de distance d' dition de Levenshtein [Ste94]. n n Fig. 8 Pyramide multir solution de cartes lexicotopiques et plaquage d'une carte sur une topologie toro dale. Lors de la phase de post-traitement lexical, l'organisation choisie permet au syst me de reconnaissance de se focaliser, de mani re tr s rapide, sur un sous-dictionnaire de tr s petite taille. Ceci se fait par calcul d'un nombretr srestreint de distances entre la repr sentation du mot reconna tre et celles de mots situ s aux di rents niveaux de la pyramide. Un premier test a t eectu sur un lexique de 1125 mots. Pour acc s au lexique, les mots tant pris dans un ordre al atoire, le nombre moyen de distances calcul es passe de seulement. Cette organisation permet galement de se focaliser, chaque fois, sur un sous-lexique comportant, in ne, moins de 5% de l'ensemble des mots de d part. [Ste94] Graham A. Stephen. String Searching Algorithms. World Scientic Publishing Co., 1994.

21 Th me Interface homme machine orient e stylo Participants : Eric Anquetil, Gildas M nier Mots-cl s :interface orient e stylo, communication homme-machine, diteur orient stylo. R sum : La conception d'interface Homme-Machine orient e stylo vise tablir de nouvelles modalit s d'interaction entre l'homme et la machine qui sont plus conviviales et plus naturelles. Dans ce cadre, notre objectif est de d velopper des interfaces permettant d'int grer de mani re homog ne la reconnaissance aussi bien du geste que de l' criture manuscrite ou encore d'autres symboles graphiques an de pouvoir utiliser une modalit de communication directe avec l'ordinateur par l'interm diaire d'un papier lectronique et d'un stylet. Nos travaux ont port plus particuli rement sur deux applications con ues dans un cadre g n rique de programmation. La premi re de ces applications concerne le d veloppement d'un diteur de partitions musicales permettant la saisie directe sur une tablette graphique de notes et de symboles musicaux. Cet diteur int gre di rentes commandes d' dition bas es sur la notion de gestes graphiques (suppression, ajout d'une note, etc.). La seconde application concerne le d veloppement d'une interface de saisie d' criture manuscrite qui a t coupl e au syst me de reconnaissance d' criture que nous avons d velopp. La saisie s'eectue l'aide d'un stylo et d'une tablette lectronique en int grant l aussi des commandes gestuelles simples d' dition (s lection, d placement, suppression, sauvegarde, lecture, etc.). Ces applications ont t d velopp es en java ce qui a permis une portabilit des interfaces sur di rentes plate-formes (station sous Solaris, PC sous Windows95 et Windows NT). 7 Actions industrielles 7.1 Convention SRTP : tude et traitement d'images de documents en niveaux de gris, CDP Participants : Jean Camillerapp, Guy Lorette Le projet entretient des relations suivies avec le srtp (Service de recherche technique de la Poste), organisme qui a, en France, un r le f d rateur important pour les quipes travaillant sur la reconnaisance de l' criture manuscrite. Dans ce cadre, une convention a t sign e pour tudier l'inuence d'une nouvelle m thode de binarisation des images d'adresses postales. Une tr s bonne binarisation devient indispensable pour permettre d'accro tre encore les performances des syst mes de reconnaissance. En eet, les boucles tr s serr es ou les traits proches peuvent conduire des confusions, si la binarisation, telle que peut la r aliser un scanner, est trop brutale. Nous avons fourni un logiciel de binarisation qui utilise des d tecteurs de contour classiques pour r aliser une bonne s paration

22 22 Projet Imadoc entre le trac et le fond dans les portions simples du trac, et qui les relaye par des m thodes de grossissement de r gion dans les zones complexes. Celles-ci s'appuient sur une interpr tation locale des variations de luminosit au voisinage des extr mit s des contours. Le srtp est en train d'int grer cette m thode de binarisation dans la nouvelle cha ne qu'il d veloppe, et nous attendons ses r sultats pour reprendre cette approche. 8 Actions r gionales, nationales et internationales 8.1 Actions r gionales Le projet Imadoc a mis disposition de l' quipe Traitement du signal et r seaux neuronaux de Sup lec, Rennes, une base de donn es de caract res manuscrits acquis en-ligne. Jean Camillerapp encadre Damien Legeard, boursier Cifre au Cemagref (Centre National du Machinisme Agricole, du G nie Rural, des Eaux et des For ts) sur l'introduction de m thodes de vision num rique dans la mesure automatique de crit res de qualit d'un produit agro-alimentaire. 9 Diusion de r sultats 9.1 Animation de la communaut scientique G. Lorette est l'un des deux repr sentants fran ais au Governing Board de l'iapr (International Association of Pattern Recognition) ainsi que le pr sident du Technical Commitee tc-11 (Applications in text processing). G. Lorette est membre du comit de r daction des revues : Pattern Recognition et International Journal of Document Analysis and Recognition (IJDAR). B. Co asnon, I. Leplumey et G. Lorette participent au groupe de travail GT7, crits et documents du GDR-PRC Communication Homme-Machine. J. Camillerapp et G. Lorette participent aux activit s de l'association grce : Groupe de Recherche en Communication crite. G. Lorette est vice-pr sident dugrce et responsable des relations internationales. G. Lorette est membre du comit de programme du 11 me congr s Reconnaissance des Formes et Intelligence Articielle (RFIA'98). J. Camillerapp et G. Lorette sont membres du comit de programme du Colloque International Francophone sur l' crit et le Document (CIFED'98). G. Lorette est membre des comit s de programme des : 8th biennal conference of the International Graphonomics Society (IGS'97), 4th International Conference on Document Analysis and Recognition (ICDAR'97), International Conference on Computational Linguistics, Speech and Document Processing (ICCLSDP'98).

23 Th me Enseignement universitaire dea informatique, Ifsic (G. Lorette : analyse d'image et vision). E. Anquetil, "Introduction to cluster analysis, fuzzy clustering", Third Erasmus Seminar on Articial Intelligence in Engineering, Mai 1997, Rennes. Stages eectu s au sein de l' quipe : E. Pelletier, O. Laurelut (dea informatique), M. Ravart (Diic Ifsic), X. Gatellier, K. Montheillet, L. Pucel, D. Chazalviel, C. Dumont-Girard, L. Vincent(Insa) 9.3 Participation des colloques, s minaires, invitations E. Anquetil, G n ration de r gles oues par apprentissage : application la reconnaissance en-ligne de l' criture manuscrite, S minaire intelligence articielle et processus de d cision, groupe de travail Information et Syst mes de l'afcet, responsable : Bernadette Bouchon-Meunier, Universit Paris VI, juin 97. E. Anquetil, Extraction et mod lisation automatique de connaissances par g n ration de r gles oues : application la reconnaissance en-ligne de l' criture manuscrite, Les ensembles ous en traitement du signal et des images, Journ e commune GT2-GT5 du GDR-PRC ISIS, responsable : Isabelle Bloch, ENST Paris, avril Bibliographie Ouvrages et articles de r f rence de l' quipe [1] E. Anquetil, G. Lorette, Automatic Generation of Hierarchical Fuzzy Classication Systems Based on Explicit Fuzzy Rules Deduced from Possibilistic Clustering: Application to On-Line Handwritten Character Recognition, in : Proceedings of the international conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems, (IPMU'96), p , Grenade, Espagne, [2] E. Anquetil, G. Lorette, Reconnaissance en-ligne de lettres manuscrites cursives par cha nes de Markov cach es, Traitement du Signal 12(6), 1996, p [3] B. Couasnon, J. Camillerapp, A Way To Separate Knowledge From Program In Structured Document Analysis: Application To Optical Music Recognition, in : Proceedings of the 3rd International Conference on Document Analysis and Recognition, (ICDAR'95), p , Montreal, Canada, [4] V. P. d'andecy, J. Camillerapp, I. Leplumey, Analyse de partitions musicales, Traitement du Signal 12(6), 1996, p [5] G. Lorette, E. Anquetil, Th orie des catastrophes, g om trie di rentielle et segmentation de l' criture cursive, in : Actes du 4 me Colloque National sur l' crit et le Document, (CNED'96), p. 16, Nantes, France, 1996.