Segmentation d image

Transcription

1 MÉMOIRE DE MASTER DE RECHERCHE «ARCHITECTURES LOGICIELLES DISTRIBUÉES» Segmentation d image Application aux documents anciens Thibault LELORE mai 2007 encadré par José MARTINEZ Frédéric BOUCHARA, Elisabeth MURISASCO, Emmanuel BRUNO LABORATOIRE DES SCIENCES DE L INFORMATION ET DES SYSTÈMES

2 Segmentation d image Application aux documents anciens Thibault LELORE Résumé Dans ce document, nous présentons différentes méthodes de segmentation. Dans le cas de documents anciens, les techniques ont montré leurs limites. L étude porte sur toute la chaîne de traitement d image permettant de segmenter un document. En effet, ces documents sont généralement fortement dégradés, ce qui rend difficile l identification des différents éléments. Cette difficulté rend l utilisation de pré-traitements nécessaire afin d améliorer la qualité des documents. Une première partie est ainsi consacrée aux techniques de restauration d images. La seconde partie concerne l état de l art des méthodes de segmentation. Catégories et descripteurs de sujets : I.4.6 [Segmentation]: Edge and feature detection, Pixel classification; I.5.3 [Clustering]: Algorithms, Similarity measures; I.4.10 [Image Representation]: Statistical, Multidimensional Termes généraux : Segmentation, feature aggregation, Bayesian approach, bottom-up, top-down, texture, binarisation. Mots-clés additionnels et phrases : Champs de Markov, heuristiques, seuillage adaptatif. 2

3 Remerciements Lorsque je suis parti de Nantes pour mon stage, je ne connaissais que très peu de choses du monde de la recherche. Étant de formation ingénieur, j ai abordé mon stage sans arrièrepensées, bien décidé à trouver du travail dans une entreprise si l expérience ne me plaisait pas. Or, après quelques mois de travail au sein de l équipe toulonnaise, j ai pris goût à la recherche. Je tiens donc à remercier particulièrement Frédéric BOUCHARA, Elisabeth MURISASCO et Emmanuel BRUNO pour l ambiance chaleureuse qu ils ont su partager avec le reste de l équipe. Leurs précieux conseils et leur esprit critique m ont aussi été d un grand secours, aussi bien pour l orientation de mes recherches que pour l orientation de mon projet professionnel. Je tiens à remercier Nicolas FAESSEL qui doit supporter ma présence dans son bureau à Marseille, ainsi que mes questions sur la vie étudiante dans le Sud. Par ailleurs, ses explications sur le fonctionnement administratif du laboratoire m ont permis de gagner beaucoup de temps et d énergie. Je tiens aussi à remercier José MARTINEZ, sans qui ce stage n aurait pas pu avoir lieu. En effet, son écoute et sa disponibilité m ont permis de partir faire un stage dans le Sud, malgré les difficultés que cela a posé. Merci à Gilles MULLER, qui m a permis de suivre cette formation, malgré quelques petits problèmes lors de l inscription. Grâce à votre compréhension, j ai pu, avec grand plaisir, découvrir le monde de la recherche. Merci à Florian MOUSSOUS, qui travaille en aval de mes recherches. Il n hésite pas à partager avec moi ses travaux et anticiper sur ses besoins afin de me simplifier le travail. Enfin, un grand merci à tous ceux que je n ai pas cité, ma famille, mes amis, mes collègues, mais qui ont, chacun à leur manière, rendu possible ce stage.

4 Table des matières 1 Introduction Présentation de la problématique Objectifs poursuivis Travail à réaliser Contribution Plan de l étude État de l art Prétraitements Bruit et autres dégradations Restauration Conclusion Segmentation Binarisation Segmentation ascendante Segmentation descendante Segmentation par texture Conclusion Proposition 37 4 Expérimentations et résultats 38 5 Conclusion et perspectives Résumé du travail effectué Conclusion Perspectives de recherche

5 Chapitre 1 Introduction 1.1 Présentation de la problématique Le problème que rencontrent les bibliothèques numériques est proche du problème auquel sont confrontés les moteurs de recherche. En effet, le problème n est plus de récupérer l information, car les moyens de communication permettent un accès rapide et fiable, mais bien de la trouver parmi des millions de candidats potentiels. Généralement, ce qui est proposé est un accès au catalogue des images numérisées ; accès rendu possible grâce à la mise en place d outils de recherche fonctionnant par mots-clefs. La mise en place et l accès à ces bibliothèques numériques permettent d introduire deux notions importantes que sont l indexation des images et la notion d aide à la navigation. Ces deux concepts sont complémentaires. L indexation consiste à trouver un moyen d associer aux images une information pertinente (métadonnées sur l ouvrage, index de mots, index d illustrations...). La notion d aide à la navigation, touche au problème de l accessibilité d une information recherchée dans une masse de données de taille conséquente. La phase d indexation doit permettre d extraire une grande quantité d information, qu il faut analyser et structurer, pour permettre finalement l accès à ce que recherche un utilisateur. Il existe deux manières d appréhender l indexation. La question est avant tout de savoir comment extraire de l information des images de textes numérisées? Certaines bibliothèques numériques ont fait le choix d indexer manuellement leurs images alors que d autres ont fait le pari de se lancer dans des solutions incluant de l indexation automatique. Dans le premier cas, de nombreux défauts comme la lourdeur de la tâche ou encore la subjectivité des mots-clefs choisis pour indexer les documents rendent difficile sa mise en œuvre. Mais la deuxième approche, bien que résolvant les deux précédents problèmes, n est pas plus simple à mettre en place. En effet, les documents numérisés sont parfois en mauvais état, mal numérisé et/ou dans un alphabet ne permettant pas de retrouver facilement le texte dans les images. Parallèlement à cette indexation de documents des bibliothèques, un autre problème se rapprochant de cette problématique a été soulevé par les bases de données multimédias. Les sites comme YouTube 1 où tout le monde peut déposer une vidéo, ou encore les bases de données d images, sont des sources intarissables de documents multimédias qu il est parfois difficile 1 Site internet de partage de vidéos : http :// 5

6 d indexer. Une bonne manière d ajouter de l information sémantique (par opposition à l information bas niveau, comme une couleur, une texture...) est d utiliser le texte présent dans l image [Wol03]. Il est alors possible d obtenir le nom du présentateur, la ville, le sujet Objectifs poursuivis C est au cours d un travail en partenariat avec une équipe de chercheurs italiens que le projet est né. En effet, ces chercheurs italiens travaillaient sur des manuscrits médiévaux en occitan de la région de Montpellier traitant de recettes médico pharmaceutiques, et avaient beaucoup de mal à indexer et structurer les documents, notamment pour les rendre plus accessible à leurs étudiants. FIG. 1.1 Déroulement du processus En associant les compétences des équipes I & M (Image & Modèles) et INCOD (Information et Connaissance Distribuées), ils eurent l idée de travailler sur un projet permettant de structurer et d interroger dans un environnement XML les documents manuscrits. L équipe I & M étant compétente en matière de segmentation et l équipe INCOD en matière d interrogation de documents XML, la collaboration des deux équipes était prometteuse. L objectif de l étude est de répertorier ce qui se fait dans le monde de la segmentation pour ensuite, en accord avec les deux équipes, proposer une solution. Ce stage s inscrit donc dans le cadre de la construction d une maquette permettant d illustrer la représentation et l interrogation de documents numérisés composés de zones de textes manuscrits, de zones de textes typographiques, d images et de schémas dans un environnement XML. Ce projet peut être séparé en deux parties, comme le présente la figure 1.1. Mon travail concerne la première partie. Suite à la numérisation, en Italie, des documents anciens traitant de recettes médicopharmaceutiques, le but de cette partie est de repérer le texte, les images et les annotations pour extraire une organisation physique du document. Un deuxième stagiaire se focalise sur la deuxième partie qui s organise en deux blocs : la modélisation des informations extraites du document et l interrogation de ces informations via un langage de requête étendant le langage XQuery 2. Ce travail doit permettre, à terme, de pouvoir interroger au sein d une même requête l information spatiale extraite de l image, l information extraite du texte (obtenu par une traduction ou par un logiciel de reconnaissance de caractères) et l information sémantique (obtenu manuellement ou par relations spatiales). Une requête type pourrait donc être : «Quelle est la prescription qui se trouve sur plusieurs pages, qui contient le plus de phrases et qui est illustrée par une figure». 2 XQuery est le langage de requêtes, recommandé par le W3C, pour les données XML 6

7 1.3 Travail à réaliser Après une première phase de bibliographie, il est apparu que la segmentation de documents bénéficiait déjà d une littérature abondante. Cependant, peu de documents traitent des aspects de binarisation de documents anciens, qui présentent de fortes dégradations. Le travail à réaliser se focalisera donc sur la binarisation de documents dégradés pour extraire le texte du fond (voir figure 1.2). Grâce à une méthode déjà existante, le document sera ensuite segmenté pour produire une description interprétable par le second module d interrogation. Les documents utilisés présenteront un aspect fortement dégradé, avec un fond non uniforme, des pages déchirées, froissés et/ou des tâches d encre effaçant partiellement l encre. L objectif est alors de retrouver les pixels de texte, et de séparer en deux classes le document : texte et fond. FIG. 1.2 Exemples de documents manuscrits. 7

8 1.4 Contribution Les champs de Markov sont très utilisés en traitement d image [Li95] et quelques approches ont été proposées dans le cadre de la segmentation [WD02, ZLD03, NPH06]. Cependant, les propositions ne sont pas satisfaisantes, dans le sens où elles intègrent des approximations ou des simplifications dans le calcul des différentes probabilités. Par ailleurs, le taux de réussite n est pas compétitif par rapport aux méthodes récentes utilisant des heuristiques. Afin de proposer une solution efficace et fiable, l utilisation d opérateurs statistiques éprouvés (comme les estimateurs robustes) doit permettre de partir sur des bases solides. Plutôt que d utiliser des règles définies empiriquement, qui permettent d obtenir de bons résultats, mais pour un domaine particulier, l utilisation de ces opérateurs offre une plus grande généricité. Par ailleurs, il n existe pas à notre connaissance de documents traitant de la binarisation de documents utilisant les champs de Markov avec les estimateurs robustes. Cette direction nous semblant intéressante et prometteuse, nous avons donc décidé d explorer cette voie. 1.5 Plan de l étude La segmentation fait partie d une chaîne de traitement du signal : différentes transformations sont appliquées à l image avant de pouvoir être séparée en régions. Faire abstraction de ces étapes successives rendrait plus difficile la compréhension et la justification des traitements, et ne permettrait pas d avoir une vision globale du problème. C est pourquoi le chapitre concernant l état de l art débute sur une description des dégradations qui peuvent altérer une image, pour ensuite décrire des méthodes de restauration. Ces méthodes sont souvent utilisées en prétraitement de la segmentation. La section suivante traitera particulièrement de la segmentation et sera composé de quatre paragraphes. Le premier concernera la binarisation, étape souvent préliminaire à la segmentation, tandis que les paragraphes suivants se focaliseront sur les différentes techniques de segmentation, classées suivant leurs approches. La solution proposée sera décrite en détail dans la partie «Proposition» et les différents tests et résultats seront présentés dans le chapitre suivant. Enfin, une conclusion résumera le travail effectué et ouvrira sur d autres perspectives de recherche. 8

9 Chapitre 2 État de l art 2.1 Prétraitements En raison de la multitude de sources de bruits, et surtout de la multitude d effets de ces bruits sur une image, il n existe pas de technique de restauration générale, adaptée à toutes les situations. Il existe de nombreuses recherches permettant d approcher ce traitement automatisé du bruit [BC96] mais, en général, ces techniques cherchent à adapter les paramètres de traitements spécialisés, en fonction d estimations calculées à partir de l image. Afin de bien comprendre les enjeux de la restauration, le chapitre suivant s intéresse aux bruits et aux perturbations qui peuvent dégrader une image. Ensuite, les chapitres suivants présenteront plusieurs techniques permettant de réduire les dégradations Bruit et autres dégradations Avant de s intéresser aux améliorations à apporter aux documents numérisés pour faciliter leur interprétation, il est important de comprendre quels types de dégradations peuvent intervenir sur les images. Il existe deux types de dégradations : les perturbations aléatoires (bruit) et les perturbations déterministes (comme le flou). Ces perturbations sont souvent identifiées et formalisées afin de pouvoir prédire et donc réduire leur effet sur le signal capturé. L origine des perturbations est aussi diverse qu il existe d outils et d environnements d acquisition différents. Il n existe donc pas qu un seul type de distorsion. Les premiers bruits identifiés sont dus au matériel d acquisition. Un capteur a une sensibilité minimum, et si la luminosité ambiante se situe en dessous de ce seuil, des détails sont perdus. Afin de résoudre ce problème, la solution la plus valable est d augmenter la luminosité de la scène, en prolongeant la durée d exposition ou encore en ouvrant un peu plus l objectif, le capteur reçoit plus de lumière et passe le seuil minimal de rendement. À l inverse, pour les signaux ayant une amplitude trop élevée, on observe un phénomène d éblouissement. Les condensateurs emmagasinent une charge excessive qui a alors tendance à s écouler dans les cellules voisines, créant ainsi des effets de halo ou de traînée. Ces effets étant difficiles à réduire après acquisition, la solution la plus souvent envisagée est de chercher à 9

10 réduire l effet visuel en amont de la prise de vue, aussi bien pour les capteurs argentiques (couche antihalo) que pour les capteurs numériques (isolation des cellules). En plus de ces bruits inhérents aux technologies utilisées pour les capteurs, il y a une multitude d autres sources de perturbations [Bui98]. Certaines sont négligeables, comme le bruit photonique (bruit grenaille) qui est dû à l arrivée aléatoire des photons, tandis que d autres gomment fortement les détails d une image. C est le cas du flou. Cette distorsion est souvent dû à une mauvaise mise au point, mais aussi, parfois, à une surface qui diffuse la lumière (la buée par exemple). Il peut être aussi causé par le mouvement d un objet ou de toute la scène. On parle alors de flou de mouvement. Ces deux flous ne sont pas modélisés de la même manière. Dans le premier cas, le flou est dit bidirectionnel et est approximé par un filtre moyenneur bidimensionnel (souvent gaussien) tandis que dans le second cas, le filtre doit tenir compte d une estimation du mouvement pour adapter la répartition des coefficients en fonction de la direction et de l intensité du mouvement. Enfin, il existe une autre sorte de perturbation, dû au support lui-même. Le temps ou des événements indirects (une tache de café, le papier froissé) provoquent des perturbations dont la modélisation par une loi de probabilité est plus complexe et nécessite l utilisation d outils adaptatif, c est-à-dire fonction de paramètres locaux à l image. La modélisation n est plus fonction d une loi générale simple et nécessite l utilisation d outils comme les champs de Markov pour prendre en compte d autres paramètres spatiaux Restauration Après avoir défini le bruit, nous allons nous intéresser à différentes méthodes permettant de le réduire au maximum. Mais avant d aller plus loin, il est important de rappeler que «le rôle du traitement d image n est pas d inventer les détails qui se sont évanouis à l acquisition, il est de transformer l image pour qu on puisse mieux distinguer les détails» [Leg96]. Filtre passe-haut Le filtre passe-haut est un filtre linéaire principalement utilisé pour traiter les images dont les petits détails ne sont pas assez présents. En effet, tout comme pour le son où les hautes fréquences correspondent à de rapides variations, les petits détails d une image correspondent à des hautes fréquences. C est le changement brutal de caractéristiques qui entoure le petit détail qui fait qu il se trouve dans les hautes fréquences. Par exemple, pour une musique dont on souhaite retrouver le son d un triangle (son particulièrement aigu, donc dans les hautes fréquences) au milieu d un orchestre symphonique, on appliquera un filtre passe-haut pour réduire le volume des autres instruments qui se trouvent dans des fréquences plus faibles que le triangle. L idée est la même pour une image, où le triangle est le petit détail noyé dans le reste de l image (l orchestre), on cherche alors à augmenter les transitions brutales de l image. En pratique, la réalisation d un filtre passe-haut se fait en convoluant l image avec un masque dérivateur. Dans le principe, un filtre passe-haut peut se résumer à un filtre qui estompe le centre de l image fréquentielle (là où se trouvent les basses fréquences). Or, d après l équation 2.1, ce 10

11 (a) (b) (c) FIG. 2.1 Exemple de filtres passe-haut et passe-bas. (a) Image Lena d origine. (b) Image après filtrage passe-haut. (c) Image après filtrage passe-bas. filtrage est strictement identique à une convolution dans le domaine spatial. I F (µ, σ) = I(µ, σ) H(µ, σ) i F (x, y) = i(x, y) h(x, y), avec I(µ, σ) = T F (i(x, y)) (2.1) avec I F l image filtrée dans le domaine fréquentiel, i F l image filtrée dans le domaine spatial, T F la transformé de Fourier, H un filtre, la multiplication classique et la convolution. Ce filtre est donc particulièrement adapté pour traiter le flou car il fait ressortir les petits détails que le flou a estompés. Cependant, une adaptation de l algorithme est nécessaire pour prendre en compte la direction du flou dans le cas du flou de mouvement. Comme le filtrage n est pas un outil magique, il a des effets négatifs, dont le principal est d amplifier le bruit de l image. En effet, le bruit est particulièrement présent dans les hautes fréquences et traiter une image par un filtre passe-haut augmentera indifféremment petits détails et bruit. Filtre passe-bas. Contrairement au filtre passe-haut, le filtre passe-bas privilégie les grandes zones uniformes de l image. Comme nous l avons vu précédemment, la fréquence se calcule en fonction de la vitesse de changement de caractéristique dans l image, donc une zone uniforme aura peu de changements et donc aura une fréquence faible. Dans le même principe que pour un filtre passehaut, une implémentation possible est de convoluer l image avec un noyau pour gommer les hautes fréquences. Il est souvent intéressant, en traitement d image, d utiliser un filtre passe-bas. En effet, un filtre passe-bas permet de réduire le bruit grâce à la localisation du bruit dans les hautes fréquences. La simplicité du filtre lui permet d être rapide et facile à mettre en place, mais les hypothèses sur lesquelles il se base sont beaucoup trop réductrices (bruit uniforme, gaussien...). Le principal inconvénient du filtre est de «flouter» l image, faisant perdre les petits détails ainsi que les contours. Afin de mieux réduire le bruit, les recherches se sont alors tournées vers des applications non-linéaires pour essayer de lisser les régions homogènes sans toucher aux zones de discontinuités [KB04]. Il existe différentes approches pour essayer de résoudre ce problème, dont le filtre de Wiener. 11

12 (a) (b) FIG. 2.2 Exemple de filtres. (a) Image d origine. (b) Image après filtrage de Wiener adaptatif. Adaptation du filtre de Wiener [GPP06] Une adaptation du filtre de Wiener a été conçue pour se comporter comme un filtre passe-bas sur les zones uniformes tout en conservant les discontinuités. La modification du filtre permet de le rendre adaptatif à l image. Ce filtre est donc tout particulièrement adapté à la restauration de documents car il permet d augmenter le contraste entre le texte et le fond tout en lissant le fond. De plus, il se comporte aussi bien sur des documents manuscrits que sur des documents imprimés, car aucune hypothèse n est faite sur la forme des discontinuités. Le filtre peut s exprimer ainsi : I(x, y) = µ + ((σ 2 υ 2 ) (I s (x, y) µ))/σ 2, (2.2) Avec - I : image filtrée ; - µ : moyenne des valeurs des pixels dans une fenêtre de taille N N centrée en (x, y) ; - σ : variance des valeurs des pixels dans une fenêtre de taille N N centrée en (x, y) ; - υ : moyenne de la variance des pixels dans une fenêtre de taille N N centrée en (x, y) ; - I s : image source. Bien que ce filtre améliore la qualité des documents, il ne se comporte pas bien lorsque l image est fortement bruitée. Les chercheurs se sont alors tournés vers d autres opérateurs mathématiques : les statistiques. En effet, en statistique, le problème de déduire une loi qui gouverne la distribution des observations revient souvent, en image, à estimer l influence du bruit sur les observations. Cette estimation peut se faire de différentes manières, mais la méthode des estimateurs robustes est celle qui donne les meilleurs résultats. Estimateurs robustes Dans le cadre de la restauration d image, l estimation porte sur la valeur d un pixel et cherche à approcher sa «vraie»valeur, c est-à-dire la valeur du pixel sans le bruit. Le problème principal de la méthode des moindres carrés est qu elle fournit des résultats erronés au voisinage des contours. En effet, aux contours, deux modèles de caractéristiques s opposent de part et d autre de la frontière et l approximation par les moindres carrés ne résout pas correctement ce cas de figure. Un estimateur robuste est un estimateur statistique dont on cherche à minimiser l influence de données atypiques sur l estimation. Il existe plusieurs catégories d estimateurs robustes. 12

13 (a) (b) (c) FIG. 2.3 Exemple de filtres. (a) Image Lena bruitée. (b) Image après filtrage par la médiane. (c) Image après filtrage SNN. Filtres EPNSQ Le premier algorithme que nous allons étudier est le filtre EPNSQ. Il a les mêmes objectifs que les filtres robustes, mais il n est utilisable que dans le contexte du traitement d image. Cet algorithme part du principe que la méthode d estimation des moindres carrés est proche de la réalité si l image est homogène. En effet, dans ce cas l image ne variant qu à cause d un bruit supposé gaussien, l estimation de la valeur réelle ne sera pas perturbée par des valeurs exceptionnelles. L algorithme utilise donc une fenêtre pour analyser le voisinage du point à estimer. Ensuite, l algorithme calcule la variance de quatre zones autour du pixel et choisit celle qui a la plus petite variance (et donc le caractère le plus homogène). Enfin, cette fenêtre est alors utilisée pour calculer la valeur finale filtrée associée au pixel étudié. Filtres d ordre Les filtres d ordre sont une autre famille d estimateurs très utilisée. L idée est toujours d utiliser une fenêtre autour du pixel pour étudier le voisinage du pixel. En supposant que l image est stationnaire dans la fenêtre et que le bruit est additif (et soustractif), la valeur des pixels bruités sera loin des valeurs du centre. Le filtre s écrit alors c = a t.x avec c la valeur filtrée, a t le vecteur de pondération choisi généralement pour atténuer les valeurs éloignées de la médiane et x le vecteur des valeurs des pixels de la fenêtre classé par ordre croissant d intensité de niveau de gris. Un cas particulier de ce filtre est le filtre de la médiane, en choisissant le vecteur a ainsi : a[i] = { 1 si i = n/2 0 sinon Ce filtre élimine efficacement le bruit. Il permet donc d enlever les valeurs aberrantes, dû le plus souvent au bruit. Mais on se rend bien compte que si l on prend une grande fenêtre, l hypothèse de stationnarité n est plus respectée, et l on peut voir apparaître un phénomène d étalement, comme une peinture à la gouache. M-estimateurs Le second estimateur est appelé le M-estimateur. C est une généralisation de l estimation aux moindres carrés. Le vecteur M-estimé ĉ est déterminé en minimisant une 13

14 fonction de coût E définie par : E(ĉ) = n ρ(x i s i (ĉ)), (2.3) i=1 avec : - ρ(x) une fonction de pondération (si ρ(x) = x 2, on est ramené à l estimateur des moindres carrés) ; - x i : valeur mesurée ; - s i (ĉ) : valeur estimée sans bruit. Afin d améliorer l estimateur des moindres carrés, la fonction ρ(x) est choisie afin de ne pas prendre en compte de manière trop importante les valeurs éloignées de l estimation. Ainsi, il existe plusieurs définitions de ρ(x) dont la courbe de Tukey (Eq. 2.4) ou celle de Cauchy (Eq. 2.5) [Bou06]. ρ(x) = [ ( ( x C ) 2 ) 3 ] ρ (x) x = { ( 1 ( ) ) x 2 2 C 0 Si x C Si x > C (2.4) ρ(x) = C2 2 log ( 1 + ( x C ) 2 ) ρ (x) x = 1 1+( x C ) 2 (2.5) La principale difficulté pour calculer cette estimation vient du fait qu il est nécessaire de connaître l approximation pour calculer l approximation... Dans sa mise en œuvre, une première estimation est réalisée en utilisant la méthode des moindres carrés. Puis le calcul de ρ(x) est effectué grâce à cette première estimation, et une nouvelle estimation est effectué, en fonction de la nouvelle fonction ρ(x) (en réalité, en fonction de ρ (x)/x). L algorithme alterne ainsi le calcul des pondérations et de l estimation jusqu à la stabilisation des résultats. L idée est donc de petit à petit réduire l importance des pixels éloignés de l estimation initiale. Mais encore une fois, l estimation n est pas toujours réussie, car si la première estimation est mal calculée, la suite de l algorithme peut donner plus d importance aux pixels ne suivant pas la norme qu aux pixels étant normalement important. L intérêt d un estimateur robuste est de pouvoir supprimer le bruit dit de «poivre et sel», c est-à-dire un bruit ponctuel mais fort. Ce bruit en image est causé généralement par les décharges électriques des capteurs, ou plus souvent dans les images obtenues à partir d une source cohérente, comme un sonar ou un radar. Le bruit s appelle alors le «Speckle». Filtre SNN Afin de retrouver les avantages des estimateurs robustes dans le cadre de la restauration d image, plusieurs solutions ont été envisagées. Certaines très coûteuses en temps de calcul 14

15 (comme le filtrage anisotropique) ne peuvent être misent en place lors de la segmentation d ouvrages. En effet, la segmentation étant déjà lourde en temps de calcul (ajouter un prétraitement long rendrait impossible le traitement de grandes bases d images). Le filtre SNN (pour Symmetric Nearest Neighbor : Voisins proches symétriques) résout le problème précédent, de manière moins fine certes, mais de manière plus rapide. Le principe est de déplacer une fenêtre sur l image, et de supposer que la fenêtre contient non plus une région constante mais une frontière entre deux régions constantes. En regroupant les pixels de la fenêtre deux à deux, symétriquement par rapport au pixel étudié, puis en choisissant dans chaque paire le pixel le plus proche du pixel étudié, et enfin en calculant une moyenne entre les valeurs. En raison de sa simplicité de principe et de mise en place, cet opérateur a été souvent utilisé Conclusion Il existe d autres solutions de restauration, comme la prise en compte de plusieurs images dans une vidéo, mais leur nombre et leur intérêt pour notre sujet rendent leur présentation peu utile. On trouvera ailleurs [BK97] un état de l art conséquent sur les techniques de restauration d images ainsi que plus de détail sur différentes techniques, comme la restauration d images fortement compressées par JPEG. 2.2 Segmentation La segmentation est nécessaire pour pouvoir traiter correctement la masse de données multimédias véhiculées toute la journée à travers le monde. De nombreuses techniques ont été trouvées, certaines plus performantes que d autres, mais comme nous allons le voir, le plus souvent destinées à un domaine particulier. La multitude de techniques rend leur présentation difficile, et réaliser une simple énumération est un piège qu il faut éviter. La présentation des différentes techniques est séparée en fonction de l approche, afin de rendre plus clair les différences qui existent entre les techniques, mais parfois ce découpage n est pas correct car certaines techniques combinent les approches. Différentes méthodes de classements existent [KJJ03], mais aucune ne permet de mettre parfaitement en avant les différences. La binarisation étant une étape préliminaire à la segmentation, le chapitre suivant présente en détail les différentes méthodes de binarisation. Ensuite, les chapitres suivants présenteront les différentes techniques de segmentation Binarisation Segmenter une image en couleurs peut être extrêmement coûteux. Traiter une image en couleurs de taille moyenne revient à caractériser quelques points ( ), et trouver la classe (ou le type) d un point nécessite bien souvent la prise en compte de nombreux facteurs (l histogramme, la couleur...). Afin de simplifier les traitements, de nombreuses recherches se sont orientées vers la binarisation de l image. Binariser une image revient à segmenter l image en deux classes : le fond et l objet. D où le paradoxe suivant : accélérer la segmentation d une 15

16 FIG. 2.4 Seuil minimal de recouvrement. image nécessite une segmentation! Cependant, segmenter une image en deux classes est beaucoup plus simple que de la segmenter en un nombre inconnu (et minimal) de classes. De plus, puisqu il n existe que deux classes, il est plus simple de caractériser les classes. Enfin, binariser une image permet aussi de compresser les documents de manière plus importante. Nous allons voir dans ce chapitre différentes techniques permettant de binariser une image. Seuillage global Le principe du seuillage global est d utiliser une valeur seuil à partir de laquelle on peut choisir à quelle classe le pixel appartient. La transformée peut s écrire ainsi : { 1 si f(i, j) > S i, j N M I(i, j) = 0 sinon, (2.6) Avec - N M : nombre de colonnes et de lignes de l image ; - I : image binarisée ; - f : valeur fonction de l image d origine ; - S : seuil de binarisation. Cependant, cette technique pose beaucoup de problème. Le premier est de définir le seuil. La grande majorité des techniques utilisent l histogramme des niveaux de gris pour choisir le seuil à appliquer. Dans le cadre bayésien, un histogramme peut être vu comme étant la somme des lois de probabilités des différentes classes de l image. Le bruit étant souvent supposé gaussien, il affecte la probabilité d observer une classe en étalant sa loi de probabilité initiale, plus ou moins fortement suivant le bruit. En faisant l hypothèse qu il existe seulement deux classes générant des lois de probabilités, il faut choisir un seuil où le recouvrement des deux lois est minimal (Cf. figure 2.4). Cependant, à cause du bruit, il n est pas toujours facile de détecter les deux lois de probabilités. Wu et al. proposent alors de filtrer l image avec un filtre passe-bas. Ils expliquent que le bruit sur le fond produit plus de hautes fréquences que le texte [WM98]. Cela permet bien souvent de séparer les deux modes de l histogramme, et donc facilite le choix du seuil. Mais cette solution ne permet pas de trouver un seuil global (puisqu il n existe pas, cf. figure 2.5), dans le cas d une mauvaise illumination du document, ou dans le cas où le texte passerait de noir sur 16

17 fond blanc à blanc sur fond noir. Pour pallier à ces problèmes, il fallut trouver des techniques permettant d adapter localement le niveau du seuil. FIG. 2.5 Problème de seuillage global. Seuillage local Le principe du seuillage local est d utiliser une étude localisée autour du pixel pour déterminer quel seuil utiliser. Pour réaliser cette étude locale, les techniques utilisent une fenêtre d étude centrée sur le pixel à étudier. Cette fenêtre peut avoir différentes tailles, souvent en fonction de la taille moyenne du texte dans le document. Le premier à proposer une technique donnant de bons résultats fut Bernsen en 1986 [Ber86]. Mathématiquement, le calcul du seuil peut s écrire ainsi : S(i, j) = (max(i, j) + min(i, j))/2, (2.7) Avec : - S(i, j) : seuil à appliquer pour le point i, j ; - Max(i, j) : valeur du niveau de gris maximal dans une fenêtre centré - en (i, j) de taille N M ; - Min(i, j) : valeur du niveau de gris minimal dans une fenêtre centré en (i, j) de taille N M ; - N et M appartenant à N. Cependant, ce filtre est très sensible au bruit du fond. À cause de la prise en compte du maximum et du minimum uniquement, dans le cas où la fenêtre est uniquement sur du fond, le bruit sera interprété comme objet, car le seuil sera bas. La même année, Niblack proposa une méthode similaire sur le principe, mais prenant en compte d autres paramètres [Nib86]. Dans sa méthode, le seuil est calculé ainsi : S(i, j) = µ(i, j) + k σ(i, j), (2.8) Avec : - S(i, j) : seuil à appliquer pour le point i, j ; - σ(i, j) : valeur de l écart type dans une fenêtre centré en i, j de taille N M ; - µ(i, j) : valeur moyenne des niveaux de gris dans la même fenêtre ; - k : constante fixée le plus généralement à 0, 2 ; - N et M appartenant à N. Bien que victime du même problème que précédemment, la méthode est plus efficace. Une autre 17

18 FIG. 2.6 Courbe des niveaux de gris sur une ligne et seuillage adaptatif. méthode à souligner car souvent citée (et donnant de bons résultats) est la méthode de Trier en Taxt [TT95]. Cette méthode passe par une étape où l image est ternaire pour ensuite affiner la segmentation. Sauvola, en 2000, proposa une amélioration de la méthode de Niblack afin de réduire sa sensibilité au bruit sur le fond [SP00]. Le seuil est alors calculé ainsi : S(i, j) = (µ(i, j) + k.((σ(i, j)/r) 1)) avec les mêmes notations que pour Niblack et R étant une constante permettant d ajuster la dynamique de l écart type (fixé en général à 128). Le gain apporté par cette pondération permet à la méthode d être très satisfaisante dans le cas de documents mal éclairés et fait passer de 89 % à 95 % le taux moyen de reconnaissance par un logiciel de reconnaissance de caractères (sur une base de 15 documents éclairés non uniformément). La moyenne et la variance ne sont pas les seuls critères permettant de fixer le seuil. Certaines techniques prennent en compte des paramètres comme le «run length»(nombre maximum de pixels à suivre ayant les mêmes caractéristiques) ou le nombre des pixels inférieur au seuil pour adapter des paramètres internes [YY00], tandis que d autres se basent sur une représentation probabiliste du bruit pour savoir comment fixer le seuil [Don95]. Certaines techniques récentes s intéressent à la binarisation d images couleurs [GPH05] en utilisant un algorithme modifié des Composantes Connexes pour identifier le fond et les objets. Le comparatif réalisé par Trier en 1995 [TJ95] compare dix méthodes de seuillage local, dont la majorité des méthodes citées, et le meilleur résultat est obtenu par Niblack, qui fut amélioré cinq ans plus tard par Sauvola. Mais la binarisation des images en niveaux de gris n étant toujours pas parfaite, en 2002 Wolf proposa une approche différente utilisant les champs de Markov. Champs de Markov [WD02] Du fait de la forte variabilité inhérente aux documents, une modélisation formelle de la structure est difficilement envisageable, car trop rigide. Les modèles stochastiques s accommodent mieux des incertitudes. Les champs de Markov permettant de représenter une relation de voisinage, ils sont particulièrement adaptés à la segmentation puisqu il existe beaucoup de relations spatiales dans une image. La théorie des champs Markoviens a donc été largement développée ces dernières décennies et appliquée dans différents domaines du traitement d image [Li95]. La segmentation (et donc la binarisation) se ramenant à la définition de la classe X d un pixel en fonction de sa valeur Y, le problème est donc de calculer la configuration optimale du champ d étiquettes X qui maximise la probabilité a posteriori P (X/Y ). Grâce au théorème de Bayes, 18

19 P (Y/X) P (X) on a P (X/Y ) =, ce qui est plus facile à caractériser. En appliquant les hypothèses P (Y ) Markoviennes et d indépendance entre les observations, on obtient : ( ˆx = arg max P (ys /x s ) ) P (x s /x h, h NG(s)), (2.9) avec - NG(s) désigne le voisinage du site s ; - P (y s /x s ) représente la vraisemblance de la classe par rapport à l observation ; - P (x s /x h,h NG(s)) représente la connaissance contextuelle introduite par le modèle. Il s agit de la probabilité a priori de la configuration x du champ X. Afin de rendre calculable cette estimation, ce terme peut être réécrit ainsi : P (X) = 1 ( Z exp ) V c (X), (2.10) avec : - C un ensemble de cliques associés au voisinage NG (Une clique étant un sous-ensemble de sites mutuellement voisins) ; - V c est la fonction de potentiel de la clique c ; - Z est un terme de normalisation. On peut ainsi introduire la notion d énergie en calculant le logarithme négatif de la probabilité jointe P (X, Y ), soit : ( ) ( 1 U(X, Y ) = log P (ys /x s ) log Z exp( ) V c (X)) (2.11) U(X, Y ) = ( ) 1 log (P (y s /x s )) log + V c (X) (2.12) Z Finalement le problème de la segmentation revient à un problème de minimisation de la fonction d énergie : ˆx = argmin ( log P (y s /x s )) + (V c (X)). Cette fonction d énergie peut être minimisée en utilisant un algorithme d optimisation, comme le recuit simulé. Pour simplifier les calculs de binarisation, on suppose que le bruit qui vient perturber les observations suit une loi de Gauss. Ainsi, P (Y/X) est approximé de cette manière : ( ) P (Y/X) = (2πθn) 2 N X Y 2 2 exp, (2.13) 2πθn 2 en prenant X={0,255} et θ 2 n la variance. Cependant, cette estimation est trop réductrice car les valeurs de X ne sont pas toujours aussi extrêmes : le texte n est pas toujours à 0 mais peut être à 10 par exemple, à cause du bruit. L idée de Wolf est alors d ajouter une fonction C pour modifier les valeurs de X lors du calcul du bruit résiduel ( C(X) Y ). Hélas, la fonction C, qui revient à trouver l incidence du bruit sur chaque pixel, n est pas calculable simplement. Il décide alors d utiliser le calcul de Sauvola [SP00] pour adapter localement le calcul du bruit résiduel. La fonction d énergie devient alors X Y + T 127.5, avec T le seuil calculé avec la méthode de Sauvola. Donc le problème du maximum a posteriori peut se calculer ainsi : arg max(p (X) P (X/Y )) (2.14) 19

20 , soit arg max (P (X) (2πθ 2n) ( )) N2 X Y + T exp 2πθn 2 (2.15) La variance θn 2 est approximé en regardant dans une fenêtre centrée autour du pixel et séparant l histogramme en deux classes en utilisant le critère d Otsu (qui revient à maximiser la variance intra classe) [N.O79]. θ est alors calculé en multipliant par une constante (fixé à 0, 5) la variation intra classe. Enfin, le calcul de P (X), ou plutôt d après l équation 2.10, le calcul de V c (X) se fait d après la fréquence d occurrence dans une clique de chaque classe, par apprentissage. Le calcul de V c (X) est celui ci : V c (x i ) = 1 ( ) 1 B ln P (x i ), avec (2.16) Z P i (x i ) P (x i ) = x i P (x i )k d(i,j) (1 k) u(i,j) (2.17) où P i (x i ) est la probabilité de trouver la classe x i dans la clique i. d(i, j) est le nombre de bits différents entre deux cliques de classes x i et x j. u(i, j) est le nombre de bits identiques entre deux cliques de classes x i et x j. k est un coefficient de lissage. Cependant, les auteurs soulignent que leur méthode ne permet pas d améliorer de manière significative les méthodes déjà existantes. Mais la définition de la fonction d énergie ainsi que de la variance peuvent être améliorés et ainsi augmenter les performances. La même année, un autre chercheur proposa une approche tout aussi différente : l utilisation d un modèle de montée des eaux (Water Flow Model). Montée des eaux [KJP02] L idée que Kim proposa fut d imaginer qu une image est en réalité une surface tridimensionnelle, avec les niveaux de gris représentant l altitude. Ainsi, un pixel noir représente une vallée et un pixel blanc une montagne. En utilisant cette représentation, il simule une pluie, uniformément répartie sur toute la surface de l image, pour ensuite calculer l écoulement de l eau. En répétant plusieurs fois l algorithme, et en étudiant les zones «sèches» et les zones «humides», il est possible alors de séparer en deux classes l image. Le modèle utilisé pour le mouvement de l eau se base sur la recherche locale du plus bas niveau de gris. L algorithme réitère plusieurs fois le déplacement d une fenêtre centrée autour du pixel représentant le minimum local pour simuler l écoulement de l eau. Enfin, une méthode de seuillage global binarise l image en fonction du niveau de l eau. Mais cette méthode a l inconvénient majeur d avoir un paramètre manuel à ajuster : le nombre d itérations pour l algorithme d écoulement de l eau. Ce paramètre, global, n est pas adapté à toutes les images, et donc à toutes les propriétés. Il y a donc des images pour lesquelles la méthode ne marche pas bien du tout. 20

21 Méthode de Gatos et al. [GPP06] Bien qu il existe de nombreuses méthodes de binarisation, aucune ne résout le problème de façon générique. Certaines nécessitent un ajustement manuel des paramètres, d autres ne prennent pas en compte les différences d éclairage, et d autres sont très sensibles au bruit. L idée qu ils eurent alors est de combiner différentes méthodes ayant des propriétés complémentaires afin de réaliser une binarisation automatique capable de traiter des documents dégradés. Ils décrivent leur méthode comme une succession de cinq phases. La première cherche à améliorer la qualité du document. Le choix du filtre s est porté sur Wiener (cf. page 12) pour sa capacité à lisser le fond et à augmenter le contraste. Ils cherchent ensuite à estimer la valeur du fond de l image. Ils réalisent cette opération en deux phases. En utilisant l algorithme de Sauvola [SP00], il fait une première estimation de l avant plan. Une fois les régions détectées, les pixels détectés comme objet sont remplacés par une interpolation avec les pixels voisins. I(x, y) si S(x, y) = 0 B(x, y) = P x+dx P y+dy ix=x dx iy=y dy (I(ix,iy)(1 S(ix,iy))) P x+dx P y+dy ix=x dx iy=y dy ((1 S(ix,iy))) si S(x, y) = 1, (2.18) avec : - B(x, y) : image du fond estimée ; - I(x, y) : image d origine après le filtrage de Wiener ; - S(i x, i y ) : Image binaire obtenue à partir de la segmentation de Sauvola. Le seuillage final est réalisé en comparant l image filtrée avec l image du fond. Les zones de texte sont détectées si la distance entre l image filtrée et l image de fond est supérieure à un seuil d. Ce seuil d doit varier en fonction de l image du fond, pour que dans le cas d un fond sombre, le seuil soit fixé plus bas pour pouvoir séparer le texte du fond. Cette opération est donnée par la formule : { 1 si B(x, y) I(x, y) > d(b(x, y)) T (x, y) =, (2.19) 0 sinon avec : - T (x, y) : image binaire binale ; - d : fonction de seuillage. Le seuil d est donc fonction de la distance moyenne δ entre l image du fond et l image filtrée. Une première évaluation leur avait permis de fixer d = K δ. Cependant, dans le cas d une image sombre, le seuil K (qui est fixé à 0,8) n est plus bon. Donc pour que la méthode soit correcte dans le cas où l illumination du document ne serait pas constante, ils cherchèrent à adapter la constante en fonction de l intensité moyenne du fond. Ils utilisent pour cela une fonction sigmoïde permettant d adapter «en douceur» la constante. Finalement, d est calculé ainsi : d(b(x, y)) = q δ 1 + exp - d(b(x, y)) : seuillage final en fonction de l image binaire ; - q, p 1 etp 2 : constantes permettant d ajuster le niveau de seuil ; 21 (1 p 2 ) ( ) + p 2 4B(x,y) + 2(1+p 1) b (1 p 1 ) 1 p 1 (2.20)

22 - b(x) : moyenne de la couleur du fond dans une fenêtre entourant x, y. Enfin, la dernière phase permet d enlever les bruits détectés comme étant du texte. Cette phase de posttraitement permet aussi de préserver la connexité des pixels. Elle est effectué en deux parties : la première permet d éliminer les pixels isolés en comparant leur voisinage, la seconde permet d ajouter des pixels là où il y a un «trou» en comparant le nombre de pixels de texte avec un seuil. La méthode est testée face à quatre algorithmes (voir figure 2.7), dont celui de Sauvola, et les résultats sont très intéressants. La distance entre le texte réel et les caractères reconnus est bien plus faible que pour les autres méthodes. Hélas, bien que la méthode ait de très bon résultat, elle ne permet pas de binariser un texte blanc sur un fond noir. En effet, à plusieurs reprises, l hypothèse que le texte se trouve dans les valeurs faibles des niveaux de gris empêche cette généralisation. Il n y a pas, à ma connaissance, de méthode permettant de s affranchir efficacement de cette contrainte. (a) (b) (c) (d) (e) (f) FIG. 2.7 Différents filtrages : (a) image originale ; (b) méthode d Otsu [N.O79] ; (c) méthode de Niblack [Nib86] ; (d) méthode de Sauvolaet al. [SP00] ; (e) méthode de Kim et al. [KJP02] ; (f) méthode de Gatos et al. [GPP06] 22

23 Conclusion La binarisation est encore un sujet de recherche très actif, malgré le nombre de publications dans ce domaine. En effet, il est bien souvent nécessaire d adapter une technique en fonction de la problématique, et puisqu il existe différentes problématiques, il existe différentes solutions. Le tableau 2.1 résume les différentes méthodes de binarisation rencontrées au cours de l état de l art en mettant en avant les avantages et les inconvénients de chacune des méthodes. Par ailleurs, il est important de bien séparer les difficultés de binarisation liées à un éclairage non uniforme (ce dont la majorité des techniques traitent correctement) des difficultés liées à un fond non uniforme (comme du texte sur une illustration). Nom Année Type Principe Inconvénients 1979 Seuillage D après l histogramme, Otsu global [N.O79] Bernsen [Ber86] Niblack [Nib86] Trier [TT95] Wu [WM98] Sauvola [SP00] Kim [KJP02] 1986 Seuillage local 1986 Seuillage local 1995 Seuillage local 1998 Seuillage global 2000 Seuillage local 2002 Seuillage local cherche à maximiser la variance intra-classe du «texte» et du «fond». Estime la valeur du seuil en faisant la moyenne de la plus haute et la plus basse valeur de la fenêtre. Amélioration de [Ber86] : prise en compte de la variance et de la moyenne. «Ternarise» l image en fonction du gradient puis utilise une heuristique pour réduire à deux classes. «Floute» l image pour mieux séparer l histogramme et utilise une méthode de seuillage global [N.O79]. Insère des constantes dans la méthode de [Nib86] afin d améliorer la méthode sur les zones uniformes. Utilise la valeur des pixels comme courbes de niveaux pour simuler une montée des eaux. Problèmes pour les documents mal éclairés. Le seuil est trop bas lorsque la fenêtre est centrée sur du fond. Même problème que [Ber86] : apparition de bruit sur les zones uniformes. L utilisation de seuils définis empiriquement rend la méthode peu robuste. Problèmes lorsqu il n y a pas deux modes distincts sur l histogramme. Les constantes à ajuster empêchent la méthode de traiter parfaitement des documents non uniformes. Difficultés à adapter le débit de l eau ou le nombre d itérations au document. Suite page suivante... 23

24 Suite de la page précédente... Nom Année Type Principe Inconvénients Wolf [WD02] 2002 Seuillage local Utilise les champs de Markov pour savoir où se trouvent les L utilisation de [SP00] rend la technique victime des mêmes Garain [GPH05] Gatos [GPP06] 2005 Seuillage local 2006 Seuillage local caractères. Utilise les composantes connexes pour créer un graphe d adjacence qui est ensuite réduit. Cherche à estimer le fond pour ensuite faire un seuillage sur la différence entre le fond et l image d origine. TAB. 2.1 Différentes techniques de binarisation limitations que pour Sauvola. Marche mal si l image à traiter contient des illustrations. Très bonnes performances Segmentation ascendante La catégorie des algorithmes de segmentation ascendante est caractérisée par le fait que l analyse part de composants de bas niveau (comme les pixels) pour essayer de les fusionner en utilisant des heuristiques. Il existe de nombreuses variantes, certaines se focalisant sur la caractérisation des composants de bas niveaux, tandis que d autres cherchent à bien modéliser les règles de fusion des régions. La grande majorité des techniques utilisent la notion de composantes connexes. Ce sont des composants de bas niveau ayant les mêmes propriétés (comme un même niveau de gris) et qui sont liés spatialement. Il existe plusieurs définitions de cette notion de «relation spatiale» comme la 4-connexité ou la 8-connexité. La première méthode étudiée est encore très utilisée car relativement simple à mettre en œuvre. Il s agit de la méthode dite RLSA (Run Length Smoothing Algorithm) [WCW82]. Algorithme RLSA [WCW82] Il s agit d une méthode itérative basée sur des opérations morphologiques de traitement d image. Le principe de cette méthode est de noircir toute séquence de pixels blancs comprise entre deux pixels noirs, de longueur inférieure à un seuil donné. En pratique l algorithme est appliqué horizontalement et verticalement sur l image binaire originale avec des seuils éventuellement différents pour l horizontale et la verticale, puis une opération «ET logique» est appliquée entre les deux images lissées obtenues. L extraction des composantes connexes de l image résultante permet d obtenir les entités de la structure physique sur un niveau hiérarchique donné. On peut ainsi, en répétant la procédure avec des seuils de lissage horizontal et vertical différents, extraire itérativement les blocs de l image, puis les lignes de texte et les mots. Ces seuils de lissage sont les seuls paramètres de l algorithme RLSA. Ils contrôlent la manière dont les composantes sont fusionnées sur un niveau de segmentation prédéterminé. Par exemple pour segmenter des lignes de texte horizontales, droites et bien espacées, on pourra utiliser un seuil de lissage vertical 24