Reconnaissance de caractères: Descripteurs de formes et classification. Philippe Foucher

Transcription

1 Reconnaissance de caractères: Descripteurs de formes et classification Philippe Foucher 1

2 Plan Introduction Pré-traitement Segmentation d images Morphologie mathématique Extraction de caractéristiques Classification Conclusion 2

3 But de la morphologie mathématique Au-delà du bruit additif ou multiplicatif besoin de remplir (ou détecter) les trous, lisser les bords, mettre en évidence des caractéristiques de l image. 3

4 Morphologie Mathématique Théorie complète et cohérente présentée par Serra (1982). Ensemble d opérateurs de traitement d images basés sur les formes. Principe: comparer les objets d une image par rapport à un ensemble géométrique connu (forme et taille données) appelé élément structurant. Opérateurs fondamentaux: dilatation, érosion, fermeture, ouverture. Serra J.: Image analysis and mathematical morphology, London, academic Press,

5 Dilatation (1) Image A avec un objet noté X (en blanc) Élément structurant: B A B (objet Y = objet X +rouge) Soit l élément structurant B centré sur le pixel (x,y) de l image A. A chaque (x,y) position on se pose la question: l élément structurant B touche-t-il en partie l objet X?. Si oui, l ensemble des pixels répondant à cette condition donne l objet Y. 5

6 Dilatation (2) Image A Élément structurant: B A B Dilatation de A par B (notée A B) 6

7 Image A avec un objet noté X (en blanc) Erosion (1) Element structurant B A B (objet Y=objet X- orange) Soit l élément structurant B centré sur le pixel (x,y) de l image A. A chaque position on se pose la question: l élément structurant est-il entièrement inclus dans X?. Si oui, l ensemble des pixels répondant à cette condition donne l objet Y 7

8 Image A Erosion (2) Element structurant B A B Erosion de A par B (notée A B) 8

9 Ouverture (1) A B AB dilatation AB = (A B ) B Ouverture = Erosion suivie d une dilatation 9

10 Ouverture (2) (A B ) B Image A L ouverture (érosion + dilatation) ne redonne pas l image initiale 10

11 Fermeture (1) A B A B Erosion A B = (A B ) B 11

12 Fermeture (2) (A B) B Image A La fermeture (dilatation+ érosion) ne redonne pas l image initiale 12

13 Intérêt Ouverture: élimine les isthmes et éléments fins. Fermeture: bouche les trous. Permet souvent de simplifier la forme à analyser 13

14 Exemple Ouverture morphologique Fermeture morphologique 14

15 Autres Applications Extraction de frontière (image initiale image érodée) Transformée en tout ou rien Remplissage de trous (fermeture et intersection avec image complémentaire) Amincissement/grossissement de régions (érosion, dilatation) Extraction du squelette 15

16 Transformée Hit or Miss (tout ou rien) Deux éléments structurants: B={B hit ; B miss }. Une image A et son complémentaire A c. HMT(A,B) = A B = (A B hit ) (A c B miss ) A B hit HMT(A,B) A c B miss 16

17 Exemples 4 éléments structurants (pour les 4 coins) Figure: repérage des coins 17

18 Autre exemple La HMT permet de mettre en évidence des éléments particuliers de l image 18

19 Squelette d une image Représentation squelettique d une forme en préservant la connectivité et la topologie (boucles) Squelettisation par amincissement séquentiel 19

20 Obtention du squelette (1) Amincissement simple (itération successive): Am(A,B) = A init HMT(A,B) Amincissement séquentiel (exemple de trois éléments structurants B={B 1 ; B 2 ; B 3 }) Am( A, B) = 3 i= 1 ( Am( A, B i )) (Union des trois amincis par B1; B2; B3) 20

21 Obtention du squelette (2) On répète le processus jusqu à idempotence (l image résultante ne change pas). Il existe plusieurs sortes de squelettes qui ne font pas appel à la morphologie mathématique mais plutôt à des transformées telles que la transformée en axe médian. 21

22 Plan Introduction Pré-traitement Segmentation d images Morphologie mathématique Extraction de caractéristiques Classification Conclusion 22

23 Représenter une forme Stocker ou transmettre une image à moindre coût. «méthodes avec préservation de l information reproduire exactement la forme à partir de ces descripteurs». Trier des formes séparer des formes sans reconnaissance Comparer la forme à d autres pour reconnaissance (problème de la reconnaissance de caractères ou de la parole). 23

24 Choix des caractéristiques (1) Infinité de caractéristiques à partir d une forme en 2D. Difficulté pour choisir les caractéristiques pertinentes (discrimination des formes). 24

25 Choix des caractéristiques (2) Dépend de l application (stockage ou reconnaissance?). Dépend des données à traiter (écriture, reconnaissance de visages, ) Dépend de la qualité des données à traiter (formes bruitées ou non ) 25

26 Description de la forme: Approches Descripteurs de forme Approche contour -Prise en compte du contour seul. l intérieur de la forme n est pas considéré. Approche région - Prise en compte des détails internes (trous ou nœuds) 26

27 Méthodes locales ou globales Descripteurs de forme Approche contour Approche région Méthodes structurelles Méthodes globales Méthodes structurelles Méthodes globales 27

28 Structurelles/globales? Méthodes structurelles: Analyse locale du contour ou de la forme à partir d extraction de structures (segments, primitives, formes). Méthodes globales: descripteurs de l ensemble de la forme. 28

29 Méthodes locales ou globales Approche contour Méthodes structurelles: - codage de chain (ou Freeman) - polygones - syntaxique (primitives) Méthodes globales: -Descripteurs simples (périmètre, compacité, eccentricité, rectangularité ) - signature de la forme - descripteurs de Fourier 29

30 Méthodes locales ou globales Approche région Méthodes structurelles: - enveloppe convexe - axe médian (squelette) - Méthodes globales: - descripteurs simples - Nombre d Euler; topologie - moments géométriques - 30

31 Approche structurelle (contours) Approche locale sélection de structures ou primitives. Les approches diffèrent selon la façon dont les primitives sont sélectionnées. Encodage selon une chaîne de caractères 31

32 Codage de chain (ou codage de Freeman) Connexité Connexité

33 Ré-échantillonnage de la grille

34 Choix du point de départ Plusieurs représentations - Chaque code est une chaîne circulaire - On choisit le point de départ qui minimise l entier de codage :

35 Avantages/inconvénients Avantages Description très précise de la forme Mise en œuvre simple Préservation de l information Inconvénients traitement long sensible au bruit et aux détails inutiles problème avec facteur d échelle et sensible à la rotation 35

36 Approximations polygonales Création itérative d un polygone Choix du segment le + long Division (points les plus loin) Augmentation du polygone Test d arrêt 36

37 Avantages/inconvénients Avantages Peu sensible au bruit, on ne s arrête pas aux détails Technique simple Intermédiaire vers autre descripteur Inconvénients forme imparfaite (des détails sont peut-être importants) mise en œuvre assez longue Non conservation de l information 37

38 Etude syntaxique Obtention d un chaîne de caractères: Décomposition de la forme en segments (appelés primitives a,b,c,d, ) S =dbabcbabdbabcbab 38

39 Etude syntaxique a b a b c b a b b d a b b c b a d b c Mise au point d une grammaire d 39

40 Avantages/inconvénients Avantages Description précise de la forme Technique simple Inconvénients traitement long nécessité d une grammaire Non conservation de l information 40

41 Approche globale (contours) Étude de l ensemble d un contour (d un seul bloc) Pas de décomposition ou codage préalable (sauf pour Descripteurs Fourier) 41

42 Descripteurs simples En gros tous les descripteurs géométriques: - périmètre - Aire (surface pleine) - rectangularité, eccentricité, compacité - nombre d angles droits/aigus/obtus 42

43 Descripteurs simples Périmètre/aire: limité, dépendant facteur d échelle Circularité = Aire/périmètre² (compacité = 4Π*circularité) Rectangularité = Aire/Aire rectangle exinscrit Eccentricté = longueur axe majeur/ axe mineur Nombre d angles droits/aigus/obtus: attention à la concavité 43

44 Avantages/inconvénients Avantages Technique très simple Calcul très rapide Inconvénients Non conservation de l information Pas assez de pouvoir discriminant 44

45 Exemples de problème (1) b même circularité a même rectangularité 45

46 Signatures de la forme Représentation de la forme par une fonction de type y=f(x) (par exemple, distance par rapport au centre de gravité, ou coordonnées complexes) 46

47 Signatures de la forme ρ ρ θ θ 47

48 Avantages/inconvénients Avantages - préservation de l information Inconvénients - descripteur intermédiaire (il faut décrire le signal obtenu après) - très sensible au bruit 48

49 Descripteurs de Fourier A partir du signal obtenu précédemment, Transformée de Fourier Coefficients appelés descripteurs de Fourier Outil très puissant, peu sensible au bruit Préservation de l information Problème de calcul de distance On y reviendra quand on verra la Transformée de Fourier 49

50 Approche région Prise en compte de tous les pixels à l intérieur de la forme. Certains descripteurs simples (vus dans l approche contour) sont utilisés ici mais en prenant en compte les éventuels trous. 50

51 Topologie Nombre de trous et nombre de composantes connexes de l image Nombre d Euler: différences entre nombre de composantes connexes et nombre de trous. Exemple: Euler = 1 51

52 Avantages/inconvénients Avantage - très simple et peu sensible au bruit - très utile pour reconnaissance de caractères ou figures géométriques Inconvénient - non préservation de l information 52

53 Moments géométriques (1) Moment m d ordre p+q: distribution des pixels dans l image m p M 1 N 1 p q, q = x y f ( x, y) x= 0 y= 0 m 0,0 : aire des objets ; f(x,y): luminance du pixel (x,y), c est-à-dire noir ou blanc en binaire 53

54 54 Moments géométriques (2) Invariance par translation ), ( ) ( ) ( , y x f y y x x q g M x N y p g q p = = = µ Invariance par homothétie (facteur d échelle) γ µ µ η 0 0,,, q p q p = Avec γ = (2+p+q)/2

55 Moments géométriques (3) Φ Φ Invariance par rotation (7 moments invariants) Φ Φ =η + 1 2,0 η0,2 ( η 2,0 η0,2 )² + 4 1, 1² 2 = η ( η3,0 3η 1,2 )² + (3η 2,1 3 0, 3)² 3 = η ( η 3,0 + η1,2 )² + ( η 2,1 + 0, 3)² 4 = η 55

56 Avantages/inconvénients Avantages - très robuste et peu sensible au bruit - méthode de région - préservation de l information Inconvénients - difficulté à corréler les moments avec la forme en elle-même. 56

57 Méthodes contextuelles (régions) Décomposition en polygones convexes (convex hull) Décomposition en axe médian (squelette) 57

58 Axe médian (squelette) Analogie avec feu de prairie Remarque: Il existe différentes sortes de squelettes. Le squelette obtenu ici est obtenu par la transformée en axe médian (analogie feu de prairie). Il diffère un peu de celui obtenu par morphologie mathématique (transparent N 19). Cependant les applications (transparent suivant) sont les mêmes. 58

59 Applications L analyse du squelette peut permettre de décrire la forme: - nombre de ramifications - longueur des ramifications - nombre de nœuds 59

60 Avantages/inconvénients Avantages - simplification de la forme - très robuste - Méthodes avec préservation de l information (à vérifier selon les squelettes) Inconvénients - complexe à implémenter - squelette non standard 60

61 Conclusion (1) Multitude de méthodes de reconnaissance de forme (autres moments, matrices de forme, B-splines, transformée de Hough, transformée en ondelettes, distance de Hausdorff, ) Méthodes structurelles un peu plus coûteuses (en terme informatique) et sensibles au bruit 61

62 Conclusion (2) Méthodes dépendent de l application: Transformée de Fourier, moments sont des méthodes très robustes 62

63 Références Russ J.C. (1999): The image processing handbook, CRC press (3rd edition) New york, USA Gonzalez and woods (1993): Digital image processing, Addison-Wesley Cours de JP Thiran: Duda, Hart and Stork (2001): Pattern Classification (2nd ed.), John Wiley and Sons. Cocquerez JP et Philipp S. Filtrage et segmentation Serra J.: Image analysis and mathematical morphology, London, academic Press,