Reconnaissance de Formes. approches région et contour

Transcription

1 Reconnaissance de Formes approches région et contour 1

2 Objectif Définitions Détection et identification de formes et/ou Classification de formes Formes? Images (motifs ou géométries) Signaux (sons, parole, ecg, eeg, ) Données multidimensionnelles Données mathématiques 2

3 Applications et secteurs Chaînes de production Contrôle de la posture Détection de défauts Assemblage automatique Adaptation des traitements (taille de fruits, ) Reconnaissance de texte (OCR) Tri postal Contrôle Radar Sciences de la vie et de la terre Reconnaissance d espèces fossiles ou organiques Classification de seismes Imagerie satellitaire (cultures, catastrophes naturelles, ) 3

4 Secteurs porteurs Sécurité Détection d objets interdits aux portes d embarquement Surveillance de sites sensibles (banques, ) Biométrie (empreintes digitale, vocale, rétinienne, faciale, ) Défense Identification et suivi de cibles Robotique Domotique et automobile Commande vocale Médecine Détection d anomalies Assistance chirurgicale 4

5 Contexte Transformations basiques Transformations non basiques 5

6 Plan Formes et reconnaissance Descripteurs Taxinomie Domaines d application et représentations Caractéristiques générales Descripteurs de régions Grandeurs géométriques, moments, descripteurs de structure Descripteurs de contour Différentes représentations Cas cartésien : grandeurs géométriques, descripteurs de Fourier, CSS 6

7 Organisation Partie Cours Application : description de contour Codage de Freeman Séquence de tangentes Partie Implémentation Extraction de contour par suivi Reconnaissance de caractères d imprimerie (par descripteurs de Fourier) Calcul Reconstruction Identification 7

8 Différentes formes Régions : images binaires Contours : séquences de points Topologie simple/complexe A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

9 Reconnaissance de formes Etapes Détection (localisation et segmentation) Description Identification 9

10 Taxinomie de descripteurs? Approche Région Approche Contour Globale Structurale Globale Structurale Aire Nombre d Euler Excentricité Moments (géométriques, Zernike, Legendre) Méthode de grille Matrice de forme Enveloppe convexe Squelette Zhang, Lu 2004 Périmètre Compacité Excentricité Signature de Forme Distance de Hausdorff Descripteurs de Fourier Echelle-Espace Codage de Freeman Approximation polygonale B-splines Invariants 10

11 Domaines d application Approche Région Approche Contour Domaines «flous» similarité de région similarité de contour 11

12 Représentations et propriétés Approche Région Matrice de pixels (ordre 2D) ou version compressée (Run Length Code) Caractérisation globale uniquement Approche Contour Séquence de points (ordre 1D) Représentations multiples : cartésienne ou complexe (indice ou abscisse curviligne), polaire, séquence de tangentes, codage de Freeman, polygones, etc Caractérisation locale et globale Relation de proximité parfois ambigüe points de contour «éloignés» 12

13 Caractéristiques générales Complétude : reconstruction possible? «Invariance» : transformations permises? Rotation Translation Symétrie axiale Changement d échelle Robustesse à l échantillonnage et au bruit Comportement dans le cas de formes incomplètes 13

14 Descripteurs de région Grandeurs géométriques Aire, périmètre, diamètre Indices ou facteurs de forme Moments Géométriques Invariants de Hu Legendre, Zernike, ART Descripteurs de structure Enveloppe convexe Squelette 14

15 Grandeurs géométriques (1/5) Aire et périmètre A 16 P 16 A 13 P 20 très sensibles à l échantillonnage pour de petits objets 15

16 Grandeurs géométriques (2/5) Diamètre Définition : plus grande distance entre deux points quelconques Distance euclidienne, géodésique, etc 16

17 Grandeurs géométriques (3/5) Facteurs de forme Rapport isopérimétrique ou compacité p 2 P 4 S p 1 p 4 p 1 2 a b b a p 1 Invariant à la rotation et au changement d échelle Discrimination limitée 17

18 Grandeurs géométriques (4/5) Allongement (1) p rayon du plus grand rayon du pluspetit cercle inscrit cercle circonscrit Allongement (2) p A 2 4R max Concavité p perimètre de l' enveloppeconvexe P 18

19 Grandeurs géométriques (5/5) Rectangularité p max A Aire du rectangle englobant d'axe DFéret Excentricité e max D D p a b a b 19

20 Moments (1/3) Définition (moments d espace) M pq 1 WH W H x1 y1 x p y q f x, y ordre p+q où f décrit la région Surface (ordre 0) S M 00 Centre de gravité (ordre 1) x y M M M M

21 Moments (2/3) Moments centrés (invariants en translation) pq W H 1, WH 1 1 p q x x y y f x y x y Ordre 2 (matrice d inertie) arctg orientation e excentricité 21

22 Moments (3/3) cas indéterminés Moments normalisés (invariants en changement d échelle) p q pq avec 1 pour p q 2 2 pq 00 22

23 Moments invariants de Hu Définition : combinaison de moments normalisés d ordre 2 et 3 I I I I I , I , I Invariants en translation, en changement d échelle, en rotation ou en symétrie axiale (sauf le 7 ème ) 23

24 Autres Moments Remplacement de par une autre base Polynômes de Legendre Polynômes de Zernike Angular Radial Transform (MPEG-7) x m y n 2 1 *,, f, V, f dd Fnm Vnm nm, 0 0 nm, R V A m n R n 1 2cos n n n 0 0 n m 1 A m e 2 jm 24

25 Enveloppe convexe (1/2) (Non) Convexité Région convexe englobante de surface minimale ou intersection de tous les ½ plans contenant la région 25

26 Enveloppe convexe (2/2) Arbre de concavité Construction récursive d enveloppes convexes et de résidus 26

27 Squelette (1/2) Principe lieu des centres de disques tangents (inscrits) et de diamètre maximal «ligne d arrêt du feu» Exemples impact non négligeable du contour! 27

28 Squelette (2/2) Description par nombre de branches 28

29 Région vs Motif Région # «enveloppe ou empreinte visuelle» Motif Région + {propriétés} : couleur, texture {propriétés} sans limites spatiales Descripteurs de motifs pour l identification ou le suivi Colorimétriques : histogramme de couleur Spatiaux : histogramme d orientation, de Gabor Composites : spatiogramme, matrices de co-occurrences, Tamura, corrélogramme de couleur, histogramme de couleur multi-échelle Distances Comparaison (Bhattacharyya, Jensen), transformation (Earth Mover) 29

30 Descripteurs de contour Différentes représentations (descripteurs?) Codage de Freeman (Chain Code) Généralisation Signature Séquence de tangentes Cas cartésien Grandeurs géométriques Descripteurs de Fourier Courbure Echelle Espace 30

31 Codage de Freeman (1/5) Méthode ancienne (Chain Code), retenue pour MPEG-4 Codage = point de départ + {déplacements} 31

32 Codage de Freeman (2/5) Différentes résolutions (N déplacements) 4 directions (2 bits) 8 directions (3 bits) 8 directions 16 déplacements (4 bits) 32

33 Codage de Freeman (3/5) Taille 33

34 Codage de Freeman (3b/5) Exercice 34

35 Codage de Freeman (4/5) Codage différentiel Changements de directions Codage = point de départ + premier déplacement + {virements} 35

36 Codage de Freeman (5/5) Propriétés Invariant par translation «Rotation» (multiple de 360/P degrés) par addition (modulo P) «Dilatation» par répétition Inversion (symétrie centrale) par complément Simplification Comparaison par mesure de similarité de chaînes de caractères Coût ou distances d édition (substitution, destruction, insertion) Algorithme de Wagner et Fisher 36

37 Généralisation Séquence de points (ordre 1D) obtenue par synthèse, suivi de contour, approximation polygonale, x t, yt C x n, y n t discret, continu? (modèle segment, parabolique, ) s x, ys abscisse curviligne discrète, continue?.,. origines? Nouvel échantillonnage souvent utile 1, Distance variable entre les points ( 2, 2, 5, 2 2, etc) Nombre de points fixe imposé pour l identification 37

38 Rayon (pixels) Signature (1/2) Représentation polaire Centre de gravité Distance à l origine en fonction de l angle R f x y 20 Propriétés Invariante par translation Rotation par translation des angles Adaptée uniquement aux formes «étoile» Angle (radians) 38

39 Rayon Rayon Signature (2/2) Exemples caractéristiques Angle (radians) Angle (radians) 39

40 Séquence de tangentes (1/2) Contour paramétré par son abscisse curviligne Codage par séquence mêlant angle à l origine et abscisse curviligne normalisée s s s 2 L s 0, s L s fonction L-périodique 40

41 Séquence de tangentes (2/2) Exemple s s s3 s L s 2 41

42 Séquence de tangentes (2b/2) Exercice

43 Grandeurs géométriques Périmètre N 1 n0 2 2 P x x y y avec x, y x y n1 n n1 n N N 0, 0 Excentricité (axes d inertie du contour) e avec pq 1 1 N n0 N p x x y y n n q 43

44 Descripteurs de Fourier (1/4) Contour = séquence périodique Formes réelles r n x x 2 y y 2 n n s échantillonné Forme complexe z n x n j y n Décomposition en série de Fourier c k N 1 1 n0 N c n e 2 j k n N 0...N-1 k 44

45 Descripteurs de Fourier (2/4) Propriétés Coefficients d ordre élevé : détails fins Relation nombre de coefficients et complexité Descripteurs de Fourier FD Invariants à la translation, à la rotation, au changement d échelle c 2,..., c 1 c N / 2 c 1 Identification Comparaison de formes selon l ordre croissant des descripteurs 45

46 Descripteurs de Fourier (3/4) Reconstruction Transformée inverse c n N k 1 0 c k e k 2 j n N n 0...N -1 2 Simplification 2 de contour 2par suppression 2 de coefficients (N=160) K=1 K=2 K=4 K=

47 Descripteurs de Fourier (4/4) Exemple de reconstruction (N=560) K=1 K=2 K= K=4 K=7 K=20 47

48 Curvature Scale Space (1/7) Notion de courbure Courbe paramétrée régulière 3 a, b c : R Vecteur tangent : t s c' s n(s) Courbure : Vecteur normal : k s dt ds c' ' s k( s) n s t(s) 48

49 Curvature Scale Space (2/7) Principe Courbures invariantes à la translation, à la rotation, mais pas au changement d échelle 120 Points d inflexion «invariants» 100 Stabilité forte par régularisation (lissage)

50 50 Curvature Scale Space (3/7) Mise en œuvre Calcul de courbure à plusieurs échelles Détection des passages par zéro 2 3/ 2 2, ', ', ', ", ", ' ), ( u y u x u y u x u y u x u k u g u y u y u g u y u y u g u x u x u g u x u x " )* (, " ' )* (, ' " )* (, " ' )* (, ' avec

51 Curvature Scale Space (4/7) Image CSS points d inflexion courbure 100 absolue «corrigée »

52 Curvature Scale Space (5/7) Contour et points caractéristiques

53 Curvature Scale Space (6/7) Exemple animé 53

54 Curvature Scale Space (7/7) Identification Arbre de segments CSS s i Mise en correspondance par analyse descendante (des grandes échelles aux petites échelles) Invariance à la rotation par translation des abcisses 54