Reconnaissance de Formes approches région et contour 1
Objectif Définitions Détection et identification de formes et/ou Classification de formes Formes? Images (motifs ou géométries) Signaux (sons, parole, ecg, eeg, ) Données multidimensionnelles Données mathématiques 2
Applications et secteurs Chaînes de production Contrôle de la posture Détection de défauts Assemblage automatique Adaptation des traitements (taille de fruits, ) Reconnaissance de texte (OCR) Tri postal Contrôle Radar Sciences de la vie et de la terre Reconnaissance d espèces fossiles ou organiques Classification de seismes Imagerie satellitaire (cultures, catastrophes naturelles, ) 3
Secteurs porteurs Sécurité Détection d objets interdits aux portes d embarquement Surveillance de sites sensibles (banques, ) Biométrie (empreintes digitale, vocale, rétinienne, faciale, ) Défense Identification et suivi de cibles Robotique Domotique et automobile Commande vocale Médecine Détection d anomalies Assistance chirurgicale 4
Contexte Transformations basiques Transformations non basiques 5
Plan Formes et reconnaissance Descripteurs Taxinomie Domaines d application et représentations Caractéristiques générales Descripteurs de régions Grandeurs géométriques, moments, descripteurs de structure Descripteurs de contour Différentes représentations Cas cartésien : grandeurs géométriques, descripteurs de Fourier, CSS 6
Organisation Partie Cours Application : description de contour Codage de Freeman Séquence de tangentes Partie Implémentation Extraction de contour par suivi Reconnaissance de caractères d imprimerie (par descripteurs de Fourier) Calcul Reconstruction Identification 7
Différentes formes Régions : images binaires Contours : séquences de points Topologie simple/complexe A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 0 1 2 3 4 5 6 7 8 9 8
Reconnaissance de formes Etapes Détection (localisation et segmentation) Description Identification 9
Taxinomie de descripteurs? Approche Région Approche Contour Globale Structurale Globale Structurale Aire Nombre d Euler Excentricité Moments (géométriques, Zernike, Legendre) Méthode de grille Matrice de forme Enveloppe convexe Squelette Zhang, Lu 2004 Périmètre Compacité Excentricité Signature de Forme Distance de Hausdorff Descripteurs de Fourier Echelle-Espace Codage de Freeman Approximation polygonale B-splines Invariants 10
Domaines d application Approche Région Approche Contour Domaines «flous» similarité de région similarité de contour 11
Représentations et propriétés Approche Région Matrice de pixels (ordre 2D) ou version compressée (Run Length Code) Caractérisation globale uniquement Approche Contour Séquence de points (ordre 1D) Représentations multiples : cartésienne ou complexe (indice ou abscisse curviligne), polaire, séquence de tangentes, codage de Freeman, polygones, etc Caractérisation locale et globale Relation de proximité parfois ambigüe points de contour «éloignés» 12
Caractéristiques générales Complétude : reconstruction possible? «Invariance» : transformations permises? Rotation Translation Symétrie axiale Changement d échelle Robustesse à l échantillonnage et au bruit Comportement dans le cas de formes incomplètes 13
Descripteurs de région Grandeurs géométriques Aire, périmètre, diamètre Indices ou facteurs de forme Moments Géométriques Invariants de Hu Legendre, Zernike, ART Descripteurs de structure Enveloppe convexe Squelette 14
Grandeurs géométriques (1/5) Aire et périmètre A 16 P 16 A 13 P 20 très sensibles à l échantillonnage pour de petits objets 15
Grandeurs géométriques (2/5) Diamètre Définition : plus grande distance entre deux points quelconques Distance euclidienne, géodésique, etc 16
Grandeurs géométriques (3/5) Facteurs de forme Rapport isopérimétrique ou compacité p 2 P 4 S p 1 p 4 p 1 2 a b b a p 1 Invariant à la rotation et au changement d échelle Discrimination limitée 17
Grandeurs géométriques (4/5) Allongement (1) p rayon du plus grand rayon du pluspetit cercle inscrit cercle circonscrit Allongement (2) p A 2 4R max Concavité p perimètre de l' enveloppeconvexe P 18
Grandeurs géométriques (5/5) Rectangularité p max A Aire du rectangle englobant d'axe DFéret Excentricité e max D D p a b a b 19
Moments (1/3) Définition (moments d espace) M pq 1 WH W H x1 y1 x p y q f x, y ordre p+q où f décrit la région Surface (ordre 0) S M 00 Centre de gravité (ordre 1) x y M M M M 10 00 01 00 20
Moments (2/3) Moments centrés (invariants en translation) pq W H 1, WH 1 1 p q x x y y f x y x y Ordre 2 (matrice d inertie) 1 2 2 11 arctg orientation 20 02 e 20 2 20 02 4 02 2 11 excentricité 21
Moments (3/3) cas indéterminés 20 02 11 0 Moments normalisés (invariants en changement d échelle) p q pq avec 1 pour p q 2 2 pq 00 22
Moments invariants de Hu Définition : combinaison de moments normalisés d ordre 2 et 3 I I I I I 1 2 3 4 5, I 2 2 20 02 4 11 2 30 3 12 3 21 03 2 2 6 20, I 30 7 02 12 21 03 2 Invariants en translation, en changement d échelle, en rotation ou en symétrie axiale (sauf le 7 ème ) 23
Autres Moments Remplacement de par une autre base Polynômes de Legendre Polynômes de Zernike Angular Radial Transform (MPEG-7) x m y n 2 1 *,, f, V, f dd Fnm Vnm nm, 0 0 nm, R V A m n R n 1 2cos n n n 0 0 n m 1 A m e 2 jm 24
Enveloppe convexe (1/2) (Non) Convexité Région convexe englobante de surface minimale ou intersection de tous les ½ plans contenant la région 25
Enveloppe convexe (2/2) Arbre de concavité Construction récursive d enveloppes convexes et de résidus 26
Squelette (1/2) Principe lieu des centres de disques tangents (inscrits) et de diamètre maximal «ligne d arrêt du feu» Exemples impact non négligeable du contour! 27
Squelette (2/2) Description par nombre de branches 28
Région vs Motif Région # «enveloppe ou empreinte visuelle» Motif Région + {propriétés} : couleur, texture {propriétés} sans limites spatiales Descripteurs de motifs pour l identification ou le suivi Colorimétriques : histogramme de couleur Spatiaux : histogramme d orientation, de Gabor Composites : spatiogramme, matrices de co-occurrences, Tamura, corrélogramme de couleur, histogramme de couleur multi-échelle Distances Comparaison (Bhattacharyya, Jensen), transformation (Earth Mover) 29
Descripteurs de contour Différentes représentations (descripteurs?) Codage de Freeman (Chain Code) Généralisation Signature Séquence de tangentes Cas cartésien Grandeurs géométriques Descripteurs de Fourier Courbure Echelle Espace 30
Codage de Freeman (1/5) Méthode ancienne (Chain Code), retenue pour MPEG-4 Codage = point de départ + {déplacements} 31
Codage de Freeman (2/5) Différentes résolutions (N déplacements) 4 directions (2 bits) 8 directions (3 bits) 8 directions 16 déplacements (4 bits) 32
Codage de Freeman (3/5) Taille 33
Codage de Freeman (3b/5) Exercice 34
Codage de Freeman (4/5) Codage différentiel Changements de directions Codage = point de départ + premier déplacement + {virements} 35
Codage de Freeman (5/5) Propriétés Invariant par translation «Rotation» (multiple de 360/P degrés) par addition (modulo P) «Dilatation» par répétition Inversion (symétrie centrale) par complément Simplification Comparaison par mesure de similarité de chaînes de caractères Coût ou distances d édition (substitution, destruction, insertion) Algorithme de Wagner et Fisher 36
Généralisation Séquence de points (ordre 1D) obtenue par synthèse, suivi de contour, approximation polygonale, x t, yt C x n, y n t discret, continu? (modèle segment, parabolique, ) s x, ys abscisse curviligne discrète, continue?.,. origines? Nouvel échantillonnage souvent utile 1, Distance variable entre les points ( 2, 2, 5, 2 2, etc) Nombre de points fixe imposé pour l identification 37
Rayon (pixels) Signature (1/2) Représentation polaire Centre de gravité Distance à l origine en fonction de l angle 120 100 R f x 80 60 40 y 20 Propriétés Invariante par translation Rotation par translation des angles Adaptée uniquement aux formes «étoile» 0-4 -2 0 2 4 Angle (radians) 38
Rayon Rayon Signature (2/2) Exemples caractéristiques 2 1.5 1 0.5 0-4 -2 0 2 4 2 Angle (radians) 1.5 1 0.5 0-4 -2 0 2 4 Angle (radians) 39
Séquence de tangentes (1/2) Contour paramétré par son abscisse curviligne Codage par séquence mêlant angle à l origine et abscisse curviligne normalisée s s s 2 L s 0, s L s fonction L-périodique 40
Séquence de tangentes (2/2) Exemple 1 2 3 4 0 5 s 4 2 0 s 1 1 3 1 2 3 4 s3 s5 5 0 5 0 L s 2 41
Séquence de tangentes (2b/2) Exercice 0 0 42
Grandeurs géométriques Périmètre N 1 n0 2 2 P x x y y avec x, y x y n1 n n1 n N N 0, 0 Excentricité (axes d inertie du contour) e 20 2 20 02 4 02 2 11 avec pq 1 1 N n0 N p x x y y n n q 43
Descripteurs de Fourier (1/4) Contour = séquence périodique Formes réelles r n x x 2 y y 2 n n s échantillonné Forme complexe z n x n j y n Décomposition en série de Fourier c k N 1 1 n0 N c n e 2 j k n N 0...N-1 k 44
Descripteurs de Fourier (2/4) Propriétés Coefficients d ordre élevé : détails fins Relation nombre de coefficients et complexité Descripteurs de Fourier FD Invariants à la translation, à la rotation, au changement d échelle c 2,..., c 1 c N / 2 c 1 Identification Comparaison de formes selon l ordre croissant des descripteurs 45
Descripteurs de Fourier (3/4) Reconstruction Transformée inverse c n N k 1 0 c k e k 2 j n N n 0...N -1 2 Simplification 2 de contour 2par suppression 2 de coefficients 1.5 1.5 1.5 1.5 1 1 1 1 0.5 0.5 0.5 0.5 0 0 0 0 (N=160) -0.5-0.5-0.5-0.5-1 -1-1 -1-1.5-1.5-1.5-1.5 K=1 K=2 K=4 K=30-2 -2-2 -2-2.5-2 -1.5-1 -0.5 0-2.50.5-2 1-1.51.5-1 2-0.52.5 0-2.50.5-2 1-1.51.5-1 2-0.52.5 0-2.50.5-2 1-1.51.5-1 2-0.52.5 0 0.5 1 1.5 2 2.5 46
Descripteurs de Fourier (4/4) Exemple de reconstruction (N=560) 1 1 1 0 0 0-1 -1-1 -2-2 -2-3 -3-3 -4-4 -4-5 -5-5 -6-6 -6-7 -7-7 -8-2 0 2 4 6 8-8 -2 0 2 4 6 8-8 -2 0 2 4 6 8 K=1 K=2 K=3 1 1 1 0 0 0-1 -1-1 -2-2 -2-3 -3-3 -4-4 -4-5 -5-5 -6-6 -6-7 -7-7 -8-2 0 2 4 6 8-8 -2 0 2 4 6 8-8 -2 0 2 4 6 8 K=4 K=7 K=20 47
Curvature Scale Space (1/7) Notion de courbure Courbe paramétrée régulière 3 a, b c : R Vecteur tangent : t s c' s n(s) Courbure : Vecteur normal : k s dt ds c' ' s k( s) n s t(s) 48
Curvature Scale Space (2/7) Principe Courbures invariantes à la translation, à la rotation, mais pas au changement d échelle 120 Points d inflexion «invariants» 100 Stabilité forte par régularisation (lissage) 80 60 40 20 49
50 Curvature Scale Space (3/7) Mise en œuvre Calcul de courbure à plusieurs échelles Détection des passages par zéro 2 3/ 2 2, ', ', ', ", ", ' ), ( u y u x u y u x u y u x u k u g u y u y u g u y u y u g u x u x u g u x u x " )* (, " ' )* (, ' " )* (, " ' )* (, ' avec
Curvature Scale Space (4/7) Image CSS 500 450 400 350 500 points d inflexion 300 450 250 400 200 350 150 300 100 250 50 200 courbure 100 absolue 200 300 «corrigée 400 500» 600 150 100 50 100 200 300 400 500 600 51
Curvature Scale Space (5/7) Contour et points caractéristiques 120 100 80 60 40 20 52
Curvature Scale Space (6/7) Exemple animé 53
Curvature Scale Space (7/7) Identification Arbre de segments CSS s i Mise en correspondance par analyse descendante (des grandes échelles aux petites échelles) Invariance à la rotation par translation des abcisses 54