Reconnaissance de Forme Statistique

Transcription

1 Reconnaissance de Forme Statistique James L. Crowley Deuxième Année ENSIAG Deuxième semestre 2002/2003 Séance 6 24 et 26 mars 2003 Reconnaissance de Visage et le Analyse en Composantes Principales (PCA) Plan de la séance : La Fonction de Discrimination (Rappel)...2 La Reconnaissance de Visage...3 Prétraitements...3 Intercorrelation de motifs (NCC)...4 Apprentissage Supervisé :...7 Reconnaissance...8 L'analyse en Composantes Principales...9 Exemple : Reconstruction Reconnaissance avec PCA... 16

2 La Fonction de Discrimination (Rappel) La fonction de discrimination quadric est : g k (X ) = 1 2 Log{det(C k)} 1 2 (X µ k) T C k 1 (X µ k ) + Log{p(w k )} Par regroupement des termes : g k (X ) = X T (Dk ) X + d k T X + d ko. avec D k = 1 2 C k 1 d k = C 1 k µ k d ko = 1 2 (µ k T C k 1 µ k) 1 2 Log{det(C k)} + Log{p(w k )} Cette fonction est composée de trois termes : une quadrique X T (Dk ) X un linéaire : d k T X et un Constant : d ko 6-2

3 La Reconnaissance de Visage La reconnaissance de visage est une problème difficile en vision par ordinateur. Nous allons utiliser ce problème pour illustrer quelques techniques en Reconnaissance de Forme. Dans ces exemple nous allons exploiter quelque "pre-traitements" issue de la domaine de la vision par ordinateur. Conditions d'acquisition d'images: Nous allons supposer que les images etaient pris dans les conditions favorables : 1) Les images seront pris du vue frontal avec un sujet cooperative 2) Le visage est bien éclairé et l'éclairage ne change pas 3) La distance entre le visage et le caméra et fixe (plus/mois quelque cm). Pour simplifier la reconnaissance nous allons normaliser l'image par quelque "pretraitements". Prétraitements 1) Détecter le visage et éliminer le fond de l'image. (exemple par détection de couleur, ou par difference avec un fond adaptatif). 2) Détecter points clés. (keypoints). Par exemple les yeux et bouche. Ceci est fair par "intercorrelation" avec des motifs à chaque pixel 6-3

4 Intercorrelation de motifs (NCC). (Normalised Cross Correlation). Il s'agit d'une technique d'analyse d'image utilisé pour suivi de cible dans une séquence d'images. otif Zone de Recherche (ROI) Pour former le motif, on prend exemples d'image d'un œil, E m (i,j). Ces fenêtres d'exemple sont d'une taille IxJ choisi à la main. On traite chaque imagette, W m (i, j) comme un vecteur de N coefficients. X m (n) = E m (i, j) ou n = j*i + i. Par exemple, soit une images de taille 3 x 3 = 9 pixels. E(i, j) = On peut "réorganiser" l'image sous forme de vecteur N = I xj pixels. X(n) = Le motif moyenne, µ(n) est un vecteur de N composant. Le motif est l'image moyenne : µ(n) = 1 Xm (n) 6-4

5 Les observations sont les positions (i o, j o ) possible de l'image. A(i o, j o ). On les convertissait en vecteur n = j I + i : X no (n) = A(i o +i, j o +j). les variances des pixels sont égales : d σ dd 2 = σ 2 les variances des pixels sont indépendantes : i,j i j σ ij 2 = 0 Donc C k = σ 2 I S'il n'y a pas de position "a priori", ils sont égaux : p(ω i ) = const et donc g k (X ) = d k T X + d ko. ou d 1 k = σ 2 (n) d ko = 1 2σ 2( (n) 2 ) Log{σ} g k (X ) = 1 N σ 2 (n) X(x+no ) 1 n=1 2σ 2( (n) 2 ). Pour simplifier, on peut normaliser le motif. u (m, n) = = (m, n) 1 N 1 (m, n) 2 m=0 n=0 On obtient un inter corrélation "normalisée" par l'énergie (NCC): NCC( u, A(i,j)) = 1 m=0 N 1 n=0 u (m, n) A(i+m,j+n) Le NCC est le cosinus entre les vecteurs et A (i,j). Sa valeur est entre A(i,j) et A(i,j).. 6-5

6 3) Normalise l'imagette en position et échelle Ceci est fait par une transformation Affine T a estimer grace aux positions des points clés. Pour chaque pixel dans l'image destination, (i,j) on calcule la position dans l'image source. On affect la valeur gris du source a l'image de destination W(i,j) = Image(T a (i,j)). 4) Sous échantillon l'image. (exemple 32 x 32). Il est bien connu que les hommes peuvent reconnaître un visage même dans une image de faible resolution. On évalue W(i, j) pour une imagette de 32 x 32. for (i=1, i< 32, 1++) for (j=1, j< 32, j++) W(i,j) = Image(T a (i,j)). ême dans ces conditions, le problème est compliqué par 1) L'Orientation 3D du tête. 2) Les déformation du visage. Il faut apprendre un "modèle" pour la visage. 6-6

7 Apprentissage Supervisé : Soit K individus, T k. Pour chaque individu, on a k imagettes, X mk (i, j). Il faut estimer g k (X ) = X T (Dk )X + d k T X + d ko. avec D k = 1 2 C k 1 d k = C 1 k µ k d ko = 1 2 (µ k T C k 1 µ k) 1 2 Log{det(C k)} + Log{p(w k )} On traite chaque imagette, W mk (i, j) comme un vecteur de N = 32 2 = 1024 coefficients. X mk (n) = W mk (i, j) ou n = j* Par exemple, soit une images de taille 3 x 3 = 9 pixels. W(i, j) = On peut "réorganiser" l'image sous forme de vecteur N = 9 pixels. X(n) = Le visage moyenne, µ k (n) est un vecteur de N=1024 composants. Ensemble d'imagettes de la classe T k : X mk (n) = W mk (i, j) ou n = j*32 + i. Imagette moyenne de la classe T k : µ k (n) = 1 Xmk (n) Imagette moyenne zéro X ~ mk(n) = X mk (n) µ k (n) 6-7

8 La covariance, C k, est composée de 1024 x 1024 = 2 20 termes C k = E{ X ~ mk X ~ mk T } (pour une image de taille 2 n, il y a 2 2n pixels et 2 4n termes dans la covariance.) σ ij 2 = 1 (X ~ mk(i) X ~ mk(j) T ) ou bien : σ ij 2 = 1 Reconnaissance (Xmk (i) µ k (i))(x mk (j) µ k (j)) T Pour un imagette inconnus, X(n). k = arg-max {g k (X(n))} k avec g k (X ) = X T (Dk ) X + d k T X + d ko. La matrice D k = 1 2 C k 1 est de taille 1024 x 1024 Le vecteur d k T a 1024 coefficients. Peut-on simplifier? oui. Par exemple.: On peut supposer que les pixels ont tous la même variance, σ. Donc C k = σ 2 I NxN et donc D k = Dans ce cas : g k (X ) = d k T X + d ko. 1 2σ 2 I N est un constant. ou d k = 1 2σ 2 µ k et d ko = 1 2σ 2(µ k T µ k) Log{σ} + Log{p(ω k )} Ceci est une forme de reconnaissance par "intercorrelation". On peut faire mieux encore. On peut reduire le nombre de pixels par une analyse en composants principales. 6-8

9 L'analyse en Composantes Principales L'analyse en composant principales est une méthodes de déterminer une sous-espace "optimale" pour la reconstruction. Il peut s'appliquer au cas où le vecteur X serait composé d'une grande nombre de caractéristiques. Voici son application pour une ensemble de imagettes (tous k confondus). Soit une ensemble de imagettes, toutes classes confondus, W m (i, j), composé de N pixels : W m (i, j) pour m {1, }, tel que i [0, I-1], j [0, J-1], I x J = N On les exprime sous forme de vecteur : Ensemble d'imagettes X m (n)= W m (i, j) ou n = j*i + i. On cherche une base orthogonale ϕ (n)= {ϕ d (n)} d = 0, 1,... D pour représenter les X(n). telles que D <<. Imagette moyenne µ(n)= 1 Xm (n) Imagette moyenne zéro X ~ m(n) = X m (n) µ(n) Base orthogonal ϕ (n) = { ϕ d (n) } d = 0, 1,... D-1 Vecteur code α = <X ~ (n), ϕ (n)> Image reconstruite : N-1 X ^(n) = µ(n) + αn ϕ (n) n=0 Image de résidu : R(n) = X(n) X^(n) Energie de résidu : ε r 2 = n=1 N R 2 (n) 6-9

10 La covariance, C k, est composée de 1024 x 1024 = 2 20 termes C k = E{ X ~ mk X ~ mk T } (pour une image de taille 2 n, il y a 2 2n pixels et 2 4n termes dans la covariance.) σ ij 2 = 1 (X ~ mk(i) X ~ mk(j)) ou bien : σ ij 2 = 1 Une autre vue : (Xmk (i) µ k (i))(x mk (j) µ k (j)) Former la matrice X par la concaténation de vecteurs X ~ m(n) A = (X ~ 0(n) X ~ 1(n) X ~ 2(n)... X ~ (n) ) = A est N par. Chaque colonne est une image. La covariance de A, C = E{X ~ m X ~ m T } = A A T C= A A T = Pour une image de 32 x 32, le matrice C= A A T est de taille 1024 x Il y a un coefficient par pair de pixels. Chaque terme est la covariance d'une paire de pixels. C = A A T est de taille N x N 6-10

11 On cherche une ensemble orthogonales ϕ (n) = {ϕ d (n) d = 0, 1,... N tels que : ϕ T AA T ϕ = λ c λ c est une matrice diagonale des valeurs principales de C. Chaque colonne de ϕ est un vecteur directeur ϕ d (n). Les colonnes ϕ d sont orthogonales. Une telle matrice de rotation est fournie par une procedure d'analyse en composants principales. ( ϕ d (n), λ c ) = PCA(C). Pour une image de 32 x 32, le matrice C= AA T est de taille 2 10 x 2 10 = Pour une image de 512 x 512, le matrice C= AA T est de taille 2 18 x 2 18 = Heureusement, il y a une astuce pour éviter la matrice de covariance de N x N coefficients. Le rank de AA T est, ou est le nombre d'images. << N. Noter que B = A T A est de taille 2, est le nombre d'images. Chaque coefficient est une produit de deux images! N b ij 2 = Xi (n) X j (n) n=1 Pour < 512 on peut facilement calculer une matrice R de rotation tels que chaque colonne est un vecteur directeur orthogonal. Soit R les composantes principales de X ~ T X ~ R T A T A R = λ b On multiplie les deux cotés par R : R R T A T A R = A T A R = R λ b R T R = I. aintenant on multiplie par A A A T A R = A R λ b = (A T A ) A R = (A R) λ b = (A A T ) ϕ = ϕ λ c Donc ϕ= AR. 6-11

12 λ b sont les premiers valeurs propre de λ c et ϕ = AR Donc,l es vecteurs propres : ϕ d (n) = A R triés par λ b ϕ = AR = Les vecteurs propres de A T A sont aussi les premiers vecteurs propres de A A T Chaque colonne est un vecteur dans une base orthogonale. ϕ (n) = m-1 X ~ m (n) R(m,n) ϕ (n) fournit une base "ortho-normal" pour X m (n). Une image (normalisée) peut être exprimé par α d = <X(n), ϕ d (n) > = d=0 X(n)ϕd (n) Les valeurs α d sont un "code" qui représente X(n) pour la reconnaissance ou la transmission. 6-12

13 Exemple : (Réalisé par F. Bérard en 1995). 16 images pris au hazard dans une séquence de 2 minutes. Average Image 6-13

14 Components Principales : Eigen Values E E E E E E E E E

15 Reconstruction Image Reconstructed image (120 bytes) Error Image. Reconstruction (120 bytes) Image Error 6-15

16 Reconnaissance avec PCA Dans l'espace PCA, pour chaque individu, on fait une ensemble de k images. Ensemble d'imagettes de la classe T k : X mk (n) = W mk (i, j) ou n = j*32 + i. Imagette moyenne de la classe T k : µ k (n) = 1 Xmk (n) Imagette moyenne zéro X ~ mk(n) = X mk (n) µ k (n) Projection sur D y : Zmk = <X ~ mk, ϕ > La covariance, C k, est composée de D y x D y termes C k = E{ Zmk Zmk T } (pour une image de taille 2 n, il y a 2 2n pixels et 2 4n termes dans la covariance.) σ ij 2 = 1 ou bien : (Zmk (i) Z mk (j)) σ ij 2 = 1 (Zmk (i) µ k (i))(z mk (j) µ k (j)) ω k = arg-max {g k (Z } k ou g k (Z ) = Z T (Dk ) Z + d k T Z + dko. avec D k = 1 2 C k 1 d k = C 1 k µ k d ko = 1 2 (µ k T C k 1 µ k) 1 2 Log{det(C k)} + Log{p(ω k )} 6-16