Champ de Markov couple pour la segmentation d images texturées

Transcription

1 Champ de Markov couple pour la segmentation d images texturées Juliette Blanchet INRIA Rhône-Alpes Equipes Mistis et Lear

2 1 Segmention d images par champ de Markov caché 2 Segmentation de textures 3 Résultats expérimentaux

3 1 Segmention d images par champ de Markov caché 2 Segmentation de textures 3 Résultats expérimentaux

4 Segmentation d images Observations X = (X i ) i S Retrouver la classification Y = (Y i ) i S Y champ de Markov f(x y) = i f(x i y i ) } (X,Y) est un champ de Markov caché avec bruit indépendant (HMF-IN)

5 Champ de Markov : définition Y = {Y i, i S}, discret (Y i [1,..., K]) S spatialement ordonné : N i = {voisins de i S}, C = {cliques} Y est un champ de Markov { P(yi y z, S\{i} ) = P(y i y Ni ) P(y) > 0 y, P(y) = W 1 exp( H(y)) (mesure de gibbs)

6 Champ de Markov : définition Y = {Y i, i S}, discret (Y i [1,..., K]) S spatialement ordonné : N i = {voisins de i S}, C = {cliques} Y est un champ de Markov { P(yi y z, S\{i} ) = P(y i y Ni ) P(y) > 0 y, P(y) = W 1 exp( H(y)) (mesure de gibbs) où : W = exp( H(y)) (constante de normalisation, incalculable) y H(y) = V c (y c ) (fonction d énergie) c C

7 Champ de Markov : exemple Modèle de Potts : H(y) = β i j 1 y i=y j β = 0.3 β = 0.4 β = 0.5 β = 0.6

8 Champ de Markov : exemple Modèle de Potts : H(y) = β i j 1 y i=y j β = 0.3 β = 0.4 β = 0.5 β = 0.6 Modèle de Potts généralisé : H(y) = i j B y i,y j B =( ) B = ( ) B = ( ) B =( )

9 Approximation en champ moyen P(y) incalculable Approche de type Champ moyen pour se ramener à un système de variables indépendantes. Pour un site i : j N(i), y j IE[Y j ] = µ j système de variables indépendantes P(y) i P(y i µ Ni ) P(y) i P(y i y N i )

10 Approximation en champ moyen P(y) incalculable Approche de type Champ moyen pour se ramener à un système de variables indépendantes. Pour un site i : j N(i), y j IE[Y j ] = µ j système de variables indépendantes P(y) i P(y i µ Ni ) P(y) i P(y i y N i ) Algorithme Champ moyen-em (MF-EM) sur (X,Y) : à chaque itération créer le champ des constantes y. appliquer l algorithme EM sur le système factorisé. estimation des paramètres, classification

11 Remarques Y est un champ de Markov et f(x y) = i S f(x i y i ) (X,Y) est un champ de Markov d énergie H(y) + i logf(x i y i )

12 Remarques Y est un champ de Markov et f(x y) = i S f(x i y i ) (X,Y) est un champ de Markov d énergie H(y) + i logf(x i y i ) Généralisation 1 : (X,Y) est un champ de Markov mais f(x y) i f(x i y i ) Approximation en champ moyen à (X,Y) MF-EM reste applicable, mais formules non explicites (descente de gradient)

13 Remarques Y est un champ de Markov et f(x y) = i S f(x i y i ) (X,Y) est un champ de Markov d énergie H(y) + i logf(x i y i ) Généralisation 1 : (X,Y) est un champ de Markov mais f(x y) i f(x i y i ) Approximation en champ moyen à (X,Y) MF-EM reste applicable, mais formules non explicites (descente de gradient) Généralisation 2 : Y non markovien? Ajout d un champ auxiliaire Z tel que : (Y,Z) est un couple markovien et f(x y,z) = i f(x i y i, z i ) MF-EM reste applicable à (X,Y,Z)

14 1 Segmention d images par champ de Markov caché 2 Segmentation de textures 3 Résultats expérimentaux

15 Reconnaissance de textures Apprentissage sur les images de chaque texture : Brique Tissu Sol modèle, paramètres Reconnaissance de nouvelles images :

16 Reconnaissance de textures Apprentissage sur les images de chaque texture : Brique Tissu Sol modèle, paramètres Reconnaissance de nouvelles images :

17 Reconnaissance de textures Apprentissage sur les images de chaque texture : Brique Tissu Sol modèle, paramètres Reconnaissance de nouvelles images : + Dépendance spatiale des données d une image + Données cachées Champ de Markov caché

18 Modélisation Observations X = {X i, i S} Retrouver la texture correspondante Y = {Y i, i S} Une texture = région non homogème plusieurs classes ajout d un champ auxiliaire Z = {Z i, i S} ( sous-classes) tel que : V = (Y, Z) markovien f(x y,z) = i f(x i y i, z i ) } (X,V) champ de Markov caché avec bruit indépendant (HMF-IN)

19 Modélisation Observations X = {X i, i S} Retrouver la texture correspondante Y = {Y i, i S} Une texture = région non homogème plusieurs classes ajout d un champ auxiliaire Z = {Z i, i S} ( sous-classes) tel que : V = (Y, Z) markovien f(x y,z) = i f(x i y i, z i ) } (X,V) champ de Markov caché avec bruit indépendant (HMF-IN) (Y,Z) Y X X

20 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes

21 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes (Y,Z) est un champ de Markov

22 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes (Y,Z) est un champ de Markov Ni Y ni Z ne sont des champs de Markov

23 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes (Y,Z) est un champ de Markov Ni Y ni Z ne sont des champs de Markov Z y est un champ de Markov

24 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes (Y,Z) est un champ de Markov Ni Y ni Z ne sont des champs de Markov Z y est un champ de Markov (X,Z y) HMF-IN Apprentissage

25 Modélisation P(y,z) exp( β 1 yi=y j + i j } {{ } une texture est un bloc i j B yiy j (z i, z j ) ) } {{ } corrélation entre sous-classes (Y,Z) est un champ de Markov Ni Y ni Z ne sont des champs de Markov Z y est un champ de Markov (X,Z y) HMF-IN Apprentissage Avec V = (Y,Z), (X,V) HMF-IN Test

26 Apprentissage et Reconnaissance Apprentissage sur le HMF-IN (X,Z y) : P(z y) i P(z i z N i,y) i exp( j N i B yiy j (z i, z j )) Application de MF-EM pour estimer les matrices B et les paramètres Θ des f(. y i, z i ) (gaussiennes)

27 Apprentissage et Reconnaissance Apprentissage sur le HMF-IN (X,Z y) : P(z y) i P(z i z N i,y) i exp( j N i B yiy j (z i, z j )) Application de MF-EM pour estimer les matrices B et les paramètres Θ des f(. y i, z i ) (gaussiennes) Reconnaissance sur le HMF-IN (X,V) avec V = (Y,Z) P(y,z) P(y i, z i y N i,z N i ) exp(β 1 yi=y j + ˆB yiy j (z i, zj )) i i j N i j N i Application de MF-EM pour estimer β, avec ˆB et ˆΘ connus. Classification par MAP ou MPM : P(y x) P(y i, z i y N i,z N i )f(x i y i, z i ) z i i

28 1 Segmention d images par champ de Markov caché 2 Segmentation de textures 3 Résultats expérimentaux

29 Echantillon des textures Brique Moquette Tissu Sol 1 Sol 2 Marbre Bois 7 10 = 70 images

30 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

31 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

32 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

33 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

34 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

35 Données : descripteurs locaux Niveaux de gris : information faible En vision : descripteurs locaux données multidimentionnelles (128) en des points significatifs, irrégulièrement espacés description plus compacte et complète, structure locale graphe de voisinage de Delaunay

36 Résultats 2 modèles : modèle indépendant modélisation par champ de Markov couple caché 70 images uni-textures, 68 multi-textures. f(. y i, z i ) = gaussienne de matrice de covariance diagonale (Σ diag ) ou paramétrée pour la grande dimension (Σ hdim ) [cf C.Bouveyron] Mod. Cov. Brique Moq. Tissu Sol1 Sol2 Marbre Bois Ind. Σ diag Ind. Σ hdim Mark. Σ diag Mark. Σ hdim

37 Un exemple...

38 Perspectives Pour l instant, V = (Y, Z) est markovien d énergie H et f(x v) = i f(x i v i ) exp( i 1 2σ 2 v i (x i m vi ) 2 ) Généraliser au cas du bruit non indépendant : f(x v) i f(x i v i ) mais le couple (X,V) reste markovien. P(x,v) exp( i 1 2σv 2 (x i m vi ) 2 + q viv j (x i m vi )(x j m vj )+H(v)) i i j Approximation en champ moyen de P(x, v) MF-EM reste applicable