MCMC et approximations en champ moyen pour les modèles de Markov

Transcription

1 MCMC et approximations en champ moyen pour les modèles de Markov Gersende FORT LTCI CNRS - TELECOM ParisTech En collaboration avec Florence FORBES (Projet MISTIS, INRIA Rhône-Alpes). Basé sur l article: A convergence theorem for Variational EM-like algorithms : application to image segmentation. IEEE Transactions on Image Processing, 16(3): ,2007

2 Problème y : Vecteur d observations, de (grande) dimension N. ψ : paramètre qui gouverne la loi des observations L Y ( ; ψ) Objectif : estimer le paramètre ψ au sens du maximum de vraisemblance max ψ L Y (y; ψ), dans un contexte de données latentes, à structure de dépendance complexe.

3 Problème 1. Inférence dans les modèles à données manquantes EM Champ de markov caché 2. EM variationnel VEM Champ moyen 3. Coupler approximation type champ moyen, et simulation Approches purement déterministes Approches purement stochastiques Approches déterministes + stochastiques. 4. Comparaison des approches : estimation de paramètres dans un modèle de Potts caché.

4 Inférence dans des modèles à données manquantes I. Inférence dans les modèles à données manquantes

5 Inférence dans des modèles à données manquantes Algorithme EM Algorithme EM Résolution itérative du problème d optimisation max ψ L Y (y; ψ). Chaque itération comporte deux étapes: (i) Etape E : Z Q(ψ; ψ (t) ) := ln L (Z,Y ) (z,y; ψ) L Z Y (z y; ψ (t) ) h = E ln L (Z,Y ) (Z,y; ψ) y; ψ (t)i. (ii) Etape M : ψ (t+1) := max ψ Q(ψ; ψ(t) ).

6 Inférence dans des modèles à données manquantes Algorithme EM Algorithme EM Résolution itérative du problème d optimisation max ψ L Y (y; ψ). Chaque itération comporte deux étapes: (i) Etape E : Z Q(ψ; ψ (t) ) := ln L (Z,Y ) (z,y; ψ) L Z Y (z y; ψ (t) ) h = E ln L (Z,Y ) (Z,y; ψ) y; ψ (t)i. (ii) Etape M : Par construction : ψ (t+1) := max ψ Q(ψ; ψ(t) ). L Y (y; ψ (t+1) ) L Y (y; ψ (t) ). Convergence de la suite {ψ (t) } vers un max local de ψ L Y (y; ψ).

7 Inférence dans des modèles à données manquantes Estimation de paramètres dans modèle HMRF Hidden Markov Random Field (discret): loi des données latentes: Champ de Markov (discret) L Z (z; ψ) = W (β) 1 exp( H(z; β)), ψ = (β, ) z Z avec W (β) = z exp( H(z; β)) H(z; β) = c C V c (z c ).

8 Inférence dans des modèles à données manquantes Estimation de paramètres dans modèle HMRF Hidden Markov Random Field (discret): loi des données latentes: Champ de Markov (discret) L Z (z; ψ) = W (β) 1 exp( H(z; β)), ψ = (β, ) z Z avec W (β) = z exp( H(z; β)) H(z; β) = c C V c (z c ). Attache aux données : N L Y Z (y z; ψ) = p k (y k z k ; θ) ψ = (β,θ). k=1

9 Inférence dans des modèles à données manquantes Estimation de paramètres dans modèle HMRF Hidden Markov Random Field (discret): loi des données latentes: Champ de Markov (discret) L Z (z; ψ) = W (β) 1 exp( H(z; β)), ψ = (β, ) z Z avec W (β) = z exp( H(z; β)) H(z; β) = c C V c (z c ). Attache aux données : N L Y Z (y z; ψ) = p k (y k z k ; θ) ψ = (β,θ). k=1 Difficultés Loi sur un espace de grande dimension. Constante de normalisation W (β) incalculable.

10 Inférence dans des modèles à données manquantes Estimation de paramètres dans modèle HMRF EM pour inférence dans HMRF non implémentable car Etape E : intégration sous une loi complexe LZ Y, en grande dimension: ex. Z = {1,,K} N

11 Inférence dans des modèles à données manquantes Estimation de paramètres dans modèle HMRF EM pour inférence dans HMRF non implémentable car Etape E : intégration sous une loi complexe LZ Y, en grande dimension: ex. Z = {1,,K} N Etape M : Il faut savoir maximiser en ψ = (β,θ) X L Y Z (y z; θ) L Z Y (z y; ψ (t) ) ln W (β) X z z H(z; β) L Z Y (z y; ψ (t) ) En pratique, la maximisation en θ: explicite. Mais la maximisation en β demande la connaissance de W (β).

12 Variational EM et Approximation en champ moyen II. Variational EM et Approximation en champ moyen

13 Variational EM et Approximation en champ moyen Relecture de l EM Autre lecture de l EM: Pour toute probabilité q sur Z, ln L Y (y; ψ) = Z L (Z,Y ) (z,y; ψ) dz = ln { } L(Z,Y ) (z,y; ψ) ln q(z) Z Z L (Z,Y ) (z,y; ψ) q(z) q(z) dz =: F (q,ψ). q(z) dz,

14 Variational EM et Approximation en champ moyen Relecture de l EM Autre lecture de l EM: Pour toute probabilité q sur Z, ln L Y (y; ψ) = Z L (Z,Y ) (z,y; ψ) dz = ln { } L(Z,Y ) (z,y; ψ) ln q(z) Z Z L (Z,Y ) (z,y; ψ) q(z) q(z) dz =: F (q,ψ). Avec égalité : ln L Y (y; ψ) = F ( L Z Y (z y; ψ), ψ ) q(z) dz,

15 Variational EM et Approximation en champ moyen Relecture de l EM Autre lecture de l EM: Pour toute probabilité q sur Z, ln L Y (y; ψ) = Z L (Z,Y ) (z,y; ψ) dz = ln { } L(Z,Y ) (z,y; ψ) ln q(z) Z Z L (Z,Y ) (z,y; ψ) q(z) q(z) dz =: F (q,ψ). Avec égalité : ln L Y (y; ψ) = F ( L Z Y (z y; ψ), ψ ) EM = maximisation alternée de F : pour (q (t),ψ (t) ) mise à jour de la loi: q (t+1) = argmax q F (q,ψ (t) ) rép.: q (t+1) = L Z Y (z y; ψ (t) ) q(z) dz,

16 Variational EM et Approximation en champ moyen Relecture de l EM Autre lecture de l EM: Pour toute probabilité q sur Z, ln L Y (y; ψ) = Z L (Z,Y ) (z,y; ψ) dz = ln { } L(Z,Y ) (z,y; ψ) ln q(z) Z Z L (Z,Y ) (z,y; ψ) q(z) q(z) dz =: F (q,ψ). Avec égalité : ln L Y (y; ψ) = F ( L Z Y (z y; ψ), ψ ) EM = maximisation alternée de F : pour (q (t),ψ (t) ) mise à jour de la loi: q (t+1) = argmax q F (q,ψ (t) ) rép.: q (t+1) = L Z Y (z y; ψ (t) ) q(z) dz, mise à jour du paramètre: ψ (t+1) = argmax ψ F (q (t),ψ) = argmax ψ Q(ψ,ψ (t) ).

17 Variational EM et Approximation en champ moyen Variational EM (VEM) Variational EM Relâcher les contraintes d optimisation de l EM : considérer un sous-espace des probabilités sur Z, celles de forme produit NY q(z) = q k (z k ). ne rien changer pour ψ. k=1

18 Variational EM et Approximation en champ moyen Variational EM (VEM) Variational EM Relâcher les contraintes d optimisation de l EM : considérer un sous-espace des probabilités sur Z, celles de forme produit NY q(z) = q k (z k ). ne rien changer pour ψ. Choisir q revient à résoudre l équation au point fixe ln q k (e) = c k + ln L Z Y (z y; ψ (t) ) δ e(z k ) q j (z j ), z j k k=1 qui ne dépend que des q j,j N k, du fait de la structure markovienne.

19 Variational EM et Approximation en champ moyen Variational EM (VEM) Variational EM pour inférence dans les HMRF Résultats de convergence : oui. Identification des points limites: Pour l inférence dans les HMRF permet de contourner une des difficultés rencontrée par l EM: étape E. mais la mise à jour de ψ demande toujours le calcul de W (β).

20 Variational EM et Approximation en champ moyen Approximation en champ moyen Champ moyen A l origine, pour approcher le calcul de l espérance sous une loi de Gibbs. Négliger les fluctuations des voisins, en les fixant à leur valeur moyenne pour la loi ainsi définie.

21 Variational EM et Approximation en champ moyen Approximation en champ moyen Champ moyen A l origine, pour approcher le calcul de l espérance sous une loi de Gibbs. Négliger les fluctuations des voisins, en les fixant à leur valeur moyenne pour la loi ainsi définie. En pratique: Q définir une loi produit q(z) = N k=1 q k(z k ), solution d une équation au point fixe. Dans le contexte : mesure de Gibbs loi a posteriori L Z Y (z y; ψ (t) ) même équation au point fixe que pour VEM.

22 Variational EM et Approximation en champ moyen Approximation en champ moyen Champ moyen A l origine, pour approcher le calcul de l espérance sous une loi de Gibbs. Négliger les fluctuations des voisins, en les fixant à leur valeur moyenne pour la loi ainsi définie. En pratique: Q définir une loi produit q(z) = N k=1 q k(z k ), solution d une équation au point fixe. Dans le contexte : mesure de Gibbs loi a posteriori L Z Y (z y; ψ (t) ) même équation au point fixe que pour VEM. En conclusion : Approximation champ moyen Variational EM

23 Approximations déterministes, Approximations par simulation III. Approximations déterministes, Approximations par simulation

24 Approximations déterministes, Approximations par simulation Approximations de l EM purement déterministes Approx. purement déterministes ex. Algorithme Mean-Field Etape E : substituée par une espérance sous la loi produit q (t+1) Etape M : propager cette approximation à l expression de la loi jointe: l étape de maximisation devient explicite. Pas de résultats sur le comportement asymptotique de l algorithme.

25 Approximations déterministes, Approximations par simulation Approximations de l EM purement stochastiques Approx. purement stochastiques ex. Algorithme MC2-EM Etape E : calcul des espérances par Monte Carlo (MCMC). Etape M : calcul de la constante de normalisation par Monte Carlo W (β) = X z exp( H(z; β)) = X z exp( H(z; β)) π(z) π(z). Dès lors que l erreur d approximation dûe à la simulation est contrôlée : convergence vers les mêmes points limites que l EM.

26 Approximations déterministes, Approximations par simulation Coupler les deux approches VEM et Simulations (I) ex. Algorithme MC VEM Etape E : substituée par une espérance sous la loi produit q (t+1) Etape M : calcul de la constante de normalisation par Monte Carlo W (β) = X z exp( H(z; β)) = X z exp( H(z; β)) π(z) π(z). Dès lors que l erreur d approximation dûe à la simulation est contrôlée : convergence vers les mêmes points limites que le VEM.

27 Approximations déterministes, Approximations par simulation Coupler les deux approches VEM et Simulations (II) ex. Algorithme Simulated Field Etape E : type VEM en fixant les voisins à une valeur simulée (ne pas résoudre l équation au point fixe) Etape M : propager l approximation champ moyen à l expression de la loi jointe; l étape de maximisation devient réalisable. Pas de résultats sur le comportement asymptotique de l algorithme. A priori, {ψ (t) } chaîne de Markov, pas de raisons d observer une convergence trajectorielle.

28 Estimation d un Potts caché IV. Applications

29 Estimation d un Potts caché Modèle Champs de Markov (caché): Potts à K classes, voisinage 1er ordre L Z (z; ψ) exp( β i j z i,z j,) z i {e 1,,e K }. Attache aux données: gaussien L Y Z (y z; ψ) = N k=1 N (µ zk,σ 2 z k )(y k ). Paramètre: β,µ 1,,µ K,σ 2 1,,σ 2 K. Possibilité aussi : d estimer les données cachées (ex. par MAP).

30 Estimation d un Potts caché Data 1 : données simulées K = 2, images Paramètre θ (attache aux données) : toujours bien estimé. Résultat d estimation de β et erreur de classification: algorithm β error rate ref. true values ind-em (0.33) (0.26) Mean Field 0.94 ( e-2) (0.49) 9.77 (0.42) Simulated Field 0.78 ( e-2) (0.43) (0.48) MCVEM 0.73 ( e-2) 9.87 (0.42) 9.77 (0.42) MC2-EM 0.77 ( e-2) 9.81 (0.39) 9.81 (0.39) Gibbsian-EM 0.77 ( e-2) 9.79 (0.40) 9.81 (0.39)

31 Estimation d un Potts caché Data 2 : données simulées K = 3, images Paramètre θ (attache aux données) : toujours bien estimé. Résultat d estimation de β et erreur de classification: algorithm β error rate ref. true values ind-em (0.60) (0.50) Mean Field 1.03 ( e-2) (0.60) (0.59) Simulated Field 0.90 ( e-2) (0.56) (0.64) MCVEM 0.85 ( e-2) (0.59) (0.59) MC2-EM 0.89 ( e-2) (0.53) (0.54) Gibbsian-EM 0.89 ( e-2) (0.53) (0.54)

32 Estimation d un Potts caché Data 3 : données simulées K = 4, images Paramètre θ (attache aux données) : toujours bien estimé. Résultat d estimation de β et erreur de classification: algorithm β error rate ref. true values ind-em (0.54) (0.45) Mean Field 1.05 ( e-2) (0.51) (0.45) Simulated Field 0.90 ( e-2) (0.55) (0.48) MCVEM 0.81 ( e-2) (0.50) (0.45) MC2-EM 0.89 ( e-2) (0.49) (0.47) Gibbsian-EM 0.89 ( e-2) (0.50) (0.47)

33 Estimation d un Potts caché Data 4: Logo Image ; 2 couleurs. Estimation des paramètres algorithm β µ 1 µ 2 σ 1 σ 2 error rate true values ind-em Mean Field Simulated Field MCVEM MC2-EM Gibbsian-EM

34 Estimation d un Potts caché Data 4: Logo (suite) (gauche) Sensibilité aux paramètres d implémentation Mean Field, Simulated Field and MCVEM (droite) Evolution de l erreur de classification en fonction de β (et sensibilité à la non-unicité de la solution de l équation au point fixe)

35 Estimation d un Potts caché Data 4: Logo (suite) Image ; 2 couleurs. Segmentation : Fig.: [top, from left to right] original image, noise-corrupted image, initial segmentation using kmeans, ind-em, MC2-EM; [bottom, from left to right] Gibbsian-EM, Simulated Field, Mean Field, MCVEM, MCVEM + Median Filter

36 Estimation d un Potts caché Data 5: Image satellite Image Segmentation :