Modèles aléatoires : maîtriser l incertain. Segmentation d images par l algorithme EM

Transcription

1 ECOLE NATIONALE DES PONTS ET CHAUSSEES Modèles aléatoires : maîtriser l incertain Segmentation d images par l algorithme EM Rapport écrit par : Alicia Quilez (quileza@eleves.enpc.fr Aurélien Boffy (boffya@eleves.enpc.fr 11 mars 2005

2 Introduction La segmentation consiste à partitionner les images en régions relativement homogènes par rapport à un critère donné (le plus souvent l intensité et la couleur, mais ce peut aussi être la texture... Les régions homogènes peuvent être recherchées directement, ou bien par leurs frontières ou contours qui sont des lignes de discontinuité dans l image. La segmentation d image est un traitement dit bas-niveau très important dans le domaine du traitement d images car il est à la base de très nombreuses applications. En effet toute opération de traitement ultérieure nécessite de pouvoir travailler sur des images qui apportent une information pertinente pour ce traitement. C est en général une étape de segmentation qui va extraire cette information des images brutes provenant de capteurs comme des caméras conventionnelles ou à technologies spécifiques (infra-rouge, multispectrales, satellite.... Nous présentons ci-dessous l algorithme EM (abréviation de Expectation Maximization qui assigne en quelque sorte chaque pixel indépendamment à une classe, lesquelles classes évoluent afin d obtenir une classification qui rend compte au mieux des différentes teintes qui figurent dans l image initiale. L algorithme se distingue ainsi des algorithmes plus sophistiqués de segmentation d images en ce sens qu il ne permet pas d extraire véritablement les objets et les formes car il ne tire pas profit de l aspect spatial de l information de l image. Il facilite cependant grandement tout travail ultérieur car l image est simplifiée. Le principe de l algorithme est peut-être plus clair en changeant un peu de point de vue. On peut considérer que l algorithme EM est ici utilisé pour l estimation d un mélange de gaussiennes. Le but est en effet d approcher au mieux l histogramme d une image (c est-à-dire le graphique statistique permettant de représenter la distribution des intensités des pixels, soit le nombre de pixels pour chaque intensité par une somme d un nombre fixé de gaussiennes. Il s agit finalement d estimer l espérance et la variance de chaque gaussienne, ainsi que leur poids relatif. 1 Présentation du modèle On considère une image de n pixels possédant I zones distinctes que l on désire déterminer automatiquement. On note E l espace d état des couleurs du pixel et x k E la couleur du pixel k. On choisit généralement E = R 3, et l on représente une couleur par les proportions des trois couleurs rouge, vert et bleu. On suppose que la couleur x k est la réalisation d une variable aléatoire X k de loi gaussienne de paramètre (µ i, σi 2 dépendant de la zone i I = {1,..., I}. On note Z k la zone à laquelle appartient le pixel k. On n observe pas la réalisation de la variable Z k (on parle de variables aléatoires cachées. On note q i = P(Z k = i pour i {1,..., I}. En particulier la densité de X k est donnée par p(x k ; θ = q i f N (µi,σi 2 (x k, x k E, (1.1 i=1 où θ = ((q i, µ i, σi 2, i I désigne les paramètres du modèle. On note Θ l ensemble des paramètres possibles du modèle. 2

3 La densité du couple (X k, Z k est donnée par p c (x k, z k ; θ = q zk f N (µzk,σ 2 z k (x k, x k E, z k I. (1.2 On note par convention P θ ( les probabilités calculées pour le paramètre du modèle égal à θ. On note θ le vrai paramètre (inconnu associé à l image que l on cherche à estimer. La densité, p n (x; θ, x = (x 1,..., x n E n, du modèle incomplet (i.e. observé est donnée par le produit des densités des lois de X k (on suppose les pixels indépendants, soit p n (x; θ = n p(x k ; θ, (1.3 k=1 et la densité du modèle complet (i.e. avec les variables cachées est donnée par le produit des densités des lois de (X k, Z k, soit avec z = (z 1,..., z n I n. p c n(x, z; θ = n p c (x k, z k ; θ, (1.4 k=1 On utilise l algorithme EM pour obtenir une approximation de ˆθ n, l estimateur du maximum de vraisemblance de θ, c est-à-dire θ qui maximise la fonction θ p n (x, θ, x correspondant aux données de l image étudiée. On calculera également l état estimé du pixel k défini comme l état i I qui maximise avec θ = ˆθ n. P θ (Z k = i X = x = P θ (Z k = i X k = x k = pc (x k, i; θ p(x k ; θ, (1.5 2 L algorithme EM Il est souvent plus facile de maximiser la log-vraisemblance du modèle complet, L c n(x, z; θ = log (p c n(x, z; θ, resp. du modèle incomplet, L n (x, θ = log (p n (x; θ, que la vraisemblance du modèle complet, resp. du modèle incomplet. On pose p n (z x; θ = pc n(x, z; θ p n (x; θ (2.1 la densité de la loi conditionnelle de Z = (Z 1,..., Z n sachant les observations X 1 = x 1,..., X n = x n. 3

4 2.1 Pour tout θ 0 Θ : L n (x; θ = log ( p n (x; θ = log ( p n (x; θ ( p n (z x; θ 0 z I n = ( pn (x; θ p n (z x; θ 0 z I n log = z I n log = z I n log car p n (z x; θ 0 = 1 z I n ( p c n (x, z; θ p n (z x; θ 0 par définition de p n (z x; θ p n (z x; θ ( p c n (x, z; θ p n (z x; θ 0 ( pn (z x; θ p n (z x; θ 0 z I n log = Q(θ, θ 0 H θ0 (θ où on a posé : et Q(θ, θ 0 = p n (z x; θ 0 L c n(x, z; θ z I n (2.2 H θ0 (θ = log (p n (z x; θp n (z x; θ 0. z I n ( Montrons que pour tout θ, θ 0 Θ, H θ0 (θ H θ0 (θ 0 : Préliminaires D après l inégalité classique x > 0, log x x 1, on déduit : y, z > 0, y(log z log y = y log z ( z y y y 1 = z y 4

5 Application Soit θ, θ 0 Θ, H θ0 (θ H θ0 (θ 0 = [ p n (z x; θ 0 log ( p n (z x; θ log ( p n (z x; θ 0 ] z I n p n (z x; θ p n (z x; θ 0 z I n Ainsi : θ, θ 0 Θ, H θ0 (θ H θ0 (θ Donc, si on suppose que Q(θ, θ 0 > Q(θ 0, θ 0 comme on vient de montrer que H θ0 (θ H θ0 (θ 0 on obtient, en sommant : L n (x; θ > L n (x; θ On définit la suite (θ k k 0 par : { θ0 Θ k 0, θ k+1 = Argmax θ Θ Q(θ, θ k (2.4 Ainsi, pour tout k 0, Q(θ k+1, θ k Q(θ k, θ k, et on déduit donc, d après 2.3, que L n (x; θ k+1 L n (x; θ k La suite ( L n (x; θ k est donc une suite croissante. On admet que cette suite k 0 converge vers l estimateur du maximum de vraisemblance ˆθ n. 2.5 On cherche désormais à expliciter le passage de θ k à θ k+1. Par définition de la suite (θ k k 0 (cf 2.4, il s agit donc de trouver θ Θ qui maximise Q(θ, θ k. Commençons par réécrire Q(θ, θ k de façon à pouvoir réaliser une optimisation plus facile : Pour tout k N, on a par définition (cf 2.2 : Q(θ, θ k = ( p n (z x; θ k log p c n (x, z; θ z I n 5

6 On écrit E θ pour l espérance calculée quand le vrai paramètre est θ = (q i, µ i, σi 2 : [ Q(θ, θ k = E θk log ( p c n(x, z; θ ] X = x Or, d après 1.4 et 1.1 : Donc p c n(x, z; θ = n p c (x l, z l ; θ = n q zl f N (µzl,σz 2 l (x l ( [ n Q(θ, θ k = E θk log q zl f N (µzl,σz 2 l (x l = = [ ( E θk log q zl f N (µzl,σz 2 l (x l i=1 ] X = x ] X = x ( log q zl f N (µi,σi 2 (x l P θk (Z l = i X = x P θk (Z l = i X = x = P θk (Z l = i X l = x l car Z l ne dépend que de X l, d où : Q(θ, θ k = i=1 log ( q zl P θk (Z l = i X l = x l + } {{ } Q 1 i=1 log ( f N (µi,σi 2 (x l P θk (Z l = i X l = x l } {{ } Q 2 On note que l on peut maximiser indépendamment Q 1 par rapport aux (q i 1 i I et Q 2 par rapport aux (µ i 1 i I et aux (σ 2 i 1 i I. Maximisation de Q 1 par rapport aux (q i 1 i I On veut maximiser Q 1 sous la contrainte : On introduit le lagrangien : L(q 1, q 2,..., q I, λ = i=1 On a, pour tout j {1,..., I} : L q j = 0 q i = 1 i=1 log ( ( q zl P θk (Z l = i X l = x l + λ q i 1 i=1 1 P θk (Z l = j X l = x l + λ = 0 (5.1 q j P θk (Z l = j X l = x l = λ q j 6

7 Pour trouver la valeur de λ, on somme pour sur tous les j {1,..., I} : j=1 L q j = 0 j=1 j=1 P θk (Z l = j X l = x l = λ q j j=1 P θk (Z l = j X l = x l = λ } {{ } 1 n = λ Et en remplaçant λ dans (5.1, on obtient : 1 P θk (Z l = j X l = x l n = 0 Soit : q j q j = 1 n P θk (Z l = j X l = x l j=1 q j }{{} 1 Maximisation de Q 2 par rapport aux (µ i 1 i I et aux (σ 2 i 1 i I CAS 1D (image en niveaux de gris Dans ce cas, la fonction f s écrit : Q 2 s écrit donc : Q 2 (θ, θ k = = i=1 i=1 f N (µi,σ 2 i (x l = (x 1 l µ i 2 2σ e i 2 σ i 2π ( (x 1 l µ i 2 2σ log e i 2 P θk (Z l = i X l = x l σ i 2π ( log (σ i 12 log (2π (x l µ i 2 2σ 2 i Ainsi, pour tout j {1,..., I} : Q 2 (θ, θ k x l µ j = 0 µ j σ 2 P θk (Z l = j X l = x l = 0 j (x l µ j P θk (Z l = j X l = x l = 0 n µ j P θk (Z l = j X l = x l = µ j = P θk (Z l = i X l = x l x l P θk (Z l = j X l = x l x lp θk (Z l = j X l = x l P θ k (Z l = j X l = x l 7

8 On a également : ( Q 2 (θ, θ k σj 2 = 0 1 2σ 2 + (x l µ j 2 j 2σj 4 P θk (Z l = j X l = x l = 0 1 ( σ 2 2σj 4 j + (x l µ j 2 P θk (Z l = j X l = x l = 0 ( σ 2 j + (x l µ j 2 P θk (Z l = j X l = x l = 0 σj 2 σ 2 j = P θk (Z l = j X l = x l = (x l µ j 2 P θk (Z l = j X l = x l (x l µ j 2 P θk (Z l = j X l = x l P θ k (Z l = j X l = x l Finalement, pour tout k N et pour tout j {1,..., I} : (q i k+1 = 1 P θk (Z l = i X l = x l n (µ i k+1 = x lp θk (Z l = i X l = x l P θ k (Z l = i X l = x l (σ 2 i k+1 = (x l (µ i k 2 P θk (Z l = i X l = x l P θ k (Z l = i X l = x l CAS 3D (image en couleurs Dans ce cas, la fonction f s écrit : f N (µi,σ 2 i (x l = 1 det (σ 2 i (2π 3/2 e 1 2 (x l µ i T (σ 2 i 1 (x l µ i On maximise Q 2 en suivant les mêmes étapes que précédemment, en prenant en compte que σi 2 est ici la matrice de covariance de la variable aléatoire X k et que µ i est le vecteur des espérances. 8

9 On obtient, pour tout k N et pour tout j {1,..., I} : (µ i k+1 = x lp θk (Z l = i X l = x l P θ k (Z l = i X l = x l (σ 2 i k+1 = (x l (µ i k (x l (µ i k T P θk (Z l = i X l = x l P θ k (Z l = i X l = x l et on a toujours : (q i k+1 = 1 n P θk (Z l = i X l = x l 3 Résultats Nous avons écrit un programme qui permet de traiter des images en niveaux de gris ou en couleurs. Au démarrage du programme, l utilisateur décide quel type d images il souhaite traiter et combien de zones il veut distinguer. Il peut ensuite choisir de définir des graines ou de laisser l initialisation au programme (voir plus bas. S il travaille avec des images en niveaux de gris, le programme affiche alors 4 onglets : L image initiale L image segmentée L histogramme des niveaux de gris de l image initiale L approximation par des gaussiennes de cet histogramme, que réalise l algorithme EM En couleurs, le programme n affiche que les 2 premiers onglets cités. Pour dessiner l image segmentée, le programme remplace chaque pixel par l espérance de la gaussienne qui correspond à la zone à laquelle le pixel appartient avec la plus forte probabilité. Lorsque I augmente, la segmentation est donc évidemment plus précise. Ci-dessous, l image en niveaux de gris blood est segmentée en deux zones. 9

10 Voici maintenant l image en niveaux de gris lena, segmente e en quinze zones avec les histogrammes correspondant : 10

11 Ci-dessous, l image andy lau est segmente e par l algorithme en quatre zones, dix zones puis quinze zones. Perspectives Nous avons pense a 2 ame liorations possibles afin de rendre l algorithme plus performant : Condition d arre t : Dans son e tat actuel, l algorithme s arre te apre s un nombre d ite rations qui a e te de fini a l avance. Il serait profitable d introduire une condition d arre t pour gagner en temps d exe cution ou en pre cision. Celleci pourrait par exemple porter sur l e cart qui existe entre l histogramme exact et celui auquel aboutit l algorithme. Nombre de re gions : Le nombre de zones doit e tre de fini par l utilisateur. Il existe des me thodes, tel que le crite re MDL (Minimum Description Length issu de la the orie de l information, qui permettent de trouver le meilleur compromis entre une description pre cise de l image et un cou t relativement faible. 11

12 Initialisation : Il existe actuellement 2 me thodes d initialisation des suites (µi 1 i I et (σi2 1 i I. Dans le cas des images en niveaux de gris, nous avons choisi de partir de gaussiennes a faible variance et dont les espe rances sont uniforme ment re parties sur l ensemble des niveaux de gris (de 0 a 255. Nous obtenons des re sultats tre s satisfaisants. Pour les images en couleurs, nous n avons pas trouve de bonnes me thodes pour l initialisation et nous avons donc pense a laisser l utilisateur cliquer directement sur les pixels de l image dont les niveaux de rouge, de vert et de bleu deviennent alors les espe rances initiales des gaussiennes (principe des graines ou seeds en anglais. Nous obtenons ainsi une segmentation qui est meilleure mais pas ide ale. On peut alors penser que ce sont les matrices de covariance qui sont mal initialise es. Toujours est-il que cette mauvaise initialisation compromet certainement l efficacite de l algorithme, surtout pour les images en couleurs. (A noter que nous avons aussi rendu possible la de finition de graines pour les images en niveaux de gris Ci-dessous, l image peppers segmente e en trois zones par l algorithme EM avec une initialisation automatique (a gauche, puis avec une initialisation manuelle (a droite. En changeant l initialisation on obtient des re sultats tre s diffe rents. 12

13 andy lau segmenté en quinze zones avec une initialisation par graines : contrairement au résultat obtenu avec l initialisation automatique (voir ci-dessus, le bleu apparaît : 13