Reconstruction d images binaires par l estimation moindres carrés et l optimisation valeur propre

Transcription

1 Reconstruction d images binaires par l estimation moindres carrés et l optimisation valeur propre Stéphane Chrétien & Franck Corset Université de Franche-Comté, UMR6623, Département Mathématiques 16 route de Gray Besançon chretien@descartes.univ-fcomte.fr LabSAD, EA 3698, Université Pierre Mendes France BSHM, 1251 Avenue centrale BP Grenoble Cedex 09 Franck.Corset@upmf-grenoble.fr Résumé Le problème de l estimation d une image ou d un signal binaire image noir et blanc par exemple) à partir d une observation bruitée est un problème difficile. Plus précisément, il appartient à la classe des problèmes NP-hard. Dans cet article, on s intéresse à l estimation d une image corrompue par un bruit i.i.d. On approche le problème par la méthode des moindres carrés linéaires pénalisés et on introduit une relaxation de type valeur propre qui transforme le problème original en un problème approché convexe.dans la plupart des cas, le schéma relaxé ne redonne pas une solution binaire. C est là qu intervient l algorithme stochastique de Goemans and Williamson dont nous donnons une interprétation géométrique simple. Enfin, nous prouvons que dans le cas d une image faiblement bruitée, notre relaxation donne la solution optimale. Abstract The problem of estimating a binary image black and white) or signal from noisy observations is a very difficult problem. More precisely, it belongs to the class of NP-hard problems. In this paper, we address the problem in the case of i.i.d. additive noise. We approach the problem via penalized least-squares and we present an eigenvalue relaxation which transforms the original problem into an approximate convex one. In most cases, this solution is not binary and we have to use Goemans and Williamson s randomized algorithm to round of to binaries. We give a simple geometric interpretation of this procedure. Finally, we show that the relaxation is exact for small noise. Mots Clés : Image binaire, Moindres carrés linéaires, Optimisation valeur propre, Algorithme stochastique. Key Words : Binary Image, Linear Least-Squares, Eigenvalue Optimization, Randomized Algorithm. 1

2 1 Relaxation valeur propre L estimation par moindres carrés pénalisés s écrit sous la forme d un problème d optimisation : min y x R Ax 2 + νx t P x 1) n où y est le vecteur des observations, A est un opérateur linéaire, P est une matrice symétrique de pénalisation associée à la forme quadratique x i x j ) 2, i j i où x i est la valeur du i eme pixel, et est la relation de voisinage, ν est le paramètre associé à la pénalisation hyperparamètre en interprétation bayésienne) et x le vecteur binaire à estimer. Dans notre étude, x correspond à une image en noir et blanc et P est une matrice prenant en compte les corrélations entre les pixels les voisins. Ce problème peut être résolu par une approche markovienne recuit simulé, algorithmes génétiques) ou par des approximation classiques en optimisation combinatoire. L approche certainement la plus utilisée actuellement est la relaxation Semi-Définie SDP) mais sa résolution numérique, bien que polynomiale 1, reste encore très coûteuse et restreint son utilisation à des cas de dimension inférieure à 500. Pour une image, la dimension peut vite monter à des valeurs vraiment supérieures, jusqu à pixels ou plus à estimer par exemple. Dans ce qui suit, on présente une relaxation équivalente de type valeur propre qui bénéficiant des travaux récents en optimisation, peut être résolue beaucoup plus efficacement. Les méthodes de faisceaux sont des exemples d algorithmes très performants pour ce type de problème. On pourra se reporter à Oustry 1999). 1.1 Dualité Lagrangienne et optimisation valeur propre Quelques rappels sur la dualité lagrangienne Soit le problème d optimisation suivant max x X fx) sous contraintes c jx) = 0, j = 1,..., m 2) où f et c j sont supposées continues et X est supposé compacte. La fonction lagrangienne est définie par Lx, u) = fx) + u t cx) 3) où c t x) = [c 1 x),..., c m x)] et la fonction duale par 1 La relaxation SDP est un problème d optimisation convexe θu) = max Lx, u). 4) x X 2

3 On définit l ensemble des maximiseurs X u = {x X Lx, u) Ly, u), y X }. Le problème dual revient à résoudre inf θu). u Rm 5) Cette fonction duale est convexe et la solution est une borne supérieure du problème original. Ainsi, résoudre le problème dual revient à chercher la meilleure borne supérieure du problème original. La différence entre cette borne et la solution optimale se nomme le saut de dualité. Si la fonction duale est différentiable au minimiseur u alors tout point de X u est une solution du problème original. En général, la fonction duale n est pas différentiable à l optimum sinon tout problème NP-difficile serait convexifiable!) Sous-différentiel de la fonction duale Le gradient θu) d une fonction différentiable θ peut être généralisé pour des fonctions convexes à valeurs finies. Definition Le sous-différentiel d une fonction convexe θ est défini par θu) = {g R m θv) θu) + g t v u), v R m } Dans le cas où X est compacte et que la fonction objective et les contraintes sont des fonctions continues alors θu) = conv{cx u ), x u X u }, où conv désigne l enveloppe convexe. 1.2 Relaxation valeur propre Dans cette section, nous appliquons la dualité lagrangienne en exprimant la fonction duale comme un problème d optimisation d une valeur propre maximale. Le problème 1) peut s écrire max x R n xt A t Ax + 2y t Ax y 2 νx t P x sous contraintes x 2 i 1 = 0, i = 1,..., n. 6) Ce problème est appelé problème primal. On transforme ce problème en un problème équivalent et homogène en ajoutant une variable supplémentaire x n+1 : avec max x R n+1 xt Bx sous contraintes x 2 i B = [ A t A P A t y y t A y 2 1 = 0, i = 1,..., n + 1 7) Comme P est symétrique, B l est également. La fonction de Lagrange est donnée par ]. Lx, u) = x t Bx + n+1 i=1 u ix 2 i 1) = x t B + Du))x e t u 3,

4 où e R m est le vecteur composé que de 1 et Du) est la matrice diagonale ayant les composantes du vecteur u comme éléments diagonaux. Nous appliquons la dualité lagrangienne en maximisant la fonction de Lagrange sur la sphère centrée à l origine et de rayon n + 1 qui contient { 1, 1} n. Ainsi la fonction duale θu) s écrit θu) = max x X x t B + Du))x e t u = max x X x t B + Du))x 1 n+1 et ux t x car x t x = n + 1 = max x X x t B + Du) 1 n+1 et ui)x et donc, nous obtenons finalement θu) = n + 1)λ max B + Du) 1 ) n + 1 et ui. Ainsi, inf u R n+1n + 1)λ max B + Du) 1 ) n + 1 et ui est une borne supérieure du problème 6). La proposition suivante nous assure l existence d une telle borne. Proposition La fonction duale θ admet au moins un minimiseur. De plus, si on note Mu) = B + Du) 1 n+1 et ui, alors le sous-différentiel de la fonction duale s écrit { ) θu) = n + 1)d E max Mu)) Z S r Z 0, trz) = 1 }E max Mu)) t e. 9) où r est la multiplicité de λ max Mu)) et E max Mu)) est une matrice dont les r colonnes forment une base orthonormée du sous-espace propre associé à la valeur propre maximale. Cette formulation nous permet d établir le résultat suivant : Proposition Soit u un minimiseur de la fonction duale θ. Si λ max Mu )) a une multiplicité une alors le vecteur associé à la valeur propre maximale est solution du problème original 6). 1.3 Relation avec la relaxation SDP Le problème 6) est équivalent à : qui est lui même équivalent à max trbxxt ) s. c. dxx t ) = e, x R n+1 max trbx) s. c. dx) = e et rgx) = 1. X S n+1 4 8)

5 La seule contrainte non convexe est rgx) = 1. Ainsi, nous obtenons une relaxation du type programmation semi-définie SDP) max trbx) s. c. dx) = e. 10) X S n+1 La relaxation SDP est souvent coûteuse numériquement car on travaille alors sur des matrices symétriques et donc on fait passer la taille du problème à n + 2)n + 1)/2! Par contre, il est important de comprendre la relation entre le problème SDP et la relaxation valeur propre. En particulier, c est à partir de la solution SDP qu on sait depuis l article de Goemans et Williamson 1995) comment retrouver une solution binaire dont la qualité est bien contrôlée. Le problème de retrouver la matrice solution de la relaxation SDP à partir de la relaxation valeur propre ne semble pas avoir été traité dans la littérature. Dans ce paragraphe, on montre comment procéder. Pour cela, la matrice Z définie précédemment est diagonalisée, i.e. il existe U R r r et µ R r telle que Z = UDµ)U t avec r i=1 µ i = 1. Soit σ i ) 1 i r une base orthonormale du sous-espace propre associé à la valeur propre maximale λ max Mu )), et Σ la matrice composée des vecteurs colonnes σ i ) 1 i r, on a alors la proposition suivante. Proposition X = r i=1 µ iσ i σ t i = ΣDµ)Σ t est solution de la relaxation SDP. 2 Troncation randomisée de Goemans et Williamson D après ce qui précède, l idée est de trouver un vecteur binaire pas trop éloigné du sousespace propre associé à la valeur propre maximale. Pour cela, nous simulons une variable aléatoire sur la sphère de rayon n + 1, puis nous lui appliquons une tranformation afin qu il appartienne au sous-espace propre associé à λ max. Enfin, nous construisons un vecteur binaire prenant le signe des composantes de ce vecteur. Cette procédure équivaut à celle employée dans l algorithme que proposent Goemans et Williamson. Voici comment se présente précisemment l algorithme stochastique : Début Algorithme 1. Soit X la solution du problème 10). Soit V = Dµ [1/2] )Σ t où µ [1/2] désigne le vecteur ayant pour composantes les racines carrées des composantes du vecteur µ. Ainsi, X = V t V. 2. Simuler N échantillons de ξ N, tirés selon une loi uniforme sur la sphère S0, 1). 3. Pour chaque échantillon, on contruit les vecteurs binaires z N = sgnv t ξ N ), où sgn désigne la fonction renvoyant les signes des composantes du vecteurs. 4. Choisir le meilleur z N, i.e. celui maximisant la fonction z t N Bz N. Fin Algorithme 5

6 Pour bien mesurer l intérêt de cette méthode, nous renvoyons au théorème de Nesterov 1997) qui certifie que la qualité de la solution randomisée est bien contrôlée. Ainsi, la simulation de N échantillons nous assure de trouver un bon candidat, dans le sens où la probabilité de tirer une valeur supérieure ou égale à l espérance augmente exponentiellement avec N. 3 Cas du bruit faible On s intéresse maintenant à la relaxation valeur propre lorsque A = I et lorsque l image est faiblement bruitée. Pour bien comprendre le comportement de la solution, étudions le cas ν=0. Dans ce cas, le polynôme caractéristique de B + Du) + et u I est donné par n+1 pλ) = λ + y 2 n i=1 yi 2 ) n λ v i où v = u 1 n+1 et u. On en déduit la proposition suivante. i=1 λ u i ), 11) Proposition La valeur propre maximale de B +Du)+ et u I est de multiplicité un n+1 et la relaxation est exacte. La solution binaire est donnée exactement par les n première composantes du vecteur propre associé à cette valeur propre maximale dont la dernière est égale à 1. Ceci implique, par continuité des valeurs propres comme fonction de B, que pour des faibles valeurs de ν, bien adaptée à une image peu bruitée la multiplicité sera encore de un et la relaxation restera exacte. Bibliographie [1] Goemans, M. X. and Williamson, D. P. 1995). Improved approximation algorithms for maximum cut and satisfiability problems using semidefinite programming. Journal of the ACM, 42 6), [2] Nesterov, Y. 1997). Quality of semi-definite relaxation for nonconvex quadratic optimization. Core discussion paper 9719, Center for Operation Research & Econometrics, Louvain-la-Neuve. [3] Nikolova, M. 1998). Estimation of binary images using convex criteria. Proc. of IEEE Int. Conf. on Image Processing. [4] Oustry, F. 2000). A second order bundle method to minimize the maximum eigenvalue function. Math. Programming, 89 1), Ser. A, pp