Retinex: du système visuel humain aux modèles mathématiques et statistiques

Transcription

1 Retinex: du système visuel humain aux modèles mathématiques et statistiques Ségolen Geffray, Nicolas Klutchnikoff, Myriam Vimond IRMA, UMR 7501, Université de Strasbourg CREST-ENSAI, Rennes septembre 2013 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

2 Motivation analyse automatique d images en présence d artéfacts de type mauvaise illumination S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

3 Démarche utiliser/établir une méthode de désillumination d images définir un modèle qui permette de définir mathématiquement l illumination estimer l illumination pour l ôter ensuite obtenir ainsi une méthode dont on contrôle le biais, la variance, le taux d erreur lors de sa mise en oeuvre répétée sur des images S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

4 Problèmes d illumination microscopie électronique IRM photographie numérique S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

5 Exemple en microscopie électronique S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

6 Autre exemple en microscopie électronique S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

7 Comment fonctionne un microscope SEM? S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

8 Exemple en IRM L artéfact d illumination peut être dû aux instruments (par ex inhomogénéité du champ statique ou non-uniformité des impulsions radio-fréquence) ou aux mouvements du patient. IRM avec inhomogénéité d intensité : images originales (a) images corrigées (b) illuminations estimées (c) Z. Hou (2006) A review on MR image intensity inhomogeneity correction. International Journal of Biomedical Imaging. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

9 Comment fonctionne l IRM? S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

10 Comment fonctionne l IRM? S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

11 Comment fonctionne l IRM? S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

12 Exemple en photographie numérique l artéfact peut être dû aux conditions d illumination. image originale (en haut) illumination estimée (en bas) L. Meylan, S. Süsstrunk (2006) High dynamic range image rendering with a Retinex-based adaptive filter IEEE Transactions on Image Processing S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

13 Comment fonctionne un appareil photo numérique? Un appareil photo comporte un capteur composé de millions de photosites ou pixels. La surface photosensible des photosites transforme le signal lumineux (photons) en signal électrique (électrons). Pendant l exposition, les électrons générés par un photosite sont accumulés dans un puit dont la taille limite la capacité (plus la surface d un photosite est large, plus sa capacité à stocker des électrons est grande). s il y a trop de lumière qui atteint un photosite, il y aura débordement des électrons (saturation) = restitution de zones brulées (blanc sans nuances). même en l absence de lumière, des électrons sont éjectés de la surface des photosites = signal aléatoire (bruit d obscurité) plage dynamique d un capteur = ratio entre l intensité maximum mesurable (donnée par la capacité du puit d électrons) et l intensité minimum enregistrable (donnée par le niveau de bruit du capteur). S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

14 Plage dynamique plage dynamique d une scène : ratio entre les intensités lumineuses maximum et minimum émises par la scène La vision humaine s adapte à la dynamique élevée d une scène en s ajustant en permanence aux intensités lumineuses des différentes zones. L oeil peut voir une étoile dans la nuit (1/1000 cd.m 2 ), mais aussi un ciel ensoleillé ( cd.m 2 ). unité de mesure d une plage dynamique : indice de lumination (IL) mesurée sur une échelle logarithmique en base 2 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

15 Indice de lumination De f/1.4 à f/16, il y a 7 unités de diaphragme (7 IL) et l intensité lumineuse est multipliée par 2 7 = 128 plage dynamique de l oeil : IL si le diamètre de la pupille est fixe (1000 :1 à :1) ie grace au seul travail des cônes et des bâtonnets 24 IL ( : 1) grâce en plus, à la faculté de dilatation de la pupille plage dynamique d un écran : 8.7 à 12 IL (400 :1 à 5000 :1) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

16 Plage dynamique Le passage de la plage dynamique du paysage réel à celle du capteur ne s effectue pas par une compression de dynamique, mais par un rognage des parties hors gamme. Plus un capteur a une plage dynamique étendue, plus les zones très claires et les zones proches du noir seront richement détaillées. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

17 Plage tonale La notion de plage dynamique se situe lors de la prise de vue. Une fois le fichier numérisé, il n existe plus de dynamique à proprement parler et il est préférable d employer le terme de plage tonale. scène modification de la modification de la capteur écran plage dynamique plage tonale La résolution tonale décrit le nombre de niveaux intermédiaires que l on place entre les valeurs extrêmes (noir et blanc) (plus le nombre de niveaux est élevé, plus les couleurs seront définies avec précision). Une résolution tonale trop basse peut jouer le rôle de facteur limitant. Par ex, si le capteur propose 6500 niveaux identifiables et que le convertisseur, limité à 12 bits, ne peut restituer que 4096 niveaux, il y a perte d information. Une résolution tonale excessive n augmentera pas la plage dynamique. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

18 LDR source : wikimedia S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

19 HDR source : wikimedia S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

20 Deux contributeurs historiques à gauche : Edwin H. Land ( ), inventeur américain filtres polarisants, appareil photo polaroïd, théorie Retinex à droite : John J. McCann, biologiste et consultant américain perception sensorielle de la couleur, théorie Retinex perception sensorielle : ensemble des informations immédiates délivrées par les cinq sens : vue, ouïe, goût, odorat, toucher. pas de reconstruction par le cortex. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

21 Définitions adoptées ici Luminance (= illumination) : intensité d une source lumineuse par unité de surface, exprimée en candela par mètre carré (cd.m 2 ). Réflectance : rapport de l intensité de l onde incidente à celle de l onde réfléchie = proportion d intensité lumineuse renvoyée par une scène à l observateur, [0, 1]. image, scène, couleur intrinsèque. Radiance : flux lumineux par unité de surface que renvoit une surface éclairée. image, scène, couleur perçue, observée. = radiance = réflectance luminance S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

22 Le système visuel humain : rétine + cortex S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

23 Rétine : cônes et bâtonnets S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

24 La couleur : théorie trichromatique S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

25 les Mondrians expériences de Land et McCann réalisées avec des Mondrians pour garantir la reproductibilité des recherches (neutraliser les processus de mémorisation, d interprétation et de reconnaissance dans le cerveau). Piet Mondrian ( ) : peintre néerlandais, pionnier de l art abstrait, fondateur du néoplasticisme. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

26 Les expériences de Land et McCann Le système visuel tient beaucoup plus compte du contraste à petite échelle que du contraste à grande échelle. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

27 Les expériences de Land et McCann S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

28 Les expériences de Land et McCann S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

29 Les expériences de Land et McCann S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

30 Vision humaine le système visuel humain ne procède pas massivement en analysant pixel par pixel mais par comparaison spatiale locale! S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

31 Où l on réalise que l oeil est capable de traiter une certaine forme d illumination Land E.H. (1977) The Retinex theory of color vision, Scientific American, 237(6) : Land (1977) a réalisé l expérience suivante : un observateur éclairé en lumière blanche se voit donner une feuille de papier d une certaine couleur. il regarde un Mondrian éclairé par un jeu de lumières de sorte que la réflectance du Mondrian n est pas égale à sa radiance. l observateur doit trouver dans le Mondrian un rectangle de même couleur que la feuille qu il a dans les mains. l observateur identifie un rectangle de même réflectance intégrée normalisée que sa feuille et non pas de même radiance! il y a eu traitement de l illumination! par l oeil? par le cortex? S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

32 Où l on voit arriver le concept référence de blanc dans chaque canal (R, G, B), réflectance intégrée normalisée = intégrale sur le rectangle considéré de l intensité lumineuse du rectangle dans la bande spectrale considérée / intégrale sur un rectangle blanc de même taille de l illumination appliquée sur le rectangle du Mondrian conséquences : 2 intuitions majeures, à savoir l oeil cherche une référence de blanc pour faire ses comparaisons de pixels il est peu probable que l oeil intègre quoi que ce soit! Plus vraisemblablement, il se sert de comparaisons locales pour ôter l illumination et percevoir la réflectance S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

33 Axiomes de Land et McCann Le même traitement est réalisé dans chacun des trois canaux (R,G,B). Persistance des couleurs : la perception des couleurs est indépendante dans une certaine mesure de l illumination appliquée à la scène observée (pourvu que la surface des objets observés soit uniforme ie sans angle) Réhaussement local du contraste : la perception des détails dépend de leur localisation spatiale dans leur environnement proche. Adaptation à la plage dynamique : la même variation est perçue plus faiblement lorsque l intensité du stimulus augmente. loi de Weber-Fechner : réponse non-linéaire des sens humains aux stimulus (traitement de type logarithmique de l intensité lumineuse). l oeil procède par comparaisons spatiales locales à la recherche d une référence de blanc. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

34 Où l on voit arriver le concept ratio-product-reset Land (1977) : comment fait l oeil pour réaliser des comparaisons entre zones distantes? Intuition : propagation des comparaisons en multipliant des ratios de radiance entre pixels contigus le long d un chemin entre les deux pixels distants à comparer Notons x et y les pixels distants à comparer et γ = {z 0, z 1, z 2,..., z n } un chemin de pixels contigus qui va de x = z 0 à y = z n et effectuons mécanisme ratio-product I (x) I (y) = I (z 1) I (z 2 ) I (y) I (z 1 ) I (z 2 )... I (x) I (z n 1). NB : Wallach (1948) avait remarqué que les ratios de radiance ont tendance à être invariants sous des changements d illumination. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

35 Où l on voit arriver le concept ratio-product-reset Que fait l oeil lorsqu il atteint un pixel (presque) blanc en chemin? Il s en sert de référence de blanc et il oublie le chemin parcouru avant! Notons x m le pixel d intensité maximale le long du chemin γ (le cas échéant). Le ratio à calculer devient mécanisme reset I (x) I (z m ) = I (z m) I (z m+1 )... I (x) I (z n 1) = I (x) max z γk I (z) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

36 Les méthodes de type Retinex A la suite de Land E.H. and McCann J.J. (1971) Lightness and the retinex theory, J. Opt. Soc. Am., 61 : 1-11 on trouve : méthodes à chemins aléatoires ou à spray aléatoire méthodes à masques de pixels ( lissage sur un voisinage) : filtrage homomorphique, SSR, MSR, Retinex par filtrage bilatéral résolution d équations différentielles (équation de Poisson) résolution de problèmes d optimisation quadratique (modèles variationnels) méthodes itératives pour l IRM (PABIC, N3, N4 : désillumination et segmentation simultanées) méthode par régression (projeter sur un sous-espace particulier) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

37 L algorithme Retinex originel Soit (γ k ) k=1,...,k un ensemble de chemins allant d un pixel x k au pixel x en n pas. Notons γ k = {z 0,k = x k, z 1,k, z 2,k,..., z n,k = x} les pixels visités par le chemin γ k. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

38 L algorithme Retinex originel La réflectance relative de x par rapport à x k le long de γ k est n 1 ( ) I (zj+1,k ) R γk (x, x k ) = log δ k I (z j,k ) avec et pour j = 1,..., n 1 ( ) I (zj+1,k ) δ k = I (z j,k ) j=0 ( ) I (z1,k ) δ k = I (z 1,k) I (z 0,k ) I (z 0,k ) I (z j+1,k ) I (z j,k ) j 1 i=0 δ k La réflectance au pixel x est ( 1 I (zi+1,k ) I (z i,k ) R(x) = 1 K si ) sinon. j 1 i=0 δ k K R γk (x, x k ) k=1 ( ) I (zi+1,k ) I (z i,k ). I (z j+1,k) I (z j,k ) 1 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

39 Propriétés de l agorithme Rétinex orginel autre expression de R : R(x) = 1 K K k=1 ( ) I (x) log max z γk I (z) 1 deux paramètres à calibrer : K, n, les chemins sont générés par des marches aléatoires. choix de n : moyen chemins trop courts ratios trop similaires image presque blanche chemins trop longs perte de la nature locale speckle (chaque chemin va avoir tendance à traverser un pixel de forte intensité) choix de K : assez grand sinon apparition de bruit d échantillonnage, artéfacts quelles valeurs de K et n choisir? NSP, ça dépend de l image à traiter, de la géométrie des chemins pb : les résults dépendent beaucoup du choix de K et n S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

40 Propriétés de l agorithme Rétinex orginel Retinex n est pas une transformation idempotente, i.e. en général R( R(x)) R(x). Réitérer l algorithme peut améliorer les résultats. Provenzi et al. (2005) ont montré que si l on applique Retinex encore et encore sur une image, il finit par apparaitre des points blancs sur l image. quand arrête-t-on de réitérer l algo? NSP comme on transforme les valeurs des pixels dans (0, 1] avant d appliquer Retinex, on a 0 < max z γk I (z) 1 et donc R(x) = 1 K K k=1 ( ) I (x) log max z γk I (z) 1 K K log (I (x)) I (x) les images sous-exposées sont généralement réhaussées par Retinex tandis que les images surexposées ne le sont généralement pas. k=1 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

41 Image Land et McCann (1971) K = 20, n = 20 K = 20, n = 400 K = 400, n = 20 K = 400, n = 400 NB : initialement, il y avait un seuillage qui s est avéré non pertinent (ici, threshold = 0). S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

42 Retinex à chemins en spirales carrées Frankle-McCann (1983) comparent d abord des pixels éloignés puis des pixels de plus en plus rapprochés selon une spirale carrée à départ choisi aléatoirement. l espacement entre les pixels à comparer diminue à chaque fois. La direction entre les pixels change à chaque fois, dans le sens horaire. géométrie du chemin La comparaison est implémentée via le mécanisme ratio-product-reset-average jusqu à ce que l espacement soit de 1 pixel. implémentation MATLAB effectuée par Funt et Ciurea (2004) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

43 Image Frankle et McCann 1983 kiter = 1 kiter = 16 kiter = 4 kiter = 128 Un paramètre à calibrer : kiter = nombre de pas S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

44 Retinex par pyramide multirésolution McCann 1999 créé une pyramide multi-résolution de l image de départ en moyennant les valeurs des pixels sur des blocs. Soit (2 M h, 2 M w) la taille de I avec w h où w, h {1,..., 5} et où M est le nombre de niveaux de résolution. INIT : kiter = nombre de pas image basse résolution (h w) : calcul de intensité moyenne sur chaque bloc (chacun étant de taille 2 M 2 M ) pour m =... M, calcul de la réfléctance relative le long d un chemin en spirale carrée selon ratio-product-reset à partir de l image basse résolution le nombre (maximal) de pas du chemin est kiter on crée une nouvelle image (un peu moins) basse résolution (2 m h 2 m w) et on recommence on moyenne les réfléctances relatives aux différentes résolutions S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

45 Image McCann 1999 image rognée (M = 7) kiter = 1 kiter = 16 kiter = 4 kiter = 128 Un paramètre à calibrer : kiter nombre de pas. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

46 Retinex par sprays aléatoires Générons (S k (x)) k=1,...,k collection de K sprays aléatoires à n points centrés en le pixel x. Pour générer un spray, on tire indépendemment n valeurs de θ uniformément dans (0, 2π] et n valeurs de ρ uniformément dans (0, r m ] puis on forme { j x = i x + g(ρ) cos θ j y = i y + g(ρ) cos θ La réflectance en x est calculée par : R(x) = 1 K K k=1 ( log R(x) max z Sk (x) R(z) moins d artefacts que les algorithmes Retinex à chemins 1D mais bruit dans les zones homogènes (Provenzi et al. 2008). paramètres : r m, g, K, n difficiles à calibrer! S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86 ).

47 le spray imite la répartition des cones dans la rétine dont la densité décroit lorsqu on s écarte de la fovea! S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

48 Rappel sur le filtrage filtrage linéaire par un filtre 3 5 défini par m(-1,-2) m(-1,-1) m(-1,0) m(-1,1) m(-1,2) m(0,-2) m(0,-1) m(0,0) m(0,1) m(0,2) m(1,-2) m(1,-1) m(1,0) m(1,1) m(1,2) Les valeurs correspondantes de l image à filtrer en (i, j) sont I(i-1,j-2) I(i-1,j-1) I(i-1,j) I(i-1,j+1) I(i-1,j+2) I(i,j-2) I(i,j-1) I(i,j) I(i,j+1) I(i,j+2) I(i+1,j-2) I(i+1,j-1) I(i+1,j) I(i+1,j+1) I(i+1,j+2) La valeur de l image filtrée par m en (i, j) est (I m)(i, j) = Le filtrage gaussien est linéaire. 1 s= 1 t= 2 2 m(s, t)i (i + s, j + t). S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

49 Rappel sur le filtrage filtre passe-bas gaussien (plus l écart-type est grand, plus l image sera floutée) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

50 Rappel sur le filtrage effet du filtrage gaussien passe-haut (somme des coeff vaut 0 : un tel filtre annule les images constantes) et passe-bas (somme des coeff vaut 1 : un tel filtre laisse inchangées les images constantes) S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

51 Retinex par filtrage homomorphique luminance spatiallement lisse basse-fréquence filtrer log I par un filtre passe-haut H en pratique : filtrer log I dans le domaine des fréquences appliquer la transformation de Fourier F(log I ) = F(log(R) + log(l)) = F(log(R)) + F(log(L)). puis filtrer par H ie F(log I ).F(H) = F(log(R)).F(H) + F(log(L)).F(H) } {{ } } {{ } F(log(R)) 0 puis appliquer la transformée de Fourier inverse suivie de l exponentielle. NB : cela revient à calculer exp(log(i ) H) mais en diminuant considérablement la complexité et donc le temps de calcul S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

52 Retinex par filtrage homomorphique filtre passe-haut le plus utilisé (équation donnée dans le domaine de Fourier) = filtre Gaussien (tronqué) : ( F(H)(u, v) = 1 k exp (u2 + v 2 ) ) 2c 2 où k (0, 1) est une constante de normalisation (choisie de sorte la somme des coefficients du filtre somme à 0) et c est l écart-type de la gaussienne (valeur recommandée c = 5.5). autres possibilités : filtre de Butterworth la calibration du paramètre c est à recommencer à la main pour chaque image augmentation du bruit : texture (détails) de l image et bruit ne sont pas séparables dans l espace de Fourier!!! S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

53 Image Luminance filtrage homomorphique Réflectance c = 5 c = 5 c = 25 c = 25 Un paramètre à calibrer : c l écart-type du filtre gaussien. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

54 Image Luminance filtrage homomorphique Réflectance c = 50 c = 50 c = 80 c = 80 Un paramètre à calibrer : c l écart-type du filtre gaussien. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

55 Single-Scale Retinex (SSR) = center/surround algorithm on calcule une version floutée de la log-luminance par convolution spatiale à la log-image de départ puis on retire cette version floutée de la log-image originale ce qui donne R = log(i ) log( } I {{ G} ) version floutée de I où G est en général un filtre gaussien (passe-bas) d écart-type c : G(x, y) = k exp ( x2 + y 2 ) 2c 2 où k est une constante de normalisation telle que les coefficients du filtre sur le masque somment à 1. NB1 : on ne reprend pas l exponentielle ( compression dynamique) Rahman Z. (1995) Properties of a center/surround retinex : part 1. Signal processing design. NASA CR Jobson D.J., Rahman Z. and Woodell G.A. (1997a) Properties and Performance of a Center/Surround Retinex, IEEE Transactions on Image Processing, 6(3) : S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

56 Single-Scale Retinex (SSR) = center/surround algorithm NB2 : une correction est en général nécessaire : multiplication en chaque pixel par la valeur de log(c/i ) où C est une constante à calibrer... la calibration du paramètre c est à recommencer à la main pour chaque image, celle de C aussi les résultats de la méthode SSR dépendent beaucoup du choix de c (= paramètre d échelle)!!!! amplification du bruit dans les régions sombres, effet de halos autour des transitions marquées du sombre au clair S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

57 SSR Image c = 20 deux paramètres à calibrer : c l écart-type du filtre gaussien, C la constante de correction. c = 50 c = 100 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

58 Image SSR avec correction c = 20 c = 100, C = 100 deux paramètres à calibrer : c l écart-type du filtre gaussien, C la constante de correction. c = 50 c = 20, C = 100 c = 100 c = 50, C = 100 S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

59 Multi-Scale Retinex (MSR) Idée : utiliser plusieurs SSR d écarts-types différents et pondérer les différents résultats ce qui donne R(x, y) = S w s (log I (x, y) log(i G cs (x, y))) s=1 où G cs (x, y) est le sème filtre utilisé d écart-type c s et où w s 0 est un poids avec S s=1 w s = 1. correction en chaque pixel en multipliant par log(c/i ) recommandation : prendre des pondérations égales pour diminuer le nombre de paramètres à calibrer, prendre S pas trop grand diminution de problèmes de halos et de bruit Jobson D.J., Rahmann Z. and Woodell G.A. (1997b) A Multiscale Retinex for Bridging the Gap Between Color Images and the human Observations of Scenes, IEEE Transactions on Image Processing, 6(7) : S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

60 MSR Image c = (7, 15, 21) c = (15, 80, 250) Paramètres à calibrer : S le nombre d échelles, les écarts-type c s des filtres gaussiens, les poids w c, C la constante de correction. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

61 Image MSR avec correction c = (7, 15, 21) c = (7, 15, 21), C = 100 c = (15, 80, 250) c = (15, 80, 250), C = 100 Paramètres à calibrer : S le nombre d échelles, les écarts-type c s des filtres gaussiens, les poids w c, C la constante de correction. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

62 Retinex par équation de type Poisson Idée de Blake A. (1985), Boundary conditions of lightness computation in Mondrian world. Computer Vision Graphics and Image Processing 32, Comme l illumination est spatiallement lisse, les fortes variations sont dues aux variations de la réflectance donc 1 log L est borné et petit 2 log R est nul presque-partout et grand seulement aux angles et contours I = RL log I = log R + log L On en déduit l équation de Poisson en r (en notant r = log R) r = log I 1 log I >threshold à résoudre en écrivant l équation d Euler-Lagrange associée. il est nécessaire d imposer des conditions aux bords en fonction du gradient S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

63 Retinex par équation de type Poisson Horn B.K. (1974), Determining lightness from an image. Computer Graphics and Image Processing, 3 : Un gradient est directionnel alors qu un Laplacien est anisotrope d où r = log I 1 log I >threshold mais les conditions aux bords s écrivent maintenant en fonction du Laplacien... Remède de Morel J.-M., Petro A.B. and Sbert C. (2010) A PDE Formalization of the Retinex Theory, IEEE Transactions on Image Processing, 19(11), Seuiller le gradient et écrire les conditions aux bords en fonction du gradient puis prendre la divergence de sorte que r = div ( log I 1 log I >threshold ) un paramètre à calibrer : threshold S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

64 EDP : Morel, Petro et Sbert (2011) Image threshold = 1 threshold = 4 threshold = 7 threshold = 20 un parame tre a calibrer : threshold S. Geffray, N. Klutchnikoff, M. Vimond De sillumination septembre / 86

65 Approche variationnelle Kimmel, R., Elad, M., Shaked, D., Keshet, R., Sobel I. (2003) A Variational Framework for Retinex. International Journal of Computer Vision, 52(1) : la log-luminance l = log L est lisse et même l est une version lisse de log I (sinon, une solution constante convient pour l où cette constante est supérieure à max{log I }) le gradient de la log-reflectance r est presque-partout nul contrainte : R (0, 1] L I l log I contrainte technique (sans impact) : l illumination est constante à partir des bords de l image l, n = 0 on D la log-réflectance est spatiallement lisse NB : comme r + l = log I, l hypothèse que r est lisse contredit l hypothèse que l est lisse. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

66 Approche variationnelle Minimiser en l = log L : D { l 2 + α(l log I ) 2 + β (l log I ) 2} sous les contraintes l log I et l, n = 0 on D. en notant n la normale aux bords et où α, β 0. l 2 force l à être spatiallement lisse. (l log I ) 2 : terme de régularité, implique la proximité de l et log I r est petit R tend vers le blanc! α doit être choisi (très) petit! (l log I ) 2 : terme de pénalité qui pénalise r et force r à être spatiallement lisse pour être visuellement agréable paramètres à calibrer : α et β problèmes de halos et de bruit S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

67 Filtrage bilatéral La valeur en x d une image filtrée avec un filtre bilatéral est 1 G s (x y)g i (I (x) I (y))i (x) k y V (x) où k= cste de normalisation, G s et G i sont des noyaux gaussiens resp 2D et 1D (tronqués sur le voisinage V (x) de x) correspondant au lissage spatial et en intensité resp. filtrage non-linéaire Photoshop implémente un filtre bilatéral dans son outil surface blur. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

68 Retinex par filtrage bilatéral Elad M. (2005) Retinex by Two Bilateral Filters, Scale-Space 2005, Hofgeismar, Germany. méthode basée sur approche variationnelle de Kimmel et al. (2003) approximation du filtre bilatéral qui étant non-linéaire est coûteux en temps de calcul, par Durand, F. and Dorsey, J. (2002) Fast bilateral filtering for the display of high-dynamic-range images, SIGGRAPH 2002 : paramètres à calibrer : écart-type spatial, écart-type en intensité résolution non-itérative du problème d optimisation, pas de halos, bon traitement du bruit S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

69 Comparaison de Elad à la méthode de Kimmel et al. S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

70 Désillumination sur androïd S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

71 Désillumination en IRM illumination appelée bias field, gain field, intensity nonuniformity, intensity inhomogeneity désillumination couplée à la segmentation par classification supervisée hypothèse : l histogramme des niveaux de gris a des modes bien séparés et représente un mélange fini de lois dont le nombre de composantes est connu par exemple, les classes (dont le nombre est connu a priori) peuvent correspondre à l appartenance aux différentes zones de la réflectance par ex, dans le cerveau : matière blanche, matière grise, liquide cérébro-spinal S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86

72 PABIC : Parametric Bias Field Correction Styner M., Brechbuhler C., Szckely G., Gerig, G.(2000) Parametric estimate of intensity inhomogeneities applied to MRI, IEEE Trans Med Imaging 19(3), PABIC ne segmente pas mais utilise l hypothèse que la réflectance est composée d un nombre fini connu de régions à intensité de moyenne et de variance constantes et connues! les µ k et σk 2 pour k = 1,..., K sont à fournir! log L est approximée par une combinaison linéaire de polynômes de Legendre dont le degré d est un paramètre à calibrer. NB : en 2D, le nb de coeff est (d + 1)(d + 2)/2, en 3D, le nb de coeff est (d + 1)(d + 2)(d + 3)/6 estimation obtenue en minimisant une fonction d énergie calculée à partir des hyp effectuées beaucoup de paramètres à calibrer implémenté dans ITK (Insight Toolkit of the National Institutes of Health) : ITK Bias Corrector algorithm (http :// S. Geffray, N. Klutchnikoff, M. Vimond Désillumination septembre / 86