Restauration multi- images et 3D sans artefacts: Optimisation sous contraintes locales et apprentissage statistique

Transcription

1 Restauration multi- images et 3D sans artefacts: Optimisation sous contraintes locales et apprentissage statistique Proposition de Sujet de Thèse Andrés Almansa Telecom ParisTech Introduction Les images numériques aussi bien que les films et les surfaces 3D subissent pendant leur processus de capture des dégradations de différents types : Bruit (gaussien, poissonien, impulsionnel, multiplicatif ou additif), données manquantes (scratches ou taches dans les films, taux d échantillonnage insuffisant dans les images satellitaires et surfaces 3D), compression et flou dans les images et les films. Beaucoup de solutions ont été proposées dans la littérature pour résoudre ce type de problèmes avec des performances très bonnes en termes de rapport signal- bruit, mais pour certaines applications en imagerie satellitaire et en graphisme 3D les exigences vont au delà de ces métriques habituelles. En particulier, quand les images restaurées vont être utilisées pour des traitements ultérieurs, comme la stéréoscopie sous- pixellique, il est plus important d assurer que la restauration est invariante par translation sous- pixellique (ce qui est particulièrement difficile pour les images compressées) et ne contient pas des artefacts, ni de bruit structuré. On préférera donc accepter un bruit plus fort mais prévisible et non- corrélé à l image, que un bruit structuré. De même, en graphisme 3D, la distance entre la forme de référence et la forme reconstruite a beaucoup moins d importance que les erreurs et artefacts sur le champ de normales à la surface, car celui- ci a un effet très visible sur le rendu graphique. Projet Cette thèse vise à obtenir des images restaurées de bonne qualité tout en évitant d introduire des artefacts visibles, qu ils soient propres au modèle de restauration ou au processus d acquisition. On puisera pour cela sur trois axes méthodologiques fondamentaux : - l apprentissage de modèles statistiques des images naturelles - une utilisation approfondie du modèle de bruit dans l image

2 - des méthodes d estimation robuste et leur capacité à pardonner des points aberrants On cherchera à formuler les méthodes proposées dans un cadre commun à plusieurs applications, puis d explorer de manière approfondie une des applications possibles, dans un cas réel et appliqué. Modèles statistiques d images naturelles Apprentissage statistique et régularisation non- locale performante. Suite au succès des méthodes non- locales pour le debruitage [NLM], le critère a été raffiné de diverses manières. Les extensions les plus récentes à plusieurs problèmes inverses [NLB, PLE] considèrent que les patches d une image naturelle parcourent une variété fortement non- linéaire et de faible dimension, mais qui peut être approchée localement par une distribution Gaussienne. Néanmoins rien ne permet de fixer (a priori) le nombre de Gaussiennes nécessaires pour bien modéliser une image ou une famille d images. Mais on peut s affranchir de cette information manquante si on dispose d un moyen efficace d organiser les patches d une grande base de données dans une structure hiérarchique, permettant d obtenir en requête la distribution de patches autour d un point. Une telle structure de données permettrait entre autres d étudier les limites des méthodes non- locales comme proposé dans []. Mesures de similitude entre patches. Dans la grande majorité des méthodes non- locales on accepte implicitement que la norme L2 fournit une bonne mesure pour évaluer la similitude entre deux patches. Or ce choix n'est pas assez discriminant dans plusieurs situations (dont la stéréoscopie fine), et il est très difficile d'établir un seuil universel assez discriminant basé sur cette distance, ce qui a conduit souvent dans les méthodes de debruitage non- local à rajouter un critère de localité spatiale [DeledalleLocalNLM] dans la recherche de patchs similaires, afin de diminuer le risque de se tromper. Pour la même raison le réglage du paramètre h dans non- local means est assez ardue. On propose d'établir une meilleure métrique de similitude de patches, et un critère de décision pour déterminer si deux patches sont assez proches. La deuxième question a déjà été abordée dans le cadre de la stéréoscopie [J16] en utilisant des méthodes a contrario. La méthode est entièrement basée sur un modèle probabiliste a priori de l'ensemble de patches d'une image, qui est obtenue par ACP globale (ou bien une ACP local à la manière des modèles de mélange de gaussiennes pour rendre la méthode plus discriminante quand il y a une forte variabilité intra- image), et elle permet de trouver au moins un correspondant sûr dans environ la moitié des patches d'une paire stéréoscopique. Néanmoins la méthode ignore complètement le modèle de bruit, et elle fonctionne correctement pour les niveaux de bruits assez faibles courants en stéréoscopie (SNR ~ 30 à 40 db). A l'autre extrême [DeledallePatchMatch] prends l'attitude contraire et il donne un critère de similitude qui est uniquement basé sur le modèle de bruit. Quant au modèle a priori il prends l'attitude la plus

3 agnostique possible en utilisant le modèle de Jeffrey. Ça lui permet d'étendre le débruitage non- local au cadre des images pollués par de bruit de Poisson, speckle et autres types de bruit courants en imagerie radar [DeledalleNLM] y compris avec des forts niveaux de bruit. Mais dans le cas d'un bruit Gaussien son critère retombe sur la distance L2 dont nous avons évoqué les limites plus haut. Il paraît logique de combiner les deux approches: utiliser le critère de Deledalle en y injectant un modèle Gaussien global ou local [NLB,PLE] comme a priori statistique pour les patches. Modèles statistiques du bruit Une des critiques qui a été faite à la méthode MAP [5] (particulièrement dans le cadre de la variation totale) est que la solution qu'elle produit a des caractéristiques statistiques très particulières, pas toujours cohérentes avec le modèle probabiliste utilisé pour l'obtenir. Notamment le résidu est souvent très structuré, alors qu'il est supposé blanc Gaussien. Cette observation a motivé un intérêt renouvelé pour des approches alternatives comme le calcul de l'espérance a postériori [6]. Une autre approche consiste à raffiner la méthode de régularisation de sorte à ce qu'elle reproduise bien la nature des images naturelles. C'est pour cette raison (parmi d'autres) que les méthodes basées patches produisent des images avec un résidu assez proche d'un bruit blanc... sauf à quelques endroits où l'image n'est pas cohérente avec le modèle autosimilaire: des points aberrants comme les grains de beauté par exemple. Plus gênant encore, dès que l'on essaye de généraliser les méthodes basés patches à d'autres problèmes inverses [PeyreNonLocalReg] le résidu perds vite en blancheur. Même en déconvolution, très peu de littérature montre le résidu et ceux qui le font montrent une legère avantage des méthodes plus sophistiqués comme la TV non- locale [NLTVdeblur] face à des régularisations non- locales plus classiques, sans pour autant donner une explication convaincante de ce phénomène. En plus des fortes structurations restent présentes dans le résidu. Indépendamment de la méthode de régularisation choisie, ou s en passer complètement, nous pouvons utiliser la distribution connue du bruit pour contraindre encore la solution et éviter des artefacts sur l image. La moyenne et variance du bruit sont typiquement utilisées pour régler le paramètre de régularisation [7], mais des statistiques d ordre plus élevé sont rarement exploitées et feront l objet de cet étude. Détection de points aberrants et compressed sensing Des critères robustes tels que la norme L1 sur le terme d attache aux données sont souvent utilisés pour détecter et restaurer automatiquement des points aberrants. Comme il a été montré par Candes & Tao [13] dans le cadre des codes correcteurs d erreur, on peut utiliser des bornes similaires à celles du compressed sensing pour caractériser le nombre de mesures erronées qui

4 peuvent être automatiquement détectées. Dans [12] la technique a été étendue à la restauration d images notamment en superresolution. D autres problèmes de restauration d images restent à être étudiés sous cet angle et des nombreuses extensions de cette théorie peuvent être envisagées. Cette thèse comportera donc deux volets : Du coté théorique, les propriétés géométriques et statistiques des solutions optimales seront étudies sous hypothèses réalistes de bruit et autres dégradations. Du coté pratique on développera des algorithmes numériques assurant une bonne proximité de l optimum théorique dans un temps raisonnable. International Cette thèse entre dans le cadre d une collaboration avec l équipe du Pr. Vicent Caselles à Barcelone (Espagne), du Pr Pablo Musé à Montevideo (Uruguay), ainsi que avec le CNES (Toulouse) et Tamy Boubekeur (Paris). Une mobilité et des échanges avec ces partenaires sont envisagés. Profil du candidat Le candidat aura une formation en Mathématiques Appliquées au Traitement d Images et un goût particulier pour la modélisation physique et mathématique des instruments de capture d'images la mise en oeuvre informatique d'algorithmes de traitement d'images Bibliographie [1] M. Lebrun, M. Colom, A. Buades, and J. M. Morel, Secrets of image denoising cuisine, Acta Numerica, vol. 21, no. 1, pp , May [2] P. Arias, G. Facciolo, V. Caselles, and G. Sapiro, A Variational Framework for Exemplar- Based Image Inpainting, International Journal of Computer Vision, vol. 93, no. 3, pp , Jan [3] T. Guillemot, T. Boubekeur, and A. Almansa, Non Local Point Set Surfaces, in 3DIMPVT, paristech.fr/~boubek/papers/nlpss/ [4] S. Durand and M. Nikolova, Denoising of Frame Coefficients Using $\ell^1$ Data- Fidelity Term and Edge- Preserving Regularization, Multiscale Modeling & Simulation, vol. 6, no. 2, [5] M. Nikolova, MODEL DISTORTIONS IN BAYESIAN MAP RECONSTRUCTION, Inverse Problems and Imaging, vol. 1, no. 2, pp , May 2007.

5 [6] C. Louchet and L. Moisan, Total Variation denoising using posterior expectation, in European Signal Processing Conference (EUSIPCO), [7] A. Almansa, C. Ballester, V. Caselles, and G. Haro, A TV Based Restoration Model with Local Constraints, Journal of Scientific Computing, vol. 34, no. 3, pp , Mar [8] Charles- Alban Deledalle, Florence Tupin, and Loic Denis. Poisson NL means: Unsupervised non local means for poisson noise. In 2010 IEEE International Conference on Image Processing, ICIP [9] Charles- Alban Deledalle, Vincent Duval, and Joseph Salmon. Non- local methods with Shape- Adaptive patches (NLM- SAP). Journal of Mathematical Imaging and Vision, pages 1 18, May ISSN doi: /s y. [10] Charles- Alban Deledalle, Lo ïc Denis, and Florence Tupin. How to compare noisy patches? patch similarity beyond gaussian noise. International Journal of Computer Vision, 99(1): , March ISSN doi: /s [11] Gabriel Peyreé, Sébastien Bougleux, and Laurent Cohen. Non- local regularization of inverse problems computer vision ECCV In Computer Vision ECCV 2008, volume 5304 of Lecture Notes in Computer Science, chapter 5, pages doi: / _5. [12] Y. Traonmilin, S. Ladjal, A. Almansa, Outlier Removal Power of the L1- Norm Super- Resolution, SSVM ouvertes.fr/hal / [13] Candes, E.J., Tao, T.: Decoding by linear programming. Information Theory, IEEE Transactions on 51(12) (December 2005)