Mesure agnostique de la qualité des images.

Transcription

1 Mesure agnostique de la qualité des images. Application en biométrie Christophe Charrier Université de Caen Basse-Normandie GREYC, UMR CNRS 6072 Caen, France 8 avril, 2013 C. Charrier NR-IQA 1 / 34

2 Sommaire 1 Introduction C. Charrier NR-IQA 2 / 34

3 Sommaire Introduction Évaluation de la qualité des images Les SSN Travaux antérieurs 1 Introduction C. Charrier NR-IQA 3 / 34

4 Évaluation de la qualité des images Les SSN Travaux antérieurs Algorithmes d évaluation de la qualité 1 Algorithmes avec référence (FR-IQA) fonction de similarité 2 Algorithmes avec référence réduite (RR-IQA) Seules certaines mesures globales de défauts sont conservées 3 Algorithmes sans référence (NR-IQA) Difficulté de mise en œuvre C. Charrier NR-IQA 4 / 34

5 Algorithmes d évaluation de la qualité 1 Algorithmes avec référence (FR-IQA) fonction de similarité Évaluation de la qualité des images Les SSN Travaux antérieurs 2 Algorithmes avec référence réduite (RR-IQA) Seules certaines mesures globales de défauts sont conservées 3 Algorithmes sans référence (NR-IQA) Difficulté de mise en œuvre Points communs entre les méthodes d évaluation 1 et 2 Besoin d une image de référence Concept d image parfaite mesure de fidélité à l image de référence dégradation visible par un observateur humain C. Charrier NR-IQA 4 / 34

6 Évaluation de la qualité des images Les SSN Travaux antérieurs Algorithmes d évaluation de la qualité 1 Algorithmes avec référence (FR-IQA) fonction de similarité 2 Algorithmes avec référence réduite (RR-IQA) Seules certaines mesures globales de défauts sont conservées 3 Algorithmes sans référence (NR-IQA) Objectif Difficulté de mise en œuvre Obtenir la meilleure prédiction au regard des résultats du jugement humain ( = DMOS) C. Charrier NR-IQA 4 / 34

7 Évaluation de la qualité des images Les SSN Travaux antérieurs Algorithmes d évaluation de la qualité 1 Algorithmes avec référence (FR-IQA) fonction de similarité 2 Algorithmes avec référence réduite (RR-IQA) Seules certaines mesures globales de défauts sont conservées 3 Algorithmes sans référence (NR-IQA) Objectif Difficulté de mise en œuvre Obtenir la meilleure prédiction au regard des résultats du jugement humain ( = DMOS) C. Charrier NR-IQA 4 / 34

8 Évaluation de la qualité des images Les SSN Travaux antérieurs Algorithmes d évaluation de la qualité sans référence Peu de travaux Quasiment exclusivement spécifiques aux distorsions Dégradation JPEG2000 / ringing [H.R. Sheikh et al., 2005 ; Z.M. Parvez et al., 2008] Dégradation JPEG / bloc [Z. Wang et al., 2002 ; X. Zhu et al., 2009] Dégradation de flou [X. Zhu et al., 2009 ; R. Ferzli et al., 2007] Calcul du score Cumul des dégradations Approche basée NN [C. Li and al., 2011 ; Jung et al, 2002 ; Tsoy et al, 2007] C. Charrier NR-IQA 5 / 34

9 Évaluation de la qualité des images Les SSN Travaux antérieurs Schéma générique d une métrique de qualité sans référence Blocs Flou Bruit masquage interdégradation cumul spatial et/ou fréquentiel Score Image dégradée Contours Artefacts C. Charrier NR-IQA 6 / 34

10 Évaluation de la qualité des images Les SSN Travaux antérieurs Schéma générique d une métrique de qualité sans référence Blocs Flou Bruit masquage interdégradation cumul spatial et/ou fréquentiel Score Image dégradée Contours Artefacts Sommation E = ( de Minkowski m n e(m, n) β) 1/β C. Charrier NR-IQA 6 / 34

11 Évaluation de la qualité des images Les SSN Travaux antérieurs Hypothèses liées à la sommation de Minkowski 1 La qualité d une image ne dépend pas des relations spatiales entre les pixels. 2 La qualité d une image ne dépend pas des relations entre le signal d origine et le signal dégradé. 3 La qualité d une image dépend exclusivement de l amplitude du signal d erreur. 4 Tous les pixels de l image ont la même importance visuelle. C. Charrier NR-IQA 7 / 34

12 Évaluation de la qualité des images Les SSN Travaux antérieurs Hypothèses liées à la sommation de Minkowski 1 La qualité d une image ne dépend pas des relations spatiales entre les pixels. 2 La qualité d une image ne dépend pas des relations entre le signal d origine et le signal dégradé. 3 La qualité d une image dépend exclusivement de l amplitude du signal d erreur. 4 Tous les pixels de l image ont la même importance visuelle. C. Charrier NR-IQA 7 / 34

13 Évaluation de la qualité des images Les SSN Travaux antérieurs Limites sommation de Minkowski (hypothèse 2) Signal test1 Signal test Signal test2 Signal erreur Signal erreur Erreur de Minkowski C. Charrier NR-IQA 8 / 34

14 Évaluation de la qualité des images Les SSN Travaux antérieurs Principe des SSN Caractéristiques du SVH ont été façonnées par leur grande facilié d adaptation au monde environnant (nombre et type de photorécepteur de la rétine induit par le processus de sélection naturelle) Images originales évoluent dans un sous-espace d un vaste espace vectoriel regroupant toutes les images possibles, Toute déviation d un modéle SSN est interprété comme une dégradation de l image originale associée. C. Charrier NR-IQA 9 / 34

15 Introduction Évaluation de la qualité des images Les SSN Travaux antérieurs Les statistiques de scènes naturelles NON OUI C. Charrier NR-IQA 10 / 34

16 Introduction Évaluation de la qualité des images Les SSN Travaux antérieurs Les statistiques de scènes naturelles NON OUI Images du monde réel C. Charrier NR-IQA 10 / 34

17 Évaluation de la qualité des images Les SSN Travaux antérieurs Intérêt pratique Compression [Kretzmer, 1952] Restauration d images Indexation, classification Statistiques du premier ordre Très variable d une image à l autre Peu informative sur la structure des images C. Charrier NR-IQA 11 / 34

18 Évaluation de la qualité des images Les SSN Travaux antérieurs Statistiques du second ordre Corrélaltion Spectre de puissance Invariances à l échelle Spectre de puissance : loi en 1/f a, a 2 Anisotropie ; lien aux catégories perceptives C. Charrier NR-IQA 12 / 34

19 Évaluation de la qualité des images Les SSN Travaux antérieurs Statistiques globales C. Charrier NR-IQA 13 / 34

20 Évaluation de la qualité des images Les SSN Travaux antérieurs Statistiques locales spectres prototyptiques C. Charrier NR-IQA 14 / 34

21 Évaluation de la qualité des images Les SSN Travaux antérieurs BLIINDS v1.0 Modélisation de quatre facteurs de vision par des critères statistiques dans le domaine de la DCT Modélisation de la distribution de ce vecteur à quatre attributs pour prédire la qualité Validation de l utilisation des SSN dans le domaine de la DCT Motivation : définition d une métrique agnostique 1 Dériver un modèle généralisé des SSN utilisant les coefficients DCT locaux 2 Transformer ensuite les paramètres du modèle en caractéristiques permettant de prédire la qualité des images. C. Charrier NR-IQA 15 / 34

22 Sommaire Introduction Schéma Les attributs 1 Introduction C. Charrier NR-IQA 16 / 34

23 Schéma Les attributs G-BLIINDS2 : Un modèle SSN généralisé Image Décomposition DCT locale Modèle gaussien généralisé Extraction de caractéristiques Souséchantillonnage filtrage passe-bas Modèle probabiliste Décomposition sur 3 niveaux Score de qualité C. Charrier NR-IQA 17 / 34

24 Schéma Les attributs G-BLIINDS2 : Un modèle SSN généralisé Image Décomposition DCT locale Modèle gaussien généralisé Extraction de caractéristiques Souséchantillonnage filtrage passe-bas Modèle probabiliste P X (x) = C α,ν exp( νq(x)) α où C α,ν,α,ν : constantes de normalisation, d échelle et de forme Score de qualité C. Charrier NR-IQA 17 / 34

25 Schéma Les attributs G-BLIINDS2 : Un modèle SSN généralisé α, ζ, ρ, ξ Image Décomposition DCT locale Modèle gaussien généralisé Extraction de caractéristiques Souséchantillonnage filtrage passe-bas Modèle probabiliste P X (x) = C α,ν exp( νq(x)) α où C α,ν,α,ν : constantes de normalisation, d échelle et de forme Score de qualité C. Charrier NR-IQA 17 / 34

26 Schéma Les attributs Paramètre de variation fréquentielle α Critère de gaussianité des blocs DCT 5 5 C. Charrier NR-IQA 18 / 34

27 Schéma Les attributs Paramètre de variation fréquentielle ζ ζ = σ X / µ X centre de la distribution des amplitudes des coefficients DCT dispersion des amplitudes des coefficients DCT Processus de normalisation, interprétable par analogie avec le comportement physiologique des neurones C. Charrier NR-IQA 19 / 34

28 Schéma Les attributs Le ratio d énergie des sous-bandes ρ Le ratio d énergie ρ des sous-bandes est alors défini comme suit avec R n = σ2 n 1 Le ratio d énergie des sous-bandes ξ ρ = R 2 + R 3 2 n 1 j<n σ2 j σn 2+ 1 n 1 j<n σ2 j, n [2, 3] Calcul des paramètres de variation fréquentielle ζ 1, ζ 2, ζ 3 sur les trois orientations ξ = var(ζ 1, ζ 2, ζ 3 ) C. Charrier NR-IQA 20 / 34

29 Introduction Schéma Les attributs Cartes des distorsions obtenues paramètre α paramètre ρ paramètre ζ paramètre ξ C. Charrier NR-IQA 21 / 34

30 Sommaire Introduction Apparatus Comparaisons 1 Introduction C. Charrier NR-IQA 22 / 34

31 Apparatus Comparaisons Apparatus Bases d apprentissage LIVE : 15 images originales avec leurs versions dégradées Bases de test 1 LIVE (sauf la base d apprentissage) 2 TID2008 Modélisation de la distribution de (X i, DMOS i ) X i = [x 1,, x n], n = 12 Vérité terrain DMOS i Protocole de comparison SROCC comme mesure de performance 1 méthode sans référence 5 méthodes avec référence : MS-SSIM, VIF, NQM, VSNR, PSNR. C. Charrier NR-IQA 23 / 34

32 Apparatus Comparaisons Panel d images de référence de la base LIVE C. Charrier NR-IQA 24 / 34

33 Apparatus Comparaisons Mesure de corrélation de Spearman sur la base de test LIVE Métriques sans référence Dégradation G-BLIINDS2 BIQI 1 MS-SSIM VIF NQM VSNR PSNR JP2K JPEG Bruit blanc Flou gaussien Fast Fading Base entière A. K. Moorthy and A. C. Bovik, A Two-step Framework for Constructing Blind Image Quality Indices". IEEE Signal Processing Letters, pp , vol. 17, no. 5, May C. Charrier NR-IQA 25 / 34

34 Apparatus Comparaisons Mesure de corrélation de Spearman sur la base de test LIVE Métriques sans référence Dégradation G-BLIINDS2 BIQI 1 MS-SSIM VIF NQM VSNR PSNR JP2K JPEG Bruit blanc Flou gaussien Fast Fading Base entière A. K. Moorthy and A. C. Bovik, A Two-step Framework for Constructing Blind Image Quality Indices". IEEE Signal Processing Letters, pp , vol. 17, no. 5, May C. Charrier NR-IQA 25 / 34

35 Apparatus Comparaisons Mesure de corrélation de Spearman sur la base de test LIVE Métriques sans référence Métriques avec référence Dégradation G-BLIINDS2 BIQI 1 MS-SSIM VIF NQM VSNR PSNR JP2K JPEG Bruit blanc Flou gaussien Fast Fading Base entière A. K. Moorthy and A. C. Bovik, A Two-step Framework for Constructing Blind Image Quality Indices". IEEE Signal Processing Letters, pp , vol. 17, no. 5, May C. Charrier NR-IQA 25 / 34

36 Apparatus Comparaisons Mesure de corrélation de Spearman sur la base de test LIVE Métriques sans référence Métriques avec référence Dégradation G-BLIINDS2 BIQI 1 MS-SSIM VIF NQM VSNR PSNR JP2K JPEG Bruit blanc Flou gaussien Fast Fading Base entière A. K. Moorthy and A. C. Bovik, A Two-step Framework for Constructing Blind Image Quality Indices". IEEE Signal Processing Letters, pp , vol. 17, no. 5, May C. Charrier NR-IQA 25 / 34

37 Apparatus Comparaisons Mesure de corrélation de Spearman sur la base de test TID2008 Dégradation G-BLIINDS2 BIQI MS-SSIM VIF NQM VSNR PSNR Bruit gaussien Bruit couleur Bruit corrélé Bruit masqué Bruit haute freq Bruit impulsionnel Bruit quantification Flou gaussien Débruitage JPEG JPEG Transmission JPEG Transmission JPEG Bruit non eccentré Distorsions de bloc Décalage d intensité Chgt. contraste Base entière C. Charrier NR-IQA 26 / 34

42 Qualité des données biométriques des empreintes Objectif : disposer d une méthode fiable de mesure de la qualité des empreintes. Image à noter C 1 C 2. C n score de qualité C. Charrier NR-IQA 28 / 34

43 Qualité des données biométriques des empreintes Objectif : disposer d une méthode fiable de mesure de la qualité des empreintes. Image à noter C 1 C 2. C n score de qualité Sélection des attributs C. Charrier NR-IQA 28 / 34

44 Qualité des données biométriques des empreintes Objectif : disposer d une méthode fiable de mesure de la qualité des empreintes. Image à noter C 1 C 2. C n Sélection des attributs score de qualité Indice de qualité Q = 1 A n i=1 α ic i C. Charrier NR-IQA 28 / 34

45 Sélection de 11 attributs G-BLIINDS2 Dix critères Quatre descripteurs SIFT Six descripteurs locaux sur des blocs de taille (statistiques d ordre 1, 2 et 5). Calcul des coefficients de pondération α i Q = 1 n α i C i A Optimisation par algorithme génétique i=1 génotype : vecteur à 11 individus {C i } 1 i 11 fonction d erreur : corrélation de Pearson avec les scores bozorth3 C. Charrier NR-IQA 29 / 34

46 Apparatus Introduction Utilisation de la base d empreinte FVC2002 DB3 (100 utilisateurs, 8 échantillons par utilisateur) Génération de distorsions par échantillon, soit images C. Charrier NR-IQA 30 / 34

47 Validation de l approche Comparaison avec NIST Fingerprint Image Quality (NFIQ). C. Charrier NR-IQA 31 / 34

49 Utilisation des SSN dans le domaine de la DCT Extraction des caractéristiques d un modèle gaussien généralisé Calcul de la note finale par modèle probabiliste généralisé Questions ouvertes Extension au cas du maillage 3D Extension au domaine de la protection des images couleur (dimension colorimétrique), multispectrales, etc. C. Charrier NR-IQA 33 / 34

50 C. Charrier NR-IQA 34 / 34