Compression d images par ondelettes

Compression d images par ondelettes SI 222 Techniques de Compression Frédéric Dufaux 02/02/2011

Table des matières Techniques de codage basées sur la T.O. Algorithme EZW Caractéristiques Algorithme JPEG 2000 Caractéristiques Algorithme: EBCOT Codage des ROI (region of interest) Exemples Parties II et III page 2

Techniques de codage basées sur la T.O. Pourquoi utiliser la T.O.? Limites de la TCD : représentation des contours à faible débits ; effets de bloc T.O. : bon modèle du signal - bonne résolution spatiale à haute fréquence - bonne résolution fréquentielle à basse fréquence Meilleure concentration de l énergie Absence d effets de blocs Description à résolutions multiples page 3

Stratégies de codage Méthodes ne prenant pas en compte les spécificités de l AMR Allocation de bits entre les sous-bandes Quantification dans chaque sous-bande (quantificateur optimal de Lloyd-Max adapté) Codage entropique (ex. : Huffmann), éventuellement contextuel Avantage : corrélations intra-bande bien exploitées (une QV peut encore améliorer l efficacité!) Inconvénient : on n exploite pas les corrélations résiduelles inter-bandes! page 4

Stratégies de codage Méthodes exploitant les dépendances hiérarchiques entre les coefficients : EZW (Embedded Zerotrees of Wavelet coefficients), SPIHT (Set Partitioning in Hierarchical Trees) Méthodes basées sur une représentation par arbres des dépendances entre les sous-bandes Avantages : corrélations inter-bande bien exploitées, faible complexité Inconvénient : plus difficile obtenir la scalabilité en résolution page 5

Algorithme EZW Caractéristiques principales Scalabilité en qualité, c est-à-dire représentation progressive Codage lossy-to-lossless Faible complexité Performance de compression bien meilleure que JPEG Très évident aux faibles débits page 6

Représentation progressive des coefficients d ondelette Chaque nouveau bit de codage donne le maximum d information c est-à-dire Chaque nouveau bit de codage réduit la distorsion de l image reconstruite le plus possible On transmet d abord les coefficients significatifs Problème: overhead de localisation page 7

Exemple: un image et ses coefficients d ondelette Bande LL : approximation Bande HL Détails verticaux Approximation Détails verticaux TO encore 2 niveaux Bande LH Détails horizontaux Bande HH Détails diagonaux Détails horizontaux Détails diagonaux page 8

Représentation progressive: ordre des sous-bandes page 9

Algorithme EZW Le seule ordre de bayalage des sous bandes n est pas suffisant pour garantir que les coefficients plus grands soient envoyés en premiers Il faut localiser les coefficients significatifs Problème : Réduction de l information de localisation Idée : Exploiter la corrélation inter-bande pour prévoir les coefficients non-significatifs Si la prédiction est correcte, on économise la description de beaucoup de coefficients page 10

Arbre de coefficients d ondelette page 11

Arbre de coefficients d ondelette c n,m descendants de c n,m page 12

Arbre de coefficients d ondelette c n,m descendants de c n,m page 13

Idée de EZW Quand un coefficients est petit (c.-à-d. sous seuil), il est probable que tout ses descendants soient petits aussi Alors on utilise un seul symbole de codage pour représenter un coefficient c tel que : c est non significatif tous ses descendant sont non significatif En ce cas c est une racine d arbre de zéros (zero-tree root) Avec un seul symbole (ZT) on code (1+4+4 2 + 4 N-n ) coefficients Information de localisation implicite dans l information de significativité page 14

Schéma de l algorithme EZW k = 0 n = floor(log 2 ( c max )) T k = 2 n while (débit < débit disponible) Pas dominant Pas de raffinement T k+1 T k /2 k++ end page 15

Pas dominant Balayage des coefficients Si c > T n Coefficient significatif Si c>0 on encode SP (significant positive) Si c<0 on encode SN (significant negative) sinon, on compare tous les descendants de c avec le seuil si tous les descendants sont non-significatifs, c est codé comme zero-tree root (ZT) et ses descendants ne seront plut considérés à ce pas sinon le coefficient est codé comme isolated zero (IZ) page 16

Pas de raffinement On code un ultérieur bit pour tous les coefficients significatifs C est équivalent à dire que on réduit de moitié la cellule de quantification des coefficients significatifs page 17

Itération et terminaison Le pas dominant k permet de coder le k-me plan de bit de la matrice des coefficients d ondelette Au fait, dire que un coefficient est significatif est équivalent à dire que 2 n < c < 2 n+1 On réduit le seuil de moitié : on passe au prochaine plan de bit L algorithme termine quand on a épuisé le nombre de bit disponible ou quand on a codé tous les plans de bit (transformée en entière, codage sans perte) page 18

Quantification équivalente en EZW Pas dominant 1: coefficients entre -2T 0 e 2T 0 valeurs de reconstruction: - SP 3/2 T 0 - SN -3/2 T 0 - IZ, ZT 0-2T 0 -T 0 0 T 0 2T 0 page 19

Quantification équivalente en EZW Pas de raffinement 1: Cellules de quantification réduites de moitié -2T 0 -T 0 0 T 0 2T 0 page 20

Quantification équivalente en EZW Pas dominant 2: coefficients entre -T 0 e T 0 Seuil : T 0 /2 - SP 3/4 T 0 - SN -3/4 T 0 - IZ, ZT 0-2T 0 -T 0 -T 0 /2 0 T 0 /2 T 0 2T 0 page 21

Quantification équivalente en EZW Pas de raffinement 2: Cellules de quantification des coefficients signifiants réduites de moitié -2T 0 -T 0 -T 0 /2 0 T 0 /2 T 0 2T 0 page 22

Algorithme EZW Codage par plan de bits : Au pas k on code le bit plane log 2 T k Description progressive : Chaque nouveau plan de bit permet de raffiner la quantification des coefficients Codage entropique (Huffman ou arithmétique) des symboles de significativité Codage lossless-to-lossy On utilise une transformée en entiers (tous coefficients entiers) Quand on code tous les plans de bit, on peut reconstruire parfaitement tous les coefficients page 23

Le standard JPEG2000 JPEG : Joint Photographic Experts Group But : compression numérique des images fixes Organismes de standardisation : ISO et ITU-T Partie I : Core coding system Partie II : Extensions (TCQ, images multi-composants, ) Partie III : Motion JPEG2000 Partie IV : Conformance Partie V : Reference Software Partie VI : Compound images Partie VII : Abandonnée Partie VIII : JPSEC Partie IX : JPIP Partie X : JP3D Partie XI : JPWL Partie XII : ISO Base Media File Format / MPEG-4 page 24

Pourquoi un nouveau standard de compression d images? JPEG2000 vise des domaines où les standards courants ne donnent pas les meilleures performances : Compression bas débit : qualité faible pour JPEG en dessous de 0.25 bpp Codage Lossless-to-lossy : fournir un seul flux de données, pour des qualités allant de sans perte à une forte dégradation Compression d images synthétiques : JPEG conçu pour la compression d images naturelles et peu performant sur des images de synthèse Transmission dans des environnements bruités : la qualité d une image JPEG se dégrade fortement quand des pertes de bits interviennent page 25

Pourquoi un nouveau standard de compression d images? Documents composés : JPEG peu performant sur des documents binaires (texte) Accès aléatoire : JPEG peu flexible Architecture ouverte : le système peut être optimisé pour différents types d images et d applications Transmission progressive en qualité et en résolution En conclusion, JPEG2000, standard international (IS) depuis 2001, a pour objectif de compléter et pas de remplacer le standard JPEG page 26

Marchés et Applications 1. Internet 2. Mobiles 3. Imprimantes 4. Scanners 5. e-commerce 6. Caméras numériques 7. Fac-simile 8. Librairies numériques 9. Imagerie médicale 10. Imagerie satellitaire page 27

Principales différences entre JPEG2000 et JPEG Nouvelles fonctionnalités : Codage des régions d intérêt Robustesse aux erreurs Scalabilité en qualité et en résolution Tiling Capacité d atteindre un débit donné Du codage sans perte au codage avec perte dans un seul système Meilleure compression à bas débit Complexité plus élevée page 28

Description de l algorithme Transformation en ondelettes Partition en blocs EBCOT: Quantification Codage entropique Allocation de débit (optimisation RD) Ondelettes utilisées : mode sans perte : biorthogonales 5/3 (lifting entiers vers des entiers) mode avec perte : Daubechies biorthogonales 9/7 page 29

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) Chaque sous-bande est repartie en plusieurs blocs de même taille exception possible : blocs sur les bords Les blocs sont codés indépendamment, sans perte, avec un codeur arithmétique : on génère n trains binaires Pour chaque bloc, il est possible d estimer la courbe débit-distorsion Ondelettes orthogonales? page 30

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) page 31

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) page 32

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) Pour obtenir un certain débit total, les trains binaires doivent être coupés Comment couper les trains binaires? R i = R T /N simple mais sous optimale Solution optimale? Problème : minimisation de la distorsion totale avec contrainte sur le débit D Di R i R T page 33

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) Méthode de Lagrange : minimisation de J Di R. i R T Le débit de codage du bloc i est tel que : dd dr i i page 34

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) L optimisation débit-distorsion finale détermine le point de coupure de chaque flux binaire de bloc Bloc avec grandes valeurs Débit plus important Les points de coupure optimaux sont des points où les courbes RD des blocs ont la même pente On peut déterminer plusieurs points de coupure, correspondants à plusieurs débit totaux Le bitstream global est ainsi formé d un ensemble de couches (layers) page 35

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) Layer 1, λ 1 page 36

L algorithme EBCOT (Embedded Block Coding with Optimized Truncation) Layer 2, λ 2 page 37

Etapes de codage avec EBCOT Tier 1 : génération des flux binaires progressifs par bloc, avec information RD Codeur arithmétique basé sur les contextes Tier 2 : création des couches de qualité et codage de l information RD Optimisation RD Attention : Optimisation RD non normative! page 38

Pourquoi un codage par bloc? Exploite les variations locales, d un bloc à l autre, des caractéristiques statistiques de l image Facilite les applications nécessitant un accès aléatoire dans l image Réduit l utilisation mémoire dans l implantation matérielle du codeur ou décodeur Permet une implantation parallèle Effet de bloc? page 39

Codage des régions d intérêt Certaines régions de l image doivent avoir une meilleure qualité Statique : la région est décidée et encodée dès le début, côté encodeur Dynamique : la région est décidée et peut être décodée en ligne à partir d un seul bitstream Masque de la région Masque binaire, définit les pixel de la ROI et du background La masque est définie sur l image dans le domaine spatial, mais selon le filtre utilisé, on évalue sa forme dans le domaine transformé page 40

Codage des régions d intérêt page 41

Méthode de mise à l échelle (general scaling) Les coefficients d ondelettes correspondant à la ROI sont multipliés par une constante s La distorsion associé alla ROI est artificiellement plus grande Un surplus de ressources est donné à la ROI Le background n est pas modifié On peut avoir plusieurs ROI, chacune avec son s Les valeurs de s sont stockées dans le bitstream La masque de la ROI est nécessaire au codage et au décodage page 42

Codage des régions d intérêt Méthode MAXSHIFT : tous les coefficients de la ROI sont translatés au-dessus des coefficients du background La ROI est codée avant tout autre région Au décodeur un simple seuil est utilisé pour reconnaître la ROI Aucune information sur la ROI doit être insérée dans le train binaire page 43

Codage des régions d intérêt Méthode de mise à l échelle (general scaling) Avantages : La qualité relative entre ROI et background peut être choisie arbitrairement On peut utiliser plusieurs ROI avec différentes qualités Inconvénients : Seulement formes rectangulaire ou circulaire Nécessaire envoyer la forme de la ROI Complexité supplémentaire au décodeur (décodage de forme) Supportée seulement dans la partie II page 44

Codage des régions d intérêt Méthode MAXSHIFT Avantages Pas besoin d envoyer l information de forme Pas besoin de concevoir un encodeur/décodeur de formes Forme de la ROI quelconque Inconvénients Une seule ROI On peut pas modifier la qualité relative de ROI et BG Augmentation du débit avec MAXSHIFT par rapport à non- ROI pour un codage sans perte : région rectangulaire : inf. à 2% région circulaire 25% de l image : inf. à 10% page 45

Pondération psycho-visuelle Exploite la connaissance de la sensibilité du système visuel, variable en fonction des fréquences spatiales mesurée par la CSF (Contrast Sensitivity Function) CSF déterminée par la fréquence spatiale des coefficients d ondelettes : une valeur par sous-bande La pondération CSF est déterminée par l encodeur, mais dépend des conditions de visualisation au décodeur Deux situations : FVW (Fixed Visual Weighting) : CSF choisies en fonction des conditions de visualisation finales PVC (Progressive Visual Coding) : les pondérations visuelles sont changées au cours du processus d encodage page 46

Robustesse aux erreurs Niveau du codage entropique Code blocks Réinitialisation du codeur à chaque pas Symboles de synchronisation Niveau des paquets Petits paquets Symboles de synchronisation page 47

Scalabilité en qualité page 48

Scalabilité en résolution page 52

Le standard JPEG2000 Partie II Trellis coded quantization Améliore les performances de compression Visual masking Traitement non-lineaire qui exploite les effet de masquage visuel Décomposition ondelettes arbitraire Filtres ondelettes arbitraires Multiple component transform Pour image à plusieurs composantes ROI avec la méthode General Scaling page 56

Le standard JPEG2000 Partie III Motion JPEG2000 Chaque image de la vidéo est codée indépendamment des autres avec JPEG2000 partie I Faible complexité par rapport à codeurs vidéo basés sur la estimation/compensation du mouvement Performance de compression inférieure aux codeurs avec ME/MC Robustesse aux erreurs (pas de dépendance entre images) page 57