L impact de deux strategies de compression dans le problème stéréo Réunion scientifique, Imagerie stéréo et 3D GdR ISIS, 2011 G. Blanchet, A. Buades, B. Coll (Univ. Illes Balears), J.M. Morel, B. Rougé Projet MISS (CNES)
Outline Introduction L impact de la compression jpeg dans le calcul de la carte de disparité Convolution et décimation (zoom arrière) comme une approche nouvelle Discussion L impact de deux strategies de compression dans le problème stéréo p. 1
Stéréovision dans l imagerie satellite L impact de deux strategies de compression dans le problème stéréo p. 2
Introduction et motivation Étudier l effect de la compression jpeg pour des précisions subpixellaires de corrélation d images comprimées d un couple stéréoscopique. Étude quantitatif de la dégradation de la précision de la restitution en fonction du taux de compression sur les deux images d un couple. Comment la compression peut affecter la capacité de mesurer et de comparer les caractéristiques de l image dans le probléme stéréo? Mais comment mesurer une possible amélioration? - Dans la pratique, la plupart des études considèrent la qualité visuelle de l image comprimée comme le critère unique - Mais la qualité visuelle est très difficile à mesurer et reste une évaluation subjective. L impact de deux strategies de compression dans le problème stéréo p. 3
Introduction: compression artifacts Dans le cas de taux de compression plus élevé, des artefacts peuvent être générés en degradant la qualité perçue des images compressées: 1. Les techniques de codage basée sur la DCT, utilisés dans le format JPEG et MPEG, portent sur les artefacts de bloc. 2. JPEG 2000 qui est basé sur une transformée en ondelettes, introduit pour la plupart l effect du blurring, à cause de l atténuation des hautes fréquences spatiales, et les valeurs aberrantes, outliers. 3. Le seuillage des coefficients liés aux fréquences élevées résultant de la DCT ou bien de la transformation par ondelettes, produit des oscillations autour de contours, le phénomène de Gibbs. L impact de deux strategies de compression dans le problème stéréo p. 4
Les artefacts dans la compression Certaines stratégies pour éviter les problèmes d artefacts: 1. Dans le domaine spatial, des méthodes de filtrage ou réalcement ont été introduits pour réduire les artefacts (ringing artifacts), tout en préservant les contours. 2. Dans le domaine des fréquences par exemple, les artefacts de bloc (blocking artifacts) peuvent être atténué dans les régions régulières en modifiant certains coefficients de la DCT. L impact de deux strategies de compression dans le problème stéréo p. 5
Importance de la compression des données Applications de compression de données: 1. Images médicales 2. Imagerie satellite 3. Images de télédétection (photo-interprétation, cartographie, stéréovision, urbanisme) L impact de deux strategies de compression dans le problème stéréo p. 6
Un cas particulier: problème stéréoscopique L intérêt principal: l imagerie par satellite et le problème de correspondance stéréo. 1. Instruments à haute résolution peuvent conduire, à la fois, à l augmentation de la résolution de l image et le nombre de bits par pixels 2. Plusieurs algorithmes de compression ont été comparés: le JPEG, algorithme utilisé dans le satellite SPOT5 et le JPEG2000, utilisé dans le futur satellite Pléiades. 3. L évaluation de la précision est donnée par un algorithme de corrélation L impact de deux strategies de compression dans le problème stéréo p. 7
Impact de la compression jpeg dans le calcul de la carte de disparité Besoin d avoir une image de disparité du vérité terrain (ground truth), parfait et parfaitement enregistré. Pour les algorithmes de corrélation classiques ne parviennent pas les occlusions et souffrent le probleme de l adhesion, à savoir, le fait que les patchs contiennent caractéristiques de l image des profondeurs différentes. Afin de maintenir un algorithme simple et être en mesure d évaluer l exactitude: faire une translation de l image de référence dans la direction horizontale et donc la épipolaire en ligne. De cette façon, on élimine les inconvénients des algorithmes stéréo et on peut se concentrer sur la capacité de trouver les mêmes patches. L impact de deux strategies de compression dans le problème stéréo p. 8
Invariance par traslation Figure 1: Comparaison des JPEG 2000 compressé (en haut) et sous-échantillonnés (en bas) des images avec un écart-type du bruit de 2.5. Le taux de compression est 1 bit par pixel. L erreur quadratique moyenne entre la référence et l image en arrière pour la compression JPEG 2000 est égal à 13.01 alors qu il est 1.0 pour la stratégie de sous-échantillonnage. L impact de deux strategies de compression dans le problème stéréo p. 9
La chaîne 1. Une image de référence et une deuxième image après application d une translation d un pixel ou sous-pixel à l image de référence. 2. Les deux images sont compressées à un taux fixe et un bruit blanc d écart type est ajouté. 3. Pour chaque pixel de l image de référence, une fenêtre carré autour du pixel est prise et on cherche la plus proche dans la seconde image dans le même ligne horizontale et proche de la position d origine. 4. Les distances entre la fenêtre dans la premiere image et les fenêtres centrées aux positions des pixels dans la seconde image sont interpolées afin d obtenir un subpixelian estimation de la disparité. L impact de deux strategies de compression dans le problème stéréo p. 10
Figure 2: Ensemble d Image texture. L impact de deux strategies de compression dans le proble me ste re o p. 11
4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.037 0.082 0.131 0.231 0.493 0.067 0.083 σ = 2 0.067 0.111 0.158 0.256 0.511 0.096 0.126 σ = 4 0.169 0.212 0.240 0.336 0.570 0.169 0.215 4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.035 0.071 0.102 0.160 0.331 0.053 0.123 σ = 2 0.066 0.101 0.129 0.189 0.358 0.083 0.153 σ = 4 0.177 0.209 0.227 0.288 0.448 0.159 0.234 Table 1: Erreur moyenne de pixels sur les données des images precedentes. Le taux de colonnes indiquent le nombre de bits par pixel choisi dans le compresseur JPEG. Pour les deux dernières colonnes on montre l erreur moyenne obtenue avec la stratégie proposée, désigné par SS2 et SS3, ce qui signifie que le sous-échantillonnage est de l ordre deux et trois, respectivement. Le premier tableau montre l erreur moyenne pour une translation entier et le second pour une translation non-entier. L impact de deux strategies de compression dans le problème stéréo p. 12
Quelques observations 1. L erreur commise est assez similaire quand une translation d un nombre entier ou non entier est appliquée. 2. L erreur augmente lorsque le nombre de bits par pixel diminue ou le bruit écart-type augmente. 3. En augmentant le ratio de compression à 1 bit par pixel et en ajoutant un bruit blanc d écart type 2, qui est encore très raisonnables, l erreur est augmenté à 0.2 pixels (image dégradée rapidement). 4. Une explication à cette dégradation rapide de la précision jpeg pourrait être le fait que des images dans la base de données sont très texturées et donc très dificulte à compresser. L impact de deux strategies de compression dans le problème stéréo p. 13
Les bases d une stratégie proposée (ou nouvel algorithme) 1. Translation invariant: zones d images avec une profondeur constante ou altitude sont liés l une à l autre image du paire par une translation. 2. Il est clair que tout algorithme de compression avec perte filtre en quelque sorte le bruit. 3. Comment est le bruit transformé par l algorithme de compression? 4. Nous encore préfèrons un bruit blanc d un bruit corrélé ou sa transformation en artefacts. L impact de deux strategies de compression dans le problème stéréo p. 14
Convolution avec une gaussienne L algorithme de compression ne répondant conditions ci-dessus est le filtrage linéaire par convolution avec un noyau Gaussien. Note: La convolution gaussienne est un algorithme de compression car elle réduit la information spectrale de l image En plus, cette réduction spectrale permet faire un sous-échantillonnage spatial, le facteur de sous-échantillonnage dépend de l écart-type du noyau et il est limitée par aliasing. L impact de deux strategies de compression dans le problème stéréo p. 15
Facteur de sous-échantillonnage On va essayer des facteurs de sous-échantillonnage donnés par 2 et 3, correspondant à des écarts-type gaussienne de 1.2 and 1.8. Ce sous-échantillonnage réduit la quantité de pixels de l image par un facteur 4 ou 9, conduisant à un taux de compression de 2 et 0.88 bits Algorithme de compression sans perte: le taux final de compression de 2 et 3 souséchantillonnage sont respectivement, 1 et 0.44 bits par pixel. Note: Les paires sous-échantillonné sont zoomés par un zoom zero padding avant de calculer la carte de disparité pour obtenir une carte de disparité avec la même résolution que celle obtenu par compression. L impact de deux strategies de compression dans le problème stéréo p. 16
Figure 3: Image Satellite urbain, CNES. La re solution de cette image est de 50cm. L impact de la compression et du sous-e chantillonnage sur la pre cision de la disparite pour cette image se montre a la table suivant L impact de deux strategies de compression dans le proble me ste re o p. 17
4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.194 0.231 0.312 0.400 0.580 0.165 0.207 σ = 2 0.327 0.361 0.344 0.423 0.586 0.246 0.251 σ = 4 0.488 0.494 0.491 0.490 0.609 0.363 0.358 a) JPEG 2000 4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.345 0.428 0.453 0.519 0.688 0.165 0.207 σ = 2 0.421 0.461 0.454 0.534 0.723 0.246 0.251 σ = 4 0.537 0.529 0.534 0.550 0.724 0.363 0.358 b) JPEG Table 2: Erreur moyenne sur l image de la Figure Marseille avec JPEG 2000 (a) et DCT classique JPEG (b). La première ligne indique le taux de bits par pixel choisi dans le compresseur JPEG. Les deux derniers colonnes donnent l erreur moyenne obtenue avec la stratégie proposée, désigné par ss2 et SS3, ce qui signifie un 2 (resp. 3) sous-échantillonnage. L impact de deux strategies de compression dans le problème stéréo p. 18
4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.177 0.219 0.293 0.377 0.544 0.165 0.207 σ = 2 0.255 0.302 0.321 0.400 0.551 0.246 0.251 σ = 4 0.370 0.401 0.404 0.460 0.583 0.363 0.358 c) JPEG 2000 avec convolution 4 b/p 2 b/p 1.5 b/p 1 b/p 0.5 b/p ss2 (1 b/p) ss3 (0.44 b/p) σ = 1 0.631 0.680 0.662 0.699 0.781 0.165 0.207 σ = 2 0.636 0.627 0.685 0.666 0.749 0.246 0.251 σ = 4 0.752 0.697 0.585 0.613 0.778 0.363 0.358 d) JPEG avec convolution Table 3: Erreur moyenne sur l image de la Figure Marseille avec JPEG 2000 (a) et DCT classique JPEG (b). La première ligne indique le taux de bits par pixel choisi dans le compresseur JPEG. Les deux derniers colonnes donnent l erreur moyenne obtenue avec la stratégie proposée, désigné par ss2 et SS3, ce qui signifie un 2 (resp. 3) sous-échantillonnage. L impact de deux strategies de compression dans le problème stéréo p. 19
Conclusions 1. La compression avec les algorithmes standards (JPEG, JPEG2000) sont moins intéressants que le dézoom de l image. 2. A taux de compression équivalent, la compression JPEG2000 introduit des artefacts près des contours qui induisent des erreurs de localisation lors du calcul des cartes de disparité alors que le dézoom préserve la précision planimétrique. 3. Indépendance en translation de la convolution par un filtre L impact de deux strategies de compression dans le problème stéréo p. 20
L impact de deux strategies de compression dans le problème stéréo p. 21
L impact de deux strategies de compression dans le problème stéréo p. 22