Une approche bio-inspirée pour l estimation de la qualité

Transcription

1 Plan de la présentation Une approche bio-inspirée pour l estimation de la qualité stéréoscopique. Rafik BENSALMA et Mohamed-Chaker LARABI Laboratoire XLIM, Département SIC, Poitiers (France) Journée sur la vidéo 3D/TELECOM ParisTech Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

2 Plan de la présentation Plan de la présentation 1 Introduction, 2 État de l art sur les métriques 3D, 3 Métrique développée, 4 Quelques résultats, 5 Conclusion & perspectives. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

3 Bases de la stéréoscopie Indices de la vision stéréoscopique Stéréoscopie? La reconstruction du relief à partir de deux images d une même scène, vue sous différents angles. Pourquoi? Localiser les objets dans l espace. Estimer la distance de l objet par rapport à d autres objets. Estimer la distance de l objet par rapport à nous. Comment? Grâce au fait que nous ayons deux yeux. Grâce à une dizaine de sources d information liées à la scène perçue. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

4 Bases de la stéréoscopie Indices de la vision stéréoscopique En quoi consiste les sources d information stéréoscopique? Photos prises par Ansel Adams. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

5 Bases de la stéréoscopie Indices de la vision stéréoscopique En quoi consiste les sources d information stéréoscopique? Principales sources d information sur la perception de la profondeur Indices source visuelle/ source absolue/ source monoculaire/ d information non-visuelle relative binoculaire Disparité rétinienne visuelle relative binoculaire Convergence non-visuelle absolue binoculaire Accommodation non-visuelle absolue monoculaire Mouvement de l œil non-visuelle relative monoculaire Parallaxe mouvement visuelle relative monoculaire Occlusion visuelle relative monoculaire Ombre visuelle relative monoculaire Taille relative des objets visuelle relative monoculaire Hauteur du champ visuel visuelle relative monoculaire Gradient de texture visuelle relative monoculaire Perspective linéaire visuelle relative monoculaire Taille familière visuelle absolue monoculaire Analyse des indices Indices de sources non-visuelles Indices oculomoteurs. Indices de sources visuelles et monoculaires Indices fournis par la scène perçue. La disparité rétinienne est le seul indice de source à la fois visuelle et binoculaire. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

6 Bases de la stéréoscopie Indices de la vision stéréoscopique État de l art sur les métriques 3D Problématique Comment peut-on évaluer la qualité de l image 3D perçue par le SVH. Métriques 2D Image de gauche Image de droite Métrique 2D Métrique 2D Score Métriques 2D + Information 3D Information 3D Image de gauche Image de droite Métrique 2D Métrique 2D Combinaison Score Score final Métriques 3D Information 3D Image de gauche Métrique 3D Score Image de droite Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

7 Bases de la stéréoscopie Indices de la vision stéréoscopique La stéréovision dans le SVH De la rétine au cortex visuel Champs récepteurs (CR) au niveau de la rétine : CR cellules bipolaires CR cellules ganglionnaires. CR cellules ganglionnaires CR des cellules CGL. Champs récepteurs des cellules simples : Champs récepteurs des cellules complexes : Rétine Cortex visuel Cellule bipolaire Cellule ganglionnaire CGL Cortex V1 Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

8 Bases de la stéréoscopie Indices de la vision stéréoscopique La stéréovision dans le SVH De la rétine au cortex visuel Champs récepteurs (CR) au niveau de la rétine : Champs récepteurs des cellules simples : Deux type de cellules simples ON-OFF et OFF-ON. Sensible à l orientation de stimuli. Champs récepteurs des cellules complexes : Champ récepteur cellule simple Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

9 Bases de la stéréoscopie Indices de la vision stéréoscopique La stéréovision dans le SVH De la rétine au cortex visuel Champs récepteurs (CR) au niveau de la rétine : Champs récepteurs des cellules simples : Champs récepteurs des cellules complexes : Reçoivent un ensemble de réponses des CR des cellules simples. Sensibles à l orientation du mouvement. Champs récepteurs cellules simples Champs récepteurs cellules complexes Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

10 Les étapes importantes dans la conception de notre métrique 3D. Fonctionnement et modélisation des cellules simples. Fonctionnement et modélisation des cellules complexes (Le calcul de l énergie binoculaire). La métrique basée sur la variation de l énergie binoculaire en fonction des dégradations. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

11 Fonctionnement des cellules simples est complexes. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

12 Fonctionnement des cellules simples. Propriétés d une cellule simple. Structure similaire aux contours d objets Détermine la géométrie de l image. (Hubel et wisel 1950) Sensibilité aux décalages du réseau de luminance Sensibilité à la disparité. (Barlow 1953) Modélisation de certaines caractéristiques des cellules simples. Les réponses des cellules simples approximées par la fonction de Gabor 2D (Daugman 1988). Apparition d autres fonctions dans le traitement d images comme les transformées directionnelles basées sur la transformée en ondelettes. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

13 Modélisation des cellules simples. Transformée Multiéchelle Adaptative Orientations Ondelettes séparables oui non 3 Transformée de Radon non non Ridgelets non non Curvelets oui non 2 k Contourlettes oui non 2 k Ondelettes complexes oui non 6 Bandelettes oui oui Wedgelets oui oui Pourquoi la transformée en ondelettes complexes et la transformée en bandelettes? Transformée en ondelettes complexes : Cellules simples fonctionnent en paire présentant un déphasage de 90. Décomposition de l image en plusieurs canaux fréquentiels. Utilisée seulement dans le codage de l image résiduelle. Transformée en bandelettes : Réponse adaptative en fonction du signal. Carré dyadique caractérisé : taille, amplitude, phase, orientation. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

14 Modélisation des cellules simples. LL* CWT Partie réelle Partie imaginaire Imaginary part BT BT Partie réelle Partie imaginaire Carrés dyadiques gauches Cellules simples gauches Partie réelle Partie imaginaire Gauche a* DWT Partie réelle BT Partie réelle Partie réelle b* DWT Partie Imaginary imaginaire part BT Partie imaginaire Carrés dyadiques gauches Cellules simples gauches Partie imaginaire Modèle numérique proposé CWT (Transformée en ondelettes complexes) Appliquée sur la intensité (L*) pour obtenir une représentation complexe. DWT (Transformée en ondelettes discrète) Appliquée sur la chrominance et représentée sous forme complexe (Partie réelle = composante [a] et partie imaginaire = composante [b]) BT (Transformée en bandelettes) Les carrés dyadiques, comme les cellules simples, sont caractérisés par leur amplitude, phase et orientation. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

15 Modélisation des cellules simples et complexes. Représentation mathématique d une cellule simple. L énergie générée par deux cellules simples (C d,c g ) connectée à une cellule complexe est représentée par le module des deux fonctions : (φg (x)) Cellule simple de gauche : C g (x) = ρ g (x)e Cellule simple de droite : C d (x) = ρ d (x)e (φ d (x)) Énergie binoculaire Énergie monoculaire E binoculaire (Cg (x), C d (x)) = Cg (x) + C d (x) 2 E monoculaire (C g/d (x)) = C g/d (x) 2 Cg Cd E(Cg,Cd) Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

16 Modélisation des cellules simples et complexes. Calcul de l énergie binoculaire Cg (x) C d (x) ρg (x) = Cg (x) 2 [ = Re(Cg (x)) 2 + Im(Cg (x)) 2] ρ d (x) = C d (x) 2 = [Re(C d (x)) 2 + Im(C d (x)) 2] ( ) ( ) Im(Cg (x)) Im(Cd (x)) φg (x) = arg(cg (x)) = arctan φ Re(Cg (x)) d (x) = arg(c d (x)) = arctan Re(C d (x)) [ ] 2 [ ] 2 E(Cg (x), C d (x)) = Re(Cg (x)) + Re(C d (x)) + Im(Cg (x)) + Im(C d (x)) E(Cg (x), C d (x)) = ρ 2 g (x) + ρ2 d (x) + 2 ρg (x) ρ d (x) cos( φ(x)) Énergie binoculaire Énergie monoculaire E binoculaire (Cg (x), C d (x)) = Cg (x) + C d (x) 2 E monoculaire (C g/d (x)) = C g/d (x) 2 Cg Cd E(Cg,Cd) Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

17 Modélisation de la disparité entre deux cellules simples. Cg Cd Gauche Cg Cd disparité=0 Gauche Droite disparité Cg Cd Gauche Droite disparité Cg Cd Droite Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

18 Modélisation des cellules simples. Changement de position Différence de position entre C d et C g : Illustré : C g (x) = C d (x d) en tenant en compte que les images sont rectifiées. Traduit par un décalage dans la phase :φ g (x) = φ d (x d). Gauche disparité G D disparité G D Droite E(C g (x), C d (x)) = ρ 2 g (x) + ρ2 d (x) + 2 ρg (x) ρ d (x) cos(d φ g (x)) Changement d orientation Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

19 Modélisation des cellules simples. Changement de position Changement d orientation Différence de phase entre C d et C g : Illustré : C g (x) = e i w C d (x d). Traduit par un changement de phase :φ g (x) φ d (x). Changement de position Changement d orientation (Fleet 1996, Ohzawa 1986). Gauche disparité G D disparité G D Droite E(C g (x), C d (x)) = ρ 2 g (x) + ρ2 d (x) + 2 ρg (x) ρ d (x) cos(d φ g (x) ω) Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

20 Métrique avec référence pour évaluer la qualité 3D. Métrique proposée Métrique avec référence : prend en entrée la paire d images originale et dégradée. Basée sur les caractéristiques des cellules simples (amplitude, phase, orientation). E(Cg (x), C d (x)) =ρ 2 g (x)+ρ2 d (x)+2 ρg (x) ρ d (x) cos(d φ g (x) ω) Formulation de la métrique Score(I d o, Io g, Id d, Id g ) = 2 3 N E o (C j d o,co g ) Ed (C j d d,cd g ) y i w i v i c=1 i=1 j=1 E j o (C d o,co g )+Ed (C j d d,cd g ) Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

21 Introduction Conception de la me trique 3D Conception et formulation de la me trique propose e re sultats expe rimentaux Performance de la me trique Organisation des tests Organisation des tests Base d images utilise e : Toyama. 13 images couleur. Comparaison avec 6 me triques : Me trique 2D : PSNR, SSIM Me trique 2D + information 3D : PSNR + Carte de disparite, SSIM + Carte de disparite, PSNR + Image cyclope enne, SSIM + Image cyclope enne Me trique 3D : Me trique 3D (Akhter 2010). Indices de performance : Pearson (PCC) [0 1]. Spearman (SCC) [0 1]. Erreur moyenne absolue (MAE) [0 1]. Erreur quadratique moyenne (RMSE) [0 1]. Base d images utilise e. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

22 Analyse du comportement de l énergie binoculaire face aux dégradations JPEG Variation de l énergie binoculaire provoquée par la quantification DCT caractérisée par : Faux contours Coefficients d ondelettes de fort poids. Lissage à l intérieur des blocs Perte dans la géométrie de l image. Implique un changement d amplitude et d orientation des cellules simples. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

23 Analyse du comportement de l énergie binoculaire face aux dégradations JPEG 2000 Variation de l énergie binoculaire provoquée par la quantification des coefficients d ondelettes caractérisée par : Lissage des coefficients d ondelettes Perte dans la géométrie de l image. Implique un changement d amplitude et d orientation des cellules simples. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

24 Analyse du comportement de l énergie binoculaire face au bruit Poivre et sel Variation de l énergie binoculaire provoquée par le bruit caractérisée par : Apparition de coefficients d ondelettes de fort poids. Implique un changement d amplitude et d orientation des cellules simples. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

25 Compression JPEG vs Compression JPEG 2000 JPEG deux types d artéfacts (faux contours et lissage) Changement non-linéaire de l amplitude et de l orientation des cellules simples. Énergie binoculaire et le bit-rate montrent une correlation moyenne. JPEG 2000 un seul type d artéfact (lissage) Changement linéaire de l amplitude et de l orientation des cellules simples. Énergie binoculaire et le bit-rate montrent une correlation intéressante. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

26 Courbes MOS vs MOSp Images stéréoscopiques asymétriques Images stéréoscopiques symétriques Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

27 Courbes MOS vs MOSp Images stéréoscopiques asymétriques Images stéréoscopiques symétriques PSNR (sym+asy) SSIM (sym+asy) Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

28 Courbes MOS vs MOSp Images stéréoscopiques asymétriques Images stéréoscopiques symétriques PSNR-disp SSIM-disp Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

29 Courbes MOS vs MOSp Images stéréoscopiques asymétriques Images stéréoscopiques symétriques PSNR-cycl SSIM-cycl Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

30 Coefficients de corrélation Total PCC SCC RMSE MAE PSNR-moy SSIM-moy PSNR-disp PSNR-disp PSNR-cycl SSIM-disp SSIM-disp SSIM-cycl Akhter et al MQBE Asymétrique PCC SCC RMSE MAE PSNR-moy SSIM-moy PSNR-disp PSNR-disp PSNR-cycl SSIM-disp SSIM-disp SSIM-cycl Akhter et al MQBE Symétrique PCC SCC RMSE MAE PSNR-moy SSIM-moy PSNR-disp PSNR-disp PSNR-cycl SSIM-disp SSIM-disp SSIM-cycl Akhter et al MQBE Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24

31 Une métrique pour l évaluation de la qualité stéréoscopique, basée sur des proprietés du SVH, a été développée. Cette métrique exploite : Des propriétés propres aux cellules simples, implémentées en utilisant la transformée en ondelettes complexes CWT sur la luminance, DWT sur la chrominance et la transformée en bandelettes. Des propriétés propres aux cellules complexes modélisées par un modèle d appariement binoculaire. Une meilleure prise en compte des indices de profondeur. Une extension de cette approche aux vidéos (3DTV) est envisagée, en prenant en compte des propriétés temporelles du SVH. Rafik BENSALMA et Mohamed-Chaker LARABI 30 Janvier / 24