Présent et futur dans la normalisation de la compression 3D

Transcription

1 Présent et futur dans la normalisation de la compression 3D Khaled MAMOU Marius PREDA

2 Authoring 3D Graphics Chain : Authoring and Publishing Very heterogeneous production chain: -A 3D Asset is processed by several authoring tools, each one with dedicated functionalities -Each authoring tool has its own format -Artists and creators are investing time in learning how the tool works

3 Publishing 3D Graphics Chain : Authoring and Publishing In BOX solutions - Games are containing all the data on DVD - Rendering engine friendly data format ONLINE solutions - ad hoc format, usually zipped version of an authoring format

4 3D Graphics Chain : Authoring and Publishing Gap between Authoring and Publishing in Online scenarios FAST TRANSPORT TROUGHT THE NETWORK Authoring Transmission Publishing Size doesn t matter Size is of main importance Size doesn t matter

5 3D Graphics Chain : Authoring and Publishing Solving the Gap : encoding layer FAST TRANSPORT TROUGHT THE NETWORK Authoring Transmission Publishing Size doesn t matter Size doesn t matter Encoder Size is of main importance Decoder

6 3D Graphics Content Chain MPEG 3DG vision To define a standard format for compressed 3D synthetic content. In other words to be for graphics what MP3 and AAC are for audio, MPEG-2 and MPEG-4 are for video and JPEG is for still images. Additionally "MPEG 3D Graphics" aims at providing mechanisms such as APIs to enable easy integration and development of applications using its standard representation tools.

7 MPEG-4 3D Graphics A format for 3DG representation and compression Shapes IFS surfaces NURBS surfaces Implicit volumes Wavelet SS Textures Texture mapping Procedural texture DIBR PointTexture Animation Interpolators Bone-Based Animation Morphing MPEG-4: Encoded binary format for each item - highly efficient representation - transmission through various networks and terminal devices - streaming capabilities

8 Static geometry compression Today s topic TFAN, part of the Scalable Complexity 3DMesh Coding Amendment, standardized in 2010 PTFAN, one candidate for Multi-resolution 3D Mesh Coding Amendment

9 Compression mono-résolution Topological Surgery (TS) : Principe [Taubin 98] Connectivité = arbre couvrant des sommets + arbre couvrant des facettes = + Géométrie = quantification + prédiction par la règle du «parallélogramme» + Compression raisonnable Connectivité : 4-7 bps! Géométrie : bps - S applique uniquement à des variétés - Non adaptée à une implantation hardware

10 Compression mono-résolution TFAN : Objectives [Mamou 09] Généralité Prise en compte de maillages de topologies et géométries arbitraires Faible complexité de codage/décodage Implantation sur terminaux légers : PDA, téléphone portable Codage des attributs Prise en compte des informations photométriques associées aux sommets d'un maillage 3D : normales, couleurs...

11 Compression mono-résolution TFAN : Principe, [Mamou 09] v 3 v 7 Eventail de triangles v 5 v 1 v 6 v 4 v 2 (1,3,7,6,2,4,5) 7 index au lieu de 12 pour la représentation par triangles indexés

12 Compression mono-résolution TFAN : Principe, [Mamou 09] v 8 v 7 v 7 v 3 v 10 v 9 v 6 v 6 v 4 v 5 v 3 v 4 Eventail de triangles Parcours des sommets de voisin en voisin v 9 v 2 v 10 v 8 v 5 v 2 v 1 v 1

13 Compression mono-résolution TFAN : Principe, [Mamou 09] v 10 v 7 v 4 Eventail de triangles Parcours des sommets de voisin en voisin v 6 v 3 Décomposition en éventails de triangles v 9 v 2 Codage des éventails selon 10 configurations v 8 v 5 v 1 Codage de la géométrie: quantification uniforme et prédiction linéaire

14 Compression mono-résolution TFAN : Les 10 configurations Conf. 10 Maillage triangulaire arbitraire

15 Compression mono-résolution TFAN : Les 10 configurations Conf. 1 Conf. 2 Conf. 8 Conf. 9 Conf. 10 Maillages manifold, non-orientés et sans bord

16 Compression mono-résolution TFAN : Les 10 configurations Conf. 1 Conf. 2 Conf. 3 Conf. 4 Conf. 5 Conf. 6 Conf. 7 Conf. 8 Conf. 9 Conf. 10 Maillages manifold avec bords

17 Compression mono-résolution TFAN : Les 10 configurations Maillage manifold Maillage non-manifold TFAN équivalent au codeur de Touma et Gotsman dans le cas de maillages manifolds

18 Compression mono-résolution TFAN : Evaluation Compression 30% de gain par rapport MPEG-4/3DMC 6% de gain par rapport à TG Complexité de décodage 50% de gain par rapport à MPEG-4/3DMC

19 Compression multi-résolution Progressive Mesh: principe [Hoppe 96] Maillage = (maillage de base) + (opérations de fission de sommet) = + + Rendu et transmission progressifs + Niveaux de détails de bonne qualité - S applique uniquement à des variétés - Basses performances de compression Indice du sommet à raffiner : 9-14 bps! Mises à jour topologiques : 5 bps

20 Compression multi-résolution Progressive Forest Split Mesh: principe [Taubin 98] Opérateur de raffinement plus grossier + contraintes topologiques Diminuer le coût de localisation des sommets à raffiner + Rendu et transmission progressifs + Meilleur compression que PM (i.e. connectivité codée sur 7-10 bps) - Niveau de détails de qualité inférieur à PM

21 Compression multi-résolution Progressive Forest Split [Taubin 98] Patch coloring [Cohen-or 98] Décimation guidée par valence [Alliez 01] Codage spectral [Karni 00] Ondelettes irrégulières [Valette 04] Codage par arbre kd/oc-tree [Devilliers 00][Peng 05] Codage par B-Splines [Mamou 05] Codage par raffinement paramétrique itératif (IPR) [Valette 09] Quantification adaptative (BAQ) [Lee 09]

22 Compression multi-résolution Progressive TFAN: objectifs [Mamou 10] Codage sans perte de connectivité Généralité Maillages denses de topologies arbitraires Scalabilité spatiale Adaptation du nombre de sommets aux performances d'affichage du terminal et/ou au débit disponible Scalabilité en qualité Adaptation de la précision au débit disponible Codage des attributs

23 Compression multi-résolution Progressive TFAN: principe [Mamou 10]

24 Compression multi-résolution Progressive TFAN: principe [Mamou 10]

25 Compression multi-résolution Progressive TFAN: principe [Mamou 10]

26 Compression multi-résolution Progressive TFAN: interpolation Résoudre l équation de la chaleur avec conditions de bord [Chen 05] Sous la contrainte de positions connues pour un ensemble de points de contrôle Original Maillage approximé par [Chen 05] Maillage approximé par avec PTFAN

27 Compression multi-résolution Progressive TFAN: simplification Simplifier le maillage interpolé en exploitant l approche QEM [Garland 98] 7K V 4K V 2K V 1K V 0.5K V Niveaux de détails de bonne qualité

28 Compression multi-résolution Progressive TFAN: prédiction Prédire les erreurs d approximation en exploitant la structure de maillage progressif Maillage original Maillage approximé Barycentre Sommets voisins Erreur de prédiction Sommet à décoder

29 RMS error % BB diaginal Compression multi-résolution Progressive TFAN: évaluation Rabbit ,1 0,01 TG PTFAN (2 layers) WaveMesh OTC BAQ AD 0,001 bpv 30-50% de gains par rapport à l état de l art

30 Compression multi-résolution Progressive TFAN: évaluation Maillage PTFAN TG WaveMesh AD Fandisk 100% 13% 29% 48% Mannequin 100% 37% 43% 59% Horse 100% 34% 42% 45% Dino 100% 41% 47% 51% Dilo 100% 38% 37% 65% Screwdiver 100% 26% 40% 57% Bunny 100% 15% 29% 42% Feline 100% 28% 38% 40% MaxPlank 100% 46% 55% 65% Moyenne 100% 31% 40% 52% 30-50% de gains par rapport à l état de l art

31 Conclusions et perspectives TFAN - Nouveau amendement MPEG-4/AFX (2010) - Généralité et basse complexité - Performances compétitive avec l état de l art Progressive TFAN - En cours d évaluation par le groupe MPEG-4/3DG - Gains 30-40% par rapport à l état de l art - Codage sans pertes de connectivité - Scalabilité spatiale et en qualité Normalisation MPEG - Avantages - Vous êtes invités à participer à l effort de normalisation