Brique MIX Graphisme 3D

Transcription

1 Brique MIX Graphisme 3D Christophe Cunat Mél : Christophe.Cunat@enst.fr 26 mai mai

2 Plan 1 Introduction La synthèse d images 3D Interfaces de programmation Architectures matérielles mai

3 1 Introduction Qu est-ce que la 3D? Fig. 1 Reproduction de Waterfall, 1961, Escher 26 mai

4 1 Introduction Qu est-ce que la 3D? (2) Une image 2D Une impression de profondeur Des effets d éclairage de la scène Des effets de perspectives En particulier, une image synthétisée par ordinateur 26 mai

5 1 Introduction Pourquoi la synthèse d images 3D? Historiquement Simulateurs de vol (années 60-70) Économiquement Les jeux vidéos (depuis le milieu des années 90) = Besoin d automatisation de la production des images 26 mai

6 2 La synthèse d images 3D La synthèse d images 3D 26 mai

7 2 La synthèse d images 3D Le rendu automatisé d une scène graphique Une image est constituée de pixels L image correspond à une «fenêtre» sur la scène Une scène est composée d objets Un objet est modélisé par des primitives géométriques 26 mai

8 2 La synthèse d images 3D La modélisation d une scène La primitive géométrique de base : le triangle Un sommet de l objet S 0 = x o 0 y o 0 z o 0 Un objet est placé dans la scène 26 mai

9 2 La synthèse d images 3D Le pipeline des transformations géométriques y v z o z v y o y m zm x o x m x v y e x e 26 mai

10 2 La synthèse d images 3D Les transformations géométriques Transformations affines : produit matriciel 0 x y z 1 C A = a b c x d e fc B yc A g h i z Problème de la translation : addition vectorielle Utilisation des coordonnées homogènes Espace 4D : (X Y Z w) t avec w la coordonnée homogène Un vecteur 3D : w = 0 ; Un point 3D : w 0 Si w 0, le point s est s = (X/w Y/w Z/w) t 0 x y z 1 1 C A = a b c t x x d e f t y y B C B g h i t z za mai

11 2 La synthèse d images 3D La transformation en perspective P v = (x v y v z v ) t z z = d y e Plan de projection ye y v = d z v ou y e = yv z v /d 0 X e Y e Z e w e 1 C A = X Y C B Z C A 0 0 1/d mai

12 2 La synthèse d images 3D 16 multiplications Transformation géométrique : Bilan 12 additions 2 divisions (1 inversion, 2 multiplications) par point définissant une primitive 26 mai

13 2 La synthèse d images 3D L illumination d une scène Les sources de lumières éclairent la scène Trois types de source lumineuse Lumière ambiante : I = k a I a Lumière diffuse : Loi de Lambert I = k d I d cos θ Lumière spéculaire (rugosité) : I = k s I s cos n α N N v N r θ i r α θ i a) b) c) Deux produits scalaires par points définissant une primitive 26 mai

14 2 La synthèse d images 3D Le parcours des géométries Parcours 2D (espace Écran) Passage des primitives aux pixels Détermine exactement les pixels recouverts Parcours pixel à pixel (incrémental) Calcul des effets de lumières Placage de texture Élimination des surfaces cachées 26 mai

15 2 La synthèse d images 3D Le parcours des géométries : Les effets de lumières a) b) c) 26 mai

16 2 La synthèse d images 3D Le parcours des géométries : Le placage de texture Pourquoi une texture? Une texture est associée à un objet Correspondance entre les coordonnées objet (x o, y o, z o ) et texture (u, v) (transformation affine) (u, v) non linéaire avec (x e, y e ) (u/z, v/z) linéaire avec (x e, y e ) 26 mai

17 2 La synthèse d images 3D Le parcours des géométries : Élimination des surfaces cachées Liste de priorité 2,5D Ne fonctionne pas toujours z-buffer autres mai

18 2 La synthèse d images 3D Bilan Illumination Texture Diffuse Spéculaire Sans persp. Vraie persp. add mul div Nombres exprimés par pixel Question du filtrage des textures 26 mai

19 3 Interfaces de programmation Interfaces de programmation d applications 26 mai

20 3 Interfaces de programmation Interfaces de programmation d applications La maîtrise des opérations est complexe = Besoin d interfaces de programmations normalisées Les applications sont nombreuses = Des interfaces différentes selon les besoins Très bas niveau : OpenGL, DirectX... Relativement haut niveau : langage de descriptions (Renderman, VRML... ) Cas des systèmes embarqués 26 mai

21 3 Interfaces de programmation OpenGL : Généralités Interface logiciel pour du matériel dédié au graphisme OpenGL 1.0 en 1992 Standard vivant Maintenu par l Architecture Review Board Version courante 1.5, version 2.0 en préparation Standard ouvert Possibilité d extensions Ces extensions sont (parfois) incluses dans les nouvelles versions 2/3D Point, lignes Polygones, triangles 26 mai

22 3 Interfaces de programmation OpenGL : détails Application Données Transformation & Éclairage Clipping Projection Tests alpha, stencil, z,... Balayage des primitives Initialisation Mélange Mémoire image 26 mai

23 3 Interfaces de programmation OpenGL : compléments GLU : OpenGL Utility Library GLX : interface entre OpenGL et X (sous unix) glut : OpenGL Utility Toolkit Interface similaire : DirectX Introduction de parties programmables dans le pipeline 26 mai

24 3 Interfaces de programmation OpenGL : exemple 26 mai

25 3 Interfaces de programmation OpenGL : exemple de code int main(int argc, char *argv[]) { glutinit(&argc, argv); glutinitdisplaymode(glut_rgb GLUT_DEPTH GLUT_DOUBLE); glutinitwindowposition(0, 0); glutinitwindowsize(300, 300); glutcreatewindow("gears"); init(argc, argv); glutdisplayfunc(draw); glutreshapefunc(reshape); glutkeyboardfunc(key); glutspecialfunc(special); glutvisibilityfunc(visible); } glutmainloop(); return 0; /* ANSI C requires main to return int. */ 26 mai

26 3 Interfaces de programmation OpenGL : exemple de code (2) /* new window size or exposure */ static void reshape(int width, int height) { GLfloat h = (GLfloat) height / (GLfloat) width; } glviewport(0, 0, (GLint) width, (GLint) height); glmatrixmode(gl_projection); glloadidentity(); glfrustum(-1.0, 1.0, -h, h, 5.0, 60.0); glmatrixmode(gl_modelview); glloadidentity(); gltranslatef(0.0, 0.0, -40.0); 26 mai

27 3 Interfaces de programmation OpenGL : exemple de code (3) static void draw(void) { glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); glpushmatrix(); glrotatef(view_rotx, 1.0, 0.0, 0.0); glrotatef(view_roty, 0.0, 1.0, 0.0); glrotatef(view_rotz, 0.0, 0.0, 1.0); [...] glpushmatrix(); gltranslatef(-3.1, 4.2, 0.0); glrotatef(-2.0 * angle , 0.0, 0.0, 1.0); glcalllist(gear3); glpopmatrix(); glpopmatrix(); } glutswapbuffers(); 26 mai

28 3 Interfaces de programmation [...] /* draw back sides of teeth */ glbegin(gl_quads); da = 2.0 * M_PI / teeth / 4.0; for (i = 0; i < teeth; i++) { angle = i * 2.0 * M_PI / teeth; OpenGL : exemple de code (4) glvertex3f(r1 * cos(angle + 3 * da), r1 * sin(angle + 3 * da), -width * 0.5); glvertex3f(r2 * cos(angle + 2 * da), r2 * sin(angle + 2 * da), -width * 0.5); glvertex3f(r2 * cos(angle + da), r2 * sin(angle + da), -width * 0.5); glvertex3f(r1 * cos(angle), r1 * sin(angle), -width * 0.5); } glend(); [...] 26 mai

29 3 Interfaces de programmation Virtual Reality Modeling Language Généralités Norme ISO/IEC : C est un langage de description L arbre de scène : décrit spatialement et temporellement une scène Un fichier VRML est un fichier texte (ou zippé) Concept du pipeline graphique identique 26 mai

30 3 Interfaces de programmation 26 mai

31 3 Interfaces de programmation Autres interfaces Renderman Pixar Manipule directement des objets complexes À la fois une interface de programmation et un langage de description Permet des rendus photoréalistes (utilisation du lancer de rayon) OpenGL-ES Développé par le Khronos Group Sous-ensemble d OpenGL 1.3 Pipeline géométrique en représentation entière à virgule fixe Définition de profiles 26 mai

32 4 Architectures matérielles Performances et architectures matérielles 26 mai

33 4 Architectures matérielles Aller le plus vite possible! Malheureusement... Vitesse de génération des pixels limitées Pour une image , à 30 Hz, recouvrement moyen de 2,34 : 21,5 millions de pixels Éclairage diffus + sans persp. : 7 add. par pixel Éclairage spéculaire + vraie persp. : 11 add. 3 mul. 1 div. par pixel Bande passante mémoire limitée Pixels z-buffer : Lecture, comparaison, écriture Placage de texture. Bilinéaire : 4 échantillons par pixels, Trilinéaires : 8 échantillons par pixels... Calculs intensifs de T&L Scène typique : triangles, sommets Rappel : 12 add., 16 mul. 2 div. par sommets (transformations géométriques) 26 mai

34 4 Architectures matérielles Problème 1 : le nombre de pixel Développement d architectures dédiées massivement parallèles Cas des cartes graphiques pour PC Cartes Date Mpix./s Commentaires Riva 128 Q Riva TNT Q /250 1 pipeline pixel, 1 texture par pixel 1 pipeline pixel, jusqu à 2 textures par pixel TNT2 Q pipelines pixel GeForce256 Q pipelines pixel 26 mai

35 4 Architectures matérielles Problème 2 : la bande passante Réduire les accès mémoires Augmenter la fréquence de fonctionnement des mémoires Augmenter la largeur des bus d accès Accès privilégié à la mémoire 26 mai

36 4 Architectures matérielles Problème 3 : le nombre de géométries Constat : en 1998 PentiumII, 266 MHz 750 ktri. Riva128 1,5 Mtri. Architectures matérielles dédiées : processeurs graphiques 26 mai

37 4 Architectures matérielles Exemple : La PlayStationII 1995 : PS1 Processeur MIPS 32 bits à 33 MHz Circuit spécifique de produit matriciel à 66 MHz Circuit de rendu : 180 ktri avec placage de texture et éclairage diffus : PS2 26 mai

38 4 Architectures matérielles L Emotion Engine Processeur MIPS 128 bits (2 unités entières 64bits) à 300 MHz connecté à un processeur flottant Deux unités vectorielles VLIW pour les géométries 4 mul/acc, 1div 5 mul/acc, 1div IPU : décompression MPEG-2 26 mai

39 4 Architectures matérielles Le Graphics Synthetizer Host Bus Drawing function block Local/Host Host/Local Host I/F Setup/Rasterizing Vertex Info/Drawing Environement XYZ/RGBA/STQ etc. Pixel Pipeline x 16 (Max) #0 #1 #15 RGBA/Z Texel x 16 Memory I/F Display Function Block RGBA + Z (1024 bits x2) Texture (512 bits) PCRTC Frame Page Buffer Texture Page Buffer Video Out Memory Block Local Memory (4MB) 26 mai

40 4 Architectures matérielles Consoles de salon Sega DreamCast 1999 Processeur Hitachi SH-4 32 bits à 200 MHz extension 64 bits pour le calcul matriciel 4 4 en flottant Accélérateur graphique NEC PowerVR 128 bits à 100 MHz 3 Mtriangle par seconde Nintendo GameCube 2002 Processeur IBM PowerPC à 485 MHz Processeur graphique à 166 MHz 6 à 12 Mtriangle par seconde Microsoft X-Box 2002 Processeur Intel Celeron à 733 MHz GPU GeForce3 (simplifié) à 233 MHz 116,5 Mtriangle par seconde 26 mai

41 4 Architectures matérielles Architecture pour les systèmes embarqués Effets limités, 2,5D Apparitions du support d OpenGL-ES (Bitboys...) Solutions ARM/PowerVR Cœur complet Cœur allégé Portes 660 k < 300 k Puissance 1,3 mw/mhz 0,5 mw/mhz Horloge MHz MHz Triangles 2-4 Mtriangle/s 0,5-1,5 Mtriangle/s Pixels Mpixel/s Mpixel/s Écran VGA ( ) QVGA ( ) Option VGP (Vertex Graphic Processor) Portes 210 k 150 k Perf Mflops/s Mflops/s 26 mai