Tutorial. Gwennaël ARBONA - 18 décembre 2013

Transcription

1 Gwennaël ARBONA - 18 décembre 2013

2 1. Le rendu 3D dans les jeux vidéo Introduction Si on s intéresse à la technologie derrière les jeux vidéo les plus récents, on peut donner deux chiffres surprenants. 10 millions de triangles : c est le volume de géométrie que les jeux les plus récents fournissent à la carte graphique pour une seule scène. 10 millièmes de secondes : c est le temps qu il faudra à votre carte graphique (haut de gamme) pour les afficher à l écran. Vous êtes probablement curieux de savoir comment les développeurs de jeu vidéo réussissent ce tour de force. Ce cours a pour objectif de faire un tour d horizon des différentes technologies qui permettent de parvenir à ce résultat. Ce n est pas un guide pratique pour mettre en place une solution précise dans un projet, mais une présentation générale, indépendante d une technologie précise. Mon objectif dans ce cours est double : proposer aux débutants un état de l art accessible ; guider les plus expérimentés vers des concepts récents qui sont rarement enseignés de façon simple. J utiliserais ici les termes techniques anglophones. Certains sont traduisibles en français, mais pour rester cohérent avec la littérature technique existante, j utiliserais le vocabulaire anglais. Gwennaël ARBONA 1

3 1.1. PREMIER APERÇU Introduction Le sujet est complexe, on va donc commencer par un exposé général sur les contraintes et les objectifs de la 3D en temps réel. C est une section qui expose les grands principes, on ne rentrera pas dans les détails tout de suite La programmation au service des artistes Je vais commencer ce cours par un avis personnel, au risque de montrer un parti pris : les jeux vidéo d aujourdhui sont surtout créés par des artistes. Bien entendu, c est une vision un peu caricaturale, mais le joueur qui découvre son nouveau jeu vidéo, explore un univers ou affronte ses amis en ligne profite avant tout d un travail artistique et ludique. Si vous lisez ce cours, vous êtes très probablement intéressé par la programmation et rassurezvous : il y a énormément de travail en programmation pour créer un jeu. Il faut simplement voir le développement logiciel comme un moyen de produire le jeu, au service des artistes, des scénaristes, des gens qui vont créer le jeu lui-même. La distinction est importante car le jeu vidéo, jusqu ici, a toujours été une course technologique pour produire le jeu le plus impressionnant visuellement, ce qui a longtemps placé la technologie comme principale valeur dans le jeu. Aujourd hui, à l écriture de ces lignes, le paysage est un peu différent : les jeux indépendants ont montré ces dernières années qu une partie des joueurs se lasse des blockbusters ; l avènement des moteurs de jeu permet à de petits studios voire à des amateurs de produire du contenu avec des rendus de qualité ; la direction artistique des jeux est devenu un choix libéré des contraintes techniques ; les performances du matériel permettent aujourd hui de réaliser quasiment n importe quelle scène, on peut de plus en plus laisser les artistes prendre le contrôle du jeu. Bien sûr, la course à la qualité ne s arrête pas pour autant et il y a encore beaucoup à faire, mais l époque est très intéressante pour s intéresser aux technologies de rendu, parce qu on travaille aujourd hui plus sur comment aider les artistes à produire une scène, plutôt que qu est-ce qu on peut produire avec ce qu on a. La dernière nouveauté sur le rendu, par exemple, c est le physically based shading : on propose aux artistes de définir le rendu des objets sur la base de propriétés physiques ( mon objet est métallique ), plutôt que des propriétés abstraites ( mon objet a une spécularité qui vaut a x (couleur) b ). Voilà donc quels sont les objectifs de la programmation au service du jeu vidéo. On passe à la technique! Gwennaël ARBONA 2

4 Votre carte graphique, en quelques mots La première chose à signaler, c est que votre carte graphique est un ordinateur à part entière, qui fonctionne de façon autonome avec son propre système d exploitation, ses propres langages de programmation et qui dispose d une puissance de calcul colossale (largement supérieure à celle de votre processeur, pour du calcul brut). Comme un ordinateur, elle se compose d un processeur, de mémoire dédiée, d un étage d alimentation électrique, et de mémoire Flash pour y stocker le logiciel embarqué. La carte graphique ne permet pas d exécuter des programmes classiques mais elle est en revanche optimisée pour exécuter des calculs sur des volumes monstrueux de données. Pour vous donner une idée, la liaison entre le processeur graphique et sa mémoire dédiée est tellement performante que vous pourriez y faire passer le contenu d un disque dur entier en quelques secondes. Le processeur est typiquement cadencé à une fréquence relativement faible (quelques centaines de MHz) mais compense cette vitesse par un nombre impressionant d unités de calcul : jusqu à un millier d unités, contre seulement 4 sur les processeurs actuels. La carte graphique est reliée à votre ordinateur par le bus PCI-Express. Là encore, on est dans la débauche de performances avec un débit de l ordre du gigaoctet par seconde, qui permet de charger les textures et autres ressources depuis votre disque dur. Et bien sûr, la carte graphique a ses périphériques, les écrans! Il est temps d introduire quelques termes techniques : GPU : Graphics Processing Unit, c est le processeur de la carte graphique ; CPU : Central Processing Unit, le processeur de votre ordinateur ; RAM : Random Access Memory, la mémoire de votre PC ; VRAM : c est le terme que j emploierais pour désigner la mémoire vidéo ; PCIE : PCI-Express, le bus qui relie votre carte graphique au reste du système ; Shader Core : l équivalent pour une carte graphique des coeurs de votre processeur, nous y reviendrons. Mettons tout ça en images... Notons pour les puristes que le CPU ne s occupe pas réellement du transfert des données. Aujour- Gwennaël ARBONA 3

5 d hui, on va plutôt chercher à faire correspondre une zone mémoire en VRAM à une zone mémoire en RAM, charger une tetxure en RAM depuis le disque dur, et laisser le matériel se charger de la copie. On parlera de Direct Memory Access ou DMA. Si ce concept vous laisse de marbre, pas de panique, de nos jours ça ne concerne plus les développeurs de jeu. Tout va bien? On attaque la suite! Gwennaël ARBONA 4

6 Shaders et textures Vous savez sans doute déjà que les scènes 3D sont composées de triangles : chaque objet est transmis à la carte graphique sous forme d une longue liste de triangles. Du point de vue artistique, on parle souvent de wireframe. On appelle vertex un sommet dans ces triangles. Un objet de jeu vidéo Et son wireframe sous forme de triangles Chaque élément d une scène 3D est donc constitué d un flot de triangles disposant d un aspect particulier (métal, peau, bois, etc). Dans le langage courant du jeu vidéo amateur, on parle souvent de textures, sans trop savoir à quoi le terme fait référence. C est ici qu on va voir ce qui se passe réellement entre les triangles et le rendu, avec la notion de shader. Gwennaël ARBONA 5

7 Un shader, c est un programme qui s exécute sur le GPU. Il est rédigé dans un langage particulier, propre à la technologie (DirectX, OpenGL, Mantle, etc) ou au matériel (chaque GPU a ses variantes d assembleur), et sert à définir le rendu des objets 3D en fonction de leur environnement. Un shader utilise des ressources (essentiellement des textures), des paramètres (position de l objet, position de la caméra, positions des sources de lumière...) pour produire un résultat (les pixels à l écran). Ressources et résultats des shaders En pratique, il n y a pas un seul shader mais un enchaînement de plusieurs types de shaders, qui ont chacun un rôle spécifique. Nous verrons bientôt en détail comment tout ça fonctionne. Les performances du GPU, la complexité des shaders, le nombre de triangles, la résolution des textures sont autant de paramètres qui jouent sur la vitesse du rendu. Si vous avez été trop ambitieux, le temps d exécution de vos shaders va dépasser une limite acceptable, et ralentir l arrivée de l image à l écran. C est ce phénomène qui provoque les problèmes de performance en jeu : mauvais framerate, problèmes de tearing, etc. Gwennaël ARBONA 6

8 De retour chez les artistes Ecrire des shaders est une tâche extrêmement difficile, réservée à des gens très spécialisés qui savent aussi bien programmer que produire du contenu graphique. En pratique, dans l industrie du jeu vidéo, un artiste va utiliser des mécanismes propriétaires dépendant de la technologie. Il se contente de donner des consignes au moteur, souvent par le biais de langages graphiques, pour faire générer automatiquement des shaders appropriés. On ne parle ainsi plus de shader, mais de material. Le material est une vision plus haut niveau, centrée sur l apparence visuelle de l objet ; il peut dépendre de plusieurs shaders. On verra plus tard que dans un pipeline moderne, associer un Material à un shader particulier est hors de propos. On peut voir le shader comme une fonction au sens de la programmation, et le material comme une fonction au sens de la spécification. Un exemple d éditeur de material dans un moteur de jeu Pour résumer, un artiste va produire trois éléments distincts. Le principal, c est bien sûr l objet lui-même, c est-à-dire sa géométrie, les triangles qui le composent, importés depuis un modeleur 3D. Les textures de l objet représentent le deuxième élément. Le moteur de jeu se charge d acheminer ces textures à des shaders, dont l architecture et la configuration va dépendre du dernier élément à charge de l artiste : le material. Gwennaël ARBONA 7

9 Conclusion Si vous n étiez pas encore convaincu de l intérêt d un moteur de jeu, c est l occasion ou jamais de changer d avis : le travail existant est considérable! Produire un jeu vidéo à partir de zéro est un travail titanesque qui se réserve à des équipes nombreuses, talentueuses et bien financées. On va maintenant voir en détail quelles méthodes sont employées, sous le capot, pour faire correspondre les besoins des artistes aux capacités du matériel. Gwennaël ARBONA 8

10 1.2. UN PIPELINE DE RENDU BASIQUE Introduction Dans cette partie, on va plonger dans la technique pour découvrir comment les scènes 3D crées par les artistes se transforment en images à votre écran. C est une approche simple, proche de ce qui se faisait il y a encore quelques années, qui pose les concepts les plus importants. Nous verrons plus tard comment cette approche s est améliorée depuis Géométrie et textures L aspect le plus évident de la scène, c est la géométrie, les objets 3D qui la constituent. C est toujours la première étape du rendu lui-même car elle sert de base aux étapes suivantes. C est là qu on va commencer, il faut cependant savoir que votre moteur de rendu, quel qu il soit, aura déjà tavaillé un peu en amont pour supprimer tous les objets qui ne seront pas visibles. C est ce qu on appelle le culling. Le moteur de rendu va ensuite charger les objets sur la carte graphique, avec quelques subtilités : les objets sont chargés sous la forme d une liste de faces, habituellement des triangles ; chaque face va posséder une normale, c est-à-dire un vecteur qui indique la direction de la face ; chaque vertex est également associée à une coordonnée dite coordonnée UV, c est-à-dire la position de ce vertex sur les textures : c est comme ça qu on associe à une face la portion de texture qui lui correspond ; d autres propriétés peuvent également être calculées, comme la tangente à la face. Comme vous le voyez, on a déjà un gros paquet d informations à faire traiter. On verra plus tard que cette approche est un peu simpliste, il y a aujourd hui quelques concepts supplémentaires qui permettent de gagner encore un peu de temps de calcul au niveau de la géométrie. Dans le même temps, on va également charger en mémoire les textures que l artiste a choisi d utiliser. Leur nombre varie : il peut ne pas y en avoir du tout, mais on peut en trouver près d une dizaine pour un seul objet si les shaders qui s y appliquent sont complexes! Là encore, le moteur de rendu a des responsabilité supplémentaires, par exemple empêcher la duplication de ressources en mémoire. Gwennaël ARBONA 9

11 Les shaders en détail A ce niveau de rendu, on dispose d une scène 3D. Le pipeline de rendu prend un tournant au moment où on transforme cette scène en une image 2D, un procédé connu sous le nom de rasterization. L algorithme en lui-même ne nous intéresse pas particulièrement ici, retenez simplement qu on aplatit la scène 3D pour produire une image, tout en conservant aussi les données sous une forme 3D : elles vont servir à calculer l éclairage de la scène. La rasterization s articule autour des shaders. Les shaders sont des programmes qui s exécutent sur le GPU, ils sont responsables de la transformation de la scène en une image avec éclairage, textures, effets spéciaux. Ils constituent les éléments essentiels du pipeline de rendu, c est avec eux qu on implémente tous les effets appliqués à la scène 3D, des lumières au post-processing. Dans le cadre de ce cours, on évoquera les deux principaux types de shaders : les vertex shaders rassemblent les données de la géométrie et les fournissent au rasterizer ; les fragment shaders réalisent l éclairage, appliquent les textures, produisent les pixels. Il en existe cependant une variété d autres : les tessellation shaders, optionnels, densifient la géométrie des objets par subdivision des faces (tessellation) en sortie des vertex shaders ; les geometry shaders, optionnels, réalisent des opérations supplémentaires pour transformer la géométrie ; il existe également des compute shaders qui sont utilisés en dehors de la 3D, par exemple pour du calcul scientifique. On va voir le chemin des données dans la carte graphique pour mieux comprendre ce qui se passe. Les shaders optionnels sont absents du schéma pour éviter de l alourdir. On prend l exemple d une sène avec deux objets, chacun disposant de son vertex et fragment shader. Pour chaque pixel de l image à produire, on va se projeter dans la scène 3D et déterminer quels points de celle-ci sont candidats pour produire le pixel. C est ce qu on appelle le fragment : une portion de géométrie à laquelle on va appliquer le fragment shader, lequel produira un pixel. Le fragment shader, aussi connu sous le nom de pixel shader s exécute après le vertex shader et se base sur les données de rasterization. Le fragment shader n est donc pas directement en sortie du vertex shader! C est dans cet étage que l on crée la couleur. On va appliquer les textures aux objet, simuler le relief de l objet, l éclairage, appliquer des ombres... Le fragment shader est habituellement plus complexe que le vertex shader, et surtout plus gourmand en temps de calcul. Gwennaël ARBONA 10

12 Le forward shading On a vu que les shaders s exécutent sur des portions individuelles de la scène. Les vertex shaders fonctionnent en parallèle sur les vertices, les fragment shaders fonctionnent en parallèle sur les fragments. La nature massivement parallèle des GPU (des centaines, voire des milliers de shader cores) découle directement de cette observation. Cette approche est appelée le forward shading. On envoie toute la géométrie, et pour chaque fragment issu du rasterizer, on calcule l influence de toutes les sources lumineuses de la scène. C est un modèle simple à implémenter, qui a régné sur les jeux vidéo pendant des années. Le matériel a évolué pour suivre cette approche et de nombreux éléments du rendu sont réalisés directement dans le matériel avec des circuits dédiés (par exemple, l anti-aliasing). Cette approche pose néanmoins un grave problème : sa complexité est O(fragments * sources lumineuses). Une scène avec 100 lumières est donc 10 fois plus lente à calculer qu une scène avec 10 lumières. C est pour cette raison que l éclairage, dans une très large majorité des jeux vidéo, se base sur une simulation statique réalisée sur les niveaux de jeu vidéo (le lightmapping). Au début des années 2000, l éclairage dynamique, calculé par des shaders à chaque frame, était considéré comme un luxe, quelque chose qu on ne pouvait utiliser que sur des éléments mobiles comme des véhicules. Pendant la seconde partie des années 2000, les jeux vidéo utilisaient habituellement du lightmapping en duo avec un éclairage dynamique limité à quelques sources lumineuses. Gwennaël ARBONA 11

13 L éclairage dans un niveau de [DeepVoid](http ://deepvoid.eu), calculé entièrement de façon statique Gwennaël ARBONA 12

14 Transparence et glow Pour clore ce chapitre, prenons un cas particulier : les objets transparents. Un objet transparent a besoin d être calculé après tous les autres, puisque son aspect dépend de ce qui est affiché derrière. Il n y a pas de solution miracle : il faut séparer le rendu en deux passes, c est-à-dire qu on le fait deux fois : une première fois pour faire le rendu de tous les objets opaques, et une seconde fois pour faire le rendu de chaque objet transparent. En pratique, si on veut avoir deux objets transparents superposés, il faut ensuite les rendre un par un, en tenant compte de leur profondeur (depth) dans la scène : le plus profond est calculé en premier. La même problématique se pose si on souhaite produire un effet de glow. Le glow, c est ce qui donne l impression qu un objet est lumineux. Regardez de près les lumières de la scène : LEDs, spots, écrans Pour produire un effet de glow, on réalise une passe de rendu dédiée qui contient uniquement les portions émettrices de lumière ; on lui applique un léger flou avant de l ajouter à la scène. Gwennaël ARBONA 13

15 Conclusion En pratique, le rendu d une scène est un véritable mille-feuille. En plus du rendu de chaque lumière, une scène typique va exiger plusieurs passes de transparence suivant le rendu souhaité, des passes pour des effets particuliers (glow, distorsion...) ou encore des passes pour des problèmes de gameplay (par exemple, dans un FPS, l arme est toujours au premier plan, même si de la géométrie vous rentre dedans). On verra dans un autre chapitre comment une partie de ces problèmes se règle, mais on peut déjà tirer plusieurs leçons de ce chapitre : un système de rendu parfaitement optimisé ne l est que pour une scène précise ; un système de rendu générique, indépendant de la scène est complexe à mettre en place ; il n y a jamais de solution parfaite dans le domaine du temps réel : l important, c est que le rendu soit correct, à un framerate décent. On va maintenant plonger un peu plus profondément dans la technique, avec un chapitre dédié aux shaders. Gwennaël ARBONA 14

16 1.3. LES SHADERS Introduction Dans cette partie, on va s intéresser de plus près aux shaders. C est l occasion de voir un peu de code! Vertex shaders Les vertex shaders interviennent au tout début du rendu, quand la géométrie de la scène a été chargée dans la carte graphique. Ils sont responsables, pour chaque vertex, du traitement des données dont on vient de parler ainsi que d autres paramètres que le moteur de rendu fournit : la transformation de la caméra ; la transformation de l objet ; la position du vertex en train d être traité ; parfois une couleur associée au vertex ; toute autre donnée jugée utile, suivant les besoins. La matrice de transformation est une donnée complexe composée de la position et de la rotation de l objet dans l espace. C est un format couramment employé à bas niveau car il permet des opérations simples avec les vecteurs, et se prête très bien au GPU puisqu il se base sur du calcul matriciel. Le rôle du vertex shader est souvent relativement mineur. Il se borne à des opérations simples, par exemple le changement de repère entre le repère global de la scène et le repère local de l objet (ou de la caméra). Il se charge de communiquer au reste de la chaîne de rendu les coordonnées UV, la position de l objet ou sa normale. On va voir quelques exemples de shaders en GLSL. La syntaxe ne sera pas enseignée ici, elle est très proche du C et sera compréhensible pour tout le monde. Voyons un premier exemple : #version 150 uniform mat4 worldviewproj; in vec4 uv0; in vec4 vertex; out vec2 ouv0; void main() { gl Position = worldviewproj * vertex; ouv0 = uv0; } Ce shader prend en entrée la position (vertex), prend en paramètre la transformation du monde dans le repère de la caméra (worldviewproj ) et fournit au fragment shader la position du vertex (gl Position) et ses coordonnées UV (ouv0 ). C est à peu près le plus simple qu on puisse faire, et ça suffit à texturer correctement un objet. Notez que gl Position est un mot-clef de GLSL qui n a pas besoin d être déclaré, contrairement à ouv0. Pour résumer, le vertex shader se charge de transformations géométriques basiques, et sert d interface entre le moteur de rendu et le fragment shader que nous allons maintenant étudier. Gwennaël ARBONA 15

17 Fragment shaders Le fragment shader a un fonctionnement similaire, à la seule différence qu il est appelé sur des fragments et non des vertices. On garde la même syntaxe que le vertex shader, on prend comme entrée les sorties de celui-ci et cette fois-ci, le shader renvoie une seule et unique donnée : la couleur du pixel. Pour un objet typique, voici les tâches du fragment shader : charger depuis la mémoire vidéo la ou les textures utilisées ; déterminer la couleur de base, ou diffuse du fragment, le plus souvent en s aidant d une texture, la diffuse map ; déterminer la normale du fragment, en fonction de la normale de la face et d une éventuelle normal map, une autre texture utilisée pour créer des variations de géométrie ; déterminer la couleur spéculaire du fragment, c est-à-dire la couleur des réflexions lumineuses, souvent à partir d une specular map ; à partir de ces données, déterminer la couleur finale du fragment en fonction de l éclairage, en additionnant l effet de chaque source lumineuse dans la scène ; dans certains cas, ajouter des effets supplémentaires comme le glow, où on pourra utiliser... Une glow map. Gwennaël ARBONA 16

18 Un objet avec ses textures : diffuse map en haut à droite, normal map en abs à gauche, glow map en bas à droite Comme on l imagine, artiste et programmeur doivent se mettre d accord pour qu un tel système fonctionne. Il n y a pas de règles universelles sur le fonctionnement de ces textures, c est à l auteur des shaders de proposer un modèle d éclairage en collaboration avec les artistes. Dans DeepVoid, le format adopté était le suivant : une diffuse map, avec un canal alpha pour la transparence une normal map, avec un canal alpha pour contrôler l effet de la lumière éventuellement, une glow map D autres développeurs ont adopté des approches plus curieuses, comme stocker quatre textures monochrome dans les quatre canaux d une texture RGBA, pour les colorer ensuite dans le fragment shader. C est à vous de décider! Un premier exemple d abord, pour produire un pixel blanc : Gwennaël ARBONA 17

19 #version 150 out vec4 ppixel; void main() { ppixel = vec4(1,1,1,1); } Le code est trivial, seul détail intéressant ici : on produit une valeur RGBA, une couleur sur 4 canaux. Chaque canal contient une valeur de type float, votre moteur de rendu se charge lui de configurer la précision entière du rendu final (8 bits par canal, 16 bits par canal, etc). La présence d un canal alpha est un indice : deux fragments peuvent se superposer pour produire un pixel. Un exemple plus intéressant consiste à associer une texture à l objet, en ajoutant un Sampler que le moteur de rendu se chargera de connecter à une texture en mémoire : #version 150 uniform sampler2d TextureSample; in vec2 ouv0; out vec4 ppixel; void main() { ppixel = texture(texturesample, ouv0); } On renvoie simplement le pixel présent dans la texture aux coordonnées UV du fragment. On rappelle que les coordonnées UV ne sont pas celles que le vertex shader a fourni : elles sont produites à partir de celles-ci, par interpolation, pendant la rasterization. Ce shader correspond néanmoins au premier vertex shader proposé précédemment. Gwennaël ARBONA 18

20 Exemple complet : éclairage et normal mapping Prenons un exemple plus complexe avec un vertex et fragment shader prévu pour du normal mapping. Le normal mapping est une technique qui consiste à simuler des variations de géométrie à partir d une texture, ce qui est bien moins gourmand en ressources qu une géométrie plus complexe. Voyons d abord le vertex shader : #version 150 uniform vec4 lightposition; uniform vec3 eyeposition; uniform mat4 worldviewproj; in vec4 vertex; in vec3 normal; in vec3 tangent; in vec4 uv0; out vec4 vuv0; out vec3 veyedir; out vec3 vnormal; out vec3 vlightdir; out vec3 vhalfangle; void main() { gl Position = worldviewproj * vertex; // La direction de la lumière est calculée par rapport au vertex vec3 lightdir = normalize(lightposition.xyz - (vertex * lightposition.w).xyz); vec3 binormal = cross(normal, tangent); // Repère local du vertex mat3 rotation = mat3( vec3(tangent[0], binormal[0], normal[0]), vec3(tangent[1], binormal[1], normal[1]), vec3(tangent[2], binormal[2], normal[2])); // Données de sortie vuv0 = uv0; vnormal = normalize(normal.xyz); veyedir = normalize(eyeposition - vertex.xyz); vlightdir = rotation * lightdir; vhalfangle = rotation * (veyedir + lightdir); } Gwennaël ARBONA 19

21 On retrouve la même structure, mais cette fois-ci on passe plus d informations au fragment shader. On calcule un repère local défini par la normale, la tangente et la binormale (normale t angente), qu onutilisepourdét Maintenant, découvrons ensembles le fragment shader correspondant : #version 150 uniform vec4 lightdiffuse; uniform vec4 lightspecular; uniform sampler2d diffusemap; uniform sampler2d normalmap; uniform sampler2d specmap; in vec4 vuv0; in vec3 veyedir; in vec3 vnormal; in vec3 vlightdir; in vec3 vhalfangle; out vec4 ppixel; void main() { vec4 diffusedata = texture2d(diffusemap, vuv0.xy); vec3 normaldata = (texture2d(normalmap, vuv0.xy).xyz); vec3 specdata = texture2d(specmap, vuv0.xy).xyz; // On calcule l infuence de l éclairage en fonction de la normale float lightfactor = clamp(dot(normaldata, vlightdir), 0.0, 1.0); float specfactor = clamp(dot(normaldata, vhalfangle), 0.0, 1.0); // La couleur est déterminée avec l éclairage ppixel = diffusedata lightfactor lightdiffuse; ppixel += specdata specfactor lightfactor * lightspecular; ppixel.w = diffusedata.w; } Le processus consiste ici à calculer une normale modifiée pour le fragment (normaldata) à partir d une normal map, et de s en servir pour modifier l éclairage. On peut noter la présence de cinq paramètres : trois textures (diffusemap, normalmap et specmap) ; deux paramètres dépendant de la source lumineuse traitée : lightdiffuse, la couleur affectant la diffuse et lightspecular, la couleur affectant les reflets. C est un shader relativement complexe, le détail de l implémentation n est pas important ici. Ce qui compte, c est de comprendre le processus qui conduit, depuis l importation de la géométrie, à produire un pixel en fonction des sources de lumière, des textures. Gwennaël ARBONA 20

22 Conclusion Au terme de ces premiers chapitres, on a fait le tour d un pipeline basique de rendu dans un jeu vidéo. La partie suivante va présenter les technologies mises en place ces dernières années pour augmenter la qualité du rendu dans un environnement toujours très limité. Gwennaël ARBONA 21

23 1.4. LE DEFERRED SHADING Introduction Dans ce nouveau chapitre, on va étudier une nouvelle façon de calculer l éclairage Le deferred shading Comme on l a vu dans les parties précédentes, avant 2010 un jeu vidéo 3D typique exploitait des lightmaps pour éviter de calculer l éclairage en temps réel. Des moteurs comme Source ou Unreal Engine 3 exigeaient un calcul statique de tout l éclairage, qui pouvait durer près d une heure. L éclairage dynamique était réduit au minimum et était inconsistent avec l éclairage statique, produisant souvent des artefacts. En résumé, l éclairage était un énorme travail pour les créateurs. En introduction, je disais que les développeurs sont là pour aider les artistes. Et bien sûr, une solution a fini par se présenter : le deferred shading. Le principe du deferred shading est d appliquer les shaders (éclairage compris) en une seule fois à une scène complète, au lieu d appliquer successivement chaque lumière à tous les objets. Dans une scène exploitant cette technique, on sépare la génération de la scène et son éclairage. On va utiliser des shaders pour produire un geometry buffer ou GBuffer, qui contient la géométrie, les couleurs des objets, les normales, leur spécularité ou toute autre propriété jugée utile. Une structure courante pour le GBuffer est un modèle avec deux textures RGBA : une texture stocke les diffuse maps, les couleurs ; avec la spécularité en alpha ; une seconde texture stocke les normales ; avec la profondeur de la scène (du point de vue de la caméra) en alpha. Ces textures ont la résolution de votre écran et sont produites par des shaders très simples, qui se réduisent à stocker des données. En sortie de ce GBuffer, on va appliquer le shading pour chaque lumière pour produire la scène, en utilisant un deuxième jeu de shaders. Le deferred shading est une technique bien plus complexe. Pire, elle n est pas suffisante à rendre la scène : les objets transparents ont toujours besoin d une passe de rendu séparée. En pratique, le deferred shading s accompagne donc systématiquement de passes en forward shading. Enfin, le coût en performances s aplatit : il est plus lourd en mémoire, mais grossit moins avec le nombre de lumières, ce qui a peu à peu imposé la technique comme une référence. Gwennaël ARBONA 22

24 Une scène en exemple Gwennaël ARBONA 23

25 Aller plus loin avec l éclairage : la global illumination Gwennaël ARBONA 24

26 Conclusion Le deferred shading n est pas un solution miracle à tous les problèmes. C est une autre façon d aborder l éclairage, qui va faciliter le travail pour le post-processing que nous verrons dans le prochain chapitre, mais qui se base sur les mêmes principes que le forward shading, en composant différentes passes de rendu. Gwennaël ARBONA 25

27 1.5. POST-PROCESSING Introduction Un retour aux sources Gwennaël ARBONA 26

28 Des scènes réalistes avec l ambient occlusion Gwennaël ARBONA 27

29 Bloom et HDR Gwennaël ARBONA 28

30 Conclusion Conclusion Ce tuto est en cours de rédaction. La suite arrive. Gwennaël ARBONA 29