RANCH RenderFarm - Guide de l'utilisateur Partie II le RANCH pour Maxwell Render

Transcription

1 RANCH RenderFarm - Guide de l'utilisateur Partie II le RANCH pour Maxwell Render mars 2015 Bienvenue sur le service de rendu automatisé RANCH, le supercalculateur ultra-rapide - mais accessible - pour tous vos projets Maxwell! Ce document contient les informations spécifiques à l utilisation de Maxwell Render sur le RANCH. Avant de le lire, nous recommandons fortement que vous lisiez d abord la première partie le Guide général qui inclut tout ce qui ne concerne pas spécifiquement Maxwell. Le temps total d un projet, qui détermine son coût, inclut: - la distribution du projet à travers le réseau + la phase de préparation / voxélization + le temps de calcul lui-même, spécifié dans le formulaire de soumission de projet + et la fusion de tous les MXIs partiels produits par les render nodes en un MXI final Important : modifications de la fusion depuis la version 2.7 Maxwell Render 2.7 a introduit la compression des MXI. La taille du fichier MXI produit par un projet est plus petite, donc le téléchargement du MXI final prendra moins de temps, bien que le taux de compression varie considérablement avec chaque scène, en fonction de nombreux paramètres (nombre de canaux, définition, émetteurs, utilisation du Multilight, etc.). La fusion de MXI compressés prend un peu plus de temps que celle de leurs équivalents non-compressés en basse/moyenne définition, mais la tendance s'inverse en haute définition. L'inconvénient de la compression MXI est qu'il n'est plus possible de prédire précisément le temps de fusion d'un projet en se basant sur la taille du MXI, sachant que : - le taux de compression n'est jamais le même d'un projet à l'autre. - des MXIs compressés de même taille peuvent demander des temps de fusion différents. - le MXI final (fusionné) est plus lourd que les MXI individuels. Par conséquent un MXI compressé de 500 Mo peut être équivalent à un MXI non-compressé de 1 Go, ou de 4 Go... le temps de fusion sera 4 fois plus long dans le second cas, bien que la taille du MXI compressé soit similaire. Vous pouvez considérer qu'une fusion complète sur le RANCH Runner prend généralement entre 2 et 20 minutes, pour des MXI de tailles courantes (de quelques Mo jusqu'à 2 Go). Astuce : pour réduire la taille des MXIs, n'utilisez pas le Multilight sauf si vous en avez absolument besoin. Dans ce cas, évitez le Color Multilight qui peut créer des MXIs énormes. 1

2 1) Maxwell Render sur le RANCH: fonctionnalités spécifiques En plus des fonctionnalités décrites dans la partie I du RUG, le RANCH offre des fonctions spécifiques aux moteurs de rendu Unbiased en général, et à Maxwell Render en particulier. - Les projets coopératifs Maxwell 3.x et Maxwell 2.x sont supportés - Possibilité de reprendre des projets (fonction resume) pour améliorer la qualité d'image - Possibilité de viser un sampling level (SL) coopératif donné - Vous récupérez les fichiers MXIs et les images bitmaps - Possibilité de calculer plusieurs caméras en envoyant un seul projet (mode MultiCam) - Une passe de débruitage est automatiquement appliquée aux rendus coopératifs - La file d attente affiche en temps réel une approximation du Sampling level (SL) global atteint pendant le rendu d un projet coopératif. Le premier affichage de SL est disponible 5 à 6 minutes après le début du projet. - Des prévisualisations temps réel vous permettent d'observer le projet pendant son rendu. 2) Informations importantes pour la préparation des scènes Il est TRES important que vous lisiez soigneusement le contenu de cette section avant de soumettre une scène. Cela vous aidera à éviter les erreurs les plus communes. Vérifiez avant d'envoyer une scène que vous l'avez sauvegardée avec tous les bons paramètres. Il est de votre responsabilité de fournir la scène avec tous les réglages corrects. La scène sera calculée exactement telle que vous nous l'envoyez. Avant de nous envoyer une scène, chargez-là sur votre ordinateur et lancez un rendu en définition maximale pendant quelques minutes à partir de Maxwell Render (PAS de Maxwell Studio), pour vous assurer que tout fonctionne comme prévu et que votre scène ne provoque pas de crash. Certaines erreurs triangles without material par exemple - ne sont en effet pas détectées par MS, alors qu elles crashent MR. N incluez pas de caractères accentués / non-alphanumériques, des espaces, apostrophes et points dans les noms de fichiers de votre projet (scène, textures, objets, etc.). Pour éviter tout problème d interprétation par le RANCH Runner, merci d utiliser uniquement des lettres et des chiffres, ou le signe «_» pour remplacer les espaces. Vous pouvez utiliser des scènes.mxs référencées (introduites dans Maxwell 2.6) dans votre projet si toutes ces scènes ont le préfixe "xref_" (ex : "xref_monproduit.mxs"). Seule la scène principale peut avoir un nom quelconque (ex : "MaScene.mxs"). Tous les fichiers.mxs référencés doivent avoir le préfixe "xref_", sinon le serveur ne pourra distinguer la scène principale et le projet sera rejeté ou considéré comme une animation (avec autant de frames que de fichiers.mxs - voir page 6). 2

3 3) Préparation de la scène pour un projet d image fixe mode Coopératif Pour préparer vos projets d images fixes, vous devez utiliser RANCHecker, un logiciel gratuit développé par le RANCH. Cet outil simple d utilisation rassemble tous les contenus nécessaires à vos scènes et prépare vos projets en tant qu'archives compressées au format.vum, prêtes à être rendues. RANCHecker est également capable de tester les performances de votre système et de vous donner des estimations utiles de coût et de temps pour vos projets. Vous pouvez télécharger RANCHecker sur notre site dédié à Maxwell (des versions PC et Mac sont disponibles). Depuis la version 2.2, RANCHecker est aussi capable de générer des projets MultiCam (un seul projet avec plusieurs caméras à calculer). Pour plus de détails, veuillez consulter l appendice B de ce manuel consacré au mode MultiCam. 3

4 4) Reprise d un projet coopératif! Cette fonction exclusive du RANCH vous permet de continuer un projet coopératif précédemment rendu. Imaginons que vous veniez juste de calculer un projet appelé «MaMaison.vum» pendant deux heures. Vous téléchargez les fichiers, examinez les images et le MXI et regrettez de ne pas avoir demandé quatre heures de calcul, car le Sampling Level est trop bas et l image encore trop granuleuse. Heureusement, le RANCH est capable de reprendre un projet coopératif! Si vous envoyez un projet avec exactement le même nom que le précédent (dans notre exemple «MaMaison.vum») et à l évidence la même définition X / Y, le RANCH sera capable de recharger automatiquement les données à partir de son cache de projets, et de reprendre le rendu dans l état où il se trouvait à la fin du rendu précédent. D autres choses à savoir concernant la fonction de reprise : - Toutes les données d un projet coopératif sont conservées dans le cache jusqu à ce que le compte ftp temporaire du projet expire. Par conséquent si vous essayez de reprendre un ancien projet (vieux de plus de 5 jours), ses données ne seront plus disponibles et il sera considéré comme un nouveau projet. - Si vous voulez reprendre un projet, vous devez l envoyer à partir du même compte utilisateur RANCH que le précédent. - Chaque projet repris, quand il sera terminé, sera lui-même considéré comme un nouveau projet par le RANCH. Il aura donc son propre dossier ftp et vous pourrez le reprendre lui aussi! Cela signifie que vous pouvez améliorer le projet original progressivement, par l intermédiaire de plusieurs reprises successives! - Quand vous utilisez cette option, les s que vous recevrez confirmeront que le projet en cours est effectivement un projet repris. - Ne vous inquiétez pas si, en regardant la file d'attente pendant la seconde passe, le SL affiché n'est pas plus élevé que durant la première passe : les MXIs de la première et de la seconde passe sont simplement fusionnés à la fin pour produire le MXI final. Une autre bonne surprise pour finir : quand vous reprendrez un projet, le RANCH utilisera seulement les données de son cache, et n essaiera pas de décompresser le fichier.vum que vous envoyez. Cela signifie que vous n avez pas besoin de renvoyer un gros fichier projet (la vraie scène) à chaque reprise. Créez simplement un petit fichier texte (qui ne doit pas être vide cependant, sa taille doit être > 0), renommez-le avec le nom exact du projet d origine - dans notre example ce serait «MaMaison.vum» - et envoyez-le! Si le même nom est trouvé dans le cache, seules les données précédentes seront utilisées, et donc cela n a pas d importance que votre fichier.vum ne soit pas un «vrai» fichier.vum. Bien entendu, si aucune donnée n est disponible dans le cache pour un projet de ce nom, il sera simplement rejeté en tant que fichier.vum invalide. 4

5 5) Préparation de la scène pour un projet d animation mode Frame La préparation est différente pour une animation. Voici les étapes à suivre : 1) Créez votre animation dans l application-hôte (3DS Max, C4D, etc.). Dans le plugin Maxwell, choisissez l option «Write MXS». Le plugin Maxwell va alors générer autant de fichiers MXS qu il y a de plans dans l animation. Copiez tous ces fichiers MXS dans un nouveau dossier que vous allez réserver aux fichiers de votre projet. Appelons-le DIRA dans notre exemple (mais vous pouvez lui donner le nom que vous voulez juste avec des chiffres et lettres, sans espaces ni caractères spéciaux). 2) Rassemblez tous les fichiers externes nécessaires à votre projet (textures, etc.). Pour cela, ouvrez dans Maxwell Studio l une des scènes MXS générées en 1) et utilisez la fonction «Pack n Go» pour enregistrer tous les fichiers trouvés dans un autre dossier (PAS le dossier projet contenant toutes les scènes MXS). Appelons ce dossier DIRB. 3) Copiez tous les fichiers de DIRB dans DIRA, à l exception de la scène MXS qui a été créée dans DIRB par la fonction Pack n Go. Après cette opération, tous les fichiers nécessaires sont dans DIRA (toutes les scènes MXS + fichiers externes, textures, etc.). 4) Compressez tous les fichiers du dossier DIRA en une archive au format.7z ou.zip (voir 5-A pour les détails) en fonction du compacteur que vous avez l habitude d utiliser. N utilisez pas un autre format. 5) Renommez votre archive compressée avec l extension «.vum». Par exemple, si votre fichier s appelle «MonAnim.zip», renommez-le en «MonAnim.vum». C est essentiel pour que le serveur automatisé détecte le fichier en tant que projet Maxwell. Le RANCH sait qu'un projet est une image fixe s il ne trouve qu une seule scène principale MXS dans l'archive.vum. Il allouera alors la même scène à tous les nodes en mode coopératif. S il trouve plusieurs scènes principales MXS dans l'archive (c'est-à-dire non 'xref_' - voir page 3), il traitera le projet comme une animation (une scène MXS / frame par node). Donc, si vous voulez envoyer une image fixe et non une animation, assurez-vous que votre archive.vum ne contient qu UNE seule scène principale.mxs. Note : vous ne pouvez pas uploader un fichier d une taille supérieure à 2 Go vers le RANCH. Si vous envoyez un projet d animation composé de nombreuses scènes.mxs, cette limite peut être atteinte. Dans ce cas, vous devrez découper votre projet principal en plusieurs sous-projets, chacun d une taille < 2 Go. Pour les utilisateurs de 3ds Max, Maya et Cinema 4D Vous pouvez envoyer votre animation 3ds Max / Maya / Cinema 4D + Maxwell directement sous la forme d'un projet 3ds Max, Maya ou C4D, au lieu de devoir envoyer de nombreux fichiers.mxs indépendants et volumineux. Pour cela, consultez nos sites RANCH et nos manuels d'utilisation PDF dédiés à ces applications. 5

6 6) Choisir une stratégie de rendu Vous avez deux possibilités : choisir un temps de rendu maximum (en minutes) ou un Sampling Level (SL) maximum. Si votre deadline est proche, vous voudrez sans doute obtenir la meilleure qualité d image possible dans le temps imparti. Si vous disposez de deux heures, vous pouvez entrer 120 dans le champ «Render phase time limit» et 30 dans le champ «Sampling Level». La phase de rendu sera alors interrompue après 2 heures de calcul, ou après que le SL ait atteint le niveau 30 (ce qui est peu probable ). Une autre stratégie : vous voulez atteindre un Sampling Level de N (par exemple N=15), que vous considérez nécessaire et suffisant. Dans ce cas vous pourriez entrer 120 minutes (le maximum autorisé) et un SL de 15. Le rendu sera stoppé quand le SL désiré sera atteint. Vous devez toujours utiliser cette stratégie pour un projet d animation, afin de vous assurer que toutes les images seront de même qualité. Si vous n êtes pas très sûr de vous, par exemple vous souhaitez atteindre un SL de 16 mais cela n est pas obligatoire, et en tout cas vous ne voulez pas que le temps de rendu dépasse 1 heure, alors vous pouvez entrer «60» et «16». La phase de rendu sera stoppée dès que la limite de 60 minutes sera atteinte, OU lorsqu un SL de 16 aura été atteint. Veuillez noter que le temps de traitement total d un projet, qui détermine son coût total, inclut plusieurs facteurs (l exemple ci-dessous est celui d un projet coopératif) : - Le temps nécessaire pour envoyer la scène à tous les nodes. Cela prend moins d une minute avec la plupart des scènes, et quelques minutes avec des scènes complexes. - Le temps de préparation (la voxélization peut être longue sur une scène complexe). - Le temps de rendu (à l évidence la plus longue étape, dont vous spécifiez la durée dans le formulaire de soumission d un projet). - Le temps nécessaire pour récupérer et fusionner tous les MXIs partiels en un MXI final (dépend de la taille des MXI, voir page suivante). - Le temps nécessaire pour créer le répertoire ftp et y transférer les fichiers (typiquement moins d une minute). Nous vous recommandons d utiliser RANCHecker pour mieux évaluer le coût de votre projet. 6

7 IMPORTANT : complexité et temps de traitement des MXI Le fichier MXI final est obtenu en récupérant et en fusionnant les MXI coopératifs de tous les nœuds de calcul du RANCH Runner. La complexité d un MXI dépend de la définition du projet, de l utilisation ou non de l option Multilight, du nombre d émetteurs lumineux et de canaux. Le temps de récupération (pour copier les MXIs de tous les noeuds à travers le réseau) et le temps de fusion (pour fusionner tous ces MXIs en un MXI final) dépendent de la complexité de chaque MXI. Avec de gros MXIs, une énorme quantité de données est transférée à travers le réseau, et le temps nécessaire pour la phase de récupération + fusion peut être long. Cela étant dit, le RANCH Runner offre le plus haut niveau de performance de fusion disponible actuellement. Le temps de fusion sur le RANCH Runner prend typiquement entre 2 et 20 minutes en fonction de la complexité du projet. Attention : La fusion a été modifiée depuis la version 2.7 de Maxwell Render. Assurez-vous d'avoir lu les détails en page 1 de ce guide. Si vous choisissez l option «Multilight» en enregistrant votre scène, la taille des MXI sera beaucoup plus importante, et le temps de traitement augmentera en conséquence. Soyez très prudent lorsque vous utilisez l option Multilight, et soyez conscient du fait qu elle peut augmenter considérablement le temps de traitement total du projet, même si la phase de rendu proprement dite est rapide. Si vous devez absolument utiliser le Multilight, essayez d'éviter l'option Color Multilight, car elle peut générer des MXIs énormes qui consommeront beaucoup de RAM et seront très longs à fusionner. 7

8 7) Fichiers produits par le rendu * Si votre projet est une image fixe / rendu coopératif Vous trouverez dans le dossier ftp de votre projet: - votre scène.vum originale. - le fichier MXI final, fusionné après le rendu coopératif. - les couches bitmaps spécifiées dans votre scène (alpha, Idmaterial, Idmesh, etc.) - une image finale de votre projet (avec le suffixe «_final»). - Une version «débruitée» de l image finale (suffixe «_denoised»). L image finale est filtrée à la fin du processus RANCH, dans le but de réduire le bruit numérique. Note 1 : les effets du «débruitage» sont subtils. Il ne remplacera jamais un temps de calcul plus long, et ne transformera jamais une image très granuleuse en image parfaite, mais il contribue à «nettoyer» l image finale en éliminant une partie du bruit. La passe de débruitage est très rapide et effectuée sans surcoût pour l utilisateur. Note 2 : sur certaines images il est possible que le denoiser ne fonctionne pas. Dans ce cas le fichier «_denoised» ne sera pas inclus dans le dossier ftp. Etant donné qu il s agit d un processus automatique, le denoising ne peut pas être aussi sophistiqué que s il était effectué manuellement, et dans quelques (rares) cas il ne fonctionnera pas. Merci de considérer cette fonction comme un bonus gratuit, et non comme un résultat garanti * Si votre projet est une animation Vous trouverez dans votre dossier : - votre scène.vum originale. - Toutes les images de l animation, au format bitmap que vous avez choisi dans la scène. Si pour une raison quelconque le format bitmap de sortie n est pas identifié, le format TIF 32 bits sera utilisé par défaut. - les couches bitmaps spécifiées dans votre scène (alpha, Idmaterial, Idmesh, etc.) 8

9 Appendice A : les prévisualisations temps réel Prévisualisation de projet coopératif (image fixe) Le RANCH vous permet d'observer votre projet coopératif pendant son rendu, sur une page web spécifique à votre projet en cours. Pour accéder à cette page, cliquez sur le bouton dans la file d'attente. Voici ci-dessous un exemple de prévisualisation. Notes : Scène par Felix de Montesquiou - La première prévisualisation est disponible 5 à 6 minutes après le début du projet. - La prévisualisation n'affiche pas toutes les subtilités de l'image finale. - L'image de prévisualisation a une définition maximale de 1400 pixels (largeur ou hauteur). - L'image est annotée (nom du projet, SL actuel, temps de rendu, définition réelle de l'image). - La prévisualisation est générée à chaque augmentation du SL. - Vous pouvez cliquer sur le bouton REFRESH pour mettre à jour la prévisualisation. 9

10 Prévisualisation d'animation Le RANCH vous offre une fonction pratique pour prévisualiser votre projet d'animation pendant le calcul. Elle affiche des vignettes de 256 pixels de large toutes les 10 frames rendues (frame 0, 10, 20, etc.) sur une page web spécifique à votre projet en cours. Pour accéder à cette page, il vous suffit de cliquer sur le bouton qui apparaît lorsque votre projet est en cours de rendu (et bien entendu s'il y a quelque chose à prévisualiser : si chaque frame de votre animation demande 30 minutes de calcul, il n'y aura évidemment rien à voir pendant les 30 premières minutes :) Voici ci-dessous un exemple de ce que vous pourrez voir en cliquant sur Preview (l'image occupe toujours à peu près 1900 pixels de large, sa hauteur dépend du nombre de vignettes). Notes : - A la fin du rendu, l'image de preview d'animation est copiée dans le dossier de votre projet. 10

11 Appendice B : le mode MultiCam Dans certains projets, vous pouvez avoir à calculer plusieurs vues d une même scène. Le mode MultiCam (intégré à RANCHecker >= 2.2) vous laisse choisir les caméras à rendre : puis enregistre ces informations dans l archive.vum. Lorsque le projet est traité, les caméras que vous avez sélectionnées sont calculées les unes après les autres, de sorte que vous n aurez pas à envoyer autant de projets que de vues à rendre. S il n y a qu une caméra dans la scène, le requester ci-dessus n apparaîtra pas quand vous préparerez votre projet. A savoir sur le mode MultiCam : - si vous ne sélectionnez qu une caméra à rendre, la définition X/Y utilisée pendant le rendu sera celle que vous saisissez dans le formulaire de soumission de projet - si vous sélectionnez au moins deux caméras à rendre, la définition X/Y utilisée pour chaque caméra sera la définition enregistrée pour cette caméra dans la scène.mxs - chaque caméra est enregistrée dans son propre sous-dossier dans le dossier du projet - chaque caméra peut avoir une définition différente (largeur/hauteur) - si vous stoppez le projet en cours de rendu, l ensemble du projet sera stoppé, et pas seulement la caméra en cours - la file d attente affiche «CAM 2/4» par exemple si la caméra en cours de rendu est la seconde sur un total de quatre - la liste des caméras sélectionnées est affichée dans l de début de projet - le SL atteint par chaque caméra est affiché dans l de fin de projet - la prévisualisation (appendice A) fonctionne avec chaque caméra successivement - reprendre un projet MultiCam est impossible, même si une seule caméra est cochée 11