Monte Carlo sur GPU et génération de nombres aléatoires

Transcription

1 Monte Carlo sur GPU et génération de nombres aléatoires A. Lokman Abbas-Turki ENPC Présentation 15 janvier 2008 Lokman (ENPC) Présentation 1 / 32

2 Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 2 / 32

3 Introdution Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 3 / 32

4 Introdution Monte Carlo Gourmand en calcul. Génération des trajectoires parfaitement parallèle. GPU Pipeline parallèle sans aucune communication. Facteur de vitesse 100, pour un problème bien posé. Fig.: Historique des évolutions Lokman (ENPC) Présentation 4 / 32

5 Introdution La loi des grands nombres et le théorème centrale limite pour l aléatoire la loi forte des grands nombres : ( P lim n + X 1 + X X n n Avec ɛ n = E(X i ) X1+X2+...+Xn n le théorème de la limite centrale : n σ ɛ n G N (0,1) Pour approximer à 95% : ) = E(X i ) = 1 ɛ n 1.96 σ n (1) Inégalité de Koksma-Hlawka pour le pseudo-aléatoire Soit l inégalité de Koksma-Hlawka : Pour I s = [0,1]... [0,1] et f une fonction de variations bornées (au sens de Hardy and Krause), alors pour tout x 1,...,x N dans I s : 1 N f (x i ) f (u)du V (f )D N N(x 1,...,x N ) (2) I s i=1 Lokman (ENPC) Présentation 5 / 32

6 pseudo-aléatoires Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 6 / 32

7 pseudo-aléatoires Forme Générale "Plusieurs méthodes, un même principe" Une génération utilisant une récurrence périodique. La récurrence est linéaire modulo une constante "m" (réduction du temps de calcul). Formulation classique d un filtre qui étale l "information aléatoire"!!! : Soit un ensemble d entiers : F = {0,1,...,m} en entrée : la graine " X 0 F k, k N " est un vecteur aléatoire. puis une récurrence parfaitement déterministe : avec : A = (a i,j [1,k] ) F C F k vecteur constant. Soit λ la période du générateur. X n = (AX n 1 + C) mod(m) (3) Lokman (ENPC) Présentation 7 / 32

8 pseudo-aléatoires Cas à examiner puis à ignorer Le module m non premier On perd en période du générateur : pour m = p e on obtient λ max = (p k 1)p e 1. La période des bits de poids faibles est moins importante que celle des bits de poids forts : le bit de poids i possède une période λ max = (p k 1)p i 1. Génération intéressante il y 20 ans, car très facile à mettre en oeuvre sur machine. Lokman (ENPC) Présentation 8 / 32

9 pseudo-aléatoires LCG pour Linear Congruential Generators Grandes lignes Sans perte de généralité, on prend dans (1) C = 0 puisque : ( ) X n = (AX n 1 + C) mod(m) = X n 1 A. C... mod(m) (4) 1 On prend m premier. La graine doit être non nulle. λ max = m k 1 avec l une des conditions nécessaires et suffisantes : 1 ) Le polynôme caractéristique de A P A (x) = (x k k i=1 a i x k i ) mod(m) est un polynôme primitif modulo m. 2 ) Les coefficients a i du polynôme caractéristique sont des éléments primitifs modulo m ( Un générateur du groupe multiplicatif cyclique Fm du domaine fini F m). la condition 2 ) est intéressante puisqu il suffit de connaître un coefficient a i pour en déduire les restants. En effet, soit un élément primitif a 0, alors a i = a π(i) 0 avec π(i) représente le i eme nombre relativement premier avec m 1. Lokman (ENPC) Présentation 9 / 32

10 pseudo-aléatoires MRG et LFG MRG (Multiple Recursive Generator) Expression de ce générateur : X n = (a 1 X n a k X n k )mod(m) (5) LFG (Lagged-Fibonacci Generator) LFG additif est le plus utilisé, car le plus facile à implémenter et donne des résultats semblables aux autres LFG. C est un cas particulier du MRG car : avec 0 < j < l x n = (x n j + x n l )mod(m) (6) Lokman (ENPC) Présentation 10 / 32

11 Le générateur LCG (Linear Congruential Generator) Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 11 / 32

12 Le générateur LCG (Linear Congruential Generator) Fonctionnement Forme générale Soient 3 constantes a, c et m. En choisissant aléatoirement une graine, nous obtenons la récurrence : x n = ax n 1 + c mod(m) (7) Elle est périodique, de période maximale T max telle que : cas 1 T max = m si c 0. cas 2 T max = m 1 si c = 0. m est premier pour obtenir un bon comportement aléatoire des bits de poids faibles. c = 0 car elle ne fait que translater le tirage pseudo-aléatoire. Discrépance sur toute la période D (s) m 1 = O(m 1 log s (m) log(log(m))) (8) Discrépance sur N points successifs D (s) N = O(N 1 m 1/2 (log m) s+1 ) (9) Lokman (ENPC) Présentation 12 / 32

13 Le générateur LCG (Linear Congruential Generator) Principe séquentiel d intégration Résultat sur l intégration à une et plusieurs dimensions Pour une intégration à une dimension s = 1, il suffit d avoir N m 1/2+ε avec ε > 0. Selon (8), le problème d intégration apparaît à plusieurs dimensions. En effet, pour m = : log m 21 i.e : pour une option sur 2 actifs, il est insuffisant de multiplier par 2 le nombre de tirages. Fig.: Représentation de la structure vectorielle (X 3n,X 3n+1,X 3n+2). Lokman (ENPC) Présentation 13 / 32

14 Le générateur LCG (Linear Congruential Generator) Principe parallèle d intégration Paralléliser est une alternative Deux raisons la justifient : Paralléliser pour accélérer l obtention du résultat; Intégrer en plusieurs dimensions. Parallélisation par paramétrage Seule l utilisation de a dans x n = ax n 1 + c mod(m) comme paramètre de parallélisation est possible, puisque : Il faut garder un modulo le plus grand possible. c ne peut être utilisé pour paramétrer car si : x n = ax n 1 + c x mod(m) et y n = ay n 1 + c y mod(m) une écriture équivalente est : x n = a n a n 1 x 0 + c x a 1 mod(m) et y n = a n a n 1 y 0 + c y a 1 mod(m) il suffit d avoir à un instant donné : x 0 = y 0 + (c y c x )/(a 1), pour que la suite vérifie : x n y n = (c y c x )/(a 1) (10) Lokman (ENPC) Présentation 14 / 32

15 Le générateur LCG (Linear Congruential Generator) Pourquoi pas d autres générateurs? MRG (Multiple Recursive Generator) Expression de ce générateur : X n = (a 1 X n a k X n k )mod(m) (11) LFG (Lagged-Fibonacci Generator) LFG additif est le plus utilisé, car le plus facile à implémenter et donne des résultats semblables aux autres LFG. C est un cas particulier du MRG car : avec 0 < j < l x n = (x n j + x n l )mod(m) (12) Remarques : Le problème des générateurs précédents est qu ils nécessitent un emplacement mémoire type registre. Pas de méthode de parallélisation pour le MRG. Lokman (ENPC) Présentation 15 / 32

16 Le générateur LCG (Linear Congruential Generator) Pourquoi pas d autres générateurs? Mersenne Twister Généralisation du MRG. Très performant mais architecture est séquentielle. Les auteurs de ce générateur disent dans un papier [2006] : l éventualité de parallélisation raisonable est celle du paramétrage. SPRNG Possède : 1 ) Combinaison LCG-64 bit et un MRG-32 bit. 2 ) LCG-48 bit. 3 ) LCG-64 bit. 4 ) Combinaison de deux LFG-32 bit. 5 ) LFG multiplicatif sur 64 bit. 6 ) LCG-64 bit. Permet du Monte Carlo sur cluster. Permet de rajouter notre propre générateur. Ne permet pas d effectuer des modifications sur les générateurs disponibles. Lokman (ENPC) Présentation 16 / 32

17 La programmation sur GPU Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 17 / 32

18 La programmation sur GPU Modèle de programmation Assimiler la GPU à une chaîne de montage Fig.: Exemple illustratif Lokman (ENPC) Présentation 18 / 32

19 La programmation sur GPU Langages de programmation utilisés C++, CG C++ Sert à charger et décharger les données de la GPU : Initialiser les textures. Initialiser les shader. Choisir l ordre séquentiel des shader. CG Spécifie la tâche de chaque shader. Ex : Monte Carlo de l option vanille : Générer les nombres aléatoires. Actualiser la valeur de l actif. Lokman (ENPC) Présentation 19 / 32

20 La programmation sur GPU Matériel et difficultés de réalisation Carte utilisée NVIDIA GeForce GFlops. 768 Mo de RAM. Driver manipulant des entiers n est plus en version bêta. int et float sur 32 bits. Difficultés à prendre en considération dans la programmation d une GPU Pas d appel récursif sur GPU. Difficulté de débogage. Limitations dans la taille de la boucle. Une mauvaise programmation peut éteindre la machine. Lokman (ENPC) Présentation 20 / 32

21 LCG sur GPU Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 21 / 32

22 LCG sur GPU Choix des multiplicateurs Choix des multiplicateurs 1 ) Prendre le meilleur multiplicateur pour un LCG(m = ), i.e : a = ) Rechercher les 3000 plus petits nombres premiers avec m 1 = 2 (2 30 1); 3 ) Garder seulement les nombres premiers r qui donnent de faibles valeurs de : 1 j impair j pair a j a j + 1 j impair 2 2, a j + 1 j pair a j (13) 1 j t 1 j t 1 j t 1 j t a j = coef. partiels du tableau d Euclide dressé pour b = a r mod(m) et m. Choix selon(13): diminue la corrélation entre les échantillons d un même générateur. assure une bonne distribution au sens de la discrépance. Lokman (ENPC) Présentation 22 / 32

23 LCG sur GPU Choix des multiplicateurs a j sont obtenus selon l algorithme : Algorithme ordinaire d Euclide Une succession de divisions Euclidiennes : m = a 1 b + m 2 b = a 2 m 2 + m 3 m 2 = a 3 m 3 + m 4 m 3 = a 4 m 4 + m 5. m n 2 = a n 1 m n 1 + m n m n 1 = a n m n (14) Une version plus efficace est présentée dans le livre de Knuth. Lokman (ENPC) Présentation 23 / 32

24 LCG sur GPU Choix des multiplicateurs Dépendance parallèle de notre construction Soient les générateurs : x n = ax n 1 mod m et y n = a r y n 1 mod m Sans perte de généralité : x 0 = y 0 = z, la somme exponentielle de l intercorrélation d argument x n y n s écrit : 1 m 1 avec f (n) = z(a n a rn ). 0 n m 1 χ(x n y n ) = 1 m 2 m 1 n=0 e 2πi m f (n) Puisque : 1/(m 1) m 2 n=0 e 2πi m f (n) 1/(m 1) (r 1) m = O( 1/m), Pour obtenir un comportement semblable à celui d une vraie séquence aléatoire : r 1 << m (15) Lokman (ENPC) Présentation 24 / 32

25 LCG sur GPU Libertés avec le LCG Se trouvent à plusieurs niveaux (i) Théorie étendue qui permet de construire un bon LCG pour des applications parallèles. (ii) Facilité d implémentation. (iii) Facilité de généralisation pour d autres contrats. (a) (b) Fig.: Liberté de généralisation : (a) Architecture en une dimension, (b) Architecture en plusieurs dimensions. Lokman (ENPC) Présentation 25 / 32

26 LCG sur GPU Libertés avec le LCG L architecture est très bien adaptée pour un cluster Fig.: Le cluster dans la limite de la période. Fig.: Cluster de cartes. Lokman (ENPC) Présentation 26 / 32

27 Performances Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 27 / 32

28 Performances Performances de calcul La simulation d une option vanille est 30 fois plus rapide. Facteur pouvant être amplifié pour des problèmes en plusieurs dimensions. Pour un problème plus complexe (relativement au temps communication GPU/CPU) la vitesse est 80. Donc une solution très rapide. Lokman (ENPC) Présentation 28 / 32

29 Conclusion et perspectives Plan 1 Introdution 2 Etat de l art sur les méthodes de génération de nombres pseudo-aléatoires Forme Générale Cas à examiner puis à ignorer LCG pour Linear Congruential Generators MRG et LFG 3 Le générateur LCG (Linear Congruential Generator) Fonctionnement Principe séquentiel d intégration Principe parallèle d intégration Pourquoi pas d autres générateurs? 4 La programmation sur GPU Modèle de programmation Langages de programmation utilisés Matériel et difficultés de réalisation 5 LCG sur GPU Choix des multiplicateurs Libertés avec le LCG 6 Performances 7 Conclusion et perspectives Lokman (ENPC) Présentation 29 / 32

30 Conclusion et perspectives Conclusion 2 points importants traités : Connaissant l architecture GPU, nous avons développé un générateur parallèle. Choix du générateur parallèle mis en oeuvre sur des considérations statistiques. Résultats obtenus très bonne rapidité de calcul. Lokman (ENPC) Présentation 30 / 32

31 Conclusion et perspectives Perspectives La solution proposée applicable pour simulation Monte Carlo en physique. Extension aux contrats plus complexes est prévue pour la suite. L implémentation sur cluster est aussi envisagée. Avec des cartes de 64 bit, nous utiliserons beaucoup plus de générateurs en parallèle. Proposition de test pour vérifier la qualité, même si construction rigoureuse. Lokman (ENPC) Présentation 31 / 32

32 Fin Merci. Lokman (ENPC) Présentation 32 / 32