MÉTHODE DE MONTE CARLO.

Transcription

1 MÉTHODE DE MONTE CARLO. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95

2 PLAN DU COURS 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 2 / 95

3 BUT : CALCUL D ESPÉRANCE. Soient X une v.a.r. et f : R R une fonction. BUT Calculer numériquement E(f (X)). EXEMPLES FINANCE : prix d une option d achat modèle de Cox-Ross-Rubinstein : ( 1 C = (1 + r) N E S 0 N i=1 T i K ) + P(T i = 1 + u) = p = 1 P(T i = 1 + d) où p = (u r)/(u d). modèle de Black-Scholes : [ ( ) ] + C = e rt E S 0 e (r σ2 /2)T +σw T K avec W T N (0, T ).. A. Popier (Le Mans) Méthode de Monte Carlo. 3 / 95

4 BUT : CALCUL D ESPÉRANCE. Soient X une v.a.r. et f : R R une fonction. BUT Calculer numériquement E(f (X)). EXEMPLES FINANCE : prix d une option d achat ASSURANCE : calcul de la prime Prime pure : E(X), Prime exponentielle : 1 c ln E(ecX ), Prime quantile : F 1 (1 ε), X CALCUL DE PERTE ou Value At Risk en finance : P(X < seuil). etc. A. Popier (Le Mans) Méthode de Monte Carlo. 3 / 95

5 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 4 / 95

6 LOI DES GRANDS NOMBRES. THÉORÈME Soit (Y i ) i N une suite de variables aléatoires. HYPOTHÈSES indépendance distribution identique (comme une v.a. Y ) E( Y ) < +. Alors presque sûrement : lim Y 1 n = lim n + n + n (Y Y n ) = E(Y ). Autrement dit, pour n assez grand 1 n Y i E(Y ). n i=1 A. Popier (Le Mans) Méthode de Monte Carlo. 5 / 95

7 MÉTHODE DE MONTE CARLO. MÉTHODE Pour calculer µ = E(f (X)), simuler N v.a. (X n ) 1 n N i.i.d. de même loi que X, poser : ˆµ N = 1 N N i=1 f (X i ) = f (X 1) f (X N ). N Loi des grands nombres : ˆµ N µ pour N grand. PROBLÈME : quelle est l erreur commise? A. Popier (Le Mans) Méthode de Monte Carlo. 6 / 95

8 LOI EXPONENTIELLE (2) (ESPÉRANCE 1/2) A. Popier (Le Mans) Méthode de Monte Carlo. 7 / 95

9 LOI DE PARETO (0,5) PAS D ESPÉRANCE A. Popier (Le Mans) Méthode de Monte Carlo. 8 / 95

10 THÉORÈME CENTRAL LIMITE. THÉORÈME Soit (Y i ) i N une suite de v.a. HYPOTHÈSES indépendance distribution identique (comme une v.a. Y ) E( Y 2 ) < +. Alors Y n = N (0, 1) : pour tout a < b ( lim P a < ) n Y n µ < b = P(a < Z < b), Z N (0, 1). n + σ A. Popier (Le Mans) Méthode de Monte Carlo. 9 / 95

11 INTERVALLE DE CONFIANCE. TCL : µ = E(Y 1 ), Y n = 1 n (Y Y n ) P (Y n a n σ µ Y n + a n σ ) ( = P a ) n Y n µ a σ P( Z a), où σ 2 = Var(f (X)). Pour un niveau de confiance α [0, 1] fixé, il existe c α > 0 tel que Donc avec a = c α, pour n grand avec P( Z c α ) = α. P (µ I α,n ) P( Z c α ) = α ] σ σ I α,n = [Y n c α n, Y n + c α n : intervalle de confiance. A. Popier (Le Mans) Méthode de Monte Carlo. 10 / 95

12 MÉTHODE DE MONTE CARLO : ERREUR. MÉTHODE Simuler N v.a. (X n ) 1 n N i.i.d. de même loi que X. Poser : ˆµ N = 1 N N i=1 f (X i ) = f (X 1) f (X N ). N Erreur donnée par un intervalle de confiance : P ( µ I α,n ) α avec [ ] σ σ I α,n = ˆµ N c α N, ˆµ N + c α N, σ 2 = Var (f (x)). Problème : on ne connaît pas en général la variance σ 2. A. Popier (Le Mans) Méthode de Monte Carlo. 11 / 95

13 ESTIMATION DE LA VARIANCE. On estime σ 2 grâce à l estimateur Sn 2 = 1 n 1 montrer que ES 2 n = σ 2 = Var(Y ) et n (Y i Y n ) 2. On peut i=1 lim n + S2 n = σ 2. MÉTHODE Simuler N v.a. (X n ) 1 n N i.i.d. de même loi que X. Poser : ˆσ N = 1 N (f (X i ) ˆµ N ) N 1 2. i=1 A. Popier (Le Mans) Méthode de Monte Carlo. 12 / 95

14 MÉTHODE DE MONTE CARLO COMPLÈTE. MÉTHODE 1 Simuler N v.a. (X n ) 1 n N i.i.d. de même loi que X. 2 Poser : ˆµ N = 1 N f (X i ) = f (X 1) f (X N ), N N i=1 ˆσ N = 1 N (f (X i ) ˆµ N ) N Erreur donnée par intervalle de confiance avec niveau de confiance α [ ] ˆσ N ˆσ I α,n = ˆµ N c α N, ˆµ N + c α. N N i=1 A. Popier (Le Mans) Méthode de Monte Carlo. 13 / 95

15 LOI EXPONENTIELLE (2) (ESPÉRANCE 1/2) A. Popier (Le Mans) Méthode de Monte Carlo. 14 / 95

16 LOI EXPONENTIELLE (2) (DÉCROISSANCE EN 1/ N) A. Popier (Le Mans) Méthode de Monte Carlo. 15 / 95

17 PARETO (1,5) (ESPÉRANCE 3, PAS DE VARIANCE) A. Popier (Le Mans) Méthode de Monte Carlo. 16 / 95

18 PARETO (1,5) (TAILLE INTERVALLE CONFIANCE) A. Popier (Le Mans) Méthode de Monte Carlo. 17 / 95

19 MÉTHODE DE MONTE CARLO : REMARQUES. OBLIGATOIRE Donner ˆµ N sans intervalle de confiance n a aucune valeur! ERREUR Pour diminuer la taille de IC, diminuer le niveau de confiance α, augmenter N, diminuer σ ( réduction de variance). AVANT : SIMULATION Que signifie «Simuler N v.a. (X n ) 1 n N i.i.d. de même loi que X»? A. Popier (Le Mans) Méthode de Monte Carlo. 18 / 95

20 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 19 / 95

21 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 20 / 95

22 THÉORÈME FONDAMENTAL DE LA SIMULATION. THÉORÈME Toute variable aléatoire X à valeurs dans R d peut être simulée sous la forme X = en loi f (U 1, U 2,..., U n ) où (U 1, U 2,..., U n ) est uniformément répartie sur [0, 1] n, la fonction f : R n R d est borélienne et a ses points de discontinuité dans un ensemble Lebesgue-négligeable. Il est même possible de réaliser ceci en imposant n = 1 ou n = d ou encore n 1 donné. REMARQUE : f est «explicite». A. Popier (Le Mans) Méthode de Monte Carlo. 21 / 95

23 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 22 / 95

24 SUITES ALÉATOIRES. Considérons une suite finie x := x 1,..., x n {0, 1}. Toutes les suites finies de ce type sont équiprobables et de probabilité 2 n. Certaines suites moins aléatoires que d autres 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1 1, 0, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1, 1, 0, 0, 0, 1, 0 Quel sens donner et comment quantifier le caractère aléatoire d une suite finie ou infinie donnée? Comment produire des suites finies qui sont de «bonnes» approximations finies des suites infinies probables correspondant à des réalisations i.i.d. d une loi donnée? Comment mesurer la qualité de ces algorithmes? A. Popier (Le Mans) Méthode de Monte Carlo. 23 / 95

25 SUITES ALÉATOIRES. D.H. Lehmer (1951) : A random sequence is a vague notion... in which each term is unpredictable to the uninitiated and whose digits pass a certain number of tests traditional with statisticians... A. Popier (Le Mans) Méthode de Monte Carlo. 23 / 95

26 NOMBRES PSEUDO-ALÉATOIRES. Simuler la loi uniforme consistera à produire par un algorithme des suites finies de nombres que nous pouvons considérer comme autant de réalisations indépendantes de variables aléatoires uniformes sur [0, 1]. Mathématiquement les n sorties successives d un tel générateur seront considérées comme la donnée de U 1 (ω),..., U n (ω) pour un ω Ω où les U i sont des v.a.r. U i : (Ω, F, P) [0, 1] de loi uniforme. Matlab permet de simuler la loi uniforme via la fonction rand, qui renvoie un nombre «aléatoire» compris entre [0, 1]. A. Popier (Le Mans) Méthode de Monte Carlo. 24 / 95

27 NOMBRES PSEUDO-ALÉATOIRES. Intéressons nous au nombre 0, C est par défaut le premier nombre produit par la fonction rand de Matlab. Pour cela redémarrer Matlab, et exécuter les commandes format long rand Si tous les utilisateurs de Matlab trouvent toujours ce même nombre il ne peut être qualifié d aléatoire. D ailleurs il ne l est pas. A. Popier (Le Mans) Méthode de Monte Carlo. 25 / 95

28 NOMBRES PSEUDO-ALÉATOIRES. À ce stade il est important de faire la distinction entre deux types de méthodes de génération de suites «aléatoires». Méthodes prédictibles : ce sont des méthodes déterministes basées entièrement sur des algorithmes bien établis qui nécessitent d être initialisés. On parlera de suites ou nombres pseudo-aléatoires. Méthodes non-prédictibles : surtout utiles en cryptographie, où il est capital que le hasard utilisé ne soit pas prédictible ni reproductible. Elles peuvent être obtenues à partir des premières en utilisant des «fonctions de hachage», difficilement inversibles en terme de temps de calcul. A. Popier (Le Mans) Méthode de Monte Carlo. 26 / 95

29 ALGORITHMES PAR CONGRUENCE (LEHMER, 1950). utilisent trois paramètres entiers a, c et m et une valeur initiale x 0, appelé seed ; créent une suite d entiers y n+1 = ay n + c mod m compris entre 0 et m ; ramènent les valeurs entre 0 et 1 : x n = y n /m. Exemple : a = 13, c = 0, m = 31 et x 0 = 1. Suite des y n : Celle des x n : , , , , , , ,... A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

30 ALGORITHMES PAR CONGRUENCE (LEHMER, 1950). Dans les années 60, sur IBM, Scientific Subroutine Package (SSP) : a = 65539, c = 0, et m = Comme le codage se fait en 32-bits, l arithmétique modulo 2 31 se fait très rapidement. a = : multiplication par a = shift + addition. Problème : y k+2 = 6y k+1 9y k : très forte corrélation. cf. graphique randssp A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

31 ALGORITHMES PAR CONGRUENCE (LEHMER, 1950). À partir de Matlab 4, on a choisi : a = 7 5 = 16807, c = 0, m = = Toujours disponible via s=rand( seed ) : fournit le paramètre x0 de cette méthode. rand( seed,s) : impose à Matlab d utiliser cet algorithme avec x 0 = s. Périodicité grande : m 1. Génére toutes les valeurs k/m avec k = 1,..., m, i.e. [0, 1] D r = {k/m, 1 k m} [ , ]. cf. graphique randmcg A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

32 ALGORITHME PAR DÉFAUT. À partir de la version 5 (1995), Du à G. Marsaglia. N utilise plus les algorithmes à la Lehmer, plus de multiplication, plus de division. Génère directement des nombres décimaux. Disponible via s=rand( state ) : fournit le paramètre x0 de cette méthode (vecteur de dimension 35). rand( state,s) : impose à Matlab d utiliser cet algorithme avec x 0 = s. Peut générer tous les nombres (flottants) entre 2 53 et (on ne connaît pas de nombre non atteint). Période proche de A. Popier (Le Mans) Méthode de Monte Carlo. 28 / 95

33 ALGORITHME «MERSENNE TWISTER». Troisième algorithme implémenté sous Matlab (version 5 et plus). Disponible via s=rand( twister ) : fournit le paramètre x 0 de cette méthode (vecteur de dimension 625). rand( twister,s) : impose à Matlab d utiliser cet algorithme avec x 0 = s. Période de l ordre de ( )/2. A. Popier (Le Mans) Méthode de Monte Carlo. 29 / 95

34 IMPORTANCE DE LA RACINE. REMARQUE Connaître la valeur de la racine avant de lancer un programme peut être important! Notamment pour pouvoir : comparer des vitesses de calcul ; générer des variables aléatoires couplées. Pour éviter d avoir toujours le même nombre de départ : rand ( s t a t e,sum(100 clock ) ) rand A. Popier (Le Mans) Méthode de Monte Carlo. 30 / 95

35 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 31 / 95

36 FONCTION DE RÉPARTITION. DÉFINITION La fonction de répartition de X, notée F X, est définie sur R par : x R, F X (x) = P(X x). PROPOSITION Soit F X la fonction de répartition d une v.a.r. X. Alors : 1 F X (x) [0, 1]. 2 F X est croissante. 3 lim F X (x) = 0 et lim F X (x) = 1. x x + 4 F X est continue à droite et a une limite à gauche en tout point. A. Popier (Le Mans) Méthode de Monte Carlo. 32 / 95

37 V.A. À DENSITÉ. DÉFINITION Une v.a. X est à densité (par rapport à la mesure de Lebesgue) s il existe f t.q. pour tout x R, f (x) 0 ; + f (x) dx = 1 ; et pour tout a < b +, P(a < X b) = b a f (t)dt. EXEMPLE : LOI UNIFORME SUR [a, b] X suit une loi uniforme sur [a, b] si sa densité f est f (x) = 1 b a 1 [a,b](x). A. Popier (Le Mans) Méthode de Monte Carlo. 33 / 95

38 V.A. À DENSITÉ. PROPOSITION Si X a pour densité f, alors x R, F X (x) = P(X x) = x f (t)dt. F X est continue. F X est dérivable aux points de continuité de f avec f X (x) = F X (x). EXEMPLE : LOI UNIFORME SUR [a, b] Si X suit la loi uniforme sur [a, b], alors F X (x) = 0 si x a, F X (x) = x a si x [a, b], b a F X (x) = 1 pour x b. A. Popier (Le Mans) Méthode de Monte Carlo. 33 / 95

39 V.A. DISCRÈTES. DÉFINITION Une v.a. X est discrète si elle ne prend qu un nombre fini (ou dénombrable) de valeurs {x i R, i N} avec probabilité p i = P(X = x i ) 0. De plus + P(X = x i ) = + i=0 i=0 p i = 1. REPRÉSENTATION en tableau X x 0 x 1 x 2 x 3... (valeurs prises parx) P(X = x i ) p 0 p 1 p 2 p 3... (probabilité) PROPOSITION Si X est une v.a. discrète, F X est constante par morceaux. A. Popier (Le Mans) Méthode de Monte Carlo. 34 / 95

40 EXEMPLE : DÉ À SIX FACES. FONCTION DE RÉPARTITION d une v.a. de loi uniforme sur {1,..., 6} A. Popier (Le Mans) Méthode de Monte Carlo. 35 / 95

41 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 36 / 95

42 MÉTHODE D INVERSION. Si X est une v.a.r. alors la fonction de répartition F X est définie par x R, F X (x) = P(X x). Comme F X est croissante, on peut définir la fonction pseudo-inverse q X de F X ainsi : u (0, 1), q X (u) = inf{x R, F X (x) > u}. THÉORÈME Si U suit une loi uniforme sur [0, 1], q X (U) suit la même loi que X. PROPOSITION Si F est inversible, alors q = F 1. A. Popier (Le Mans) Méthode de Monte Carlo. 37 / 95

43 EXEMPLES. Si U suit une loi uniforme sur [0, 1], alors LOI UNIFORME SUR [a, b] X = a + (b a)u suit la loi uniforme sur [a, b]. LOI EXPONENTIELLE X = 1 ln(1 U) suit la loi exponentielle de paramètre λ. λ LOI DE CAUCHY X = c tan(π(u 1/2)) suit la loi de Cauchy de paramètre c. LOI DE BERNOULLI Si U < 1 p, X = 0, sinon X = 1 : suit la loi de Bernoulli de paramètre p [0, 1]. A. Popier (Le Mans) Méthode de Monte Carlo. 38 / 95

44 LOI DISCRÈTE À SUPPORT FINI. function r e a l i s = r d i s t ( x, p ) n=length ( p ) ; r = rand ; a = 0; b = p ( 1 ) ; for i = 1 : n 1, i f ( ( r >=a ) & ( r <b ) ) r e a l i s = x ( i ) ; return ; end a = b ; b = b + p ( i + 1 ) ; end r e a l i s = x ( n ) ; A. Popier (Le Mans) Méthode de Monte Carlo. 39 / 95

45 LOI UNIFORME. function r e a l i s = r a n d d i s c r ( x, n,m) %Renvoie des realisations iid %de loi uniforme sur x(1),...,x(length(x)). %n et m sont des entiers optionnels, valant 1 par defaut. i f ( nargin ==0) error ( Pas assez de parametres ) ; e l s e i f ( nargin ==1) n=1;m=1; e l s e i f ( nargin ==2) m=1; e l s e i f ( nargin >3) error ( Trop de parametres ) ; end ; r e a l i s = reshape ( x ( c e i l ( length ( x ) rand ( n,m) ) ), n,m) ; return ; A. Popier (Le Mans) Méthode de Monte Carlo. 40 / 95

46 INVERSION : DIMENSION QUELCONQUE. Soit une v.a. X = (X 1, X 2 ) de loi connue P X sur R 2 avec densité f > 0. Fonction de répartition de X 1 : x1 F X1 (x 1 ) = f (x, y)dxdy. Soit q 1 son inverse. Fonction de répartition F X 1=x 1 X 2 de la loi conditionnelle de X 2 sachant X 1 = x 1 : x2 F X 1=x 1 X 2 (x 2 ) = f (x 1, y)dy + f (x 1, y)dy. Inverse : q 2. MÉTHODE Si U 1 et U 2 sont deux v.a. uniformes sur [0, 1] indépendantes, alors X 1 = q 1 (U 1 ), X 2 = q 2 (q 1 (U 1 ), U 2 ). R A. Popier (Le Mans) Méthode de Monte Carlo. 41 / 95

47 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 42 / 95

48 LOI BINOMIALE. DÉFINITION Une v.a. X à valeurs entières comprises entre 1 et N suit une loi binômiale de paramètres N N et p [0, 1] si : k = 1,..., N, P(X = k) = C k N pk (1 p) N k. PROPOSITION Soient U i, i = 1,..., N des v.a. uniformes sur [0, 1] indépendantes. N Soit X le nombre des U i inférieures à p [0, 1], i.e. X = 1 Ui <p. Alors X suit une loi binomiale de paramètres N et p. i=1 MÉTHODE Simuler N v.a. de Bernoulli X i et en faire la somme. A. Popier (Le Mans) Méthode de Monte Carlo. 43 / 95

49 LOI GÉOMÉTRIQUE. DÉFINITION Une v.a. X à valeurs entières strictement positives suit une loi géométrique de paramètre p ]0, 1[ si : QUELQUES RÉSULTATS : E(X) = 1 1 p p, Var(X) =. p 2 P(X k) = (1 p) k 1. PILE OU FACE n 1, P(X = n) = p(1 p) n 1. Une loi géométrique est la loi du nombre de tirages à pile ou face (indépendants) à réaliser pour obtenir face (si face a p % de chances de sortir). A. Popier (Le Mans) Méthode de Monte Carlo. 44 / 95

50 LOI DE POISSON. DÉFINITION Une v.a. X à valeurs entières positives suit une loi de Poisson de paramètre λ > 0 si : MOMENTS : E(X) = Var(X) = λ. PROPOSITION λ λn n 0, P(X = n) = e n!. Soit (E n ) n N v.a. i.i.d. exponentielles de paramètre λ. Alors λ λn P(E E n 1 < E E n+1 ) = e n!. A. Popier (Le Mans) Méthode de Monte Carlo. 45 / 95

51 LOI DE POISSON. DÉFINITION Une v.a. X à valeurs entières positives suit une loi de Poisson de paramètre λ > 0 si : MOMENTS : E(X) = Var(X) = λ. MÉTHODE λ λn n 0, P(X = n) = e n!. X = 1 E1 1<E 1 +E E1 +E 2 1<E 1 +E 2 +E n 1 E E n 1<E E n suit une loi de Poisson de paramètre λ. A. Popier (Le Mans) Méthode de Monte Carlo. 45 / 95

52 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 46 / 95

53 QUELLES VÉRIFICATIONS? DEUX TYPES de vérifications : histogramme normalisé contre densité, fonctions de répartition empirique contre théorique. Dans les deux cas, il faut d abord simuler un grand nombre de fois la loi en question. Pour n N, on obtient un vecteur (x 1,..., x n ) qui contient n réalisations de la loi de X. A. Popier (Le Mans) Méthode de Monte Carlo. 47 / 95

54 HISTOGRAMME VS. DENSITÉ. HISTOGRAMME NORMALISÉ 1 regrouper les n termes dans un certain nombre m de classes (avec m < n). Dans chaque classe r m réalisations de X avec r m = n. m 2 normalisation : la somme des aires des colonnes fait 1 r m /(n(c m+1 C m )). 3 tracé : sur l axe des abscisses, placer les m centres des m classes, et mettre une colonne de hauteur r m /(n(c m+1 C m )). CONVERGENCE VERS LA DENSITÉ r m n(c m+1 C m ) n + 1 C m+1 C m P(X [C m, C m+1 [). A. Popier (Le Mans) Méthode de Monte Carlo. 48 / 95

55 HISTOGRAMME VS. DENSITÉ. CONVERGENCE VERS LA DENSITÉ CONCLUSION r m n(c m+1 C m ) n + 1 C m+1 C m P(X [C m, C m+1 [). Si X discrète avec C k espacés de 1, approximativement p k. Si X à densité, alors P(X [C m, C m+1 [) C m+1 C m = 1 C m+1 C m Cm+1 C m f (t)dt C m+1 C m 0 f (C m). A. Popier (Le Mans) Méthode de Monte Carlo. 48 / 95

56 RÉPARTITION EMPIRIQUE VS. THÉORIQUE. FONCTION DE RÉPARTITION EMPIRIQUE t R, F n (t) = 1 n n 1 ],t] (x i ). i=1 THÉORÈME DE KOLMOGOROV-SMIRNOV t R, lim F n (t) = F X (t). n + A. Popier (Le Mans) Méthode de Monte Carlo. 49 / 95

57 EXEMPLE SUR LA LOI EXPONENTIELLE(2). n=100 Histogramme vs densite Fcts de repartition empirique theorique !0.2! A. Popier (Le Mans) Méthode de Monte Carlo. 50 / 95

58 EXEMPLE SUR LA LOI EXPONENTIELLE(2). n=10000 Histogramme vs densite Fcts de repartition empirique theorique !0.2! A. Popier (Le Mans) Méthode de Monte Carlo. 51 / 95

59 EXEMPLE SUR LA LOI DE BERNOULLI(0.3). n=100 Histogramme Fcts de repartition empirique theorique ! !0.2!1.0! A. Popier (Le Mans) Méthode de Monte Carlo. 52 / 95

60 EXEMPLE SUR LA LOI DE BERNOULLI(0.3). n=10000 Histogramme Fcts de repartition empirique theorique ! !0.2!1.0! A. Popier (Le Mans) Méthode de Monte Carlo. 53 / 95

61 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 54 / 95

62 MÉTHODE DE REJET. On veut simuler une v.a. de densité f, et il existe une densité g simulable facilement et une constante k 1 telle que Soit α(x) = f (x) kg(x). PROPOSITION x R, f (x) kg(x). Soit (X i ) i 1 une suite de v.a. i.i.d. de densité g, et (U i ) i 1 une suite de v.a. i.i.d. de loi uniforme sur [0, 1], indépendante de la suite (X i ) i 1. Soit T = inf{i 1, U i α(x i )}. La variable X T a pour densité f. A. Popier (Le Mans) Méthode de Monte Carlo. 55 / 95

63 MÉTHODE DE REJET. MÉTHODE Soit (X 1, U 1 ) un couple de v.a. indépendantes telles que X 1 suive la loi de densité g et U 1 suive une loi uniforme sur [0, 1]. Si U 1 α(u 1 ), on pose X = X 1. Sinon on rejette X 1 et on recommence en générant une suite (X n, U n ) n 2 de v.a. indépendantes de même loi que (X 1, U 1 ) jusqu à l instant p où U p α(x p ). On pose alors X = X p. REMARQUES on n a pas besoin de connaître F, ni F 1. elle s étend à R d, à des lois discrètes, etc. A. Popier (Le Mans) Méthode de Monte Carlo. 56 / 95

64 MÉTHODE DE REJET : VITESSE. Calcul de la probabilité d acceptation : p = P(U α(x)) = 1 k. Donc T a pour distribution une loi géométrique de paramètre p. En moyenne, on doit rejeter k = 1/p fois avant d accepter la valeur. Ainsi il faut choisir g telle que ( ) f k = max g soit la plus petite possible. A. Popier (Le Mans) Méthode de Monte Carlo. 57 / 95

65 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 58 / 95

66 LOI NORMALE : MÉTHODE POLAIRE. PROPOSITION Si Y N (µ, σ 2 ), alors X = (Y µ)/σ N (0, 1). Pour simuler X (et Y ) simuler deux lois uniformes U et V sur [0, 1] ; poser X = 2 ln U cos(2πv ), Y = 2 ln U sin(2πv ). PROPOSITION X et Y sont deux v.a. normales centrées réduites indépendantes. Ou utiliser sous Matlab randn(n,m). A. Popier (Le Mans) Méthode de Monte Carlo. 59 / 95

67 LOI NORMALE : MÉTHODE POLAIRE. Pour simuler X (et Y ) simuler deux lois uniformes U et V sur [0, 1] ; poser c l f ; X = 2 ln U cos(2πv ), Y = 2 ln U sin(2πv ). hold on t i t l e ( Simulation d une l o i normale ) ylabel ( E f f e c t i f s ) ; xlabel ( Valeurs ) ; [ E,C]= ecdf ( sqrt ( 2 log ( rand ( , 1 ) ) ). cos(2 pi rand ( , 1 ) ) ) ; e c d f h i s t (E,C, 4 0 ) ; hold on plot (C, ( 2 pi )^( 1/2) exp( C. ^ 2 / 2 ), r ) ; legend ( Empirique, Theorique ) hold o f f A. Popier (Le Mans) Méthode de Monte Carlo. 60 / 95

68 LOI NORMALE : MÉTHODE POLAIRE. A. Popier (Le Mans) Méthode de Monte Carlo. 61 / 95

69 LOI NORMALE : MÉTHODE POLAIRE. A. Popier (Le Mans) Méthode de Monte Carlo. 61 / 95

70 LOI NORMALE : MÉTHODE POLAIRE-REJET. PROPOSITION (X, Y ) = (ρ cos(θ), ρ sin(θ)) suit une loi uniforme sur le disque unité du plan, alors 4 ln(ρ) (X, Y ) ρ suit une loi normale centrée réduite bidimensionnelle. (X, Y ) facile à simuler par rejet à partir d une uniforme sur le carré [ 1, 1] 2 (rejet dans 21 % des cas puisque π/4 0, 79). θ et ρ indépendantes, ρ loi de densité u 2u1 [0,1] (u), 4 ln(ρ) exponentielle de paramètre 1/2, θ uniforme sur [0, 2π]. A. Popier (Le Mans) Méthode de Monte Carlo. 62 / 95

71 LOI UNIFORME SUR LE DISQUE. A. Popier (Le Mans) Méthode de Monte Carlo. 63 / 95

72 VECTEUR GAUSSIEN. PROPOSITION Soit m R n, Γ S + n (R) matrice réelle de taille n symétrique positive, Y vecteur aléatoire gaussien standard de moyenne nulle et matrice de covariance Id n. Alors le vecteur aléatoire X = Γ 1/2 Y + m est gaussien de moyenne m et de matrice de covariance Γ. Si Y est un vecteur gaussien de loi N (0, Id n ), ses coordonnées sont i.i.d. de loi N (0, 1). Ainsi on peut simuler une réalisation de Y en simulant n réalisations indépendantes Y 1 (ω),..., Y n (ω) de loi N (0, 1). A. Popier (Le Mans) Méthode de Monte Carlo. 64 / 95

73 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 65 / 95

74 DEUX EXEMPLES. EXEMPLE THÉORIQUE. Calculer θ = E(e 5Z ) = e 52 /2 avec Z N (0, 1) variance théorique : σ 2 = e 50 e valeur exacte : nombre tirages : N = valeur estimée : θ = Intervalle de confiance : I = [ 65186, ]. A. Popier (Le Mans) Méthode de Monte Carlo. 66 / 95

75 DEUX EXEMPLES. EXEMPLE PLUS CONCRET. Call C = E((5e (Z 1/2) 3) + ) avec Z N (0, 1) valeur exacte : 2,71. nombre tirages : N = valeur estimée : 2,83. Intervalle de confiance : I = [2, 42; 3, 24]. Put P = E((3 5e (Z 1/2) ) + ) et C P = 2. valeur exacte : 0,71. valeur estimée : 0,70. Intervalle de confiance : I = [0, 64; 0, 76]. Contrôle : C = 2 + P. A. Popier (Le Mans) Méthode de Monte Carlo. 66 / 95

76 RÉDUCTION DE VARIANCE : MÉTHODES. Variables antithétiques. Variables de contrôle. Échantillonnage préférentiel (ou d importance). Échantillonnage stratifié. Méthodes adaptatives (chaînes de Markov). A. Popier (Le Mans) Méthode de Monte Carlo. 67 / 95

77 PLAN 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental Simulation de la loi uniforme Fonction de répartition Méthode d inversion Cas particuliers Vérifications Méthode de rejet Lois gaussiennes 3 RÉDUCTION DE VARIANCE Variables antithétiques Variables de contrôle Monte Carlo conditionnel Échantillonnage d importance Échantillonnage stratifié A. Popier (Le Mans) Méthode de Monte Carlo. 68 / 95

78 VARIABLES ANTITHÉTIQUES. BUT : calculer θ = E(Y ) = E(f (X)). DEUX V.A. Y 1 et Y 2 de même loi que Y. ( E(Y ) = 1 2 (E(Y 1) + E(Y 2 )) = E Y1 +Y 2 2 ) Var ( Y1 +Y 2 2 ) ; = Var (Y 1)+Var (Y 2 )+2Cov(Y 1,Y 2 ) 4 ; si Y 1 ( et Y 2 décorrélées ) (ou indépendantes), Var Y1 +Y 2 2 = Var (Y ) 2 ; ( ) si Cov(Y 1, Y 2 ) < 0, alors Var Y1 +Y 2 2 < Var (Y ) 2. QUESTION : comment obtenir Y 1 et Y 2 de même loi que Y avec Cov(Y 1, Y 2 ) < 0? A. Popier (Le Mans) Méthode de Monte Carlo. 69 / 95

79 VARIABLES ANTITHÉTIQUES UNIFORMES. HYPOTHÈSE : Y = g(u) où U uniforme sur [0, 1]. ALGORITHME CLASSIQUE avec échantillon de taille 2n. MÉTHODE de i = 1 à 2n générer U i définir Y i = g(u i ) fin définir ˆθ 2n = Y 2n = 1 2n 2n i=1 Y i et ˆσ 2 2n = 1 2n 1 définir CI = [ˆθ 2n c α ˆσ 2n 2n, ˆθ 2n + c α ˆσ 2n 2n ] 2n i=1 (Y i ˆθ 2n ) 2 A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

80 VARIABLES ANTITHÉTIQUES UNIFORMES. HYPOTHÈSE : Y = g(u) avec U uniforme sur [0, 1]. ALGORITHME avec échantillon de taille 2n. MÉTHODE de i = 1 à 2n générer U i définir Y i = g(1 U i ) fin définir ˆθ 2n = Y 2n = 1 2n 2n i=1 Y i et ˆσ 2 2n = 1 2n 1 définir CI = [ˆθ 2n c α ˆσ 2n 2n, ˆθ 2n + c α ˆσ 2n 2n ] 2n i=1 (Y i ˆθ 2n ) 2 A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

81 VARIABLES ANTITHÉTIQUES UNIFORMES. HYPOTHÈSE : Y = g(u) avec U uniforme sur [0, 1]. ALGORITHME MÉLANGÉ avec échantillon de taille n. MÉTHODE de i = 1 à n générer U i définir Y i = g(u i ), Ỹi = g(1 U i ) et Z i = Y i + Ỹi 2 fin définir ˆθ n,a = Z n = 1 n Z i et ˆσ n 2 = 1 n (Z i ˆθ n ) 2 n n 1 i=1 définir CI = [ˆθ n,a c α ˆσ n n, ˆθ n,a + c α ˆσ n n ] i=1 A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

82 VARIABLES ANTITHÉTIQUES UNIFORMES. HYPOTHÈSE : Y = g(u) avec U uniforme sur [0, 1]. DIFFÉRENTS RÉSULTATS : ˆθ 2n = Y 2n = 1 2n 2n i=1 Y i ; ˆθ n,a = Z n = 1 n n i=1 Z i. COMPARAISON DES VARIANCES Var (ˆθ 2n ) = Var ( 2n ) i=1 Y i Var (Y ) = 2n 2n Ainsi Var (ˆθ n,a ) = Var (ˆθ 2n ) + Cov(Y, Ỹ ). 2n Var (ˆθ n,a ) < Var (ˆθ 2n ) Cov(g(U), g(1 U)) < 0. A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95