Modélisation stochastique

Transcription

1 Uiversité de Lorraie Master 2 IMOI Modélisatio stochastique Madalia Deacou

2 2

3 Table des matières Itroductio 5 1 Simulatio de variables aléatoires Itroductio Simulatio de lois classiques Loi de Beroulli de paramètre p Loi biomiale de paramètres (, p) Loi de probabilité discrète sur u esemble fii ou déombrable Loi uiforme sur {0, 1,..., 1} Loi uiforme sur [a, b] Loi expoetielle de paramètre λ Loi géométrique de paramètre p Loi de Poisso de paramètre λ Loi gaussiee cetrée réduite : Méthode de Box-Muller Méthodes géérales Méthode géérale pour ue variable aléatoire discrète Méthode de simulatio par iversio de la foctio de répartitio Algorithme par rejet Simulatio par compositio Simulatio de vecteurs aléatoires Cas idépedat Vecteur gaussie Cas gééral Méthodes de Mote Carlo Itroductio Idée de la méthode pour le calcul d itégrales Descriptio de la méthode de Mote Carlo Covergece de la méthode et vitesse de covergece

4 2.3.1 Covergece Vitesse de covergece Ue applicatio Loi des grads ombres et estimateur Variace, erreurs et itervalle de cofiace Variace et erreurs Itervalle de cofiace par TCL Algorithme de Mote Carlo Choix d ue méthode de Mote Carlo Exemples Techiques de réductio de variace Échatilloage préféretiel (importace samplig) : choix de la desité f Échatilloage stratifié (stratified samplig) Variable de cotrôle Variables atithétiques

5 5

6 Itroductio L objectif de ce cours est d itroduire des outils théoriques et d illustrer, à travers des problèmes réels, commet la modélisatio stochastique et les outils aléatoires simples permettet d apporter des réposes pour des questios issues de ombreux domaies applicatifs. La modélisatio probabiliste est fodametale das tous les domaies d applicatio. Les outils probabilistes que ous développos, comme les méthodes de Mote Carlo, les chaîes de Markov et les processus de reouvellemet, sot des outils gééraux utilisés das de ombreux domaies comme e physique (écoulemet d u fluide, trajectoire d u avio), e biologie (mutatio du geôme), e chimie (coagulatio des polymères), e climatologie (modélisatio du vet, de la pluie etc), e iformatique, e médicie, e fiace (évaluatio des produits dérivés), e sciece du vivat, e assurace, e liguistique, e sociologie,... Les modèles que ous étudios sot ispirés du mode de la fiace, des files d attete, etc. Nous débuteros ce cours par des rappels sur les méthodes umériques permettat de simuler des variables aléatoires. Esuite ous étudios des méthodes umériques basées sur les tirages successifs de ombres aléatoires, méthodes appelées gééralemet méthodes de Mote Carlo. E outre, ous aborderos l étude de certais processus stochastiques simples mais essetiels das la modélisatio, tels que les chaîes de Markov, les processus de reouvellemet et les processus de brachemet. Les prémices de la gestio de stock serot aussi itroduites. L esemble de ces études théoriques sera illustré, lors des travaux pratiques, par des simulatios. 6

7 7

8 Chapitre 1 Simulatio de variables aléatoires 1.1 Itroductio O présete das cette partie u pael de méthodes de simulatio de variables aléatoires de lois classiques. Nous commeços par rappeler les pricipes de simulatio pour les lois classiques. Esuite ous itroduisos les méthodes géérales de simulatio pour les variables aléatoires à valeurs discrètes et cotiues. Soit X ue variable aléatoire réelle. O otera par F sa foctio de répartitio et par f sa desité. Plus précisémet : F (x) = P{X x}, x R et f(x) = d F (x), x R. dx Cadre gééral : O suppose qu o dispose d u géérateur de variables aléatoires de loi uiforme sur [0, 1] idépedates. Soit U ue variable aléatoire de loi uiforme sur [0,1], qu o otera par la suite sous la forme : U U[0, 1]. Sa foctio de répartitio est : 0 si x < 0 F (x) = x si 0 x 1 1 si x > 1 8

9 et sa desité s écrit f(x) = 1 {x [0,1]}. L hypothèse d idépedace des valeurs est ue des coditios essetielles pour la validité de la plupart des algorithmes présetés das la suite. Exemple : Scilab possède ue foctio rad() dot les appels successifs fourisset ue suite de variables aléatoires idépedates et idetiquemet distribuées, de loi uiforme sur [0, 1]. Nous e ous itéresseros pas ici à la coceptio d ue telle foctio. Les géérateurs sot souvet costruits à partir d ue relatio de cogruece sur de ombres de grade dimesio et iitialisés par exemple à partir de l horloge de la machie. Il s agit des géérateurs de ombres pseudo-aléatoires, otammet les valeurs obteues e sot qu apparemmet idépedates. Problème : Commet simuler ue variable aléatoire ou u vecteur aléatoire suivat ue loi doée, différete de la loi uiforme sur [0, 1]? 1.2 Simulatio de lois classiques Loi de Beroulli de paramètre p O veut simuler ue variable aléatoire X B(p), avec p [0, 1], doc P X (x) = pδ 1 (x) + (1 p)δ 0 (x). (1.1) O tire U ue uiforme sur [0, 1] et o pose { 1 si U p X = 0 sio, c est-à-dire X = 1 {U p}. O propose deux foctios pour simuler cette variable aléatoire. La première e red qu ue réalisatio d ue variable aléatoire de la loi de Beroulli de paramètre p, la secode revoie u k-échatillo : fuctio x=beroulli1(p) // tirage suivat la loi de Beroulli de parametre p x=0; if rad()<p the; x=1; ed; fuctio x=beroulli2(k,p) // tirage d u k-echatillo suivat la loi de Beroulli de parametre p x=bool2s(rad(k,1)<p); 9

10 Exemple : Pile ou face O veut simuler ue variable aléatoire de loi Pile ou face i.e. X B( 1 2 ). O tire U ue uiforme sur [0, 1] et X = { Pile si U 1 2 Face sio, formellemet o peut écrire X = 1 {U 1 2 } Loi biomiale de paramètres (, p) O veut simuler X B(, p) doc de loi de probabilité P X (x) = k=0 ( ) p k (1 p) k δ k (x). (1.2) k O sait qu ue variable aléatoire biomiale peut être représetée comme la somme de variables aléatoires idépedates de Beroulli de paramètre p. Plus précisémet o a le résultat suivat : Lemme 1. Soiet (Y i ) 1 i des variables aléatoires idépedates et idetiquemet distribuées de loi de Beroulli de paramètre p, alors X = i=1 Y i suit ue loi biomiale de paramètres (, p). Il suffit doc de simuler variables aléatoires idépedates de loi B(p) et d e faire la somme : X = 1 {Ui p}. fuctio x=biomiale(,p) // tirage suivat la loi biomiale de parametres (,p) x=sum(beroulli2(,p)); i= Loi de probabilité discrète sur u esemble fii ou déombrable Soit X ue variable aléatoire à valeurs das (x i ) i I avec I = {1,..., } ou I = N. O ote p i = P{X = x i } avec i I p i = 1, 10

11 ou ecore P X (x) = i I p i δ xi (x). (1.3) O ote par P i le cumul des p j, pour 1 j i, i.e. i P i = p j, P 0 = 0. j=1 O a alors P 1 = p 1 et P I = i I p i = 1. L algorithme s écrit doc : o tire U ue uiforme sur [0, 1] et o pose X = x i si P i 1 < U P i ce qui s exprime égalemet sous la forme X = i I x i 1 {Pi 1 <U P i } Loi uiforme sur {0, 1,..., 1} O veut simuler X de loi uiforme sur {0, 1,..., 1}, doc de loi de probabilité P X (x) = 1 1 δ k (x). (1.4) Nous allos utiliser le résultat suivat : Lemme 2. Si U est ue variable aléatoire de loi uiforme sur [0, 1] alors la partie etière [U] suit la loi uiforme sur {0, 1,..., 1}. Démostratio : E admettat ce résultat, l algorithme s écrit : k=0 fuctio x=uiforme1() // tirage suivat la loi uiforme sur {0,...,-1} x=floor(*rad()); O ote X la variable aléatoire redue par cette foctio. Comme P(0 rad() < 1) = 1, o a P(0 *rad() < ) = 1 et P(floor(*rad()) {0, 1,..., 1}) = 1. Doc X pred ses valeurs das {0, 1,..., 1}. Maiteat, soit k {0, 1,..., 1} : P(X = k) = P(floor(*rad()) = k) = P(k *rad() < k + 1) ( k = P rad() < k + 1 ) = 1. Ce qui prouve le résultat souhaité. 11

12 1.2.5 Loi uiforme sur [a, b] O souhaite simuler X ue variable aléatoire de loi uiforme sur l itervalle [a, b] pour a < b, avec la desité f(x) = 1 b a 1 [a,b](x). (1.5) Lemme 3. Si U suit la loi uiforme sur [0, 1], alors, si a < b et a, b R, la variable aléatoire X = (b a)u + a suit la loi uiforme sur [a, b]. Démostratio : Soit ϕ : R R ue foctio cotiue borée : e faisat le chagemet de variable x = (b a)u + a, o a E(ϕ((b a)u + a)) = 1 ϕ((b a)u + a)du = b 0 a 1 ϕ(x) b a dx, ce qui sigifie que X est ue variable aléatoire de desité f(x) = 1 et o recoaît aisi la desité de la loi uiforme sur [a, b]. fuctio x=uiforme2(a,b) // tirage suivat la loi uiforme sur [a,b] x=a+(b-a)*rad(); Loi expoetielle de paramètre λ b a 1 [a,b](x), O souhaite simuler ue variable aléatoire X de loi expoetielle de paramètre λ, avec la desité f(x) = λ exp( λx)1 R+ (x). (1.6) Sa foctio de répartitio est F (x) = P(X x) = 1 exp( λx). Cette foctio est ue bijectio de ]0, + [ das ]0, 1[, d iverse G(u) = 1 l(1 u). (1.7) λ Exercice 1. Motrer que si U est de loi uiforme sur [0, 1], alors G(U) suit la loi expoetielle de paramètre λ. fuctio x=expoetielle(a) // tirage suivat la loi expoetielle de parametre a x=-log(rad())/a; Exercice 2. Pourquoi a-t-o remplacé 1 U par U das l algorithme? 12

13 1.2.7 Loi géométrique de paramètre p O veut simuler ue variable aléatoire géométrique de paramètre p, doc de loi de probabilité P X (x) = + k=1 Plusieurs méthodes sot possibles. Méthode 1 : à partir du jeu de Pile ou face : (1 p) k 1 pδ k (x). (1.8) Lemme 4. Si (X i ) i N sot des variables aléatoires i.i.d. de Beroulli de paramètre p, alors N = mi{i : X i = 1} est ue variable aléatoire qui suit ue loi géométrique de paramètre p. fuctio x=geometrique1(p) // tirage suivat la loi geometrique de parametre p x=1; while rad()>p, x=x+1; ed; Méthode 2 : à partir de la loi expoetielle : [ Lemme 5. Si U suit la loi uiforme sur [0, 1], alors X = 1 + ue variable aléatoire qui suit la loi géométrique de paramètre p. [ l U Démostratio : Notos X = 1 + l(1 p) etière, X pred ses valeurs das N. Soit maiteat k N : ( [ ] ) l U P(X = k) = P 1 + = k l(1 p) ([ ] ) l U = P = k 1 l(1 p) ( = P k 1 l U ) l(1 p) < k l U l(1 p) ] est ]. Par défiitio de la partie = P (k l(1 p) < l U (k 1) l(1 p)) = P ( (1 p) k < U (1 p) k 1) = (1 p) k 1 (1 p) k = (1 p) k 1 p. L algorithme correspodat s écrit : 13

14 fuctio x=geometrique2(p) // tirage suivat la loi geometrique de parametre p x=1+floor(log(rad())/log(1-p)); Loi de Poisso de paramètre λ O veut simuler ue variable aléatoire X P(λ), doc de loi de probabilité doée par P X (x) = + k=0 exp( λ) λk k! δ k(x). (1.9) Ue variable aléatoire poissoiee e pred pas ses valeurs das u esemble fii, mais o peut étedre la méthode présetée au paragraphe au cas où X pred ses valeurs das N. E fait, la méthode proposée ici aoce la méthode de la foctio iverse. O sait que ce qui implique que X P(λ) p k = P{X = k} = λk k! e λ (pour k N) p k+1 = λ k + 1 p k, et e otat P k la somme des p j pour 0 j k, (P k = k j=0 p j), o a P k+1 = P k + λ k + 1 p k. O simule doc ue variable de Poisso de paramètre λ e preat X = k 0 k1 {Pk 1 <U P k } avec la covetio P 1 = 0. Cet algorithme est assez simple à programmer. Ue autre méthode pour la simulatio de variables aléatoires de Poisso est issue d ue des propriétés des processus de Poisso, il s agit du cumul de durées expoetielles. O sait que si des évéemets survieet à des dates séparées par des durées expoetielles de paramètre λ, le ombre d évéemets surveat e ue uité de temps suit ue loi de Poisso de même paramètre. 14

15 Lemme 6. Soiet (X i ) i N des variables aléatoires i.i.d. expoetielles de paramètre λ. La variable aléatoire défiie par i N = 0 si X 1 1 et N = max{i 1 : X j 1} sio, suit ue loi de Poisso de paramètre λ. Démostratio : Soit k N. ( k P(N = k) = P j=1 X j 1 < ) k+1 j=1 X j = λ k+1 exp( λ(x x k+1 ))1 {x1 + +x k 1} = = R k+1 + R k + R k + j=1 1 {xk+1 >1 (x 1 + +x k )}dx 1... dx k+1 λ k exp( λ(x x k ))1 {x1 + +x k 1} ( + ) λ exp( λx k+1 )dx k+1 dx 1... dx k 1 (x 1 + +x k ) λ k exp( λ(x x k ))1 {x1 + +x k 1} exp( λ) exp(λ(x x k ))dx 1... dx k = λ k exp( λ) R k + 1 {x1 + +x k 1}dx 1... dx k. Pour calculer la derière itégrale, o pose s 1 = x 1, s 2 = x 1 + x 2,..., s k = x x k : 1 {x1 + +x k 1}dx 1... dx k = 1 {s1 s 2 s k 1}ds 1... ds k R k + ce qui termie la preuve. = R k ds k sk 0 s2 ds k 1... ds 1 = 1 0 k!, Il faut doc simuler des variables aléatoires expoetielles de paramètre λ et compter le ombre de simulatios écessaires pour dépasser 1, ou bie simuler des variables aléatoires expoetielles de paramètre 1 et compter le ombre de simulatios écessaires pour dépasser λ. Das la pratique : Soiet (U i ) i N des variables aléatoires i.i.d. de loi uiforme sur [0, 1]. O défiit X i = 1 l(u λ i). Les (X i ) i N sot des variables aléatoires i.i.d. expoetielles de paramètre λ, et ) i i U j 1 U j exp( λ). j=1 X j 1 1 λ l ( i j=1 15 j=1

16 L algorithme s écrit : fuctio x=poisso(a) // tirage suivat la loi de Poisso de parametre a test=exp(-a);x=0;prod=rad(); while (prod>=test), x=x+1; prod=prod*rad(); ed; Loi gaussiee cetrée réduite : Méthode de Box- Muller La loi ormale a pas ue desité à support compact et o e coaît pas d expressio simple de l iverse de sa foctio de répartitio. Sa desité est doée par f(x) = 1 2π exp Nous utiliseros le résultat suivat : ) ( x2, x R. (1.10) 2 Lemme 7. Soit R ue variable aléatoire de loi expoetielle de paramètre 1/2 et Θ ue variable aléatoire de loi uiforme sur [0, 2π], supposées de plus idépedates. Alors, si o pose X = R cos Θ et Y = R si Θ, les variables aléatoires X et Y sot i.i.d. de loi gaussiee cetrée réduite. Ceci coduit à ue méthode de simulatio simple pour ue loi gaussiee, basée sur la simulatio de deux variables aléatoires uiformes sur [0, 1]. C est la méthode de Box Muller. fuctio [x,y]=boxmueller // tirage de deux N(0,1) idepedates r=sqrt(-2*log(rad())); t=2*%pi*rad(); x=r*cos(t); y=r*si(t); Exercice 3. Simuler ue variable aléatoire gaussiee de moyee m et de variace σ Méthodes géérales Méthode géérale pour ue variable aléatoire discrète Soit X ue variable aléatoire sur u espace de probabilité (Ω, F, P), telle que X(Ω) = (x i ) i I avec I = {0,..., } ou I = N. Pour tout i I, o ote p i = P(X = x i ). O rappelle que p i 0 et i I p i = 1. 16

17 L algorithme suivat simule ue variable représetative pour cette loi : fuctio y=simuldiscrete(x,p) // simule ue va de loi discrete, // x=vecteur des valeurs prises, p=vecteur des probabilites u=rad(); q=p(0); i=0; while (u>q); i=i+1; q=q+p(i); ed; y=x(i); Démostratio : O ote Y la sortie de cet algorithme. E effet, o a : P(Y = x 0 ) = P(rad() p 0 ) = p 0 et pour k 1, P(Y = x k ) = P ( k 1 p i < rad() i=0 ) k p i = p k. i=0 Exercice 4. Écrire ue foctio e Scilab pour simuler suivat ce procédé la loi géométrique et la loi de Poisso. Remarque 1. Le ombre N de tests écessaires satisfait et pour i > 1, N = 1 si et seulemet si u p 0, i 1 N = i p j < u j=0 i p j. O a doc itérêt à réordoer les (x i ) i 0 das l ordre des (p i ) i 0 décroissats Méthode de simulatio par iversio de la foctio de répartitio O veut simuler ue variable aléatoire X de foctio de répartitio F. La méthode utilisée pour simuler ue loi expoetielle est e fait géérale : dès que l o sait iverser ue foctio de répartitio F, il est très facile de simuler ue variable aléatoire de foctio de répartitio F. Lemme 8. Soit U ue variable aléatoire qui suit la loi uiforme sur [0, 1], et F ue foctio de répartitio bijective de ]a, b[ das ]0, 1[ d iverse F 1. Alors F 1 (U) est ue variable aléatoire de foctio de répartitio F. j=0 17

18 Démostratio : O pose X = F 1 (U). Cette variable aléatoire pred ses valeurs das ]a, b[. Remarquos que écessairemet F est strictemet croissate de ]a, b[ das ]0, 1[. Soit t ]a, b[ : P(X t) = P(F 1 (U) t) = P(U F (t)) = F (t). Doc la foctio de répartitio de X est bie F. Exercice 5. E utilisat la méthode de la foctio de répartitio, simuler ue loi de Cauchy de desité f(t) = 1 1. π 1+t 2 Remarque 2. L hypothèse de la coaissace de F 1 a de ses que si F est strictemet croissate. Cepedat, même das ce cas, il se peut que F 1 ait pas d expressio aalytique simple, c est le cas par exemple pour la loi ormale. Si o ote φ(x) la foctio de répartitio de la loi ormale cetrée réduite, φ(x) = 1 2π x e t2 2 dt, il existe pas de formulatio simple de φ(x) et ecore mois de φ 1 (x), la méthode de la foctio iverse e peut doc pas s appliquer directemet à la loi ormale. Il existe cepedat des polyômes doat de boes approximatios de φ(x) et de φ 1 (x) qui permettet doc d appliquer la méthode de la foctio iverse à la loi ormale, moyeat cette approximatio Algorithme par rejet O veut simuler ue variable aléatoire X de desité f et de foctio de répartitio F. Exemple 1. Commeços par u exemple très simple : commet simuler ue loi uiforme sur le disque uité {x 2 + y 2 1}? fuctio [x,y]=disque // simule u poit uiformemet sur le disque uite [x,y]=2*rad(1,2)-[1,1]; while (x^2+y^2>1), [x,y]=2*rad(1,2)-[1,1]; ed; L idée est la suivate : o tire des poits uiformémet das le carré, et o les jette jusqu à e obteir u qui tombe das le disque. La loi du poit obteue est la loi d u poit tiré uiformémet das le carré coditioellemet à être das le disque, ce qui est ecore la loi uiforme sur le disque. 18

19 Exercice 6. Quelle est la loi du ombre N de passages das la boucle? Lemme 9. Soit X ue variable aléatoire de desité f (sur R d ) à simuler. O suppose qu il existe k > 0 et ue desité g (sur R d aussi, facile à simuler) tels que x, f(x) kg(x). Soit U ue variable aléatoire de loi uiforme sur [0, 1] et Z ue variable aléatoire, idépedate de U, de desité g. O pose V = kug(z). Alors, la loi de Z coditioellemet à l évéemet {V < f(z)} a pour desité f. Remarque 3. Notos que écessairemet k 1 (car f, g sot des desités). Remarque 4. Il est très importat de oter qu o doit choisir la costate k la plus petite possible pour miimiser le ombre de rejets : plus la majoratio est grossière, plus il faut des tirages pour obteir ue valeur acceptable. Démostratio : O fait la démostratio pour le cas d = 1. Notos que pour tout z R, 1. O a tout d abord f(z) kg(z) P(V < f(z)) = P(kUg(Z) < f(z)) ( 1 ) = g(z) 1 {kug(z)<f(z)} du dz R 0 = g(z) f(z) kg(z) dz R = 1 k. Évaluos esuite P({Z t} {V < f(z)}) = = = 1 k t t t Ce qui motre que P(Z t V < f(z)) = ( 1 ) g(z) 1 {kug(z)<f(z)} du dz 0 g(z) f(z) kg(z) dz t f(z)dz. f(z)dz, doc la loi coditioelle de Z sachat que {V < f(z)} a bie pour desité f. Das R d, o utilise la gééralisatio de la foctio de répartitio. O obtiet aisi l algorithme de simulatio par rejet (o suppose qu o possède ue foctio simulg qui simule ue variable aléatoire de desité g) : 19

20 fuctio z=simulf // simule par rejet ue va de desite f u=rad(); z=simulg; v=k*u*g(z); while (v>=f(z)); u=rad(); z=simulg; v=k*u*g(z); ed; Démostratio : Notos N le ombre de tests fait lors de cette foctio. N est ue variable aléatoire, à valeurs das N. Notos (U ) 1 la suite des appels à la foctio rad(), et (Z ) 1 la suite des appels à la foctio simulg. Toutes ces variables aléatoires sot idépedates, les premières de loi uiforme sur [0, 1], les secodes de desité g. O ote V = ku g(z ), et o ote X la sortie de la foctio. Soit t R. Evaluos P(X t et N = 1) = P(V 1 < f(z 1 ) et Z 1 t) = 1 k t f(z)dz par la démostratio précédete. Soit maiteat i 2. Par idépedace, et comme précédemmet : P(X t et N = i) = P(V 1 f(z 1 ), V 2 f(z 2 ),..., V i 1 f(z i 1 ), V i < f(z i ), Z i t) = P(V 1 f(z 1 ))P(V 2 f(z 2 ))... P(V i 1 f(z i 1 ))P(V i < f(z i ), Z i t) = ( 1 1 ) i 1 1 t f(z)dz. k k Fialemet (rappelos que k 1) : P(X t) = = = + i=1 + i=1 t doc la desité de X est bie f. P(X t et N = i) ( 1 1 ) i 1 1 t f(z)dz k k f(z)dz, Exercice 7. Simulatio de la gaussiee par rejet par rapport à la double expoetielle. O pose f(z) = 1 2π exp( z 2 /2) et g(z) = 1 2 exp( z ). 20

21 1. Motrer que g est bie ue desité sur R. 2. Détermier ue costate k satisfaisat z R, f(z) kg(z). O aura itérêt à predre k la plus petite possible : [k = 2e π = 1, 3155]. 3. Écrire u algorithme de simulatio d ue loi gaussiee cetrée réduite par rejet. Exercice 8. Motrer que le ombre de passage das la boucle suit ue loi géométrique dot le paramètre e déped que de k. Justifier alors l itérêt de predre k la plus petite possible Simulatio par compositio Exercice 9. Soit F et G deux foctios de répartitio sur R. O costruit ue variable aléatoire X de la faço suivate : o lace ue pièce qui tombe sur pile avec probabilité 1/3 et sur face avec probabilité 2/3, si pile sort, o tire u ombre au hasard suivat la loi doée par F, sio, o tire u ombre au hasard suivat la loi doée par G. Détermier la foctio de répartitio H de X. L exemple précédet est u exemple de mélage de variables aléatoires. O suppose maiteat qu o veut simuler ue variable aléatoire X de foctio de répartitio F = i=1 θ if i, où les θ i sot des poids : θ i 0 et i=1 θ i = 1 et les F i sot des foctios de répartitio dot les lois sot faciles à simuler. O suppose qu o a à otre dispositio des foctios simulfi qui simulet des variables aléatoires de foctio de répartitio F i et ue foctio simultheta qui simule ue variable aléatoire Θ à valeurs das {1,..., } telle que P(Θ = i) = θ i. fuctio x = melage // simulatio par melage i=simultheta; x=simulfi; Exercice 10. Simuler u mélage d expoetielles F (z) = α(1 exp( az))+ (1 α)(1 exp( bz)), pour a, b > 0 et α [0, 1]. Exercice 11. Simuler ue variable aléatoire de loi ( 1 2 δ 0(x) e x 1 R+ (x))dx. Cette méthode se gééralise immédiatemet à u ombre ifii déombrable de poids (θ i ) i N, et même à u mélage cotiu de lois : o suppose qu o veut simuler ue variable aléatoire X de desité f(z) = θ g(θ)f θ(z)dθ, où g est ue desité de probabilité, aisi que tous les f θ. L algorithme est alors simple : o tire θ suivat g, puis x suivat f θ. 21

22 1.4 Simulatio de vecteurs aléatoires Cas idépedat Supposos qu o souhaite simuler X u vecteur aléatoire de R d. Si ses composates sot idépedates, o est rameé au cas de la simulatio de variables aléatoires réelles idépedates traité das les sectios précédetes (o rappelle que les sorties successives de rad doet des variables aléatoires idépedates de loi uiforme sur [0, 1]). Le problème est différet quad les coordoées e sot pas idépedates Vecteur gaussie U vecteur gaussie das R d est caractérisé par u vecteur moyee m R d, et ue matrice de covariace Γ, de taille d d, symétrique et positive. O suppose pour l istat que Γ est défiie positive. Théorème 1 (Décompositio de Cholesky). Si Γ est ue matrice symétrique défiie positive de taille d d, il existe au mois ue matrice réelle triagulaire iférieure A telle que : Γ = A t A. O peut égalemet imposer que les élémets diagoaux de la matrice A soiet tous strictemet positifs, et la factorisatio correspodate est alors uique. E pratique o cherche A par coefficiets idétermiés et idetificatio, coloe par coloe. Voir l exemple juste après. Remarque 5. Si Γ est seulemet semi-défiie positive, la décompositio de Cholesky existe ecore mais elle est plus uique. Lemme 10. Soit Y u vecteur gaussie de dimesio d cetré de matrice de covariace I d (dot les coordoées sot des variables aléatoires i.i.d. ormales cetrées réduites). Soiet m R d, et Γ ue matrice défiie positive de taille d d. Soit A la matrice triagulaire iférieure doée par la factorisatio de Cholesky de Γ. Alors le vecteur aléatoire X = m+ay est u vecteur gaussie de moyee m et de matrice de covariace Γ. Démostratio : Comme A est ue applicatio liéaire de R d das R d, X est ecore u vecteur gaussie d-dimesioel. Pour l espérace : E(X) = E(m + AY ) = m + AE(Y ) = m, 22

23 puisque Y est cetré. Pour la matrice de covariace, comme celle de Y est I d, E((X m)(x m) t ) = E(AY Y t A t ) = AE(Y Y t )A t = AI d A t = AA t = Γ. Exemple 2. O veut simuler le vecteur gaussie X de R 3 de moyee m et de matrice de covariace Γ avec m = 2 et Γ = O commece par chercher la matrice de factorisatio de Cholesky A par coefficiets idétermiés et idetificatio : a A = a 21 a a 31 a 32 a 33 O calcule AA t et o idetifie, coloe par coloe : 1. a 2 11 = γ 11 = 1 a 11 = a 11 a 21 = γ 21 = 1 a 21 = a 11 a 31 = γ 31 = 0 a 31 = a a 2 22 = γ 22 = 5 a 22 = a 21 a 31 + a 22 a 32 = γ 32 = 6 a 32 = a a a 2 33 = γ 33 = 1 a 33 = 1. Doc X = où Y est u vecteur gaussie de R 3 dot les trois composates sot i.i.d. cetrées réduites Cas gééral 1. Le cas d ue v.a. discrète à valeurs das R d se traite comme celui d ue variable aléatoire réelle discrète. 2. La méthode de rejet a été présetée das la cas d ue variable aléatoire à valeurs das R d. 3. O peut ecore utiliser les lois coditioelles. Nous allos illustrer cette méthode, dite méthode récurrete, par u exemple : 23 Y

24 Exemple 3. O veut simuler u vecteur (X, Y ) de loi uiforme sur le triagle ABC avec A = (0, 0), B = (1, 1) et C = (0, 1). O commece par détermier la desité de cette loi : f(x, y) = 21 0 x y 1 1 x y. O peut alors calculer la desité de X : f X (x) = 2(1 x)1 0 x 1, puis la desité de la loi coditioelle de Y sachat X : f Y X (y x) = 1 1 x 1 x y 1. Pour la simulatio, o procède maiteat de la faço suivate : o simule X suivat sa desité (e utilisat par exemple la méthode de la foctio de répartitio), o obtiet ue valeur x, puis o simule Y suivat la desité f Y X (y x) = 1 1 x 1 x y 1 (o recoaît par exemple ue loi usuelle). Remarque 6. Remarquos que la secode étape ressemble beaucoup à la simulatio par mélage. Exercice 12. Simuler u vecteur de loi f(x, y, z)dxdydz, où f(x, y, z) = 61 x>0,y>0,z>0 1 x+y+z<1 : a) E utilisat les lois coditioelles. b) Par la méthode du rejet. c) Comparer. Exercice 13. Simuler u vecteur de loi f(x, y), où f(x, y) = 1 2 (x + y)e (x+y) 1 {x>0} 1 {y>0}. 24

25 Chapitre 2 Méthodes de Mote Carlo 2.1 Itroductio O appelle méthode de Mote Carlo toute méthode umérique basée sur le tirage de ombres aléatoires. Ces méthodes sot utilisées das de ombreux domaies : e physique ucléaire, e géophysique, e fiace, e statistiques, e chimie etc. Origie O attribue l origie de la méthode de Mote Carlo au comte de Buffo qui e 1777 a proposé le problème de l aiguille de Buffo qui fourit ue méthode pour le calcul de π basée sur la réalisatio d expérieces répétées. Aiguille de Buffo : Sur u parquet composé de plaches parallèles de même largeur a, o jette des aiguilles de même logueur b au hasard. La probabilité qu ue aiguille tombe à cheval sur deux plaches est, pour b < a, égale à 2b. Ceci doe ue approximatio de π e répétat le jet des aiguilles. πa Le vrai développemet de la méthode de Mote Carlo est lié à l apparitio des ordiateurs Idée de la méthode pour le calcul d itégrales Supposos qu o souhaite calculer par ue méthode umérique l itégrale 1 0 f(x)dx, pour ue foctio itégrable f : [0, 1] R. O utilise alors des formules du type i=1 θ if(x i ) où θ i 0 sot tels que i=1 θ i = 1 et x i [0, 1]. 25

26 Suivat le choix de θ i et x i o peut costruire et proposer différetes méthodes d approximatio. Ue méthode de Mote Carlo est du même type : o choisit θ i = 1 et o tire les x i selo la loi uiforme sur [0, 1]. Cette méthode coverge avec ue vitesse de l ordre C. E dimesio 1 cette vitesse peut paraître faible lorsqu o la compare aux autres méthodes d itégratio détermiiste. Mais toutes ces méthodes umériques s effodret lorsque la dimesio augmete : das R d il faut d poits pour garder ue erreur costate. Le gros avatage de la méthode de Mote Carlo est d être isesible à la dimesio. 2.2 Descriptio de la méthode de Mote Carlo Pour utiliser ue méthode de Mote Carlo il faut tout d abord mettre sous forme d ue espérace la quatité que l o cherche à évaluer. E admettat que cela est possible o doit doc calculer ue quatité de la forme E(X) avec X ue variable aléatoire. Pour pouvoir évaluer E(X) il est souhaitable de savoir simuler ue v.a. selo la loi de X. Il est aisi possible de simuler ue suite de v.a. (X i, i 1) i.i.d. de même loi que X. O approche esuite E(X) par E(X) 1 X i. i=1 2.3 Covergece de la méthode et vitesse de covergece Comme pour toute méthode umérique, ous devos répodre aux deux questios suivates : (i) Pourquoi la méthode coverge? (ii) A quelle vitesse? La répose a ces deux questios est fourie par deux théorèmes fodametaux de la théorie des probabilités Covergece La répose à la première questio est doée par la loi forte des grads ombres. 26

27 Théorème 1. (Loi forte des grads ombres) Soit (X i ) i 1 des variables aléatoires idépedates idetiquemet distribuées et itégrables de même loi que la variable aléatoire X. Alors, presque sûremet (et das L 1 ), 1 lim X i = E(X). i=1 Remarque 1. Ce résultat idique ue limite théorique pour la méthode de Mote Carlo, o e peut l utiliser que pour des variables aléatoires itégrables Vitesse de covergece Le théorème de la limite cetrale précise la covergece. Ce théorème doe le comportemet asymptotique de l erreur, qui fiit par ressembler à ue loi gaussiee cetrée. Théorème 2. (Théorème de la limite cetrale) Soit (X i ) i 1 ue suite de variables aléatoires idépedates suivat toutes la même loi qu ue variable aléatoire X. O suppose que E(X 2 ) < et o ote σ 2 = Var(X). Alors, ( E(X) 1 ) σ (X X ) coverge e loi vers G, où G ote ue variable aléatoire ormale cetrée et réduite. Remarque 2. De ce théorème o peut déduire que pour a < b + o a { σ lim P a E(X) 1 (X X ) σ } b = P(a G b) = φ(b) φ(a) b 1 = e x2 2 dx, 2π où φ ote la foctio de répartitio de la loi ormale cetrée et réduite. Remarque 3. Le théorème cetral limite e permet pas de borer l erreur puisque le support de la gaussiee est égal à R tout etier. O présete alors souvet l erreur de la méthode de Mote Carlo soit e doat l écart type de l erreur, c est-à-dire σ, soit e doat u itervalle de cofiace à 95 % pour le résultat. Ceci sigifie que le résultat obteu se trouve avec a 27

28 ue probabilité de 95 % das l itervalle doé. Avec les propriétés de la loi ormale o a P{ G 1.96} 0.95 ce qui coduit à u itervalle de cofiace du type [m 1.96 σ, m σ ], où m = E(X). Remarque 4. O remarque aisi que, si l o souhaite dimiuer l erreur, il faut augmeter et/ou dimiuer σ. 2.4 Ue applicatio Cadre : Soit g : R d R ue foctio itégrable. O veut calculer ue valeur approchée de I = g(x)dx. R d Cette itégrale peut par exemple proveir d u problème cocret : e fiabilité, calculer la durée moyee de vie (Mea Time To Failure MTTF) est souvet impossible aalytiquemet. Hypothèses : 1. g 2 (x)dx < +. R d 2. Il existe ue desité f sur R d g 2 (x) telle que dx < +. R f(x) d 3. O sait simuler ue variable aléatoire de desité f et o a à otre dispositio ue suite (X i ) i 1 de v.a.i.i.d. de desité f. Buts : 1. Doer ue valeur approchée Î de I e foctio de X 1,..., X. 2. Écrire l algorithme. 3. Étudier sa covergece et estimer l erreur. 4. Améliorer la vitesse et comparer avec d autres méthodes de calcul d itégrales. 2.5 Loi des grads ombres et estimateur Pour calculer I = R d g(x)dx, l idée est de l écrire comme l espérace d ue foctio de la variable aléatoire X que l o sait simuler. O pose pour 28

29 tout i 1, Y i = g(x i). Les variables aléatoires (Y f(x i ) i) i 1 sot idépedates et de même loi ; leur espérace commue est E(Y 1 ) = R d g(x) f(x)dx = I. f(x) O itroduit aturellemet l estimateur suivat : Î = 1 Y i = 1 i=1 i=1 g(x i ) f(x i ). Comme E(Î) = I, l estimateur est sas biais. E appliquat la loi forte des grads ombres o déduit : Soit (X i ) i 1 ue suite de v.a. i.i.d. de desité f. Alors 1 lim Î = lim i=1 g(x i ) f(x i ) = I = g(x)dx p.s. et das L 1. R d 2.6 Variace, erreurs et itervalle de cofiace Variace et erreurs Exercice 1. Soit (Y i ) i 1 ue suite de variables aléatoires idépedates idetiquemet distribuées admettat u momet d ordre 2. O pose Î = 1 i=1 Y i. Calculer l espérace et la variace de Î e foctio de l espérace et la variace de Y 1. Calculos la variace de Y 1 : E(Y1 2 g 2 (x) ) = f 2 (x) f(x)dx = R d g 2 (x) Var(Y 1 ) = R f(x) dx I2. d R d g 2 (x) f(x) dx < + et O a immédiatemet Var(Î) = σ2. L applicatio du théorème cetral limite implique que, lorsque coverge vers l ifii, σ (Î I) coverge e loi vers N (0, 1), 29

30 et sigifie ituitivemet que, pour très grad, Î I σ G, où G est ue gaussiee cetrée réduite. Il est doc aturel d itroduire l erreur stadard σ et l erreur relative 1 I σ. Cepedat, la variace σ 2 est e gééral icoue (e particulier, elle déped de I). O va doc la remplacer par l estimateur classique de la variace : Estimateur de la variace : s 2 = 1 1 i=1 ( ) 2 1 Y i Î = 1 ( i=1 Y 2 i Î2 O sait (voir cours de statistique) que s 2 coverge p.s. vers σ 2. Pour estimer l erreur stadard et l erreur relative, o remplace doc σ 2 par s 2 : σ Erreur stadard : s Erreur relative : 1 σ 1 s. I Î E pratique : Das l algorithme de Mote Carlo pour calculer Î, il sera judicieux d ajouter le calcul de s 2 pour avoir e même temps ue estimatio de l erreur Itervalle de cofiace par TCL O peut maiteat doer des itervalles de cofiace pour otre estimatio : das l utilisatio du théorème cetral limite, o remplace la variace σ 2 par so estimatio s 2 : ( P( Î I ε) = P Î I s ) ) ( ) ε 2Φ ε 1. s s Pour u itervalle de cofiace au iveau α = 95%, o pred ( ) ( ) 2Φ ε 1 = α = 0, 95 Φ ε = α + 1 = 0, 975 s s 2 et doc s ε = 1, 96, ou ecore ε = 1, 96 s. L itervalle de cofiace pour I au iveau 95% est [ Î 1, 96 s,, Î + 1, 96 s ].. 30

31 L itervalle de cofiace au iveau α est [ ( ) α + 1 Î Φ 1 s 2, Î + Φ 1 ( α ) ] s. Pour u iveau de cofiace α fixé, la largeur de l itervalle de cofiace décroît e σ. O dit que la méthode de Mote Carlo a ue vitesse de covergece e 1. E pratique : O peut aussi parfois majorer la variace, et utiliser l iégalité de Tchebychev pour obteir des itervalles de cofiace. 2.7 Algorithme de Mote Carlo O suppose qu o a à otre dispositio ue procédure simulf dot les différets appels simulet ue suite de v.a.i.i.d. de desité f. La foctio cdfor("x",0,1,p,1-p) doe l iverse de la foctio de répartitio de la loi ormale cetrée réduite e p : x = cdfor( X, 0, 1, p, 1 p) P(G x) = x 1 exp( t2 )dt = p, 2π 2 où G suit la loi ormale cetrée réduite. Das l algorithme qui suit, o décide d u iveau de cofiace α (proche de 1), et de la largeur de l itervalle de cofiace 2δ au iveau de cofiace α. Le ombre de simulatios écessaires est décidé par u test, et est par coséquet aléatoire : Etrées fuctio [,I,e] = motecarlo(alpha,delta) // estimatio de I par motecarlo // alpha: iveau de cofiace alpha // 2delta: largeur itervalle de cofiace // : ombre de simulatios effectuees // I: valeur estimee, e:erreur stadard p=(alpha+1)/2; z= cdfor("x",0,1,p,1-p)}; x=simulf; y=g(x)/f(x); S1=y; S2=y^2; x=simulf; y=g(x)/f(x); =2; S1=S1+y; S2=S2+y^2; V=(S2-S1^2/)/(-1); while (z*sqrt(v/)>delta); x=simulf; y=g(x)/f(x); =+1; S1=S1+y; S2=S2+y^2; V=(S2-S1^2/)/(-1); 31

32 ed; I=S1/; e=sqrt(v); Commetaires O stocke i=1 Y i das S1, i=1 Y i 2 das S2, l estimateur de la variace s 2 das V. Le test regarde si la demi-largeur de l itervalle de cofiace après simulatios, z s est supérieure à celle souhaitée, δ, auquel cas o refait ue simulatio. Coclusios 1. L algorithme est extrêmemet facile à mettre e place. 2. Il e suppose pas de régularité sur g, autre que l itégrabilité. 3. L erreur pour simulatios est de l ordre de σ, ce qui justifie l appellatio méthode de vitesse 1 : Cette vitesse est idépedate de la dimesio : c est doc u avatage quad la dimesio est grade, par cotre e dimesio petite, cette méthode est peu compétitive par rapport aux méthodes d aalyse umérique, e particulier quad la foctio à itégrer est régulière. O voit l importace de la variace σ 2. Ue voie pour améliorer l erreur sera d essayer de réduire la variace. 4. C est ue méthode aléatoire : le critère de sortie de l algorithme est aléatoire. 2.8 Choix d ue méthode de Mote Carlo Supposos qu o ait le choix etre deux méthodes de Mote Carlo MC1 et MC2. 32

33 Desité Var Coût par sim. Nbr. de sim. Coût total Erreur std MC1 f 1 σ 2 1 c c 1 σ 1 1 MC2 f 2 σ 2 2 c c 2 σ 2 2 Laquelle doit-o choisir? O rappelle que ( ) ( ) g(x) σ 2 g 2 2 (x) = Var f = f(x) R f(x) dx g(x)dx. d R d σ 1 Avec erreurs stadards égales : = σ 2 σ2 1 = σ Pour ue même erreur, la meilleure méthode est celle qui coûte le mois cher e calcul : o compare doc les coûts totaux de simulatio i c i : 1 c 1 = σ2 1 c 1. 2 c 2 σ2 2 c 2 Avec coûts de simulatio égaux : 1 c 1 = 2 c 2. Pour u même coût de simulatio, la meilleure méthode est celle qui offre la plus petite erreur stadard : o compare doc les erreurs stadards, ou plutôt les erreurs stadards au carré σ2 i i : σ1 2 2 = σ2 1 c 1. σ2 2 1 σ2 2 c 2 Das les deux cas, la meilleure méthode est celle qui miimise c i σi 2. O a vu que das l erreur σ 1, le facteur est itrisèque, et que pour réduire l erreur, o peut essayer de dimiuer la variace σ 2. Il faudra cepedat veiller à ce que cette dimiutio de variace e soit pas compesée par ue augmetatio exagérée des coûts de calcul. 2.9 Exemples Nous allos costruire plusieurs versios de la méthode de Mote Carlo pour la calcul approché de π. Afi de les comparer, ous allos écrire à 33

34 chaque fois la variace de l estimatio après simulatios sous la forme C et comparer les différets C. (1) Calcul approché de π : Techique du hit or miss O cosidère le carré [0, 1] 2, et o trace le quart de disque D cetré e 0 et de rayo 1. O remarque que l aire du quart de disque vaut π 4. Soit (X i) i 1 des v.a.i.i.d. de loi uiforme sur [0, 1] 2, o pose Y i = 1 {Xi D}. O a E(Y 1 ) = P(X 1 D) = π, et doc 1 4 i=1 Y i est u estimateur de π. La 4 variace est ici C (1) = VarY 1 = π 4 (1 π ) 0, (2) Calcul approché de π : Moyee empirique sur [0, 1] L équatio du quart de cercle est doée par g(x) = 1 x 2. Soit (X i ) i 1 des v.a.i.i.d. de loi uiforme sur [0, 1], o pose Y i = g(x i ). O a E(Y 1 ) = P(X 1 D) = π, et 1 4 i=1 Y i est u autre estimateur de π. La 4 variace est ici 1 ( π ) 2 C (2) = Var(Y 1 ) = g 2 (x)dx ( π ) 2 = (1 x 2 2 ( π ) 2 )dx = 4 3 0, Comparaiso 0 La variace est plus faible das le secod cas, la secode méthode est doc meilleure. C est ecore vrai das le cas d ue foctio g : [0, 1] [0, 1] géérale : la techique de la moyee empirique a ue variace plus petite que la techique hit or miss (voir Rubistei [?], paragraphe 4.2.3). Exercice 2. Implémeter ces deux méthodes. Doer des itervalles de cofiace à l aide du TCL. Exercice 3. O cherche ue valeur approchée de Γ(α) = 0 x α 1 e x dx, pour α > 0 fixé. 1) Doer u algorithme associé à la méthode de la moyee. 2) O suppose α = π. 34

35 a) Trouver ue majoratio (évetuellemet grossière) de la variace associée à la méthode de MC utilisée. (Das 1), o a utilisé ue moyee empirique de v.a.i.i.d. La variace associée est la variace d ue de ces v.a.) b) E déduire des itervalles de cofiace à l aide de l iégalité de Bieayme- Tchebychev. Soit ε > 0 fixé. Quel faut-il choisir pour que la probabilité que l erreur soit plus petite que 0, 02 soit plus grade que 0, 99? c) Refaire le b) e utilisat cette fois le TCL Techiques de réductio de variace But : O a vu que l erreur stadard est σ avec σ 2 = Var f g(x) f(x) = R d g 2 (x) f(x) dx I2. Le facteur e 1 état itrisèque à la méthode de Mote Carlo, o cherche à réduire la variace σ 2, pour dimiuer l erreur commise, à ombre de simulatio fixé Échatilloage préféretiel (importace samplig) : choix de la desité f Das l estimatio précédete, o a la choix de la desité f. Si le support de g est u esemble E de mesure de Lebesgue fiie de R d, la première idée pour choisir f est de simplemet predre la loi uiforme sur E : c est ce qu o appelle la Méthode de Mote Carlo Stadard. Ce est cepedat pas écessairemet le meilleur choix possible. O a vu que l erreur était cotrôlée par la variace Var(Y 1 ) = σ 2 = R d g 2 (x) f(x) dx I2. Théorème 3. La variace miimale est égale à ( g(x) dx ) 2 R I 2, et est d atteite pour g(y) f 0 (y) = g(x) dx R. d Démostratio : Pour motrer que f 0 réalise bie le miimum de la variace, il suffit de vérifier que pour toute desité f : g 2 (x) R f(x) dx g 2 (x) d R g(x) dx g(x) dx ( d ) R d 2 = g(x) dx. R d 35

36 Mais, par l iégalité de Cauchy-Schwarz, ( ) 2 ( g(x) g(x) dx = R d R f(x) d 1/2 f(x)1/2 dx Rd g(x) 2 f(x) dx f(x)dx Rd R d g(x) 2 = f(x) dx. La valeur du miimum se vérifie facilemet. Remarquos que, das le cas particulier où g > 0, la desité optimale est f = g/i, auquel cas la variace serait ulle. Ce choix est bie sûr d itérêt puremet théorique, puisque I est icou. Cepedat... Échatilloage préféretiel : Afi de réduire la variace, o essaie d adapter la desité f à la foctio à itégrer g : o a itérêt à predre f grade das les régios où g est grade et petite das les régios où g est petite. (3) Calcul approché de π : Échatilloage préféretiel O repred la méthode de la moyee empirique, e essayat de choisir ue desité f meilleure que la desité de la loi uiforme sur [0, 1] : o peut predre par exemple ue foctio affie décroissate sur [0, 1], comme f(x) = 3 x. Alors 2 1 et doc 0 g 2 (x) 1 f(x) dx = C (3) = Var(Y 1 ) = x 2 3 x dx ( 2 x = 3 0 x 2 = l(3) 0, ) 2 ) dx g 2 (x) f(x) dx I2 = 0, Échatilloage stratifié (stratified samplig) L idée est de découper le domaie d itégratio e u ombre fii m de parties D 1, D 2,..., D m deux-à-deux disjoites : m I = g(x)dx = I i, avec I i = g(x)dx, R d D i i=1 36

37 et d estimer séparémet chacu des I Di. Soit f ue desité sur R d fixée. O va comparer les deux estimateurs suivats Estimateur de la moyee empirique. Soiet (X j ) j 1 des v.a.i.i.d. de desité f, l estimateur de la moyee empirique avec estimatios est comme précédemmet Î = 1 j=1 g(x j ) f(x j ). Estimateur avec stratificatio. O ote p i = D i f(x)dx, et, sur D i, o reormalise f pour obteir ue desité f i = f p i 1 Di. Pour chaque morceau D i, o estime I i avec i simulatios : soiet (Xj) i j 1 des v.a. i.i.d. de desité f i, l estimateur correspodat est Îi i = 1 i i j=1 g(x i j ) f i (X i j ). L estimateur de I par échatilloage stratifié avec m i=1 i simulatios s obtiet e sommat ces m estimatios : Î strat = m Î i i = i=1 m i=1 1 i i j=1 g(x i j) f i (X i j ). Afi de comparer ces deux estimatios, o fait le même ombre de simulatios pour les deux : = m i=1 i, et o compare les variaces. Das le premier cas, la variace pour simulatios est : V 1 = 1 ( ) g(x) Var f f(x) = 1 ( ) 2 g(x) D f(x) I f(x)dx = 1 m ( ) 2 g(x) p i i=1 D i f(x) I f i (x)dx = 1 m ( g(x) p i i=1 D i f(x) I i + I ) 2 i I f i (x)dx p i p i = 1 m ( ) 2 1 g(x) p i=1 i D i f i (x) I i f i (x)dx + 1 m ( ) 2 Ii p i I f i (x)dx i=1 D i p i = 1 m ( ) 1 g(x i Var 1 ) fi + 1 m Ii 2 1 p i f i (X1) i p i I2. i=1 i=1 37

38 Pour l estimateur de ( la moyee ) empirique de I i, la variace pour i simulatios est 1 g(x i i Var 1 ) fi f i = 1 (X1 i) i σi 2. Pour l estimatio stratifiée, avec i simulatios pour chaque morceau I i, la variace est, vu que les estimatios des différets morceaux sot idépedates, V 2 = m i=1 1 i Var fi ( g(x i 1 ) f i (X i 1) ) = m i=1 1 i σ 2 i, à comparer à la précédete, quad = m i=1 i. O miimise doc cette variace e les i, sous la cotraite = m i=1 i. O trouve (extrema liés) ( ) σi 2 i = m, j=1 σ2 j ce qui doe ue variace miimale pour l estimatio stratifiée avec simulatios de V 2 = m m σj 2. Si o choisit maiteat les D i de sorte que les p i = D i f soiet tous égaux à 1/m, il viet V 1 = 1 ( ) g(x) Var f f(x) ( ) = m m σi m m Ii 2 I 2 i=1 ( i=1 ) = V m m Ii 2 I 2. j=1 i=1 Mais, sur R m, o a x 1 m x 2, et doc m m i=1 I2 i I 2 0. La variace de l estimateur avec échatilloage stratifié est plus petite que celle de l estimateur de départ. Échatilloage stratifié : O essaie de dimiuer la variace pour ue desité fixée f : o partitioe le support de g e domaies (D i ) 1 i m de même masse pour f, puis o estime séparémet l itégrale de g sur chacu des D i. Das l idéal, le ombre ( i de simulatios ) pour le morceau D i doit être proportioel à σi 2 g(x i = Var 1 ) fi f i : o pourra estimer grossièremet (X1 i) ces variaces afi d avoir ue idée du choix des i. L idée est u peu la même pour l échatilloage préféretiel, mais pour ue desité fixée : pour dimiuer la variace, il faut faire ( davatage ) de simulatios das les domaies D i où la variace σi 2 g(x i = Var 1 ) fi f i est grade. (X1 i) 38

39 (4) Calcul approché de π : échatilloage stratifié O repred pour f la desité de la loi uiforme sur [0, 1], et g(x) = 1 x2. O fait ue stratificatio e m = 2 morceaux : D 1 = [0, 1/2] D 2 = [1/2, 1] f 1 = 21 D1 f 2 = 21 D2 I 1 = D 1 g = π + 3 0, 4783 I = D 2 g = π 3 0, D 1 g 2 /f 1 = 11 0, D 1 g 2 /f 2 = 5 0, σ1 2 = Var f1 (g/f 1 ) σ2 2 = Var f2 (g/f 2 ) = D 1 g 2 /f 1 I1 2 0, 0004 = D 2 g 2 /f 2 I2 2 0, 0099 Pour optimiser la stratificatio, o doit doc répartir les simulatios e ( ) ( ) σ 2 1 = 1 σ 2 0, 04 et σ1 2 + σ2 2 2 = 2 0, 96 σ1 2 + σ2 2 et o obtiet ue réductio de variace (par rapport à (2)) de l ordre de V 1 V 2 = Variable de cotrôle ( 2(I I 2 2) I 2) , d où C (4) = 0, 02. L idée est la suivate : o veut estimer ue itégrale I = E(Y ), et o coaît ue v.a. C de moyee µ corrélée à Y, appelée variable de cotrôle. Pour β > 0, o pose Y (β) = Y β(c µ), de sorte que E(Y (β)) = E(Y ) = I. O estime alors I par la moyee empirique de v.a.i.i.d. de même loi que Y (β), et la variace pour simulatios est alors 1 Var(Y (β)), avec Var(Y (β)) = Var(Y β(c µ)) = Var(Y ) + β 2 Var(C) 2β Cov(Y, C), qui peut être iférieure à Var(Y ) si β est bie choisi. O optimise e β, afi de réduire la variace au maximum : β = Cov(Y, C) Var(C) et Var(Y (β )) = (1 ρ 2 Y,C)Var(Y ). Doc plus C est corrélée à Y, plus la réductio de variace est importate. Variable de cotrôle : C, de moyee µ coue, et corrélée à Y Y (β) = Y β(c µ), β = Cov(Y, C), Var(Y (β )) = (1 ρ 2 Var(C) Y,C)Var(Y ). 39

40 E pratique : La méthode présete deux difficultés. Premièremet, o e coaît pas forcémet ue variable de cotrôle C, c est-à-dire ue v.a. de moyee coue et corrélée à Y. Deuxièmemet, même si o coaît ue variable de cotrôle C, la valeur optimale β déped de la covariace etre C et Y qui est souvet icoue et par coséquet doit être estimée. Remarque 5. Cette méthode se gééralise au cas d u vecteur de cotrôle C = (C 1, C 2,..., C m ) t de moyee µ R m. Pour β R m, o pose Y (β) = Y β t (C µ), et Var(Y (β)) = Var(Y ) + β t Γ c β 2 Cov(Y, C) t β, où Γ c est la matrice de covariace de C, et Cov(Y, C) est le vecteur dot les composates sot les Cov(Y, C i ). Le choix optimal pour β est alors : β = Γ 1 c Cov(Y, C) et Var(Y (β ))(1 R 2 Y,C)Var(Y ), où R Y,C = Cov(Y, C)t Γ 1 c Cov(Y, C). Var(Y ) (5) Calcul approché de π : variable de cotrôle Cosidéros U de desité uiforme, Y = 1 U 2 et comme variable de cotrôle C = (1 U) 2. E(Y ) = π 4, Var(Y ) = 2 3 (π 4 )2, E(C) = 1 3, Var(C) = 4 45, ρ Y,C = 0, 8. Si o pred β = Cov(C,Y ) Var(C) 0, 59, o trouve Var(Y (β )) 0, 2Var(Y ), d où C (5) 0, Variables atithétiques O suppose que I = E(Y ) = E(Z) est l itégrale à estimer. I = E( 1 2 (Y +Z)) et Var(1 2 (Y +Z)) = 1 4 Var(Y )+1 4 Var(Z)+1 2 Cov(Y, Z). Si Y et Z sot égativemet corrélées, alors o peut espérer faire dimiuer la variace. Supposos par exemple que l o doive estimer I = 1 0 g(x)dx. Soit (U i) i 1 ue suite de v.a.i.i.d. de loi uiforme sur [0, 1]. L estimateur de la moyee empirique 1 i=1 g(u i) pour simulatios a pour variace 1 V 1 avec V 1 = Var(g(U)). 40

41 Comme x 1 x laisse la mesure dx ivariate sur [0, 1], o peut predre comme variables atithétiques Y = g(u) et Z = g(1 U) avec U de loi uiforme sur [0, 1]. L estimateur pour simulatios s écrit : Î = 1 2 et a ue variace 1 V 2, avec (g(u i ) + g(1 U i )), i=1 V 2 = 1 (Var(g(U)) + Cov(g(U), g(1 U)). 2 Mais attetio, si le ombre de simulatios est le même, le temps de calcul est deux fois plus importat das le secod cas, doc pour que la méthode des variables atithétiques soit itéressate, il faut que V 2 < 1V 2 1. Propositio 1. Si g est de classe C 1 mootoe avec g(0) g(1), alors V 2 < 1V 2 1. Démostratio : O suppose g croissate, doc g(1) > g(0). O doit motrer que Cov(g(U), g(1 U)) < 0, autremet dit que O pose φ(x) = x g(u)g(1 u)du < I 2. g(1 t)dt xi. Alors φ(0) = φ(1) = 0 et φ (x) = g(1 x) I, est ue foctio décroissate. Le théorème de la moyee assure que φ (0) > 0 et φ (1) < 0, et doc que φ(x) > 0 pour tout x ]0, 1[, doc 0 < 1 0 φ(x)g (x)dx = 1 0 φ (x)g(x)dx = Le cas décroissat se traite de la même maière. 1 0 g(u)g(1 u)du + I 2. Variables atithétiques : Pour ue foctio g mootoe sur [0, 1], si (U i ) i 1 est ue suite de v.a.i.i.d. de loi uiforme sur [0, 1], l estimateur avec variables atithétiques Î = 1 (g(u i ) + g(1 U i )) 2 i=1 est plus efficace que l estimateur 1 i=1 g(u i). 41

42 (6) Calcul de π Appliquer cette méthode au calcul de π. 42