Cours de Méthodes de Monte-Carlo Exercices : octobre 2011.

Cours de Méthodes de Monte-Carlo Exercices : octobre 2011. Exercice 1 Soit (X n, n 1) une suite de variables aléatoires à valeurs dans R indépendantes suivant toutes la même loi, telle que E(X 2 1) < +. On pose S n = X 1 + + X n. On cherche à démontrer la loi forte des grands nombres : S n lim n + n = E(X 1). 1. Montrer que si (Z n, n 1) est une suite de variables aléatoires à valeurs réelles telles que n 1 E( Z n ) < +, alors Z n converge vers 0 presque sûrement. Ce résultat est une version du lemme de Borel-Cantelli. 2. En déduire qu il en est de même si n 1 E( Z n 2 ) < + 3. Montrer que S n 2/n 2 tend presque sûrement vers E(X 1 ). 4. On pose p n = [ n]. Montrer que S n n Sp2 n n vers +. En déduire le résultat annoncé. tend vers 0 presque sûrement lorsque n tend Exercice 2 Méthode de Monte-Carlo : quelques exemples. 1. Télécharger Scilab! (http ://www-rocq.inria.fr/scilab/). 2. Télécharger le fichier http ://cermics.enpc.fr/ bl/ps/monte-carlo-1.sci 3. Exécuter et (surtout!) comprendre les exemples figurant dans ce fichier. 4. Implementer en Scilab les exemples suggérés dans le cours. En particulier, calculer par simulation E ( e βg) où G est une gaussienne centrée réduite et β = 1, 2,..., 10. On n oubliera pas de donner un intervalle de confiance pour les résultats. Que constatez vous? Exercice 3 Soit X et Y deux variables aléatoires indépendantes suivant des lois gaussiennes centrées réduites. 1. Soit (R, Θ) les coordonnées polaires du point (X, Y). Montrer que R et Θ sont indépendantes et calculer leur loi. 2. Montrer que si U 1 et U 2 sont deux variables aléatoires indépendantes suivant une loi uniforme sur [0, 1], alors le couple (X 1, X 2 ) avec : X 1 = 2 log(u 1 ) cos(2πu 2 ) et X 2 = 2 log(u 1 ) sin(2πu 2 ), est un couple de variables aléatoires gaussiennes centrées réduites indépendantes. 3. On pose V 1 = 2U 1 1, V 2 = 2U 2 1 et R 2 = V 2 1 + V 2 2. On accepte ces tirages sous réserve que R < 1 et l on fait de nouveau tirage si R 1. Quelle est la loi du couple (V 1, V 2 ) dans ces conditions (après rejet)? En déduire que si l on pose : 2 log(r2 ) 2 log(r2 ) X 1 = V 1 et X R 2 2 = V 2, R 2 X 1 et X 2 sont deux variables aléatoires gaussiennes centrées réduites indépendantes. 1

Implémentation Scilab: 1. Écrire les deux algorithmes suggérés par le précédent exercice. Dans les deux cas tracer l histogramme (fonction histplot en Scilab) de l echantillon et le comparer à la densité théorique. 2. Comparer l efficacité de ces algorithmes en utilisant la fonction Scilab timer(). Exercice 4 1. Soit X une variable aléatoire suivant une loi de Cauchy réduite, c est à dire suivant la loi dx π (1 + x 2 ). Calculer la fonction de répartition de X, notée F. 2. Vérifier que F est une bijection de R dans ]0, 1[. On note F 1 son inverse et l on considère une variable aléatoire U de loi uniforme sur [0, 1]. Quelle est la probabilité que U vaille 0 ou 1? Montrer que F 1 (U) suit la même loi que X. En déduire une méthode de simulation selon la loi de Cauchy. 3. Soit V une variable aléatoire qui vaut 1 ou 1 avec probabilité 1/2 et Z une variable aléatoire qui suit une loi exponentielle de paramètre 1. Quelle est la loi de VZ? Calculer sa fonction caractéristique. En déduire, en utilisant la formule d inversion de la transformation de Fourrier, que : + e iux dx π (1 + x 2 ) = e u. 4. Soient X et Y deux variables aléatoires indépendantes suivant des lois de Cauchy de paramètres respectifs a et b. Calculer la loi de X + Y. 5. Soit (Y n, n 1), une suite de variables aléatoires réelles convergeant presque sûrement vers une variable aléatoire Z. Montrer, en utilisant le théorème de Lebesgue, que l on a, pour tout ɛ > 0 lim n + P ( Y 2n Y n ɛ) = 0. 6. Soit (X n, n 1) une suite de variables aléatoires indépendantes suivant une loi de Cauchy de paramètre 1. On considère la suite Y n = X 1 + X 2 + + X n. n Calculer la loi de Y 2n Y n. La suite des Y n converge t elle en loi? presque sûrement? 7. Montrer que la suite (Z n, n 1) définie par ( ) Z n = X 1 + X 2 + + X n /n converge presque sûrement et écrire sa limite sous forme d une intégrale. 8. Vérifier par simulation que Y n diverge (p.s.) et que Z n converge (p.s.). Exercice 5 Soient f et g deux fonctions de R dans R + telles que f(x) et g(x) soient les densités de lois de variables aléatoires à valeurs dans R. On suppose de plus que, pour tout x R f(x) kg(x). Soient (Y 1, Y 2,, Y n, ) une suite de variables aléatoires indépendantes suivant la loi de densité g(x) et (U 1, U 2,, U n, ) une suite de variables aléatoires indépendantes suivant une loi uniforme sur [0, 1] indépendante de la suite des Y i. On pose N = inf{n 1, ku n g(y n ) < f(y n )}. 2

1. Démontrer que N est fini presque sûrement et suit une loi géométrique. Quelle est sa moyenne? 2. On définit alors la variable aléatoire X en posant : X = Y N = i 1 Y i 1 {N = i}. Calculer pour n fixé et f bornée ( ) E 1 {N = n} f(x). En déduire la loi de X. Quelle est la loi du couple (N, X)? 3. En déduire comment on peut simuler une variable aléatoire de loi f(x)dx si on sait simuler une variable aléatoire de loi g(x)dx. Exercice 6 Soit X une variable aléatoire réelle de fonction de répartition F. On supposera cette fonction de répartition inversible et l on note F 1 son inverse. 1. Comment simuler la loi de X conditionnellement à X > m à l aide d une méthode de rejet? Évaluer l efficacité de la méthode? Que se passe t il, en particulier, si m devient très grand? 2. Soit U une variable aléatoire uniforme sur [0, 1], on pose : Z = F 1 (F(m) + (1 F(m))U). Calculer la fonction de répartition de Z et en déduire une méthode de simulation de X conditionnellement à X > m. Comparer l efficacité de cette méthode à la méthode du rejet. 3. On cherche maintenant à simuler X, de loi normale N (µ, σ 2 ), conditionnellement à X > m. Montrer que l on peut se ramener au cas centré réduit. 4. Proposer une méthode du rejet basée sur la loi exponentielle translatée de densité donnée par θe θ(x m) 1 {x > m}. Comment choisir le paramètre θ? š Implémentation Scilab: 1. Ecrire l algorithme de rejet dans le cas m = 2. Évaluer l efficacité de l algorithme lorsque m = 2, 3, 4, 5. 2. En utilisant les fonctions Scilab N et N 1 fournies écrire l algorithme se simulation suggéré par la question 2 et la tester pour m = 2. 3. Que se passe t il pour m = 3? Exercice 7 On se propose décrire algorithme de rejet permettant de simuler des observations d une variable aléatoire gaussienne N (0, 1) de densité f(x) à partir de la loi double exponentielle de densité g(x) = (λ/2) exp ( λ x ). 1. Trouver le meilleur couple de valeurs de c et λ vérifiant l inégalité f(x) cg(x). 2. Expliquer comment on simule une observation d une variable aléatoire suivant la loi de densité h(x) à partir d un couple de tirages de lois uniformes sur [0, 1] ou bien à partir d un seul tirage. 3

Implémentation Scilab: 1. Écrire une fonction rejet1() qui retourne le couple [x,n] où n est le nombre d itérations nécessaires pour obtenir la simulation d une observation x suivant la loi N (0, 1). 2. Écrire le programme affichant un histogramme des valeurs simulées de la loi normale sur 10.000 tirages en utilisant la méthode du rejet ci dessus ainsi que le graphe de f(x) (dans la même fenêtre). 3. Afficher les moyennes et écarts types de l échantillon obtenu et vérifier que l espérance du nombre d itérations nécessaires est égal à la constante c. Exercice 8 Soit X et Y des variables aléatoires indépendantes et de même loi exponentielle de paramètre 1. 1. Trouver la loi conditionnelle de X sachant {Y > (1 X) 2 /2} 2. Soit Z une variable aléatoire suivant la loi ci dessus et S une variable aléatoire indépendante de Z prenant les valeurs ±1 avec la probabilité 1/2. Trouver la loi de SZ. 3. En déduire une méthode de simulation d une loi N (0, 1). Implémentation Scilab: 1. Écrire une fonction rejet2() qui retourne le couple [x,n] où n est le nombre d itérations nécessaires pour obtenir la simulation d une observation x suivant la loi N (0, 1) par la méthode ci dessus. 2. Comparer l efficacité de cette procédure avec celle de l exercice précédent. Correction sur http ://cermics.enpc.fr/ bl/ps/correction-exo-2.sci Exercice 9 On suppose que X et Y sont des variables aléatoires indépendantes à valeurs dans R dont les fonctions de répartitions respectives sont notées F et G. On cherche à calculer à l aide d une méthode de Monte Carlo : θ = P (X + Y t). 1. Expliquez quelle est la méthode Monte Carlo classique pour ce problème. On précisera, en particulier, comment l on peut estimer l erreur commise. 2. Proposer un estimateur de variance réduite en utilisant une méthode de conditionnement. 3. On suppose que F et G sont numériquement facilement inversibles, expliquer comment implémenter la méthode des variables antithétiques. Pourquoi cette méthode diminue t elle la variance dans ce cas? 4. On suppose que h est une fonction telle que 1 0 h(s) 2 ds < +. Soit (U i, i 1) une suite de variables aléatoires indépendantes uniformes sur [0, 1]. Montrez que l estimateur 1 N N i=1 h ((i 1 + U i) /n), est meilleur du point de vue de la variance que 1 N N i=1 h (U i). Comment appliquer ce résultat dans ce cas. 5. Interprétez le résultat précédent en terme de méthode de stratification. Exercice 10 Soit X et Y deux variables aléatoires gaussiennes centrées réduites. On cherche à évaluer par simulation θ = E ( e XY). 1. Expliciter la méthode de Monte-Carlo classique et expliquer comment l on peut évaluer l erreur dans cette méthode. 4

2. Proposer une technique de variable de controle permettant de réduire la variance de votre estimateur. 3. Proposer une méthode de variables antithétiques pour estimer θ. Pouver vous prouver que votre méthode réduit la variance? 4. Proposer une technique de conditionnement pour estimer θ. 5. Tester ces méthodes en Scilab. Exercice 11 Soit (W t, t 0) un mouvement brownien et ρ une fonction continue de R dans R. Calculer la loi du couple ( T ρ(s)dw 0 s, W T ) et en déduire une méthode de simulation efficace selon la loi de ce couple. Que se passe t il lorsque ρ(t) ne dépend pas de t? Exercice 12 Le but de cet exercice est d étudier diverses méthodes permettant d évaluer p = P (Z > t), où Z est une variable aléatoire de la forme : Z = λ 1 e β 1X 1 + λ 2 e β 2X 2, (X 1, X 2 ) étant un couple de variables aléatoires réelles dont on précisera la loi dans la suite, λ 1, λ 2, β 1 et β 2 étant des réels positifs. 1. On suppose, dans cette question, que (X 1, X 2 ) est un vecteur gaussien centré tel que Var(X 1 ) = Var(X 2 ) = 1 et Cov (X 1, X 2 ) = ρ, avec ρ 1. Expliquer comment l on peut simuler des variables aléatoires selon la loi de Z. Décrire une méthode de Monte- Carlo permettant d estimer p ainsi que de donner une idée de l erreur que l on commet. 2. On suppose que la valeur de t est telle que l on cherche à estimer une valeur de p de l ordre de 10 7. Donner un ordre de grandeur du nombre de tirages à effectuer dans une méthode de Monte-Carlo standard pour pouvoir affirmer, avec une confiance proche de 1, que 1 2 10 7 p 3 2 10 7. 3. On suppose que X 1 et X 2 sont deux gaussiennes centrées de variance 1 indépendantes. Soit m un nombre réel. Montrer que p peut s écrire sous la forme ] [φ(x 1, X 2 )1{λ1e β1(x1+m) + λ2e β2(x2+m) t } p = E φ étant une fonction que l on précisera. Proposer un choix de m assurant que : P(λ 1 e β 1(X 1 +m) + λ 2 e β 2(X 2 +m) t) 1 4. Proposer une nouvelle méthode de Monte-Carlo permettant d évaluer p. Expliquer comment l on peut vérifier, sur les simulations, que cette méthode réduit la variance. 4. On suppose que X 1 et X 2 sont deux variables aléatoires indépendantes de fonction de répartition respective F 1 (x) et F 2 (x). Montrer que p = E [ 1 G 2 ( t λ1 e β 1X 1 )], où G 2 (x) est une fonction que l on explicitera, telle que la variance de 1 G 2 ( t λ1 e λ 1X 1 ) soit toujours inférieure à celle de 1 { λ 1 e β 1X 1 + λ 2 e λ 2X 2 > t }. En déduire une nouvelle méthode de Monte-Carlo permettant de calculer p. 5. On se place à nouveau dans le cas où (X 1, X 2 ) est une vecteur gaussien centrée tel que Var(X 1 ) = Var(X 2 ) = 1 et Cov (X 1, X 2 ) = ρ, avec ρ 1, montrer que p = E [1 F 2 (φ(x 1 ))], F 2 étant la fonction de répartition de X 2 et φ une fonction que l on précisera. En déduire une méthode de Monte-Carlo, dont on prouvera quelle réduit la variance, permettant d évaluer p. 5,

Exercice 13 Soit (ξ 1,..., ξ d ) un vecteur constitué de gaussienne centrées réduites indépendantes. Soit u un vecteur de R d, tel que u = 1. On cherche à construire une méthode de stratification à l aide de la variable aléatoire u.ξ = d i=1 u iξ i 1. Quelle est la loi de la variable aléatoire u.ξ? Pour quelle valeur du vecteur v de R d le vecteur ξ (u.ξ)v et la variable aléatoire (u.ξ) sont elles indépendantes? 2. En déduire une méthode permettant de simuler le couple (ξ (u.ξ)u, u.ξ) sans utiliser la matrice de variance covariance du vecteur ξ (u.ξ)u. 3. On se donne deux réels a et b tel que a < b. Décrire une méthode de simulation (autre que la méthode du rejet) permettant simuler le vecteur ξ conditionnellement à l événement a u.ξ < b. Exercice 14 Soit X une variable aléatoire N (0, 1). Pour t > 0, on veut calculer : par la méthode de Monte-Carlo. p(t) = P(X [t, t + 1]) 1. Donner l estimateur classique de p(t) ainsi que sa variance. 2. Pour t > 2, pratiquement tous les tirages tombent hors de l intervalle [t, t+1], il s en suit que la précision relative du résultat est très faible. Montrer que l on peut écrire p(t) = exp( t 2 /2)E(exp( tx)1 [0, 1] X) et en déduire un nouvel estimateur de p(t). Calculer la variance de ce nouvel estimateur et comparer à l estimateur précédent. Implémentation Scilab: 1. Simuler 10 000 tirages de X selon une loi gaussienne centrée réduite. Calculer la moyenne de l échantillon (mean), son écart-type (st_deviation). Faire un intervalle de confiance autour de la moyenne empirique à 95%. 0 appartient il à cet intervalle de confiance? Repéter l expérience 40 fois. Que constatez vous? 2. On veut comparer la variance des deux estimateurs donnés dans l exercice pour des valeurs de t [0, 3]. Pour ceci, on effectue 10.000 tirages de X et on utilise cet échantillon pour calculer l écart type empirique des deux variables aléatoires : ( t22 ) tx 1 [t, t + 1] (X) et exp 1 [0, 1] (X) pour les 301 valeurs de t=(0, 0.01, 0.02,..., 3). 3. Tracer dans une même fenêtre le graphe de ces deux fonctions et conclure. On tracera aussi les graphes de l erreur relative σ(t)/p(t), la quantité p(t) étant évaluée à l aide de la fonction Scilab cdfnor(). Correction de l exercice sur http ://cermics.enpc.fr/ bl/ps/correction-exo-3.sci Exercice 15 Soit X une variable aléatoire gaussienne centrée réduite et t un paramètre positif. On veut évaluer par la méthode de Monte-Carlo l intégrale : I = E ( 1 X > 0 exp(tx) ) 1. Proposer une méthode de fonction d importance (c.f. exercice 1) 2. Proposer une méthode de variable de contrôle. 3. Proposer une méthode de variables antithétiques. 6

Implémentation Scilab: On note par Y, Y 1, Y 2, Y 3 les variables aléatoires utilisées pour construire l estimateur classique de I puis les estimateurs obtenus dans les questions 1, 2, 3. Pour comparer leur efficacité, on effectue 10.000 tirages de X et on utilise cet échantillon pour calculer l écart type empirique de ces quatre variables aléatoires Y. On fait ce calcul pour les 151 valeurs de t=(0, 0.01, 0.02,..., 1.5). Tracer dans une même fenêtre le graphe de ces quatre fonctions. Correction de l exercice sur http ://cermics.enpc.fr/ bl/ps/correction-exo-3.sci Exercice 16 Soit (U 1,..., U n ) un échantillon i.i.d. de loi uniforme sur [0, 1] et (V 1 V 2... V n ) l échantillon ordonné. On convient que V n+1 = 1, V 0 = 0 et pour i = 1,..., n + 1 on pose i = V i V i 1. 1. Trouver la loi du couple (V i, V i+1 ) pour i = 1,..., n 1 et la loi de i pour i = 1,..., n + 1 2. Montrer que sup 0 i n i converge presque sûrement vers 0. 3. Soit h une fonction continue sur [0, 1]. Montrer que l estimateur : Z n = n i h(v i ) i=1 converge presque sûrement vers I = 1 0 h(u)du. 4. Montrer que que Z n est un estimateur asymptotiquement sans biais de I. 5. On suppose de plus que h est de classe C 1. Montrer qu il existe une constante K avec : Z n I K En déduire la vitesse de convergence de Z n vers I dans L 1. 6. Peut-on espérer la même vitesse de convergence pour l estimateur classique : n i=1 2 i Y n = 1 n n h(v n ) i=1 Implémentation Scilab: On veut comparer la vitesse de convergence presque sûre des estimateurs Y n et Z n. Pour ceci on tire un échantillon de taille 10.000 d une loi uniforme sur [0, 1]. Tracer dans la même fenêtre les graphes de Y n et Z n pour n multiple de 50 et pour la fonction f(x) = x. 7