Master de Mathématiques Mathématiques de la modélisation et de la décision Simulation Stochastique

Master de Mathématiques Mathématiques de la modélisation et de la décision Simulation Stochastique 2 2

i Introduction Ce cours présente des méthodes numériques qui utilisent des nombres aléatoires pour calculer des intégrales ou résoudre des problèmes différentiels. Dans de nombreuses applications, il faut calculer des intégrales multi-dimensionnelles. Les formules produit, construites à partir des formules de quadrature unidimensionnelles perdent leur efficacité en dimension élevée. Les méthodes de Monte Carlo approchent l intégrale, exprimée comme une espérance, par une moyenne. Leur précision est mesurée par la taille d un l intervalle de confiance, qui ne dépend pas de la dimension de l espace. Ces méthodes utilisent des nombres pseudo-aléatoires, c est-à-dire calculés par des algorithmes sur ordinateur. Pour engendrer des nombres qui simulent des variables aléatoires indépendantes de loi uniforme, on utilise classiquement des récurrences linéaires. Pour les autres lois, on applique diverses méthodes aux nombres précédents : méthodes d inversion, de rejet, de composition ; on donne aussi des algorithmes classiques de simulation de la loi normale, uni-dimensionnelle et multidimensionnelle. La taille de l intervalle de confiance, qui évalue la précision d une méthode de Monte Carlo, dépend de la variance de l estimateur. On décrit plusieurs méthodes de réduction de variance : méthode des variables antithétiques, de la variable de contrôle, d échantillonnage préférentiel, d échantillonnage stratifié. Un domaine très actif d utilisation des méthodes de Monte Carlo est celui des mathématiques financières. On propose des applications aux calculs d options financières, en prenant les exemples des options européennes et des options asiatiques.

CHAPITRE Intégration multi-dimensionnelle Dans de nombreuses applications, il faut calculer des intégrales g(xdx, D où D est un domaine de R d et g : D R. Il est rare que l on puisse les calculer exactement : on cherche donc à les approcher. Soit. Formules produit R := d [a i, b i ] un rectangle de R d et g une fonction définie et intégrable sur R. Pour approcher I(g := g(xdx on peut séparer l intégrale I(g = b ( b2 a a 2 ( bd ( bd a d a d R g(x, x 2,..., x d, x d dx d dx d dx 2 dx et approcher chaque intégrale uni-dimensionnelle avec une formule de quadrature. Par exemple, soit m i, i d des entiers et h i := b i a i m i. La version multi-dimensionnelle de la méthode des point-milieux composée est : où ( d S(g := m h i j = m d j d = I(g S(g, ( g a + (2j + h 2,..., a d + (2j d + h d. 2 On note E(g := I(g S(g. Dans le cas d =, on a l estimation d erreur suivante. Proposition.. Si g est une fonction définie sur l intervalle [a, b], qui est deux fois continûment dérivable sur (a, b et dont toutes les dérivées jusqu à l ordre 2 se prolongent continûment sur l intervalle [a, b], on a ξ [a, b] E(g = h2 24 (b ag(2 (ξ = (b a3 24m 2 g(2 (ξ.

2. INTÉGRATION MULTI-DIMENSIONNELLE donc E(g h2 (b a sup g (2 (b a3 (x = 24 x [a,b] 24m 2 sup g (2 (x. x [a,b] On écrit, pour d = 2, E(g = = b b2 a a 2 g(x, x 2 dx dx 2 m h h 2 j = b ( b2 a m 2 + h 2 m 2 j 2= a 2 g(x, x 2 dx 2 h 2 j 2= m h j = ( b a ( g ( g a + (2j + h 2, a 2 + (2j 2 + h 2 2 m 2 j 2= ( g x, a 2 + (2j 2 + h 2 2 x, a 2 + (2j 2 + h 2 2 dx ( g a + (2j + h 2, a 2 + (2j 2 + h 2, 2 dx donc E(g h2 2 24 (b a (b 2 a 2 sup (x,x 2 [a,b ] [a 2,b 2] + h2 24 (b a (b 2 a 2 sup (x,x 2 [a,b ] [a 2,b 2] 2 g (x, x 2 x 2 2 2 g (x, x 2. x 2 ou En général, on a la majoration d erreur : en notant E(g λ d(r 24 E(g λ d(r 24 d h 2 i sup 2 g (x, x R x 2 i d (b i a i 2 sup 2 g (x, λ d (R = m 2 i x R d (b i a i Dans le cas où R = [, ] d et m i = m pour tout i, E(g 24N 2/d x 2 i d sup 2 g (x, x R x 2 i où N = m d est le nombre d évaluations de la fonction g dans la formule. Pour diviser le majorant de l erreur par deux, il faut multiplier le nombre de points d intégration par 2 d/2 : voir le tableau.

2. CALCUL DES PROBABILITÉS 3 Table. Coefficient multiplicateur du nombre de points pour diviser l erreur par 2, suivant la dimension d 2 4 6 8 2 3 4 5 2 d/2 2 4 8 6 32 24 3, 3 4, 6 3, 4 7, 5 2. Calcul des probabilités Définition.. Soit (Ω, T un espace probabilisable. Si ω Ω, on appelle mesure de Dirac en ω la probabilité { si ω A, δ ω : A T δ ω (A := sinon. Soit {ω i : i I} une famille dénombrable (finie ou infinie d éléments de Ω et {p i : i I} une famille dénombrable de réels positifs ou nuls tels que p i =. i I L application P := i I p i δ ωi qui à A T fait correspondre la valeur P (A = ω i A est appelée probabilité discrète portée par les éléments ω i et pondérée par les poids p i. Exemple.. Probabilités discrètes usuelles sur (R, B(R. Loi de Bernoulli. C est la probabilité p i B(, p := qδ + pδ, où p est un nombre réel tel que p et q := p. Loi binomiale. C est la probabilité n ( n B(n, p := p k q n k δ k, k où n est un entier positif, p est un réel tel que p et q := p. Loi géométrique. C est la probabilité G(p := pq k δ k, k= k= où p est un nombre réel tel que < p < et q := p. Loi de Poisson. C est la probabilité λ λk P(λ := e k! δ k, k= où λ est un nombre réel strictement positif.

4. INTÉGRATION MULTI-DIMENSIONNELLE Remarque.. On peut intégrer certaines fonctions par rapport à une probabilité discrète : pour si on définit g : Ω R et P := i I p i g(ω i < +, i I p i δ ωi, p i g(ω i. g(ωdp (ω := Ω i I On dit que g(x est intégrable par rapport à P. Si g = A, on a A (ωdp (ω := p i A (ω i = p i = P (A. Ω i I ω i A Définition.2. On appelle densité de probabilité sur R d toute fonction f borélienne positive ou nulle telle que f(xdx =. R d Si f est une densité de probabilité, la probabilité de densité f est l application P définie sur B(R d par P (B := f(xdx. Exemple.2. Probabilités à densité usuelles sur (R, B(R. Loi uniforme sur [a, b]. C est la probabilité U(a, b de densité f(x = b a [a,b](x. Loi normale ou de Laplace-Gauss. C est la probabilité N (µ, σ 2 de densité g µ,σ 2(x := σ 2 2π e (x µ /2σ 2, où µ est un réel et σ est un réel positif. Loi log-normale. C est la probabilité LN (µ, σ 2 de densité f(x := σx x µ 2 /2σ 2 e (Ln (,+ (x, 2π où µ est un réel et σ est un réel positif. Loi exponentielle. C est la probabilité E(λ de densité B f(x = λe λx [,+ (x, où λ est un nombre réel strictement positif. Loi de Cauchy. C est la probabilité C(α, β de densité f(x = πβ + (x α 2 /β 2, où α, β sont deux réels avec β >. Loi gamma. C est la probabilité Γ(a, λ de densité f(x = λa Γ(a e λx x a [,+ (x,

2. CALCUL DES PROBABILITÉS 5 où a, λ sont deux réels strictement positifs. La fonction eulérienne gamma est définie dans le demi-plan {a C : Ré a > } par Γ(a := + e x x a dx. La loi Γ(, λ coïncide avec la loi E(λ. Loi du khi-2 à n degrés de liberté. C est la probabilité χ 2 (n := Γ(n/2, /2 de densité f(x = 2 n/2 Γ(n/2 e x/2 x n/2 [,+ (x, où n est un entier. Loi bêta. C est la probabilité B(p, q de densité f(x = B(p, q xp ( x q [,] (x, où p, q sont deux réels strictement positifs. La fonction eulérienne bêta est définie par On a B(p, q := x p ( x q dx, Ré p >, Ré q >. B(p, q = Γ(pΓ(p, Ré p >, Ré q >. Γ(p + q Remarque.2. On peut intégrer certaines fonctions par rapport à une probabilité à densité : pour si g : R d R et P à densité f, g(x f(xdx < +, R d on définit g(xdp (x := R d g(xf(xdx. R d On dit que g(x est intégrable par rapport à P. Si g = B, on a B (xdp (x := B (xf(xdx = f(xdx = P (B. R d R d B Définition.3. Si P est une probabilité sur (R, B(R, on appelle fonction de répartition de P l application F définie par On note F (x := P ((, x], x R. Φ(x := 2π x la fonction de répartition de la loi N (,. Si on a e y2 /2 dy, erf(x := 2 x e z2 dz, π Φ(x = 2 + 2 erf ( x 2. x R

6. INTÉGRATION MULTI-DIMENSIONNELLE Proposition.2. Soit F la fonction de répartition d une probabilité P sur (R, B(R. ( C est une fonction croissante (au sens large, telle que x R F (x, qui est continue à droite et qui vérifie lim F (x = et lim F (x =. x x + (2 Si F est continûment dérivable, alors P est une probabilité de densité F (x. Définition.4. Une partie N d un espace probabilisé (Ω, T, P est dite négligeable s il existe une partie A T telle que N A, P (A =. Une propriété des points ω de Ω est dite vraie presque sûrement (en abrégé p.s. si l ensemble des points pour lesquels elle est fausse est négligeable. Définition.5. Soit (Ω, T un espace probabilisable. On appelle variable aléatoire réelle (ou v.a.r. une application mesurable de (Ω, T dans (R, B(R ; on appelle variable aléatoire (ou v.a. (d-dimensionnelle une application mesurable de (Ω, T dans (R d, B(R d. Si X est une v.a.r., la classe de parties B X := X (B(R est appelée la tribu engendrée par X. Si X est une v.a. d-dimensionnelle, la classe de parties B X := X (B(R d est appelée la tribu engendrée par X. Définition.6. Soit (Ω, T, P un espace probabilisé. Si X est une variable aléatoire réelle de signe constant ou intégrable, on appelle espérance de X et on note E[X] son intégrale : E[X] := X(ωdP (ω. Ω Si X est une variable aléatoire d-dimensionnelle, on dit qu elle est intégrable si chacune de ses composantes l est. L espérance de X est alors le vecteur dont les composantes sont les espérances des composantes de X : E[X] := (E[X ],..., E[X d ] T. Si p est un réel, une v.a.r. X a un moment d ordre p ou est dans L p si X(ω p dp (ω < +. Dans ce cas son moment d ordre p est E[X p ] := Ω Ω X(ω p dp (ω. Une v.a. d-dimensionnelle X est dans L p si chacune de ses composantes est dans L p.

2. CALCUL DES PROBABILITÉS 7 Proposition.3. Si une v.a.r. X a un moment d ordre q, alors elle a un moment d ordre p, pour p q et X p X q. Démonstration. D après l inégalité de Hölder, ( p/q ( (q p/q, X p dp ( X p q/p dp q/(q p dp Ω donc X est dans L p et Ω Ω qui donne le résultat. X p p X p q Définition.7. Une v.a.r. X dans L 2 est dite de carré intégrable. Sa variance est : Var(X := E[(X E[X] 2 ] = E[X 2 ] (E[X] 2. Son écart-type est : σ(x := Var(X. Si X et Y sont deux v.a.r. de carré intégrable, leur covariance est : Cov(X, Y := E[(X E[X](Y E[Y ]] = E[XY ] E[X]E[Y ]. On a, si X,..., X n sont des v.a.r. de carré intégrable : n n n Var(X + + X n = Var(X i + Cov(X i, X j. j= Une v.a. d-dimensionnelle X dans L 2 est dite de carré intégrable. Sa matrice de covariance est la matrice K X := E[(X E[X](X E[X] t ]. La matrice des moments d ordre deux est E[XX t ] : on a K X = E[XX t ] E[X]E[X] t. Remarque.3. Les éléments de la matrice K X sont les covariances des composantes de X : Cov(X i, X j = E[(X i E[X i ](X j E[X j ]] et les éléments diagonaux sont les variances des composantes de X : Var(X i = E[(X i E[X i ] 2 ]. Proposition.4. Si X est une v.a. d-dimensionnelle de carré intégrable et si a R d, on a E[a t X] = a t E[X], E[(a t X 2 ] = a t E[XX t ]a, Var(a t X = a t K X a. Remarque.4. La matrice E[XX t ] est symétrique semi-définie positive. Elle est définie positive si et seulement si les composantes X,..., X d sont p.s. libres. La matrice K X est symétrique semi-définie positive. Elle est définie positive si et seulement si le système {X,..., X d, } est p.s. libre.

8. INTÉGRATION MULTI-DIMENSIONNELLE Définition.8. Soit (Ω, T, P un espace probabilisé. La loi d une v.a.r. X est la probabilité P X définie sur (R, B(R par P X (B := P (X B, B B(R. La loi d une v.a. d-dimensionnelle X est la probabilité P X définie sur (R d, B(R d par P X (B := P (X B, B B(R d. On dit que X est discrète si sa loi est une probabilité discrète ; on dit qu elle est à densité si sa loi est une probabilité a densité. Si X est discrète, de loi P X := p i δ xi, i I pour tout B B(R d P (X B = P X (B = p i. x i B Pour toute fonction g(x intégrable sur (R d, B(R d, P X, on a g(xdp X (x = p i g(x i. R d i I Si X est à densité, de densité f X (x, pour tout B B(R d P (X B = P X (B = f X (xdx. Pour toute fonction g(x intégrable sur (R d, B(R d, P X, on a g(xdp X (x = g(xf X (xdx. R d B Deux v.a.r ou deux v.a. sont équidistribuées si elles ont même loi. On appelle fonction de répartition d une v.a.r. X la fonction de répartition de sa loi : on la note F X. On appelle fonction de répartition d une v.a. d-dimensionnelle X l application F X définie sur R d par ( d F X (x := P (X x,..., X d x d = P X (, x i ]. Définition.9. Pour un couple (X, Y de v.a. défini sur un espace probabilisé (Ω, T, P, on appelle loi conjointe la loi P (X,Y du couple et lois marginales les lois P X et P Y de X et Y. Si (X, Y est à densité, la densité de P (X,Y est appelée la densité conjointe. Les densités de X et de Y s appellent les densités marginales (cf. la proposition.8. Ces notions se généralisent à une famille (X,..., X d de variables aléatoires. Remarque.5. Pour toute v.a. X on a F X (x = Si X est une v.a.r. discrète, de loi x P X := i I xd B p i δ xi, dp X (y.

2. CALCUL DES PROBABILITÉS 9 alors F X (x := x i x p i. Si P X est à densité f X, alors F X (x = x xd f X (ydy. Proposition.5. Soit X une v.a. d-dimensionnelle sur un espace probabilisé (Ω, T, P, de loi P X et g une application borélienne de (R d, B(R d dans (R, B(R. ( Si g est de signe constant, on a (2. g X(ωdP (ω = Ω g(xdp X (x. R d (2 Si g X est intégrable sur l espace (Ω, T, P ou si g est intégrable sur l espace (R d, B(R d, P X, alors g X et g sont intégrables et l on a l égalité (2.. Corollaire. Soit X une v.a.r. sur un espace probabilisé (Ω, T, P, de loi P X. ( Elle est intégrable si et seulement si x dp X (x < +. Dans ce cas R E[X] = R xdp X (x. (2 Elle est de carré intégrable si et seulement si x 2 dp X (x < +. Dans ce cas R Var(X = R ( 2. x 2 dp X (x xdp X (x R Remarque.6. Soit X une v.a.r. sur un espace probabilisé (Ω, T, P. ( On suppose que X est discrète, de loi P X = i I p i δ xi. Elle est intégrable si et seulement si p i x i < + ; i I dans ce cas E[X] = p i x i. i I Elle est de carré intégrable si et seulement si p i x 2 i < + ; dans ce cas i I Var(X = i I ( 2. p i x 2 i p i x i i I

. INTÉGRATION MULTI-DIMENSIONNELLE (2 On suppose que X est à densité f X. Elle est intégrable si et seulement si x f X (xdx < + ; dans ce cas R E[X] = R xf X (xdx. Elle est de carré intégrable si et seulement si x 2 f X (xdx < + ; dans ce cas Var(X = R R ( 2. x 2 f X (xdx xf X (xdx R Remarque.7. L espérance et la variance d une v.a. ne dépendent pas des valeurs mais de la loi de la variable. Exemple.3. Variables aléatoires discrètes usuelles. Variable suivant la loi de Bernoulli. C est une v.a.r. X de loi B(, p, p. Elle est intégrable, d espérance E[X] = p. Elle est de carré intégrable, de variance Var(X = p p 2 = p( p. Variable suivant la loi binomiale. C est une v.a.r. X de loi B(n, p, n N, p. Elle est intégrable, d espérance n ( n E[X] = k p k q n k = p d ( n ( n x k q n k (p = np. k dx k k= Elle est de carré intégrable, de variance n ( n Var(X = k 2 p k q n k (np 2 k k= = p 2 d2 dx 2 ( n k= k= ( n x k q n k (p + p d k dx = n(n p 2 + np n 2 p 2 = np( p. ( n k= ( n x k q n k (p n 2 p 2 k Variable suivant la loi géométrique. C est une v.a.r. X de loi G(p, < p <. Elle est intégrable, d espérance E[X] = kpq k = p d ( x k (q = dx p. k= k= Elle est de carré intégrable, de variance ( 2 Var(X = k 2 pq k d = pq p 2 ( dx 2 x k (q + p d ( x k (q dx p 2 = 2q p 2 + p p 2 = p p 2. k= k= k=

2. CALCUL DES PROBABILITÉS Variable suivant la loi de Poisson. C est une v.a.r. X de loi P(λ, λ >. Elle est intégrable, d espérance E[X] = k= λ λk ke k! = λ Elle est de carré intégrable, de variance Var(X = k 2 λ λk e k! λ2 = λ 2 k= = λ 2 + λ λ 2 = λ. k= k= λ λk e k! = λ. λ λk e k! + λ k= λ λk e k! λ2 Exemple.4. Variables aléatoires à densité usuelles. Variable suivant la loi uniforme sur [a, b]. C est une v.a.r. X de loi U(a, b. Elle est intégrable, d espérance E[X] = b a Elle est de carré intégrable, de variance Var(X = b a b a b a xdx = a + b 2. ( a + b 2 x 2 (a b 2 dx =. 2 2 Variable gaussienne ou normale ou de Laplace-Gauss. C est une v.a.r. X de loi N (µ, σ 2, µ R, σ >. Elle est intégrable, d espérance E[X] = σ 2π = σ 2π + + xe (x µ2 /2σ 2 dx (x µe (x µ2 /2σ 2 dx + µ σ 2π Elle est de carré intégrable, de variance Var(X = σ 2π = σ 2π + 2µ σ 2π = σ2 + + + x 2 e (x µ2 /2σ 2 dx µ 2 (x µ 2 e (x µ2 /2σ 2 dx + y 2 e y2 /2 dy = 2π (x µe (x µ2 /2σ 2 dx + µ2 σ 2π + σ2 2π + + e y2 /2 dy = σ 2. e (x µ2 /2σ 2 dx = µ. e (x µ2 /2σ 2 dx µ 2 Variable log-normale. C est une v.a.r. X de loi LN (µ, σ 2, µ R, σ >. Elle est intégrable, d espérance E[X] = σ 2π = eµ+σ2 /2 + + e (Ln x µ2 /2σ 2 dx = eµ e y2 /2+σy dy 2π + e (y σ2 /2 /2 + dy = eµ+σ2 e z2 /2 dz = e µ+σ2 /2. 2π 2π

2. INTÉGRATION MULTI-DIMENSIONNELLE Elle est de carré intégrable ; on a donc E[X 2 ] = σ 2π = e2µ+2σ2 + + xe (Ln x µ2 /2σ 2 dx = e2µ e y2 /2+2σy dy 2π + + e (y 2σ2 /2 dy = e2µ+2σ2 e z2 /2 dz = e 2µ+2σ2, 2π 2π ( Var(X = e 2µ+2σ2 e 2µ+σ2 = e 2µ+σ2 e σ2. Variable suivant la loi exponentielle. C est une v.a.r. X de loi E(λ, λ >. Elle est intégrable, d espérance E[X] = + xλe λx dx = Elle est de carré intégrable, de variance Var(X = + + e λx dx = λ. ( 2 + x 2 λe λx dx = 2 xe λ λx dx λ 2 = λ 2. Variable suivant la loi de Cauchy. C est une v.a.r. X de loi C(α, β, α R, β >. Elle n est pas intégrable : + x dx = + πβ + (x α 2 /β 2 Donc elle n est pas de carré intégrable. Variable suivant la loi gamma. C est une v.a.r. X de loi Γ(a, λ, a >, λ >,. Elle est intégrable, d espérance E[X] = λa Γ(a + λa e λx x a dx = Γ(a Elle est de carré intégrable, de variance Var(X = λa Γ(a = λa Γ(a + Γ(a + 2 λ a+2 λ a+ + ( a 2 e λx x a+ λ dx = λ a Γ(a a2 λ 2 = a λ 2. e y y a dy = λ a+2 + λa Γ(a + Γ(a λ a+ = a λ. e y y a+ dy a2 λ 2 Variable suivant la loi bêta. C est une v.a.r. X de loi B(p, q, p >, q >. Elle est intégrable, d espérance E[X] = B(p, q Elle est de carré intégrable, de variance Var(X = = B(p, q x p ( x q dx = B(p +, q B(p, q = p p + q. ( p 2 x p+ ( x q B(p + 2, q p 2 dx = p + q B(p, q (p + q 2 p(p + (p + q(p + q + p 2 (p + q 2 = pq (p + q 2 (p + q +.

2. CALCUL DES PROBABILITÉS 3 Remarque.8. Si X est une v.a. d-dimensionnelle de matrice de covariance K X symétrique non définie positive, le système {X,..., X d, } est alors p.s. lié : il existe a, a,..., a d R, non tous nuls, tels que donc a + a X + + a d X d = p.s. (2.2 P (a + a X + + a d X d = =. Si X était à densité f X, on aurait P (a + a X + + a d X d = = P ((X,..., X d {(x,..., x d : a + a x + + a d x d = } = f X (xdx =, ce qui contredit (2.2. {(x,...,x d :a +a x + +a d x d =} Proposition.6. Soit X une v.a. d-dimensionnelle sur un espace probabilisé (Ω, T, P, de loi de densité f(x et soit a R d, b R + ; alors ( X + a est de loi de densité f(x a, (2 X est de loi de densité f( x, (3 bx est de loi de densité ( x b d f. b Corollaire. Soit X une v.a.r. sur un espace probabilisé (Ω, T, P et soit µ, α, a des réels et σ >, λ >, b >, β >, c > ; alors ( X est de loi N (µ, σ 2 X µ est de loi N (,, σ ( λ (2 X est de loi E(λ bx est de loi E, b (3 X est de loi C(α, β X α est de loi C(,. β ( (4 X est de loi Γ(a, λ bx est de loi Γ a, λ, b Proposition.7. Soit X une v.a. définie sur un espace probabilisé (Ω, T, P, prenant p.s. ses valeurs dans un ouvert U de R d et soit φ un difféomorphisme de U dans un ouvert V de R d. Si X est à densité f X, alors Y := φ X est à densité f Y, où f Y (y := f X φ (y dét (φ (y, y V. Démonstration. Soit B B(R d, avec B V. On a P Y (B = P (Y B = P (X φ (B = P X (φ (B = φ (B (xf X (xdx = B (yf X (φ (y dét (φ (y dy, U V d après le théorème de changement de variables dans les intégrales : cela donne le résultat. Corollaire. Soit X une v.a.r. sur un espace probabilisé (Ω, T, P.

4. INTÉGRATION MULTI-DIMENSIONNELLE ( Si X est de loi N (µ, σ 2, alors Y := e X est de loi LN (µ, σ 2, (2 si X est de loi N (,, alors Y := X 2 est de loi χ 2 (. Proposition.8. Soit (X, Y un couple de v.a. défini sur un espace probabilisé (Ω, T, P, à valeurs dans R d R d. Si (X, Y est à densité f (X,Y, alors X est à densité f X et Y est à densité f Y, avec f X (x := f (X,Y (x, ydy, x R d et f Y (y := f (X,Y (x, ydx, y R d. R d R d Démonstration. Si B B(R d, on a P X (B = P (X,Y (B R d, donc, si (X, Y est à densité f (X,Y, P X (B = f (X,Y (x, ydxdy = B R d B ( f (X,Y (x, ydy dx, R d d après le théorème de Fubini pour les fonctions positives : d où l expression de la densité f X. On obtient de même l expression de la densité f Y. Remarque.9. La définition.9 et la proposition.8 sont aisément généralisées au cas d un vecteur de v.a. (X,..., X n. Définition.. Une famille finie ou infinie (C i i I de classes de parties de Ω est dite indépendante si pour tout ensemble fini J I et tout choix d ensembles C j C j, j J on a ( P C j = P (C j. j J j J Remarque.. Une famille infinie de classes de parties de Ω est indépendante si et seulement si toute sous-famille finie est indépendante. Définition.. Une famille finie ou infinie (X i i I de v.a. est dite indépendante si la famille (B Xi i I est indépendante. Une famille finie ou infinie (A i i I d évènements est dite indépendante si la famille de v.a.r. ( Ai i I est indépendante. Remarque.. Si X i est une v.a. d i -dimensionnelle, la famille (X i i I est indépendante si et seulement si pour tout ensemble fini {i,..., i k } I et tout choix de boréliens B B(R di,..., B k B(R di k, on a ou P (X i B,..., X ik B k = P (Xi,...,X ik (B B k = k P (X ij B j, j= k P Xij (B j. C est-à-dire, pour tout ensemble fini {i,..., i k } I, P (Xi,...,X ik = j= k P Xij. j=

2. CALCUL DES PROBABILITÉS 5 Une famille finie ou infinie (A i i I d évènements est indépendante si et seulement si, pour tout ensemble fini J I ( P A j = P (A j. j J j J Proposition.9. Soit (X i i I une famille de v.a., où X i est d i -dimensionnelle et à densité f Xi. La famille (X i i I est indépendante si et seulement si pour tout ensemble fini {i,..., i k } I, on a k f (Xi,...,X ik = f Xij, c est-à-dire j= x R d... x k R d k f (Xi,...,X ik (x,..., x k = k f Xij (x j. Proposition.. Soit (X i i I une famille de v.a., où X i est d i -dimensionnelle. Soit (B i i I une famille de classes non vides, chacune étant stable par intersection finie, telles que B i engendre B(R di. La famille (X i i I est indépendante si et seulement si pour tout ensemble fini {i,..., i k } I et tout choix B B,..., B k B k, on a k P (X i B,..., X ik B k = P (X ij B j. Remarque.2. Pour des v.a.r., on peut prendre pour B i la classe des intervalles (, a i ] : La famille (X i i I est indépendante si et seulement si pour tout ensemble fini {i,..., i k } I et tout choix a,..., a k R, on a k P (X i a,..., X ik a k = P (X ij a j, soit F (Xi,...,X ik (a,..., a k = j= j= k F Xij (a j. C est-à-dire, pour tout ensemble fini {i,..., i k } I, F (Xi,...,X ik = j= j= k F Xij. Proposition.. Soit (X i i I une famille indépendante de v.a., où X i est d i -dimensionnelle. ( Soit (I j j J une famille de parties finies deux à deux disjointes de I. On note d Ij := i I j d i. Si X Ij est la v.a. d Ij -dimensionnelle définie par X Ij (ω := (X i (ω i Ij, alors la famille de v.a. (X Ij j J est indépendante. (2 Pour tout choix d entiers d i, i I et tout choix d applications boréliennes f i de (R di, B(R di dans (R d i, B(R d i, la famille de v.a. (fi X i i I est indépendante. j=

6. INTÉGRATION MULTI-DIMENSIONNELLE Proposition.2. Si {X,..., X n } est une famille indépendante de v.a.r. n intégrables, alors la v.a.r. X i est intégrable et [ n ] E X i = n E[X i ]. Remarque.3. Si X,..., X n est une famille indépendante de v.a.r. de carré intégrable, alors i, j i j Cov(X i, X j =. Si X est une v.a. d-dimensionnelle de carré intégrable et si la famille des composantes {X,..., X d } est indépendante, alors la matrice de covariance K X est diagonale. On a donc ( d d Var a i X i = a 2 i Var(X i. Proposition.3 (Borel-Cantelli. Si (A n n est une suite indépendante d évènements, alors P (A n < + P ( lim sup A n =, n n P (A n = + P ( lim sup A n =. n n Démonstration. On a, pour tout n, P ( ( lim sup A n P A m P (A m, n m n m n et ce dernier majorant est le reste d une série convergente, donc tend vers quand n : d où l implication de gauche à droite de la première ligne (l indépendance n est pas nécessaire. Supposons n P (A n = +. Pour n, on a Or ( N P m=n A c m = ( P m n N P (A c m = m=n A c m N m=n ( = lim P N A c m. N m=n ( ( P (A m exp N m=n P (A m, N donc ( P (lim sup A n = P (lim inf n n Ac n = lim P A c m =. n m n Cela donne l implication de droite à gauche de la première ligne, donc les deux équivalences. Proposition.4. Soit X, X 2,..., X n des v.a.r. indépendantes définies sur un espace probabilisé (Ω, T, P.

2. CALCUL DES PROBABILITÉS 7 ( Si X est de loi N (µ, σ, 2..., X n est de loi N (µ n, σn 2 alors n ( n n X i est de loi N µ i,, (2 si chaque X i est de loi N (,, alors n est de loi χ 2 (n, X 2 i (3 Si X est de loi Γ(a, λ,..., X n est de loi Γ(a n, λ alors n ( n X i est de loi Γ a i, λ. Variables aléatoires gaussiennes Si X est une v.a.r. de loi N (µ, σ 2, alors X = σy + µ, où Y est une v.a.r. de loi N (,. On appelle variable gaussienne dégénérée une v.a.r. constante (sa loi est une mesure de Dirac. Définition.2. Une v.a. d-dimensionnelle X est dite gaussienne si toute combinaison linéaire de ses composantes est une v.a.r. gaussienne. Remarque.4. Si X est une v.a. gaussienne d-dimensionnelle, alors ses composantes X,..., X d sont des v.a.r. gaussiennes. Inversement, si {X,..., X d } est une famille indépendante de v.a.r. gaussiennes, alors la v.a. X := (X,..., X d t est une v.a. gaussienne d-dimensionnelle. Ce n est pas nécessairement le cas si la famille n est pas indépendante, comme le montre l exemple suivant. Soit {X, Y } un couple indépendant de v.a.r., où X est de loi N (, et Y est de loi discrète 2 (δ + δ +. On pose X 2 := X Y et X := (X, X 2 t. La v.a.r. X 2 est de loi N (, : si x R, on a P (X 2 x = P ( X x, Y = + P (X x, Y = = 2 P (X x + 2 P (X x = P (X x. La v.a.r. X + X 2 n est pas gaussienne : P (X + X 2 = = P (X = + P ( + Y = P (X = P ( + Y = = P ( + Y = = 2. Proposition.5. Si X est une v.a. gaussienne d-dimensionnelle, alors sa fonction caractéristique est ( φ X (u = exp ıu t E[X] 2 ut K X u, u R d. σ 2 i Démonstration. Soit u R d : on a φ X (u = E[e ıutx ] = φ u t X(. La v.a.r. u t X est gaussienne, d espérance u t E[X] et de variance u t K X u, donc φ ut X( = e ıut E[X] u t K X u/2, qui donne le résultat.

8. INTÉGRATION MULTI-DIMENSIONNELLE La loi d une v.a. gaussienne est donc déterminée par son espérance µ et sa matrice de covariance K. On note N (µ, K la loi correspondante. Une v.a. X est de loi N (µ, K si et seulement si la v.a. X µ est de loi N (, K. Proposition.6. Soit X une v.a. gaussienne d-dimensionnelle et d,..., d l des entiers positifs tels que d + + d l = d. Pour k l, soit Y k := (X j d+ +d k <j d + +d k. La famille de v.a. gaussiennes (Y k k l est indépendante si et seulement si K Y. K X =.............. K Yl Démonstration. La famille (Y k k l est indépendante si et seulement si soit d après la proposition.5, u R d φ X = l φ Yk, k= ( exp ıu t E[X] 2 ut K X u = l k= en notant v k := (u j d+ +d k <j d + +d k. Cela équivaut à d où le résultat. u R d u t K X u = exp (ıv ke[y t k ] 2 vt kk Yk v k, l vkk t Yk v k, Remarque.5. Ce résultat montre que si la v.a. bi-dimensionnelle (X, Y est gaussienne, le couple {X, Y } est indépendant si et seulement si Cov(X, Y =. Plus généralement, si X := (X,..., X n est gaussienne, la famille {X,..., X n } est indépendante si et seulement si la matrice de covariance K X est diagonale. L hypothèse que (X,..., X n est un vecteur gaussien est importante. Reprenant l exemple de la remarque??, X et X 2 sont deux v.a.r. de loi N (, et X := (X, X 2 t n est pas une v.a. gaussienne. On a Cov(X, X 2 = E[X X 2 ] = E[X 2 Y ] = E[X 2 ]E[Y ] = Var(X E[Y ] =. Par contre, pour x R, P (X x, X 2 x = P (X x, X x, Y = + P (X x, X x, Y = alors que k= = P ( x X xp (Y = + P (X xp (Y = = 2 (2Φ(x + Φ(x = 3 2 Φ(x 2, P (X xp (X 2 x = P (X x = Φ(x 2. Donc X, X 2 ne sont pas indépendantes.

2. CALCUL DES PROBABILITÉS 9 Proposition.7. Soit µ R d et K une matrice réelle symétrique semidéfinie positive d ordre d. Il existe une v.a. gaussienne d espérance µ et de matrice de covariance K. Démonstration. On peut supposer µ =. On note r le rang de la matrice K. Soit P la probabilité de densité f(x := 2 e x /2, x R r (2π r/2 sur l espace probabilisable (R r, B(R r. La v.a. r-dimensionnelle a la loi de densité f. Donc et K X a pour éléments X : x R r x R r E[X] = xf(xdx = R r R r x i x j f(xdx = δ i,j donc K X = I r. En utilisant la méthode de Gauss de décomposition des polynômes quadratiques, on montre qu il existe une matrice A de dimension (d, r telle que K = AA t. La v.a. d-dimensionnelle Y := AX est gaussienne ; son espérance est nulle et K Y = E[Y Y t ] = AE[XX t ]A t = AA t = K, d où le résultat. Corollaire. Soit µ R d et K une matrice réelle symétrique définie positive d ordre d. La loi N (µ, K a pour densité g µ,k (x := e (x µt K (x µ/2, x R d. (2π d/2 dét K Démonstration. Soit Y une v.a. d-dimensionnelle de loi N (µ, K, construite selon la proposition.7 : Y = AX + µ, où K = AA t et X est de loi de densité f X (x = 2 e x /2, x R d. (2π d/2 D après la proposition.7, la loi de la v.a. Y a pour densité Comme on a f Y (y = dét K = (dét A 2, (2π d/2 dét A e A (y µ 2 /2, y R d. A (y µ 2 = (y µ t A t A (y µ = (y µ t K (y µ, f Y (y := qui est le résultat. (2π d/2 dét K e (y µt K (y µ/2, y R d,

2. INTÉGRATION MULTI-DIMENSIONNELLE 3. Méthodes de Monte Carlo On revient au problème d estimation d une intégrale. Soit π une probabilité sur (R d, B(R d et g une fonction mesurable sur (R d, B(R d, telle que g(x dπ(x < +. R d On note I π (g := g(xdπ(x. R d Soit (X n n une suite de variables aléatoires d-dimensionnelles sur un espace probabilisé (Ω, T, P, équidistribuées de loi π. Alors (g X n n est une suite de v.a.r. équidistribuées intégrables et E[g X n ] = g X n (ωdp (ω = g(xdπ(x = I π (g. Ω R d Si (Y n n est une suite de v.a.r. équidistribuées, intégrables, de moyenne µ, on appelle moyenne empirique et on note Y N la v.a.r. Alors Y N := N (Y + Y 2 + + Y N. E[Y N ] = N (E[Y ] + E[Y 2 ] + + E[Y N ] = E[Y ] = µ. On dit que Y N est un estimateur sans biais de µ. Ici, g X N := N (g X + g X 2 + + g X N est un estimateur sans biais de I π (g. Définition.3. On dit qu une suite (X n n de v.a. converge presque sûrement vers une v.a. X si On note X n p.s. X. P ({ ω Ω : lim n X n(ω = X(ω } =. Définition.4. Soit (X n n et X des v.a. dans L p. On dit que la suite (X n n converge vers X dans L p si On note X n L p X. lim E[ X X n p ] =. n Définition.5. On dit qu une suite (X n n de v.a. converge en probabilité vers une v.a. X si ε > lim P ( X n X > ε =. n On note X n P X. Théorème. (Loi forte des grands nombres. Soit (X n n une suite indépendante de v.a.r. équidistribuées. La suite (X N N converge presque sûrement si et seulement si les v.a.r. X n sont intégrables. La limite est alors la valeur commune µ des espérances des X n et la suite (X N N converge vers µ dans L.

3. MÉTHODES DE MONTE CARLO 2 Revenant au problème d estimation d une intégrale, soit π une probabilité sur (R d, B(R d et g une fonction mesurable sur (R d, B(R d, telle que R d g(x dπ(x < +. Soit (X n n une suite indépendante de variables aléatoires d-dimensionnelles sur un espace probabilisé (Ω, T, P, équidistribuées de loi π. Alors (g X n n est une suite indépendante de v.a.r. équidistribuées intégrables, d espérance I π (g. D après la loi forte des grands nombres, Si on suppose de plus : g X N p.s. I π (g. (g(x 2 dπ(x < +, R d on note ( 2 σπ(g 2 := (g(x 2 dπ(x (g(xdπ(x. R d R d Alors g X n est une v.a.r. de carré intégrable et E[(g X n 2 ] = (g X n (ω 2 dp (ω = (g(x 2 dπ(x, Ω R d donc Var(g X n = σπ(g. 2 Si (Y n n est une suite indépendante de v.a.r. équidistribuées de carré intégrable, de moyenne µ, de variance σ 2 on a Var(Y N = ( N N 2 Var(Y n = σ2 N. On appelle variance empirique et on note S 2 N la v.a.r. S 2 N := N ( ( 2 N Yn Y N = Yn 2 NY 2 N. N N On a et comme on a E [ S 2 ] N N = N n= n= n= ( [ ] [ E Y 2 2 ] N ( E Y N = σ 2 + µ 2 E [ Y 2 ] N N E [ Y 2 ] N = Var(Y N + E [ ] 2 σ 2 Y N = E [ S 2 ] N N = (σ 2 + µ 2 σ2 N N µ2 N + µ2, = σ 2. On dit que S 2 N est un estimateur sans biais de σ 2. Ici, S 2 π,n (g := ( N (g X n 2 N ( 2 g X N N n= est un estimateur sans biais de σπ(g. 2

22. INTÉGRATION MULTI-DIMENSIONNELLE Définition.6. On dit qu une suite (P n n de probabilités sur B(R d converge étroitement vers une probabilité P si, pour toute fonction f continue sur R d à valeurs réelles et bornée, lim n R d f(xdp n (x = R d f(xdp (x. Proposition.8. Soit (P n n et P des probabilités sur (R d, B(R d ; les conditions suivantes sont équivalentes. ( la suite (P n n converge étroitement vers P, (2 pour toute fonction f, continue sur R d, à valeurs réelles, qui tend vers à l infini, lim n f(xdp n (x = R d f(xdp (x, R d (3 pour tout ouvert O R d, (4 pour tout fermé F R d, lim inf n P n(o P (O, lim sup P n (F P (F, n (5 pour tout borélien B B(R d, tel que P ( B =, lim P n(b = P (B. n (6 pour tout rectangle R R d, à côtés parallèles aux axes (éventuellement non bornés et tel que P ( R =, lim P n(r = P (R. n Définition.7. Soit (X n n, X des v.a. sur un espace probabilisé (Ω, T, P. On dit que la suite (X n n converge en loi vers X si la suite des lois (P Xn n converge étroitement vers la loi P X. On note X n L X ou Xn L PX. Proposition.9. Si (X n n et X sont des v.a.r. sur un espace probabilisé (Ω, T, P, la suite (X n n converge en loi vers X si et seulement si en tout point x R où F X est continue. lim F X n (x = F X (x, n L Proposition.2. Soit (X n n et X des v.a. telles que X n X. Si f : R d R d est une fonction continue, on a f X n L f X. Proposition.2. Soit (X n n et X des v.a.r. On a X n p.s. X X n P X Xn L X.

3. MÉTHODES DE MONTE CARLO 23 Théorème.2 (Théorème de limite central. Si (X n n est une suite indépendante de v.a.r. équidistribuées et dans L 2, on a ( N [ N ] L X n E X n N (, σ 2, N n= où σ 2 est la variance commune des X n. n= Soit (Y n n une suite indépendante de v.a.r. équidistribuées dans L 2. On note µ l espérance commune, σ 2 la variance commune des Y n et On a Z N := Y N µ σ/ N. E[Z N ] = et Var(Z N =. Comme N(Y N µ L N (, σ 2, on a : Donc si a >, c est-à-dire Z N L N (,. lim P ( Z N a = 2Φ(a, N ( lim P Y N µ σa = 2Φ(a. N N Exemple.5. Soit (U n n une suite indépendante de v.a.r. de loi uniforme sur [, ]. Donc soit E[U ] = xdx = 2, E[U 2 ] = x 2 dx = 3 Var(U = E[U 2 ] (E[U ] 2 = 3 4 = 2. U N /2 / 2N L N (,, U + U 2 + + U N N/2 N/ 2 L N (,. En prenant N = 2, U + U 2 + + U 2 6 est approximativement de loi N (,. Proposition.22. Soit (X n n une suite indépendante de v.a.r. équidistribuées et dans L 2, d espérance µ et de variance σ 2. Si X N := N X n et S 2 N := ( N Xn 2 NX 2 N, N N on a, pour tout a >, n= n= ( lim P X N µ S Na = 2Φ(a. N N

24. INTÉGRATION MULTI-DIMENSIONNELLE Démonstration. La suite (X n n est une suite indépendante de v.a.r. équidistribuées dans L donc, d après la loi forte des grands nombres (théorème. par conséquent X N p.s. E[X ] = µ X 2 N p.s. µ 2. La suite (X 2 n n est une suite indépendante de v.a.r. équidistribuées dans L donc, d après la loi forte des grands nombres (théorème. Par conséquent donc S 2 N = N N ( N n= N N n= X 2 n p.s. E[X 2 ]. N Xn 2 X 2 p.s. N E[X 2 ] (E[X ] 2 = Var(X = σ 2, S N p.s. σ. D après le théorème de limite central (théorème.2, pour tout a >, où Soit < α < a. On a { Y N S N a} donc De même lim P ( Y N σa = 2Φ(a, N Y N := N(X N µ. = { Y N σ(a + α, Y N S N a} + { Y N > σ(a + α, Y N S N a} { Y N σ(a + α} + {σ(a + α < S N a} ( σα P ( Y N S N a P ( Y N σ(a + α + P a < S N σ. { Y N σ(a α} donc = { Y N σ(a α, Y N S N a} + { Y N σ(a α, Y N > S N a} Par conséquent { Y N S N a} + {S N a < σ(a α} P ( Y N σ(a α P ( Y N S N a + P ( σα a < σ S N P ( Y N σ(a α P ( σα a < σ S N. P ( Y N S N a ( σα P ( Y N σ(a + α + P a < S N σ.

3. MÉTHODES DE MONTE CARLO 25 Soit ε >. Comme lim Φ(a α = Φ(a = lim Φ(a + α, α α> il existe < α < a tel que α α> Φ(a ε < Φ(a α < Φ(a < Φ(a + α < Φ(a + ε. Il existe N N tel que si N N, P ( Y N σ(a α 2Φ(a α ε 2Φ(a 3ε, P ( Y N σ(a + α 2Φ(a + α + ε 2Φ(a + 3ε. Comme p.s. S N σ on a P S N σ donc il existe N 2 N tel que si N N 2, ( P σ S N > σα ( σ σα P SN > < ε, ( a a P S N σ > σα ( SN P σ > σα < ε. a a Finalement pour tout N max(n, N 2 donc Par conséquent qui est le résultat. 2Φ(a 4ε P ( Y N S N a 2Φ(a + 4ε P ( Y N S N a 2Φ(a + 4ε. lim P ( Y N S N a = 2Φ(a, N On revient au problème d estimation d une intégrale. Soit π une probabilité sur R d et soit g une fonction mesurable sur R d, telle que g 2 (xdπ(x < +. R d Si (X n n est une suite indépendante de variables aléatoires d-dimensionnelles sur un espace probabilisé (Ω, T, P, équidistribuées de loi π, alors (g X n n est une suite indépendante de variables aléatoires réelles équidistribuées, d espérance I π (g et de variance σπ(g. 2 D après le théorème de limite central, pour tout a >, lim P N L intervalle aléatoire [ N ( N N n= N g X n I π (g σ π(ga = 2Φ(a. N n= g X n σ π(ga, N N N n= s appelle l intervalle de confiance de niveau de confiance β := 2Φ(a. g X n + σ ] π(ga N Le tableau 2 indique le niveau de confiance en fonction de a. En général, la valeur

26. INTÉGRATION MULTI-DIMENSIONNELLE Table 2. Niveau de confiance a, 96 2 2, 5758 3 2Φ(a, 6826, 95, 9544, 99, 9974 Table 3. Calcul de [,] 5 5 ( π 2 sin(πx i dx par la formule des point-milieux composée sur une subdivision uniforme de l intervalle [, ] en m mailles ; N = m 5 est le nombre de points d intégration m N Résultat Erreur 3 243, 2593, 2593 4 24, 379, 379 5 3 25, 86, 86 6 7 776, 589, 589 7 6 87, 429, 429 8 32 768, 327, 327 9 59 49, 257, 257, 28, 28 de la variance σπ(g 2 n est pas connue. Son estimateur sans biais est la variable aléatoire S 2 π,n (g := ( N ( N 2 (g X n 2 N g X n. N N n= D après la proposition.22, pour tout a >, ( lim P N g X n I π (g N N S π,n (ga = 2Φ(a, N n= n= L intervalle aléatoire [ N g X n S π,n (ga, N N N N n= n= g X n + S ] π,n (ga N s appelle également intervalle de confiance de niveau de confiance β := 2Φ(a. C est l intervalle que l on utilise dans la pratique. Exemple.6. Soit On veut approcher I := R R := [, ] 5. 5 ( π 2 sin(πx i dx =. par la méthode des point-milieux composée et par une méthode de Monte Carlo. Pour la méthode des point-milieux composée, on choisit une subdivision uniforme de [, ] à m mailles : le nombre de points d intégration est alors égal à N = m 5. Les résultats des calculs et les erreurs (en valeur absolue sont indiqués dans le Tableau 3.

3. MÉTHODES DE MONTE CARLO 27 Table 4. Calcul de [,] 5 5 ( π 2 sin(πx i dx par une méthode de Monte Carlo ; N est le nombre de points d intégration N Résultat Erreur 243, 62, 62 24, 9983, 7 3 25, 34, 34 7 776, 9878, 22 6 87, 9998, 2 32 768, 994, 86 59 49, 9989,, 9975, 25 Pour la méthode de Monte Carlo, on choisit 5 ( π f(x := R (x, g(x := i 2 sin(πx, x R 5. Avec un ordinateur, on obtient les valeurs d un ensemble indépendant (X n n N de N variables aléatoires de dimension 5, de loi uniforme sur R (voir chapitre suivant. Les résultats des calculs et les erreurs sont indiqués dans le Tableau 4. La Figure montre les résultats du calcul utilisant la formule des point-milieux composée et ceux du calcul par une méthode de Monte Carlo, en indiquant un intervalle de confiance de niveau de confiance 95%.

28. INTÉGRATION MULTI-DIMENSIONNELLE.8.7.6.5.4.3.2..9.8 2 2.5 3 3.5 4 4.5 5 Figure. Calcul de [,] 5 5 ( π 2 sin(πx i dx par la formule des point-milieux composée (cercles et par une méthode de Monte Carlo. L axe des abscisses indique le nombre de points d intégration (échelle logarithmique, base.

CHAPITRE 2 Génération de nombres aléatoires On veut pouvoir faire deux choses. ( Engendrer une suite U, U 2,... de variables aléatoires réelles indépendantes, de loi uniforme sur [, ]. (2 Étant donnée une suite U, U 2,... de v.a.r. indépendantes, de loi uniforme sur [, ] et une probabilité π sur R d, trouver d et h : [, ] d R d, tels que h(u, U 2,..., U d soit de loi π. Exemple 2.. Soit U une v.a.r. de loi uniforme sur [, ] et D := 6U +. Comme < U < presque sûrement, on a D {, 2,..., 6} presque sûrement. Pour k {, 2,..., 6}, ( k P (D = k = P ( 6U = k = P (k 6U < k = P U < k 6 6 = k 6 k = 6 6. On a simulé un lancer de dé.. Générateurs de nombres pseudo-aléatoires Les générateurs de nombres aléatoires qui fonctionnent avec des processus physiques sont lents, coûteux et les expériences numériques ne sont pas reproductibles. On utilise plutôt des générateurs de nombres pseudo-aléatoires. Les langages de programmation possèdent un générateur de nombres pseudoaléatoires RANDOM. ( Un appel u de RANDOM est la valeur d une v.a.r. U de loi uniforme sur [, ] : U(ω := u. (2 Une suite d appels u n de RANDOM fournit les valeurs d une suite indépendante de v.a.r. (U n n de loi uniforme sur [, ] : U (ω = u, U 2 (ω = u 2,... Ces générateurs fonctionnent en général de la manière suivante (f et g sont deux fonctions : x, x,..., x i à choisir x n+ = f(x n i, x n i,..., x n, n i u n := g(x n, n. 29

3 2. GÉNÉRATION DE NOMBRES ALÉATOIRES Exemple 2.2 (Fibonacci. Soit m un grand entier : on utilise l algorithme x, x entiers à choisir entre et m x n+ = x n + x n mod m u n := x n m, n. Mais si des v.a.r. X n et U n sont définies ainsi, on a {U n < U n+ < U n } =. En effet, si X n + X n < m, alors X n+ = X n + X n donc U n+ = U n + U n et par conséquent U n+ U n ; si X n +X n m, alors X n+ = X n +X n m donc U n+ = U n +U n et par conséquent U n+ < U n. Si (U n n était une suite indépendante de v.a.r. de loi uniforme U(, on aurait P (U n < U n+ < U n = {(x,y,z:x<y<z} (x, y, zdxdydz [,] 3 = ( y( z dx dz dy = 6. Des générateurs de nombres pseudo-aléatoires classiques sont les générateurs à congruence linéaire. On a des entiers : m grand, a < m premier avec m et c < m. On utilise l algorithme : x entier à choisir entre et m x n+ = ax n + c mod m u n := x n m, n. On note S(x, a, c, m la suite engendrée par congruence linéaire. Il existe des entiers λ m et µ < m (avec λ + µ m tels que les nombres x, x,..., x λ+µ sont distincts, n µ x n+λ = x n. Le plus petit entier λ vérifiant ces propriétés s appelle la période de la suite (x n n. Lemme 2.. Soit p un entier premier et e un entier strictement positif, avec p e > 2. Si x = mod p e et x mod p e+, alors x p = mod p e+ et x p mod p e+2. Démonstration. On a x = + qp e, avec q non multiple de p. Donc ( ( p p x p = + pqp e + q 2 p 2e + + q p p (p e + q p p pe 2 p ( = + qp e+ + ( p qp e + + ( p q p 2 p (p 2e + q p p (p e. p 2 p p Si p est premier et 2 k p, p divise ( p. k

2. MÉTHODES D INVERSION 3 Et si p e > 2, alors (p e >, donc chacun des termes dans la parenthèse, sauf le premier, est un entier divisible par p : d où le résultat. Lemme 2.2. Soit m = p e pe k k la décomposition de m en facteurs premiers. Si x,i, a i, c i sont les entiers p ei i vérifiant x,i = x mod p ei i et a i = a mod p ei i et c i = c mod p ei i, alors la période λ de la suite S(x, a, c, m est le p.p.c.m. des périodes λ i des suites S(x,i, a i, c i, p ei i. Proposition 2.. La période du générateur à congruence linéaire : { x entier à choisir entre et m est égale à m si et seulement si x n+ = ax n + c ( c et m sont premiers entre eux, mod m (2 tout facteur premier de m divise a, (3 si 4 divise m, alors 4 divise a. Exemple 2.3 (RANDU. C est le générateur à congruence linéaire : x entier à choisir entre et 2 3 x n+ = 65 539 x n mod 2 3 u n = x n, n. 23 Si x est impair, sa période est égale à 2 29. Comme 65 539 = 2 6 + 3 = 2 6 + 2 +, on a x n+ = 2 6 x n + 2x n + x n mod 2 3 qui rend le calcul sur ordinateur facile. Par contre on a, modulo 2 3, x n+2 = (2 6 + 3 2 x n = (6 2 6 + 9x n = (6(2 6 + 3 9x n = 6x n+ 9x n. Donc 2 3 divise x n+2 6x n+ + 9x n : par conséquent u n+2 6u n+ + 9u n est un entier qui est compris entre 5 et 9 : les points (u n, u n+, u n+2 appartiennent à 5 plans dans le cube unité [, ] 3. Si des v.a.r. X n et U n sont définies ainsi, (U n n n est pas une suite indépendante de v.a.r. de loi uniforme U(,. 2. Méthodes d inversion Proposition 2.2. Soit F une fonction d une variable réelle, à valeurs dans [, ], croissante (au sens large, continue à droite et telle que lim F (x =, lim x Soit H sa fonction inverse généralisée définie par F (x =. x + H(u := inf{x R : F (x u}, < u <. C est une fonction à valeurs dans R, borélienne, croissante (au sens large, continue à gauche. Soit U une v.a.r. de loi uniforme sur [, ]. Alors la v.a.r. X = H U admet F comme fonction de répartition.

32 2. GÉNÉRATION DE NOMBRES ALÉATOIRES Démonstration. Pour u (,, x R, on a H(u x u F (x donc {u (, : H(u x} = (, F (x] (,. Cela prouve que H est borélienne et donc que X est une v.a.r. Si < u < v <, on a donc {x R : F (x v} {x R : F (x u}, H(v = inf{x R : F (x v} inf{x R : F (x u} = H(u, ce qui prouve que H est une fonction croissante. Soit (u n n une suite croissante de (, qui converge vers u (,. La suite (H(u n n est croissante et majorée par H(u, donc elle converge vers x H(u. On a H(u n x donc u n F (x donc u F (x donc H(u x, donc x = H(u, soit H(u = lim H(u n, n ce qui prouve que H est continue à gauche. La fonction de répartition F X de la v.a.r. X vérifie : ce qui donne le résultat final. F X (x = P (H U x = P (U F (x = F (x, Remarque 2.. Si F est bijective, alors H = F. En effet, si F (x u alors x F (u donc H(u F (u, F (F (u = u donc F (u H(u. Exemple 2.4. Soit λ > et f(x := λe λx [,+ (x et F (x := ( e λx [,+ (x, x R la densité et la fonction de répartition de la loi exponentielle. L inverse généralisée de F est : H(u := Ln ( u, < u <. λ Donc, si U est une v.a.r. de loi uniforme U(,, X := Ln ( U λ est une v.a.r. de loi exponentielle E(λ. L algorithme utilisant la méthode d inversion est : U v.a.r. de loi uniforme sur [, ] ; V := U ; X := λ Ln V. Comme V := U est également une v.a.r. de loi uniforme U(,, Y := λ Ln (U est aussi une v.a.r. de loi exponentielle E(λ. Un algorithme plus simple est donc U v.a.r. de loi uniforme sur [, ] ;

2. MÉTHODES D INVERSION 33 X := Ln U. λ Exemple 2.5. Soit g µ,σ 2(x := σ 2 2π e (x µ /2σ 2 et G µ,σ 2(x := σ 2π x e (y µ2 /2σ 2 dy la densité et la fonction de répartition de la loi N (µ, σ 2. La fonction G µ,σ continue, strictement croissante, donc inversible ; on a G µ,σ 2(x = 2 + σ 2π x µ e (y µ2 /2σ 2 dy = 2 + ( x µ 2 erf σ. 2 est Donc, si U est une v.a.r. de loi uniforme sur [, ], X := µ + σ 2erf (2U est une variable gaussienne de loi N (µ, σ 2. L algorithme utilisant la méthode d inversion est : U v.a.r. de loi uniforme sur [, ] ; V := µ + σ 2erf (2U ; Application aux lois discrètes ( Soit x < x 2 < < x n un ensemble fini de réels et P := n p k δ xk une loi discrète sur (R, B(R. Sa fonction de répartition est si x < x p si x x < x 2 p + p 2 si x 2 x < x 3 F (x =... p + p 2 + + p n si x n x < x n p + p 2 + + p n = si x n x. L inverse généralisé de F est : x si < u p x 2 si p < u p + p 2 H(u =... x n si p + p 2 + + p n 2 < u p + p 2 + + p n x n si p + p 2 + + p n < u < p + p 2 + + p n =. k= (2 Soit x < x 2 < une suite de réels et P := k p k δ xk

34 2. GÉNÉRATION DE NOMBRES ALÉATOIRES une loi discrète sur (R, B(R. Sa fonction de répartition est : si x < x p si x x < x 2 F (x = p + p 2 si x 2 x < x 3... L inverse généralisée de F est : x si < u p H(u = x 2 si p < u p + p 2... Exemple 2.6. Soit λ > et la loi de Poisson : λ λk P(λ := e k! δ k. k= Sa fonction de répartition est : si x < e λ si x < F (x = e λ ( + λ si x < 2 e λ( + λ + λ2 si 2 x < 3 2 Son inverse généralisée H est : si < u e λ si e λ < u e λ ( + λ H(u = 2 si e λ ( + λ < u e λ( + λ + λ2 2 Donc l algorithme utilisant la méthode d inversion est : U v.a.r. de loi uniforme sur [, ] ; pour k =,, 2,... si e λ( + λ + + On remarque, si alors λk (k! < U e λ( + λ + + λk, alors X := k. k! λ λk p k := e k!, p k = λ k p k, k. Donc un algorithme plus économique est : P e λ S P X U v.a.r. de loi uniforme sur [, ] ; k

3. MÉTHODES DE REJET 35 si S < U, k k + P λ k P S S + P sinon, X := k 3. Méthodes de rejet Proposition 2.3. Soit (X n n une suite indépendante de v.a. d-dimensionnelles définies sur un espace probabilisé (Ω, T, P, équidistribuées. Soit B B(R d tel que p := P (X B >. On définit deux nouvelles v.a. Y et N par : X (ω si X (ω B X 2 (ω si X (ω / B et X 2 (ω B Y (ω := X 3 (ω si X (ω / B, X 2 (ω / B et X 3 (ω B... et Alors si X (ω B 2 si X (ω / B et X 2 (ω B N(ω := 3 si X (ω / B, X 2 (ω / B et X 3 (ω B... ( La loi de Y est P X ( B (2 La v.a.r. N est de loi géométrique G(p. Démonstration. Soit A n := {X n B} On a P (A n = p ; la suite (A n n est une suite indépendante d évènements, telle que P (A n = +. n D après le lemme de Borel-Cantelli, donc et par conséquent Soit P (lim sup A n =, n ( P n ( P A + ( A n \ n 2 A n = n m= A m =. ( P {X B} + n 2{X / B,..., X n / B, X n B} =.

36 2. GÉNÉRATION DE NOMBRES ALÉATOIRES ( Soit C B(R d ; on a donc P (Y C = P (Y C, X B + P (Y C, X / B, X 2 B + P (Y C, X / B, X 2 / B, X 3 B + = P (X C, X B + P (X 2 C, X / B, X 2 B + P (X 3 C, X / B, X 2 / B, X 3 B + = P (X B C + P (X / B, X 2 B C + P (X / B, X 2 / B, X 3 B C + = P (X B C + P (X / BP (X 2 B C + P (X / BP (X 2 / BP (X 3 B C + = P (X B C + P (X / BP (X B C + P (X / B 2 P (X B C + P (Y C = P (X / B P (X B C = P (X B C P (X B = P (X C X B. (2 On a P (N = = P (X B = p et, si n 2 P (N = n = P (X / B,..., X n / B, X n B = P (X / B P (X n / BP (X n B = ( p n p, d où le résultat. Remarque 2.2. La v.a.r. N de la proposition 2.3 vérifie E[N] = p. On sortira d autant plus vite de la boucle de calcul que p( est proche de. Proposition 2.4. Soit (X n n une suite indépendante de v.a. de loi uniforme sur D, où Soit D B(R d, avec D B(R d et < λ(d < +. D D et λ(d >. On définit une nouvelle v.a. Y par : X (ω si X (ω D X 2 (ω si X (ω / D et X 2 (ω D Y (ω := X 3 (ω si X (ω / D, X 2 (ω / D et X 3 (ω D... Alors Y est de loi uniforme sur D.

3. MÉTHODES DE REJET 37 Démonstration. On a P (X D = λ(d D λ(d Soit C B(R d : d après la proposition 2.3, on a donc = λ(d λ(d >. P (Y C = P (X C D, P (X D P (Y C = λ(c D D λ(d d où le résultat. λ(d λ(d D λ(c D =, λ(d L indice de sortie N, qui donne le nombre de parcours de boucle est de loi géométrique de paramètre p := λ(d λ(d. Comme E[N] = /p = λ(d /λ(d, on a intérêt à choisir λ(d voisin de λ(d. Exemple 2.7. Soit D := {(x, x 2 R 2 : x 2 + x 2 2 } et D := [, ] 2. L algorithme de simulation de la loi uniforme sur le disque unité est : ((U n,, U n,2 n suite indépendante de v.a. de loi uniforme sur [, ] 2 ; X n, := 2U n,, X n,2 := 2U n,2 ; R2 n := X 2 n, + X 2 n,2 ; si R2, alors (Y, Y 2 := (X,, X,2 ; pour n = 2, 3, 4,... si R2 >,..., R2 n >, R2 n, alors (Y, Y 2 := (X n,, X n,2. Proposition 2.5. Soit f une densité de probabilité sur R d et D f := {(x, y R d R + : y f(x}. Soient X une v.a. d-dimensionnelle et Y une v.a.r. à valeurs dans R +, définies sur un espace probabilisé (Ω, T, P. Alors (X, Y est de loi uniforme sur D f si et seulement si ( la loi de X a pour densité f, (2 pour tout B B(R d tel que P (X B > et tout B 2 B(R +, B P (Y B 2 X B = λ(b 2 [, f(x]dx. B f(xdx Démonstration. On a λ(d f = dxdy = { y f(x} R d ( f(x dy dx = f(xdx =. R d On suppose que (X, Y est de loi uniforme sur D f. Si B B(R d R +, P ((X, Y B = λ(b D f = dxdy, B D f