Méthodes de Monte-Carlo

Transcription

1 Méthodes de Mote-Carlo Aie MILLET Uiversités Paris 7 et Paris 1 Master ème aée : Spécialité Modélisatio Aléatoire Recherche et Professioel Parcours : Statistique et Modèles Aléatoires e Fiace Parcours : Probabilités, Statistique et Applicatios : Sigal, Image, Réseaux * Laboratoire de Probabilités et Modèles Aléatoires, Uiversités Paris 6 et Paris 7, 175 rue du Chevaleret 7513 Paris Frace et SAMOS-MATISSE, Uiversité Paris 1, 9 Rue de Tolbiac, Paris Cedex 13 Frace amil@ccrjussieufr et amillet@uiv-paris1fr

2 Table des matières 1 Géérateurs de ombres pseudo-aléatoires et suites à discrépace faible 4 11 Itroductio 4 1 Quelques géérateurs fouris par les systèmes 6 13 Géérateurs portables 7 14 Suites à discrépace faible 1 Simulatio de variables aléatoires 16 1 Méthode d iversio 16 Méthode de rejet pour les lois uiformes 18 3 Méthode de rejet géérale 19 4 Lois gaussiees réelles 5 Vecteurs gaussies 5 6 Quelques autres lois classiques 7 7 Méthode de décompositio 8 8 Simulatio de vecteurs aléatoires 9 9 Méthode de mélage 9 1 Exercices 3 3 Simulatio de processus Mouvemet Browie 36 3 Itégrales stochastiques et diffusios Schéma d Euler Schéma de Milstei Processus de Poisso Chaîes de Markov Exercices 61 4 Équatio de Feyma-Kac et covergece faible des schémas de discrétisatio Géérateur ifiitésimal 64 4 Équatio de Feyma-Kac, problèmes de Cauchy et de Dirichlet Covergece faible du schéma d Euler Exercices 79 5 Méthode de Mote Carlo 8 51 Itroductio 8 5 Réductio de la variace Échatilloage préféretiel 85 5 Variables de cotrôle Variables atithétiques Méthode de stratificatio 9 55 Valeur moyee ou coditioemet Exercices 91 6 Méthode de Mote Carlo et chaîes de Markov Mesures ivariates et Théorème ergodique 96 6 Simulatio exacte d ue probabilité statioaire 1 63 Probabilités réversibles 14

3 64 Algorithme de Hastigs-Metropolis Algorithme du recuit simulé Exercices 1 3

4 1 Géérateurs de ombres pseudo-aléatoires et suites à discrépace faible 11 Itroductio Toute simulatio de Mote Carlo fait iterveir des ombres au hasard et il est doc crucial de répodre à deux questios : 1 Commet géérer ue suite de ombres x, 1 qui soit la réalisatio X ω, 1 d ue suite de variables aléatoires idépedates de même loi doée? Si ue telle suite de ombres ous est doée, commet décider si c est ue réalisatio acceptable de la loi demadée? Nous verros que d u poit de vue théorique, la répose à ces deux questios se ramèe au cas de la loi U[, 1] uiforme sur l itervalle [, 1]; c est ce qu o appelle des ombres pseudoaléatoires Pour la secode questio, la répose est que la suite doit passer u certai ombre de tests statistiques d adéquatio à la loi uiforme U[, 1] et d idépedace Rappelos deux tests classiques d adéquatio sur la suite U 1,, U de variables aléatoires simulées Pour utiliser le test du χ qui permet de tester l adéquatio à ue loi sur u esemble fii à p élémets, décomposos l itervalle [, 1] e p itervalles [k 1/p, k/p[ pour 1 k p et otos N k ω le ombre d idices i tels que U i ω [k 1/p, k/p[, Z = p N k /p /p k=1 Lorsque la suite U i, i 1 est idépedate de loi U[, 1], la suite Z, 1 coverge e loi vers u χ à p 1 degrés de liberté Par cotre, quad la suite U i, i 1 est idépedate de même loi différete de U[, 1], ou tout au mois telle que la probabilité PU 1 [k 1/p, k/p[ 1 pour au mois ue valeur de k {1,, p}, alors Z p coverge presque sûremet vers + Pratiquemet, o choisit doc ue valeur a telle que Pχ p 1 a 95 et si u i, 1 i désige les valeurs observées de la simulatio des U i et k désige le ombre des valeurs u i pour 1 i qui tombet das l itervalle [k 1/p, k/p[, lorsque p k /p k=1 > a o rejette l hypothèse : U /p 1,, U est u -échatillo de loi U[, 1] La foctio de répartitio d u χ à ν degrés de liberté est tabulée pour des valeurs de ν iférieures ou égales à 3 Si 3 < ν < 1 et si Z est u χ à ν degrés de liberté, la loi de Z ν 1 est proche de celle d ue gaussiee cetrée réduite N, 1 et fialemet, si ν 1 d après le théorème de la limite cetrale, la loi de Z ν ν est proche de celle d ue gaussiee cetrée réduite N, 1 Lorsque ν > 3, les quartiles sot approximés à partir des valeurs tabulées de la foctio de répartitio d ue gaussiee cetrée réduite N, 1 Ue variate du test précédet, basée sur la covergece vers le χ, permet égalemet de tester si la loi d u -upplet de vecteurs U1 k,, Uk r Rr : 1 k est de loi U[, 1] r Le test de Kolmogorov-Smirov compare la foctio de répartitio empirique F t = 1 1 {Ui t}, t [, 1] i=1 à la foctio de répartitio de la loi uiforme Ft = PU t = t, t [, 1] La suite S = sup{ F t t : t [, 1]} coverge e loi vers S dot la foctio de répartitio 4

5 PS t = 1 k=1 1k 1 e k t pour t ], 1] est tabulée si U i, i 1 est u échatillo de loi U[, 1] e fait ce test d adéquatio est valable das ue situatio beaucoup plus géérale et la foctio de répartitio de S est correctemet approchée par celle de S si 1 De ouveau o choisit ue valeur de a telle que PS a 1 α par exemple a = 1, 36 si α = 5 et si sup t 1 i=1 1 {u i t} t > a o rejette l hypothèse : U 1,, U est u -échatillo de loi U[, 1] La répose à la première questio a doé lieu à ue très abodate littérature Les procédures qui permettet d obteir de telles suites de ombres sot totalemet détermiistes et plus ou mois sophistiquées Voici la liste des qualités que devrait avoir u algorithme de géératio de ombres pseudo-aléatoires défiies par Bret [] - Uiformité La suite doit passer avec succès les tests d uiformité et d idépedace précédets Si de ombreux géérateurs utilisés das le passé avaiet de très mauvaises propriétés statistiques, o dispose actuellemet de géérateurs qui passet coveablemet ces tests - Idépedace La suite u, 1 et aussi des sous-suites du type u d, 1 doivet être idépedates au mois pour de «petites» valeurs de d, telles que d 6 - Période La plupart des géérateurs utilisés sot des suites périodiques et les programmes fot facilemet appel à de 1 valeurs de la suite avec de l ordre de 3 ou plus Ceci impose d avoir u géérateur ayat ue très logue période - Reproductibilité Pour tester u programme, il faut pouvoir reproduire exactemet la suite de ombres x, 1 géérée - Portabilité Il faut pouvoir faire exécuter le programme sur des machies différetes et que les suites fouries par des ordiateurs avec ue architecture de 3 bits ou de 64 bits soiet idetiques si elles ot la même valeur iitiale - Sous-suites disjoites Si ue simulatio est effectuée sur ue machie multiprocesseurs ou si le calcul est distribué à travers u réseau, il faut que les sous-suites utilisées par chaque sous-tâche du programme soiet idépedates - Efficacité L appel au géérateur état fait u très grad ombre de fois, il faut que so programme soit le plus simple possible et écessite peu d opératios qui doivet être peu coûteuses e temps de calcul Il est impossible de préseter das ces otes tous les géérateurs de ombres pseudoaléatoires utilisés Les sectios suivates e présetet quelques us fouris par les systèmes ou portatifs La plupart des géérateurs sot de type «cogrueciel», c est à dire qu ils fourisset ue suite d etiers x, doés par la relatio de récurrece : x +1 = a x + c modm ; la valeur iitiale x est appelée racie, a est le multiplicateur, c est l accroissemet et m le module de la suite La suite x pred ses valeurs etre et m 1 et la suite x /m, 1 pred ses valeurs das l itervalle [, 1[ La période maximale d u tel géérateur est m et le théorème suivat doe des coditios écessaires et suffisates pour que la période soit m Théorème 11 La suite x +1 = a x + c mod m a ue période égale à m si et seulemet si : 1 les etiers c et m sot premiers etre eux Pour tout facteur premier p de m, a 1 est u multiple de p et si m est u multiple de 4, alors a 1 est u multiple de 4 5

6 Il peut être techiquemet itéressat d iterdire les valeurs et 1, c est à dire de simuler des réalisatios de la loi uiforme sur l itervalle ], 1[; il suffit alors de rejeter les valeurs trop proches de ou de 1 Les géérateurs les plus utilisés correspodet à u accroissemet c = et sot doc du type x +1 = a x modm Le théorème suivat doe des coditios écessaires et suffisates de maximisatio de la période si le module est u ombre premier Théorème 1 La période de la suite x +1 = a x modm avec u etier m premier est u diviseur de m 1 Elle est égale à m 1 si et seulemet si a est ue racie primitive de m 1, c est à dire si a et pour tout facteur premier p de m 1, a m 1 p 1 modm Si a est ue racie primitive de m 1 et si les etiers k et m 1 sot premiers etre eux, a k modm est égalemet ue racie primitive de m 1 L exemple «Miimal Stadard» d ue telle suite correspod à m = 31 1 qui est u ombre de Mersee premier et a = 7 5 = qui est ue racie primitive de m 1; sa période est doc 31 = de l ordre de, Quelques géérateurs fouris par les systèmes Tout d abord ue mise e garde; la plupart d etre eux ot de très mauvaises propriétés statistiques Si certais appartieet au passé, d autres sévisset toujours et avat de les utiliser il faut les tester et regarder leur source - Le géérateur RANDU de la Scietific Subroutie Package SSP d IBM doe u exemple «historique» de géérateur de petite période 9 ayat de très mauvaises propriétés statistiques : les triplets de tirages successifs appartieet qu à 15 plas La suite fourie par ce géérateur est x +1 = x mod 31 Pour que sa période soit maximale égale à 9 il faut que la racie soit u ombre premier - La foctio Radom e Pascal iso, utilisé par le logiciel sas fait appel au géérateur x +1 = x mod 31 Le fait que m soit ue puissace de et que a = = 5 7 soit tel que a mod 8 = 7 / {3, 5} etraîe que sa période est strictemet iférieure à 9, doc strictemet iférieure à celle du précédet Il a lui aussi de mauvaises propriétés statistiques que sas a teté de corriger par ue foctio de «battage» - Le géérateur rad écrit par les auteurs du système uix est x +1 = x mod 3 et a égalemet u mauvais comportemet statistique sigalé par le costructeur - Comme tous les lagages de programmatio, ANSI C cotiet u géérateur de ombres pseudo-aléatoires drad48 qui est le géérateur «Miimal Stadard» x +1 = x mod

7 Les routies suivates iitialiset puis géèret ue telle suite de ombres; #iclude <stdlibh> #iclude <stdioh> #iclude <mathh> double drad48; itmai{ drad48; pritf %lf\ drad48; retur; } Das ce programme, drad48 produira des ombres réels compris etre et 1 Par défaut, l amorce iitiale seed vaut 1 et, sas istructio complémetaire, la suite de ombres obteue par des appels successifs à drad48 sera toujours la même et pourra commecer par suivat les compilateurs; le premier appel «se débarrasse de» et l appel suivat est affiché à l écra après la compilatio L amorce peut être chagée par l istructio srad48seed avat les appels à drad48 e précisat la valeur de l etier seed Nous verros das la sectio suivate commet évetuellemet implémeter ce géérateur qui, s il est pas totalemet satisfaisat, est «mois mauvais» que les précédets Pratiquemet, si cette méthode de cogruece est rapide et écessite peu de calculs, ce géérateur «est pas très bo» pour plusieurs raisos qui variet d ue machie à l autre : la période m est pas assez grade et les termes successifs sot trop fortemet corrélés Même das le cas où la période est de l ordre de 3, le ombre de plas coteat des triplets peut être que de l ordre de Géérateurs portables Diverses procédures permettat d améliorer la simulatio d ue loi uiforme U[, 1] L ue d etre elles cosiste à programmer des géérateurs «portables» qui ot passé les tests statistiques et ot ue grade période Nous préseteros trois de ces géérateurs, appelés ra, ra1 et ra et tirés de Numerical Recipies i C [] Les codes C correspodats peuvet être télé-chargés à l adresse Web suivate : http ://sourcesredhatcom/gsl/ Sigalos efi le site http ://radommatsbgacat/liks/ etièremet cosacré à la simulatio Le géérateurra est le «Miimal Stadard» est utilisé par la commade Cdrad48; il remote à Lewis, Goldma et Miller 1969 puis a été repris par Park et Miller 1988 Il utilise la suite récurrete x j+1 = a x j modm avec a = 7 5 = et m = 31 1 = Il faut bie sûr e pas iitialiser avec x =, et l algorithme suivat de Schrague permet de calculer les termes successifs de la suite sas dépasser les capacités de la machie O fait la divisio euclidiee de m par a, soit m = a q + r, avec r = m mod a < a O obtiet q = et r = 386 < q O vérifie alors aisémet que pour tout etier x {1,, m 1}, a x mod q [ ] x est u etier compris etre et m 1 et que r est q u etier compris etre et m 1; de plus : a x mod q [ ] x r si c est positif ou ul, q a x mod m = a x mod q [ ] r + m sio 7 x q

8 Efi, comme m est premier et a < m, x j etraîe x j+1 O calcule 1/m e début de programme et la suite x i 1/m pred alors des valeurs strictemet comprises etre et 1, ce qui sera utile pour la suite E iitialisat i avec i avec la valeur o obtiet u géérateur «assez satisfaisat», dot la période est d après le Théorème 1, mais qui présete etre autres le défaut suivat : si ue des valeurs est iférieure à 1 6, la valeur suivate est iférieure à 1, 68 1 Cet algorithme présete doc u défaut de corrélatio etre les tirages successifs, même assez loi de la période de la suite Le défaut de corrélatio précédet pour des tirages cosécutifs peut être corrigé e choisissat «au hasard», c est à dire à l aide d autres appels au géérateur pour choisir d, le ombre x k avec k = j + d situé d places après j das la suite, puis e retourat comme tirage uiforme après x j la valeur x k Das le géérateur ra1 l algorithme de Park et Miller est mélagé avec ue shufflig-box de 3 élémets de Bayes-Durham; o suppose de ouveau que m = = 31 1, a = 16 87, q = et r = 836 O ote N = 3 le ombre de termes stockés pour l étape de sélectio aléatoire et D = 1+ [ ] m 1 N ; alors pour tout {,, m 1}, [ D] {,, N 1} L algorithme comporte trois étapes : Étape d iitialisatio du tirage O iterdit comme germe x puis o produit successivemet 8 valeurs de la suite x j+1 = a x j mod m par ue boucle critique qui est celle de ra : [ h x q ] t a x h q h r Si t < faire x t + m Sio x t Fi Ces valeurs serot «jetées» et o produit esuite par la même boucle critique N valeurs de la suite x j+1 = a x j mod m qui sot stockées das le tableau S[j] de j = 31 à j = O stocke aussi das la derière valeur prise par la suite récurrete et déjà stockée das S[] Étape de productio des tirages uiformes O calcule le terme suivat de la suite x j+1 = a x j mod m par la boucle critique précédete et o le stocke das x, puis o calcule j = [ D] {,, N 1}, o pred le terme S[j] qui est stocké das alors que x est stocké das S[j] m+1 O calcule efi u = qui est la valeur retourée à la fi de cette étape O peut évetuellemet remplacer les valeurs trop près de ou de 1 par u ε 1 ε à l aide d u seuil ε de l ordre de 1 7 pour simuler ue loi uiforme sur ], 1[ Si o peut se coteter d ue «petite» période, ce géérateur est satisfaisat car il doe de bos résultats quad o lui applique les test statistiques d idépedace et d équidistributio des tirages cosécutifs, sauf quad o s approche trop de la période de la suite e faisat plus de 1 8 tirages O peut alors utiliser d autres géérateurs qui ot ue plus logue période et sot satisfaisats d u poit de vue statistique Le géérateurra de L Ecuyer utilise deux géérateurs cogrueciels : m 1 = , a 1 = 4 14, q 1 = et r 1 = 1 11 pour le premier, m = , a = 4 69, q = et r = pour le secod O vérifie que la racie est pas ulle; sio o la remplace par 1 et o stocke la racie das y O pred de ouveau u tableau S[j], 8

9 j =,, N 1 avec N = 3 et o pose D = 1 + [ m 1 1 N ] O procède comme das ra1 pour l iitialisatio de S avec m = m 1 et o stocke le derier etier obteu das x et Das l étape de tirage, e utilisat respectivemet q 1, r 1 et q, r, o calcule a 1 x mod m 1 et a y mod m qui sot stockées das x et y respectivemet Si est le tirage uiforme sur {,, m 1 1} précédet, o calcule alors j = [ D] et o pose = S[j] y si ce ombre est strictemet positif et = S[j] y + m 1 sio, puis o stocke x das S[j] Il reste efi à diviser par m 1 et évetuellemet iterdire les valeurs trop proches de ou de 1 Comme le PGCD de m 1 et m et, la période combiée des deux suites sas teir compte de la sélectio aléatoire est de l ordre de 6, et ra a de boes propriétés statistiques La figure suivate motre la simulatio de poits uiformémet répartis das le carré [, 1] à l aide de la simulatio de 1 tirages de deux variables aléatoires idépedates de loi U[, 1] obteues par le géérateur de Scilab qui est ue versio de ra de P L Ecuyer et S Côté 1991; sa période est, Fig 1 Simulatio de 1 poits de loi uiforme sur le carré uité Il est impossible de préseter tous les géérateurs de ombres pseudo-aléatoires corrects existats O pourra se reporter à [15] pour ue grade variété de tels géérateurs Certais so implémetés das la bibliothèque de programmes C de GNU gsl les codes sot iclus si o e veut pas utiliser les librairies correspodates et parmi les «bos géérateurs», ils sigalet que les plus rapides sot les suivats : gsl rg de Makato Matsumoto et Takuji Nishmura 1998, aussi appelé Mersee Twister, a ue période de 1 6, gsl rg taus de P L Ecuyer 1999 est très bie équidistribué avec ue période de 1 6 Le géérateur par défaut de la bibliothèque ralib dispoible sur iteret l adresse suivate : http ://wwwetliborg/cgibi/searchpl est de P L Ecuyer et S Côté 1991; sa période est de, Nous e saurios trop isister sur le fait qu avat d utiliser u quelcoque de ces programmes dispoibles sur iteret, il faut impérativemet le tester soi même 9

10 Ue derière remarque : par défaut quel que soit le géérateur, la suite des ombres retourés sera toujours la même puisqu elle aura toujours la même racie; ce peut être utile das ue phase de mise au poit d u programme, mais uisible das d autres coditios Il est possible de retrer à la mai ue racie que l o choisit et de termier le programme e faisat stocker l état du système qui réiitialisera la racie das l exécutio suivate Ue telle procédure est dispoible par exemple das des routies de gsl, de etlib ou de Scilab Ue autre procédure cosiste à utiliser u géérateur miimal stadard iitialisé avec l horloge afi de géérer ue racie différete à chaque simulatio, sas risque d atteidre la période 14 Suites à discrépace faible Nous avos utilisé les géérateurs de ombres pseudo aléatoires pour calculer etre autres des itégrales par la méthode de Mote Carlo Ue autre faço de procéder cosiste à reocer au caractère «aléatoire» des tirages et de tirer des poits de faço «plus ordoée» O parle alors de méthode de quasi-mote Carlo qui utilise des suites à discrépace faible Das u programme, l appel à la foctio Radom qui doe le terme suivat d ue suite récurrete preat ses valeurs etre et 1 doit être remplacé par l appel au terme suivat de la suite à discrépace faible Das ce paragraphe, o pourra se reporter à [1] ou [19] pour les démostratios omises das les otes La défiitio suivate formalise la otio de suite équirépartie Pour tout a = a 1,, a d [, 1] d, et b = b 1,, b d [, 1] d o ote a b si a i b i pour tout i = 1,, d et [a, b] = {x [, 1] d : a x b}; o ote efi resp 1 le vecteur de R d dot toutes les composates sot ulles resp égales à 1 Défiitio 13 Ue suite x 1 est équirépartie das [, 1] d si pour tout a = a 1,, a d [, 1] d, 1 d lim 1 {xk [,a]} = a i = Πa k=1 La discrépace de la suite x, 1 est Dx 1 = sup a [,1] d i=1 1 {xk [,a]} Πa k=1 Pour tout etier 1, F a = 1 k=1 1 {x k [,a]} est la foctio de répartitio de la probabilité empirique µ = 1 k=1 δ x calculée au poit a Afi de motrer que la discrépace d ue suite équirépartie coverge vers, ous établissos le lemme suivat qui doe des coditios suffisates pour qu ue suite F de foctios de répartitio coverge uiformémet vers Π Lemme 14 Soit µ, 1 ue suite de probabilités sur la tribu des borélies de [, 1] d et F, 1 la suite des foctios de répartitio des µ telle que F Π das L 1 [, 1] d, λ où λ désige la mesure de Lebesgue Alors la suite F coverge uiformémet vers Π Démostratio : Soit µ ue probabilité sur la tribu des borélies de [, 1] d et F sa foctio de répartitio Soit a ], 1[ et A = [a, 1 a]d S il existe b > et x A tels que Fx Πx b; alors pour x x, Fx Πx b et Fx Πx dx [,x ] 1 Πx Πx b + dx

11 De même, s il existe x A tel que Fx Πx + b avec b >, alors pour x x 1, Fx Πx + b et : + Fx Πx dx Πx + b Πx dx [x,1] O [ déduit que si sup{ Fx Πx : x A} b >, il existe ue costate Ca, b a b d dd+1] > telle que Fx Πx dx Ca, b, c est à dire que : b Fx Πx dx < Ca, b etraîe que sup{ Fx Πx : x A} b O suppose que sup{ Fx Πx : x A} ε Si x [, 1] d est tel qu il existe i = 1,, d avec x i < a, alors Fx Πx Fx + Πx µa c + λa c Sio, soit y = x i 1 a, 1 i d A; alors : Fx Πx Fy Πy + Πx Πy + Fx Fy ε + λa c + µa c Clairemet, λa = 1 a d et e décomposat [, 1 a] d \A e d pavés o disjoits dot les poits extrémaux qui e sot pas situés sur les faces {x i = } appartieet à A, o déduit : ce qui etraîe que µa = µ[, 1 a] d µ[, 1 a] d \A [ ] Π[, 1 a] d ε d a 1 a d 1 + ε, sup x [,1] d Fx Πx + d ε + ] ] [1 1 a d + [1 1 a d + d a 1 a d 1 Pour tout α >, il suffit alors de choisir a > tel que 1 1 a d + [ 1 1 a d] +d a 1 a d 1 α, puis ε > tel que + d ε α Puisque lim F x Πx dx =, pour assez grad sup{ F x Πx : x A} ε, ce qui etraîe sup{ Fx Πx : x A} α Soit U, 1 ue suite de variables aléatoires idépedates de même loi uiforme sur [, 1] d et F, 1 la suite des foctios de répartitio empiriques associée défiies par F t = 1 1 [,t] U i, t [, 1] d 11 i=1 Le théorème de la limite cetrale motre que pour tout t [, 1] d, [ F t Πt ] coverge e loi vers ue gaussiee N, Πt Πt De plus le théorème de la limite cetrale vectoriel motre que pour tout t 1,, t d [, 1] d, le vecteur [ F t i Πt i ], 1 i d coverge e loi vers u vecteur gaussie cetré dot la matrice de covariace Σ est celle de 1 [,ti ]U 1 1 i d Si d = 1, la covariace du processus gaussie cetré Z limite est EZ s Z t = s t s t pour tout s, t [, 1], c est à dire la covariace du pot Browie W t t W 1, où W t, t désige u Browie stadard Le théorème suivat motre que la suite F des foctios de répartitio empiriques de la loi uiforme coverge vers Π; cette versio du théorème de Kolmogorov-Smirov est due à Doob-Dosker 11

12 Théorème 15 Soit U, 1 ue suite de variables aléatoires idépedates de même loi uiforme sur [, 1] d et F, 1 la suite des foctios de répartitio empiriques associée O ote D = sup{ F t Πt : t [, 1] d } i Si d = 1 et si W t, t [, 1] désige u mouvemet Browie stadard réel, D sup{ W t t W 1 : t [, 1]} e loi De plus, pour tout λ >, P sup W t t W 1 λ t [,1] = + j= 1 j e j λ ii Si d > 1, il existe u processus Gaussie cetré réel Z t, t [, 1] d à trajectoires cotiues de covariace E Z s Z t = Πs t Πs Πt, s, t [, 1] d, et la suite D coverge e loi vers sup{ Z t : t [, 1] d } Le théorème suivat doe la vitesse de covergece «maximale» de D vers ; cette loi du logarithme itéré est due à Chug et Kiefer Théorème 16 Soit U, 1 ue suite de variables aléatoires idépedates de même loi uiforme sur [, 1] d ; alors presque sûremet lim sup ll D = 1 L itérêt de la discrépace d ue suite pour des problèmes d approximatio d itégrale réside das le résultat suivat pour les foctios «à variatio fiie» qui sot itégrables au ses de Riema Pour tout vecteur x = x 1,, x d [, 1] d, otos x = 1 x 1,, 1 x d le symétrique de x par rapport au cetre de l hypercube [, 1] d et pour toute foctio f : [, 1] d R, otos fx = f x Défiitio 17 O dit qu ue foctio f : [, 1] d R est à variatio fiie s il existe ue mesure à variatio fiie µ sur l esemble des borélies de [, 1] d, dot le support est coteu das [, 1] d \{}, telle que pour tout x [, 1] d : fx = f + µ[, x] Cette mesure µ est uique et la variatio de f, otée V f est égale à la variatio totale µ de µ Le théorème suivat de Koksma et Hlawka relie l approximatio de l itégrale de f par la moyee de f le log d ue suite X à la discrépace de la suite Théorème 18 Soit f : [, 1] d R ue foctio à variatio fiie et x = x, 1 ue suite équirépartie sur [, 1] d Alors pour tout etier 1 : fx dx 1 fx k [,1] V f D x d k=1 1

13 La démostratio de ce théorème repose sur le lemme suivat Lemme 19 Soit µ ue mesure à variatio fiie sur [, 1] d, µ l image de µ par la symétrie x x par rapport au cetre de l hypercube [, 1] d et pour tout x [, 1] d, otos Fx = µ[, x] Alors : Πx d µx = Fx dx [,1] d [,1] d Démostratio : Puisque Πx est la foctio de répartitio de la mesure de Lebesgue λ sur [, 1] d calculée au poit x [, 1] d et que λ = λ, le théorème de Fubii etraîe que : Πx d µx = 1 [,x] y dy d µx [,1] d [,1] d [,1] d = 1 [, x] y dy dµx [,1] d [,1] d = 1 [,ȳ] x dµx dy [,1] d [,1] d = Fȳ dy = Fy dy [,1] d [,1] d Démostratio du Théorème 18 : D après la défiitio, F = f f est la foctio de répartitio de la mesure µ ; o e déduit e appliquat le Lemme 19 : [,1] d fx dx 1 fx k = k=1 = = = f x dx 1 f x k [,1] d k=1 Fx dx 1 F x k [,1] d k=1 [ ] Πx 1 1 { x xk } d µx [,1] d k=1 [ ] Πx 1 1 {xk x} d µx [,1] d k=1 Ceci etraîe immédiatemet : fx dx 1 [,1] d fx k D x µ = D x µ k=1 Il est doc importat de disposer de suites de discrépace aussi petite que possible Défiitio 11 O dit qu ue suite x, 1 à valeurs das [, 1] d est à discrépace faible si sa discrépace D x est asymptotiquemet meilleure que la discrépace D d ue suite aléatoire U, 1 de loi uiforme sur [, 1] d O peut prouver que la discrépace D x d ue suite quelcoque vérifie lim sup D x l d C d, 13

14 où C d > est ue costate e dépedat que de la dimesio d Les meilleures discrépaces coues sot asymptotiquemet O l d et cette discrépace est «presque» optimale Nous idiquos quelques exemples de suites à discrépace faible O e trouvera d autres das [19] Suite de Va Der Corput Soit p u etier strictemet supérieur à 1 Pour tout ombre etier positif o ote a,, a r les coefficiets de la décompositio p-adique de x, c est à dire les ombres etiers tels que : = a + a 1 p + + a r p r, a r >, a i < p pour i r La suite de Va Der Corput e base p est doée par φ p = a p + a 1 p + + a r 1 pr+1 Aisi, lorsque la décompositio p-adique de est = a r a r 1 a 1 a, celle de φ p est φ p =, a a 1 a r La discrépace de la suite de Va Der Corput est l Dφ = O Suites de Halto C est la versio d-dimesioelle de la suite de Va Der Corput Soit p 1,, p d des etiers strictemet supérieurs à 1 et premiers etre eux par exemple les d premiers ombres premiers La suite de Halto est x d = φ p 1,, φ pd La discrépace d ue suite de Halto est D xd 1 d i=1 p i lp i lp i l d = O Suite de Faure Soit p d u etier premier et p l esemble des ombres x pour lesquels il existe u etier K tel que : K a i x = p i+1 et soit T p : p p l applicatio défiie par K a i K b i T p = où b p i+1 p i+1 i = i= i= i= K j=i j! i! j i! a j modp Si φ p est défiie par 1, la suite de Faure de dimesio d est alors : x = φ p 1, T p φ p 1,, T d 1 p φ p 1 La discrépace de cette suite est l Dx d = O 14

15 Traslatios irratioelles du tore Soit α = α 1,, α d R d u vecteur de ombres réels tel que la famille {1, α 1,, α d } soit libre sur Q par exemple α = p 1, p d où p 1, p d désiget les d premiers ombres premiers Si [x] désige la partie etière de x, la suite x α, 1 est défiie par x α = α i [α i ], 1 i d Pour tout ε >, la discrépace de la suite x α est 1 Dx α = O 1 ε Les sources C de ces diverses suites à discrépace faible peuvet être télé-chargées sur le site : http ://cermicsepcfr/ premia 15

16 Simulatio de variables aléatoires 1 Méthode d iversio O suppose que l o sait simuler la réalisatio d u échatillo de loi uiforme sur [, 1], c est à dire de variables aléatoires idépedates X, 1 de même loi U[, 1], par exemple e appelat la foctio Radom O cherche à simuler des réalisatios de variables aléatoires réelles X, 1 idépedates de même loi de foctio de répartitio F : R [, 1] défiie par Ft = PX 1 t pour tout t R Propositio 1 Notos F 1 :], 1[ R la pseudo-iverse de F défiie par F 1 u = if{t : Ft u} pour tout u ], 1[ Alors si U suit ue loi U], 1[, F 1 U a pour foctio de répartitio F Démostratio Motros tout d abord que pour tout u ], 1[ et t R, F 1 u t si et seulemet si u Ft E effet, si u Ft, par défiitio F 1 u t Réciproquemet, soit y > t F 1 u; alors, puisque F est croissate, Fy u et puisque F est cotiue à droite, Ft u O e déduit que si U suit ue loi U], 1[, pour tout t R, PF 1 U t = PU Ft = Ft Si la foctio de répartitio F de X est explicite, o e déduit que F 1 U, 1 est u échatillo de la loi de X Ceci fourit par exemple u algorithme de simulatio lorsque : Cas 1 X e pred qu u ombre fii ou déombrable de valeurs O suppose que les valeurs prises par X sot a i, i N ou bie a i, i N ordoées de faço croissate, et que PX = a i = p i pour tout i O calcule alors F i = p + + p i pour tout i et pour tout u ], 1[ o ote : F 1 u = a 1 {u F } + a i 1 {Fi 1 <u F i } i 1 Exemple d ue loi de Beroulli de paramètre p : PX = = q = 1 p et PX = 1 = p O e déduit la simulatio de variables aléatoires idépedates de même loi de Beroulli de paramètre p ], 1[ que l o stocke das le tableau X e utilisat le fait que si U suit ue loi uiforme U[, 1], 1 U suit aussi ue loi U[, 1] : Pour k = 1,, Si Radom < p X[k] 1 Sio X[k] Fi X e pred qu u ombre fii de valeurs : Si X pred N + 1 valeurs, e début de programme o calcule les valeurs de F i que l o stocke das u tableau F[i], i =,, N et o stocke égalemet les valeurs a i das u tableau a[i] La boucle critique est alors la suivate : 16

17 i U Radom Tatque U > F[i] i i + 1 Fi X[k] a[i] X pred ue famille déombrable de valeurs : Si la variable X pred ue famille déombrable de valeurs, o stocke e début de programme das u tableau F[i], i =,, N les premières valeurs de F i, e s arrêtat au premier etier N tel que F N dépasse ue valeur fixée, par exemple 999 Lorsque le tirage uiforme est supérieur à la valeur choisie par exemple 999, o poursuit le calcul de la foctio de répartitio Exemple d ue loi de Poisso Pλ de paramètre λ > PX = = e λ et pour, PX = + 1 = e λ λ ! = λ PX = + 1 La boucle pricipale de l algorithme de simulatio est alors la suivate pour ue loi de Poisso Pλ; elle fourit la valeur X : PN F[N] F[N 1] U Radom Si U F[N] Alors X Tatque U > F[X] faire X X + 1 Fi Sio X N, P PN, F F[N] Tatque U > F faire X X + 1, P P λ/x, F F + P Fi Fi Si λ = 1, F[4] = 9963 et F[5] = 9994, doc N = 5 avec le test d arrêt précédet et sauf das six cas sur 1, o utilise seulemet 6 valeurs tabulées de la foctio de répartitio O verra plus loi ue autre méthode pour simuler ue loi de Poisso de paramètre λ reliée à la simulatio de processus Cas Loi Eλ expoetielle de paramètre λ > La desité de X est fx = λ e λx 1 {x>} et la foctio de répartitio est doc Ft = si t et Ft = 1 e λt < 1 si t > O e déduit pour u [, 1[ : F 1 l1 u u = λ Puisque si U suit ue loi U[, 1], 1 U suit égalemet ue loi U[, 1], o e déduit u algorithme de simulatio d ue loi expoetielle de paramètre λ : X = l Radom /λ 17

18 L utilisatio des lois expoetielles fourit ue autre méthode de simulatio de la loi de Poisso de paramètre λ Propositio Soit E i, i 1 ue suite de variables aléatoires idépedates de même loi expoetielle de paramètre λ > ; alors pour tout etier 1, λ λ p = P E E 1 < E E +1 = e! Démostratio : Pour tout etier 1, p = λ +1 exp λx x +1 dx 1 dx +1 {x 1 + x 1<x 1 + x +1 = λ exp λ x x exp λ[1 x 1 + x ] dx 1 dx {x 1 + x 1} = e λ λ λ λ dx 1 dx = e! {x 1 + x 1} O e déduit qu e simulat des variables aléatoires U i, i 1 idépedates et de même loi U[, 1], si désige le premier etier tel que U I U U +1 < e λ, suit ue loi de Poisso Pλ, d où u secod algorithme de simulatio d ue variable aléatoire X de loi Pλ : a exp λ, X U Radom Tatque U > a faire U U Radom, X X + 1 Fi Méthode de rejet pour les lois uiformes O suppose que l o sait simuler par l algorithme A ue variable aléatoire de loi uiforme sur u esemble borélie D R d par exemple le carré ] 1, +1[ et que l o veut simuler ue variable aléatoire de loi uiforme sur u sous-esemble borélie C D L algorithme Faire X A Tatque C faux Fi Retourer X doe ue simulatio de la loi uiforme sur C E effet, soit X, 1 ue suite de variables aléatoires idépedates de loi uiforme sur D et τ = if{ 1 : X C}; l algorithme précédet retoure la variable aléatoire X τ telle que pour tout sous-esemble borélie B C, PX τ B = = PX 1 C k 1 PX k B k=1 k=1 1 C k 1 B D D = B C Aisi, pour simuler ue loi uiforme sur le disque uité, o procède comme suit : 18

19 Faire U Radom 1 V Radom 1 Tatque U U + V V > 1 Fi X U et Y V La figure suivate motre ue méthode de rejet uiforme sur le cercle uité à partir d ue loi uiforme sur le carré [, 1] Sur 1 poits tirés das le carré, seuls sot gardés car ils sot das le cercle uité; o a par ailleurs π/4 =, Fig Simulatio de poits suivat ue loi uiforme das le disque uité Méthode de rejet géérale O veut simuler ue variable aléatoire X dot la loi a pour desité f et o suppose qu il existe ue loi de desité g facilemet simulable et ue costate c > telles que : fx c gx, x R Puisque f et g sot des desités, o a c 1 L idée de la méthode repose sur le résultat suivat : Propositio 3 Soit f ue desité sur R d et D f = {x, u R d R + : u fx} Soit X : Ω R d et U : Ω R + des variables aléatoires Le couple X, U suit ue loi uiforme sur D f si et seulemet si X a pour desité f et la loi coditioelle de U sachat X = x est uiforme sur l itervalle [, fx] 19

20 Démostratio : Puisque D f = 1, la desité de la loi uiforme sur D f est [ ] 1 gx, u = 1 Df x, u = fx fx 1 [,fx]u, ce qui prouve l équivalece aocée O e déduit que simuler ue variable aléatoire de desité f reviet à tirer u poit au hasard sous le graphe de f et retourer l abcisse de ce poit Ce résultat peut être gééralisé à ue desité par rapport à ue mesure quelcoque et justifie la méthode de rejet suivate : Propositio 4 Soit f et g des desités telles que f c g ; otos qx = fx [, 1] c gx Soit Y 1 ue variable aléatoire de desité g et U 1 ue variable aléatoire de loi uiforme U[, 1] idépedate de Y 1 Si U 1 qy 1, o pose X = Y 1 Sio, o rejette X 1 et o simule ue suite de variables aléatoires idépedates Y i de desité g et U i de loi uiforme U[, 1] jusqu à τ = if{i 1 : U i qy i } Alors la variable aléatoire X = Y τ a pour desité f, τ suit ue loi géométrique de paramètre 1 et Eτ = c c Démostratio : Puisque f et g sot des desités de probabilité, o a : P U 1 > qy 1 = + gy dy 1 fy c gy du = 1 1 c O e déduit que pour tout etier k 1, Pτ = k = 1 c 1 k 1 1, tadis que pour tout t R : c PX t = = c k=1 t 1 1 k 1 t gy dy c gy fy cgy dy = t fy c gy fy dy Remarquos que cette méthode s applique au cas où les variables aléatoires X et Y ot ue desité par rapport à ue même mesure qui est pas obligatoiremet la mesure de Lebesgue, mais peut être la mesure de comptage Applicatio aux lois Gamma La méthode de rejet permet par exemple de simuler ue variable aléatoire de loi Γλ, a, c est à dire de desité fx = λa exp λ x Γa xa 1 1 ],+ [ x où λ et a sot des paramètres strictemet positifs et Γa = + e x x a 1 dx Si X et Y sot des variables aléatoires idépedates de loi Γλ, a et Γλ, b respectivemet, la variable aléatoire X+Y suit ue loi Γλ, a+b De plus, la loi Γλ, 1 est ue loi expoetielle Eλ, ce qui etraîe qu ue variable aléatoire de loi Γλ, avec etier supérieur ou égal à 1 peut être aisémet simulée comme somme de variables aléatoires idépedates de même loi expoetielle Eλ U chagemet de variables motre efi que si Y suit ue loi Γ1, a, la variable aléatoire X = Y suit ue loi Γλ, a λ D après ce qui précède, pour simuler toutes les lois Γλ, a, il suffit doc de savoir simuler ue variable aléatoire de loi Γ1, a pour u paramètre a ], 1[, ce qui est possible par la méthode de rejet suivate de Ahres et Dieter 1974 modifiée par Best 1983 et qui e écessitera pas de calculer Γa Soit a ], 1[ et fx = 1 Γa e x x a 1 1 ],+ [ x et gx = a e a + e [ x a 1 1 ],1[ x + e x 1 [1,+ [ x ] ; du

21 alors f a+e g et pour tout x > : a e Γa qx = fx a+e a e Γa gx = e x 1 ],1[ x + x a 1 1 [1,+ [ x Soit Y ue variable aléatoire de desité g ; o peut aisémet calculer la foctio de répartitio G de Y et so iverse est défiie pour z ], 1[ par : a + e G 1 z = e 1 a z 1], e a+e [ z l 1 z a + e 1 [ e a+e a e,1[ z 1 O simule ue variable aléatoire U de loi uiforme U[, 1], o calcule Y = G 1 U, puis o simule V de loi uiforme U[, 1] idépedate de U Si V qy, o pose X = Y et sio o retoure e 1 Cepedat, si a est supérieur ou égal à 1, les bibliothèques de programmes doet souvet ue méthode alterative de simuler ue loi Γ1, a qui repose sur ue méthode de rejet; elle est théoriquemet valable pour tout a > 1 et fait e moyee mois d appels au géérateur pour les «grades» valeurs de a Soit U, 1 ue suite de variables aléatoires idépedates de même loi U[, 1] O ote Z k = tgπ U k et Y k = a 1Z k + a 1 ; les variables aléatoires Z k sot idépedates et u chagemet de variables motre qu elles suivet ue loi de Cauchy de desité 1 1 O ote τ = if{k 1 : Y π 1+z k > } et o pose Y = Y τ Pour toute foctio boréliee borée Φ, E ΦY = P k=1 la desité de Y est doc Z k 1 a k 1 + a 1 1 gx = 1 1 Arctg 1 a π a 1 O suppose que a > 1 et o ote hx = e x x a 1 [ Φ a 1z + a a π a z dz ; 1 π a {x>} 1 + x+1 a a 1 ] 1 + x+1 a pour x > ; le maximum de a 1 h sur ], + [ est atteit e a 1, ce qui etraîe que pour tout x > : 1 Γa e x x a 1 c gx avec c = [ 1 1 π Arctg 1 a ] π a 1a 1 a 1 e 1 a a 1 Γa Lorsque a est u etier supérieur ou égal à deux, pour tout x > o a : [ qx = fx ] a 1 x + 1 a x c gx = 1 + e x+a 1 a 1 a 1 O e déduit l algorithme suivat de simulatio d ue loi Γ1, a pour a etier supérieur ou égal à 1 pour faire appel e moyee à mois de 1 uiformes 1

22 S a 1 Faire Faire Z tg π Radom Y S Z + a 1 Tatque Y Tatque Radom >1+Z*Z *exp a 1 log Y/a 1 S Z X Y 4 Lois gaussiees réelles La foctio de répartitio d ue loi gaussiee cetrée réduite N, 1 est pas explicite et l utilisatio de cette foctio tabulée risque d accumuler les erreurs O dispose d ue méthode de simulatio «exacte» dite de Box-Muller Si X 1 et X sot des variables aléatoires gaussiees N, 1 cetrées réduites idépedates, alors les variables aléatoires Xi, i = 1, sot idépedates et u chagemet de variable motre qu elles suivet ue loi Gamma Γ 1, 1 de desité fx = 1 π e 1 x x 1 1 ],+ [ x La variable aléatoire R = X1 + X suit doc ue loi expoetielle de paramètre 1 Si o pose X 1 = R cosθ et X = R siθ, u chagemet de variable motre que θ suit ue loi uiforme sur l itervalle [, π] et est idépedate de R O e déduit la Propositio 5 Soit U 1 et U des variables aléatoires idépedates de même loi uiforme U[, 1]; alors les variables aléatoires X 1 = lu 1 cos π U et X = lu 1 si π U sot gaussiees N, 1 idépedates O pourra motrer cette propositio directemet à titre d exercice Cepedat, afi de gager évetuellemet du temps de calcul, o peut éviter de faire appel à des foctios trigoométriques e utilisat ue «méthode de rejet» La méthode suivate est l algorithme polaire; d autres méthodes sot proposées e exercice Soit U 1 et V 1 des variables aléatoires idépedates de loi uiforme sur l itervalle [ 1, +1] O calcule ρ 1 = U 1 + V 1 ; si ρ 1 1, o rejette U 1, V 1 et o tire deux ouvelles variables aléatoires idépedates U, V de loi uiforme sur l itervalle [ 1, +1] O procède aisi jusqu à τ = if{i 1 : ρ i = U i + V i < lρ 1} Soit Z = τ ; alors les variables aléatoires ρ τ X = U τ Z et Y = V τ Z sot gaussiees N, 1 idépedates E effet, l applicatio défiie par Tu, v = est u C 1 difféomorphisme d applica- y exp x +y et le jacobie de x +y 4 tio réciproque T 1 x, y = T : {u, v ] 1, +1[ : < u + v < 1} R \, lu u +v lu, v +v u +v u +v x x +y exp x +y 4,

23 T 1 est égal à 1 exp E [ φx, Y ] = x +y k=1 Pour toute foctio boréliee φ : R R +, o a doc 1 π k {<u +v <1} lu + v φ u lu + v, v du dv u + v u + v = 4 1 φx, y 1 π 4 R exp x + y dxdy = φx, y 1 R π exp x + y dxdy O e déduit la simulatio de deux variables aléatoires gaussiees N, 1 idépedates par l algorithme polaire : Faire U Radom 1 V Radom 1 Tatque U U + V V 1 Fi Z =sqrt logu U + V V /U U + V V X Z U Y Z V Fig 3 Histogrammes de desité de loi gaussiee N, 1 par Box-Muller et par rejet 4 Desite Histogramme des echatillos par Box Muller 4 Desite Histogramme des echatillos par rejet Valeurs 4 Valeurs Les figures ci-dessus motret les histogrammes de simulatio de variables aléatoires Gaussiees N, 1 à l aide de 1 couples de tirages uiformes idépedats par la méthode de Box-Muller puis par la méthode de rejet précédete, aisi que le graphe de la desité théorique Les temps de calcul de la méthode de Box-Muller et par la méthode du rejet e simulat des couples de variables de loi Gaussiee N, 1 utilisat N tirages uiformes, doés par la foctio timer de Scilab sot : 3

24 N Box-Muller Polaire O voit que la méthode de Box-Muller est u peu plus rapide e dépit du calcul des foctios trigoométriques Si l o défiit ue procédure de simulatio d ue seule variable aléatoire de loi gaussiee e e coservat que X = lu 1 siπu par la méthode de Box-Muller ou lu + V V U +V das la méthode du rejet, la méthode de Box-Muller deviet presque deux fois plus rapide, comme le motre le tableau suivat des temps de simulatio de N tirages de variables aléatoires N, 1 e e gardat que l ue des deux composates : N Box-Muller Polaire La figure suivate motre la simulatio de 1 couples de variables aléatoires N, 1 idépedates; la moyee empirique de l abcisse est et la moyee empirique de l ordoée est 1135 Fig 4 Simulatio de 1 couples de gaussiees N, 1 idépedates Pour simuler ue variable aléatoire gaussiee Z de loi Nm, σ avec σ >, il suffit de simuler ue variable aléatoire Z de loi N, 1 et de poser Z = m + σ Z Si F désige la foctio de répartitio d ue variable aléatoire gaussiee N, 1, sigalos efi les procédures suivates e Scilab de calcul approché de F et de F 1 qui peuvet être utiles das certais cas 4

25 Calcul approché de Ft fuctio [rep]=rep gaussx P= ; b1= ; b= ; b3= ; b4= ; b5= ; usurracpi = ; ifx >= the t = 1 / 1 + P * x; rep = 1 - usurracpi * exp- x*x / * t * t * t * t * t * b5 + b4 + b3 + b + b1; else t = 1 / 1 - P*x; rep = usurracpi * exp- x*x/* t * t * t * t * t * b5 + b4 + b3 + b + b1 ; ed; edfuctio Calcul approché de F 1 t pour < t < 1 fuctio [iverse]=iverse Nx c= ; c1= 8853; c= 138; d1= ; d= 18969; d3= 138; if x>5 the sige = +1; x=1-x; else sige = -1; ed t=sqrt- * logx; iverse = sige * t-c*t+c1*t+c/1+t*d1+t*d+d3*t; edfuctio Fig 5 Graphes de F et F 1 où F est la foctio de répartitio de la gaussiee N, 1 1 Ft Foctio de repartitio de loi gaussiee N,1 3 F^{ 1}t Iverse de la Foctio de repartitio de loi gaussiee N, t t Vecteurs gaussies Pour simuler u vecteur gaussie X = X 1,, X d d espérace m = m 1,, m d et de matrice de covariace Σ, il suffit de simuler u vecteur gaussie cetré Y = Y 1,, Y d de 5

26 matrice de covariace Σ et de poser X i = Y i + m i pour i = 1,, d ; das la suite o suppose doc que m = Si la matrice de covariace Σ est diagoale, c est à dire si les composates du vecteur gaussie sot idépedates, il suffit de simuler successivemet d variables aléatoires gaussiees réelles Sio, puisque Σ est symétrique de type positif puisque pour tout vecteur v R, v, Σv = Var v, X, u résultat classique d algèbre liéaire permet d écrire la décompositio de Cholevsky de Σ, c est à dire de trouver ue matrice A triagulaire iférieure telle que Σ = A A Il suffit alors de simuler u vecteur gaussie Z = Z 1,, Z d dot les composates sot gaussiees N, 1 idépedates, puis de calculer X = A Z où o commet l abus de lagage cosistat à idetifier u vecteur de R d et la matrice coloe de ses coefficiets das la base caoique; le vecteur X est clairemet gaussie, cetré de matrice de covariace Σ Rappelos que lorsque la matrice Σ = S i,j, 1 i, j d est défiie positive, la décompositio de Cholesky de Σ qui est dispoible das de ombreuses bibliothèques de programmes est calculée de la faço suivate : a 1,1 = S 1,1, a i,1 = S 1,i a 1,1 pour i d, pour i croissat de à d : a i,i = S i,i 1 k i 1 a i,k, pour i < j d a j,i = S i,j i 1 k=1 a i,k a j,k a i,i, a i,j = La figure ci-dessous motre la simulatio de 1 vecteurs X das R, cetrés et de matrice Fig 6 Simulatio de 1 couples de gaussiees corrélées

27 de covariace Σ = : La moyee empirique de la première composate est 15815, celle de la secode composate est 7786, la variace empirique de la première composate est alors que 11 = 6875, celle de la secode composate est alors que 5 = 1565 et la covariace empirique est alors que = σ Das le cas particulier d =, Σ = 1 ρ σ 1 σ σ1 ρ σ 1 σ σ, o a A = ρ σ σ 1 ρ Doc si Z 1 et Z sot des variables aléatoires gaussiees N, 1 idépedates, X 1 = m 1 + σ 1 Z 1, X = m + σ ρ Z1 + 1 ρ Z, le vecteur X = X1, X est gaussie de vecteur espérace m = m 1, m et de matrice de covariace Σ 6 Quelques autres lois classiques Loi géométrique Ga, a ], 1[ C est la loi du premier istat où o obtiet u succès e répétat des expérieces idépedates de même loi qui doet u succès avec la probabilité 1 a O a doc pour tout etier 1, PX = = 1 a a 1 L algorithme suivat simule ue loi Ga X Faire X X + 1 Tatque Radom < a Fi Retourer X A titre d exercice, calculer la loi de la variable aléatoire simulée par l algorithme suivat : X Tatque Radom < a Faire X X + 1 Fi Retourer X Chi-deux U chagemet de variables motre que le carré d ue variable aléatoire gaussiee N, 1 suit ue loi Γ 1, 1; o e déduit que si les variables aléatoires X k, 1 k sot idépedates de même loi gaussiee N, 1, la variable aléatoire Z = k=1 X k, qui est u χ, c est à dire u Chi-deux à degrés de liberté, suit ue loi Gamma Γ, 1 Si = N est u etier pair, u χ est ue somme de N expoetielles idépedates de paramètre 1 tadis que si = N + 1 est u etier impair, u χ est la somme de N expoetielles idépedates de paramètre 1 et du carré d ue gaussiee N, 1 idépedate des expoetielles Loi Beta βa, b, a >, b > Elle a pour desité fx = Γa+b ΓaΓb xa 1 1 x b 1 1 ],1[ x Motrer que pour tout λ >, si X et Y sot des variables aléatoires idépedates de loi X Γλ, a et Γλ, b respectivemet, les variables aléatoires X + Y et sot idépedates de X+Y loi respectives Γλ, a + b et βa, b E déduire u algorithme de simulatio d ue loi βa, b U autre algorithme de simulatio d ue loi βa, b pour a, b < 1, du à Jök 1964, est proposé das l exercice 1 Loi log-ormale C est la loi de X = e Y lorsque Y suit ue loi ormale Nm, σ ; sa desité est fx = 1 x σ exp 1 π σ lx m 1 {x>}, so espérace est EX = expm+ σ 7

28 et sa variace est VarX = exp m+σ exp m+σ Écrire u algorithme de simulatio de cette loi Loi de Pareto C est la loi de X = r e Y lorsque r > et Y suit ue loi expoetielle de paramètre [ α > Sa desité est fx = α rα 1 x α+1 {x>r} et sa foctio de répartitio est Ft = 1 r α ] 1{t>r} La variable aléatoire X est pas itégrable si α 1 et est pas de carré t itégrable si α Si α > 1, EX = α r et si α >, VarX = α r Écrire u α 1 α 1 α algorithme de simulatio de cette loi Loi de Weibull Wα, θ, α >, θ > Sa desité est fx = α θ x α 1 exp θ x α 1 {x>}, sa foctio de répartitio est Ft = [1 exp θ t α ] 1 {t>}, so espérace est Γ1+ 1 α et sa variace est Γ1+ α Γ1+ 1 α Motrer que si Y suit ue loi expoetielle de paramètre θ >, θ α X = Y 1 α suit ue loi de Weibull Wα, θ E déduire u algorithme de simulatio d ue loi de Weibull Wα, θ 7 Méthode de décompositio O cherche à simuler ue variable aléatoire de desité f = p f par rapport à ue mesure µ sur la tribu des borélies de R d où p,, désige ue probabilité sur N et pour tout etier, f désige ue desité par rapport à µ Soit X, ue suite de variables aléatoires idépedates telles que X a pour desité f par rapport à µ et soit τ : Ω N ue variable aléatoire idépedate de la suite X et de loi p, Alors la variable aléatoire X τ a pour desité f par rapport à µ E effet, pour tout borélie B de R d, le théorème de Fubii etraîe que : PX τ B = Pτ = PX τ B τ = = p f x µdx B = p f x µdx = B B fx µdx Cette méthode est particulièremet itéressate lorsque les desités f sot à support disjoits, par exemple lorsqu o veut simuler ue loi uiforme sur la réuio D d esembles disjoits D ; o pose alors p = D C est par exemple le cas si l o souhaite simuler ue desité à support D compact liéaire par morceaux Si U 1 et U sot des variables aléatoires idépedates de loi U[, 1], la desité de Max = maxu 1, U est x et celle de Mi = miu 1, U est 1 x O déduit par exemple de la Propositio 3 l algorithme suivat de simulatio d ue variable aléatoire de desité f défiie par fx = si x ou x 7 et pour < x < 7, 3x si x ], 1], 1 4 x si x ]1, 3], fx = 1 x si x ]3, 4], 1 7 x si x ]4, 7[ 15 O décompose l esemble D f = {x, u : < x < 7, u fx} e ciq esembles disjoits D 1 = {x, u : < x 1, u fx}, D = {x, u : 1 < x 4, u 1 }, 1 1 D 3 = {x, u : 4 < x < 7, u fx}, D 4 = {x, u : 1 < x < 3, u fx}, 1 8 θ 1 α

29 1 D 5 = {x, u : 3 < x < 4, < u fx} Les surfaces sot respectivemet : D 1 1 = 3, D = 3, D 1 3 = 3, D 1 4 = et D 1 5 = 1 O simule doc ue variable aléatoire U de loi uiforme U[, 1], puis suivat le résultat obteu, o choisit u poit au hasard das chaque zoe 1 à 5 e gardat à chaque fois l abscisse du poit tiré ce qui reviet das certais cas à simuler directemet la desité f O a f 1 x = x 1 [,1] x, f x = 11 3 ]1,4]x, f 3 x = 7 x 1 9 ]4,7]x, f 4 x = 1 3 x 1 ]1,3]x et f 5 x = x 3 1 ]3,4] x; l algorithme suivat retoure la valeur X : U Radom Si U 15 Faire X Max Radom, Radom Si 15 < U 45 Faire X 3*Radom+1 Si 45 < U 75 Faire X Mi3*Radom,3*Radom+4 Si 75 < U 95 Faire X Mi*Radom,*Radom+1 Si 95 < U 1 Faire X MaxRadom,Radom+3 8 Simulatio de vecteurs aléatoires Si les composates du vecteur sot idépedates, il suffit de simuler chaque composate O peut simuler ue composate, puis des lois coditioelles successives Aisi, si X, Y désige u couple de variables aléatoires réelles ou vectorielles de desité fx, y, la desité de X est f X x = fx, y dy et la desité coditioelle de Y sachat X = x est fy x = fx,y f X x Pour simuler le couple X, Y, o simule d abord X de desité f X, puis ayat obteu la valeur réelle ou vectorielle x, o simule Y de desité f x idépedammet de X E procédat aisi pas à pas, o peut simuler des vecteurs aléatoires de dimesio quelcoque O peut efi utiliser les chagemets de variables, comme o l a fait das la méthode de Box-Muller pour couple de variables gaussiees N, 1 idépedates 9 Méthode de mélage O suppose que la desité de la loi que l o veut simuler est fx = gx, y dy, où g est ue foctio boréliee positive Puisque f est ue desité, le théorème de Fubii motre que gx, y dxdy = fx dx = 1, c est à dire que g est ue desité Si X, Y désige u couple de desité g, la desité de Y est g Y y = gx, y dx tadis que la desité coditioelle de X sachat Y = y est gx y = gx,y Si desités g g Y y Y et g y sot aisémet simulables, o simule d abord Y de desité g Y, puis ayat obteu y o simule la desité coditioelle g y idépedammet de Y, ce qui fourit ue simulatio de X de desité f De ouveau, les desités cosidérées e sot pas écessairemet par rapport à la mesure de Lebesgue, mais peuvet être prises par rapport à ue mesure positive σ-fiie quelcoque Par exemple, si est u paramètre strictemet positif, pour simuler ue desité la desité défiie par fx = + y e xy dy sur [; + [, o a gx, y = y e xy 1 1 [,+ [ x 1 [1,+ [ y 9