RAPPELS de PROBABILITÉ

Transcription

1 RAPPELS de PROBABILITÉ Préparatio à l Agrégatio Bordeaux 1 Aée Jea-Jacques Ruch et Marie-Lie Chabaol

2

3 Table des Matières Chapitre I. Itroductio à la théorie des probabilités 5 1. Espaces probabilisés 5 2. Probabilités discrètes 6 3. Probabilités coditioelles, évéemets idépedats 7 4. Lemme de Borel-Catelli 8 Chapitre II. Variables aléatoires Défiitios 11 1.A. Variable aléatoire discrète 11 1.B. Variable aléatoire à desité Tribu egedrée par ue variable aléatoire Foctio de répartitio d ue variable aléatoire Vecteur aléatoire Variables aléatoires idépedates 14 5.A. Défiitios 14 5.B. Cas particuliers des variables aléatoires discrètes et à desité 16 5.C. Propriétés 16 5.D. Sommes de variables aléatoires idépedates 16 5.E. Loi du Chapitre III. Espérace Défiitio Momets d ue variable aléatoire Propriétés Covariace et corrélatio Foctio géératrice Foctios caractéristiques 25 Chapitre IV. Covergece de variables aléatoires Les différetes otios de covergeces Loi des grads ombres ; théorème de Gliveko Catelli Lois faibles des grads ombres et démostratios La covergece e loi Propriétés de la covergece e loi et lie avec les autres otios de covergece Théorème cetral limite Covergece vers la loi de Poisso Appedice : démostratio de la loi forte des grads ombres 41 Bibliographie 47 3

4

5 CHAPITRE I Itroductio à la théorie des probabilités 1. Espaces probabilisés Défiitio 1. Soit E u esemble. O dit que A P(E) est ue tribu (ou ue σ-algèbre) si : E A ; A A A c A ; 0, A A 0 A A. Les élémets de A sot appelés parties mesurables (ou A-mesurables). O dit alors que (E, A) est u espace mesurable. Il est facile de vérifier que l esemble vide appartiet toujours à ue tribu, et qu ue tribu est stable par itersectio déombrable. Exemples : P(E), {, E} ; C P(E) alors σ(c) = A ; A tribu, C A tribu des borélies B(E) : tribu egedrée par les ouverts d u espace topologique ; si E = R, B(R) est la tribu egedrée par les ]a, b[ ou ], a[ (a R ou Q). E probabilité o utilise u vocabulaire particulier : Ω est appelé espace des réalisatios ou uivers ; c est aussi l évéemet certai ; ω Ω est appelé ue réalisatio ; est l évéemet impossible ; A A est u évéemet ; A B est l évéemet A et B ; A B est l évéemet A ou B. Défiitio 2. O appelle mesure positive sur u espace mesurable (E, A) ue applicatio µ : A [0, + ] telle que : µ( ) = 0 pour toute famille (A ) 0 de parties mesurables disjoites : µ A = µ(a ). 0 0 O dit que µ est fiie si µ(e) < +, et que µ est σ-fiie s il existe ue suite croissate de parties mesurées (A ) 0 telle que 0 A = E et µ(a ) < + pour tout 0. 5

6 6 Chapitre I. Itroductio à la théorie des probabilités Défiitio 3. Ue mesure positive est ue probabilité si µ(e) = 1. O dit que x E est u atome si µ({x}) > 0. Ue mesure est diffuse si elle a pas d atome. Efi, o appelle mesure de Lebesgue, l uique mesure sur (R, B(R)) telle que λ(]a, b[) = b a. O dit que (Ω, A, P) est u espace probabilisé si (Ω, A) est u espace mesurable sur lequel o a défii ue probabilité P. Exemples : O lace u dé deux fois : Ω = {1, 2,..., 6} 2, A = P(Ω), P(A) = Card(A) 36 La probabilité choisie red tous les tirages possibles équiprobables. O lace u dé jusqu à obteir 6. L expériece défiie ici peut ameer à ue ifiité de lacers, o a doc : Ω = {1, 2,..., 6} N. Les élémets de Ω sot doc les suites ω = (ω 1, ω 2,... ) qui représetet les tirages successifs. La tribu A sur Ω est la plus petite tribu qui red mesurable tous les esembles : {ω : ω 1 = i 1, ω 2 = i 2,..., ω = i } où 1 et i 1,..., i {1,..., 6}, et P est l uique probabilité sur Ω telle que ( ) 1 P({ω : ω 1 = i 1, ω 2 = i 2,..., ω = i }) =. 6 Ue probabilité P sur (Ω, T ) o peut vérifier les propriétés suivates : A B P(A) P(B) P(A B) = P(A) + P(B) P(A B) ( ) P A j = ( 1) k 1( 1 j 1 j 1 i 1< <i k A A +1 P( 0 A ) = lim + P(A ) B +1 B P( 0 B ) = lim + P(B ) P( A ) P(A ) 0 0 ) P(A i1 A ik ), formule de Poicaré 2. Probabilités discrètes Il existe u cas particulier importat lorsqu o cosidère u uivers Ω déombrable. O pred T = P(Ω). Alors pour costruire ue probabilité sur (Ω, T ) il suffit de se doer les probabilités P({ω}) pour toute réalisatio ω Ω, telles que P({ω}) = 1. Il est alors immédiat de vérifier que pour tout évéemet A, P(A) = ω A P({ω}). Cette méthode s applique e particulier lorsque Ω est fii et que les ω sot équiprobables, c est-à-dire que 1 P({ω}) = Card(Ω) O obtiet alors la règle d équiprobabilité P(A) = ombre d issues favorables à A ombre d issues possibles = Card(A) Card(Ω) Rappels

7 3. Probabilités coditioelles, évéemets idépedats 7 Pour calculer e détails ces probabilités o utilise des résultats de combiatoire, dot o rappelle les plus classiques. Nombre de permutatios d u esemble à élémets :!. Nombre de p uplets das u esemble à élémets : p. Nombre de p uplets d élémets disticts das u esemble à élémets : A p = ( 1)... ( p+1). Nombre de parties d u esemble à élémets : 2 ( ) Nombre de parties à p élémets das u esemble à élémets : C p =. p 3. Probabilités coditioelles, évéemets idépedats Le fait de coaître u évéemet, de savoir qu il s est produit, peut modifier la probabilité d u autre évéemet. il est doc importat de pouvoir défiir ue ouvelle probabilité. Défiitio 4. Soit (Ω, T, P) u espace probabilisé et A u évéemet de probabilité o ulle. O peut défiir ue ouvelle probabilité sur (Ω, T ), appelée probabilité coditioelle sachat A, e posat pour tout B T, P(A B) P A (B) = P(B A) =. P(A) O peut facilemet voir que l o a que l o gééralise e De plus, si P(A c ) > 0 alors o a et la formule de Bayes P(A B) = P(A)P(B A) P( i=1a i ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 )... P(A A 1 A 1 ) P(B) = P(A)P(B A) + P(A c )P(B A c ) P(A B) = P(A)P(B A) P(A)P(B A) + P(A c )P(B A c ). Il est possible de gééraliser ces derières relatios lorsqu o cosidère ue partitio (A ) N (A k A l =, A = Ω et P(A ) > 0) : de Ω P(B) = 0 P(A )P(B A ) (formule des probabilités totales) P(A )P(B A ) P(A B) = 0 P(A (formule de Bayes) )P(B A ) O peut remarquer que lorsque P(A B) = P(A)P(B) alors P(B A) = P(B), autremet dit le fait de savoir que A est réalisé e doe pas d iformatio sur la réalisatio ou o de l évéemet B ; d où la défiitio suivate. Défiitio 5. O cosidère u espace probabilisé (Ω, A, P). Si A, B A sot deux évéemets, o dit que A et B sot idépedats si P(A B) = P(A)P(B). J.-J. Ruch et M.-L. Chabaol

8 8 Chapitre I. Itroductio à la théorie des probabilités Plus gééralemet o a : Défiitio 6. O dit que évéemets A 1,..., A sot idépedats si, pour tout sous-esemble o vide {j 1,..., j p } de {1,..., }, o a P(A j1 A jp ) = P(A j1 )... P(A jp ). Attetio ceci est pas équivalet P(A 1 A ) = P(A 1 )... P(A ) ou à, pour chaque paire {i, j} {1,..., } les évéemets A i et A j sot idépedats. Exemples : Cosidéros l espace correspodat à deux lacers de pile ou face et preos A = {pile au premier lacer}, B = {pile au secod lacer} et C = {même résultats aux deux lacers}. Les trois évéemets sot 2 à 2 idépedats, mais e sot pas idépedats. Propositio 7. Les évéemets A 1,..., A sot idépedats si et seulemet si pour B i σ(a i ) = {, Ω, A i, A c i }. P(B 1 B ) = P(B 1 )... P(B ) Si (A ) N est ue suite d évéemets o ote 4. Lemme de Borel-Catelli lim sup A = =0 k= A k. De faço équivalete, ω lim sup A ω appartiet à ue ifiité d évéemets A O peut rappeler qu o a aussi la défiitio lim if A = A k. De faço équivalete, =0 k= ω lim if A ω appartiet à tous les A sauf évetuellemet u ombre fii. Efi, puisqu ue suite à valeurs das {0, 1} a pour limite supérieure 1 si et seulemet si elle pred ue ifiité de fois la valeur 1, o a ue iterprétatio simple e terme de foctios idicatrices : 1 lim sup A = lim sup(1 A ) et 1 lim if A = lim if(1 A ) Le résultat suivat est le lemme de Borel-Catelli, mais vu so importace cela pourrait être u théorème. Rappels

9 4. Lemme de Borel-Catelli 9 Lemme 8. Lemme de Borel Catelli Soit (A ) N ue suite d évéemets (i) Si N P(A ) < alors ou de maière équivalete P(lim sup A ) = 0 { N : ω A } est fii p.s. (ii) Si N P(A ) = et si les évéemets A sot idépedats, alors ou de maière équivalete P(lim sup A ) = 1 { N : ω A } est ifii p.s. L hypothèse d idépedace est écessaire das le (ii), comme le motre l exemple trivial où A = A pour tout N, avec 0 < P(A) < 1. Démostratio. (i) Supposos N P(A ) <. O a pour tout etier m lim sup A = =0 k= A k k=m et doc P(lim sup A ) P(A m ) qui ted vers 0 avec m si la série coverge. k m (ii) Pour le deuxième poit, remarquos d abord que pour tout et tout N P( k N A k ) = 1 P( = 1 k N k N Comme 1 x e x pour tout x 0, o e déduit P 1 exp k N A k A c k) A k (1 P(A k )) k N Lorsque N ted vers l ifii, la somme das l expoetielle ted, pour tout, vers l ifii par hypothèse, et doc P( k A k) = 1. Il e reste alors plus qu à remarquer que P(lim sup A ) = lim P( k A k). A k J.-J. Ruch et M.-L. Chabaol

10

11 CHAPITRE II Variables aléatoires 1. Défiitios Défiitio 1. Soiet (Ω, A, P) u espace probabilisé et (E, E) u espace mesurable. Ue applicatio mesurable X : Ω E est appelée variable aléatoire à valeurs das E. Lorsque E R, o parle de variable aléatoire réelle. Exemple : Si o lace deux dés o peut défiir la variable aléatoire qui est égale à la somme des résultats des dés : X((i, j)) = i + j. Alors X défiit ue variable aléatoire sur Ω = {1, 2,..., 6} 2 à valeurs das E = {1, 2,..., 12}. Si o lace u dé ue ifiité de fois o peut défiir ue variable aléatoire Y comme état le premier istat où l o obtiet 6. Alors o a : Y (ω) = if{j : ω j = 6}, avec la covetio if = ; Y est à valeurs das N = N { }. Das ce cas, pour vérifier la mesurabilité o observe que, pour tout k 1 Y 1 ({k}) = {ω Ω : ω 1 6, ω 2 6,..., ω k 1 6, ω k = 6}. Défiitio 2. La loi d ue variable aléatoire X : Ω E est la mesure-image de P par X. C est doc la probabilité sur (E, E), otée P X, défiie par : B E P X (B) = P(X 1 (B)) = P(X B) = P({ω Ω : X(w) B}). 1.A. Variable aléatoire discrète. Défiitio 3. Ue variable aléatoire X : Ω E est ue variable aléatoire discrète si E (e fait X(Ω)) est u esemble fii ou déombrable. Das ce cas, la tribu associée est, e gééral, l esemble des parties P(E). Pour ue variable discrète X, la loi est doée par P X = x E p x δ x où p x = P(X = x) et δ x désige la mesure de Dirac e x. Ceci proviet du fait suivat : P X (B) = P(X B) = P( x B{X = x}) = P(X = x) = p x δ x (B) x B x B E pratique détermier la loi d ue variable aléatoire discrète, reviet à calculer toutes les probabilités P(X = x) pour x E. O supposera das la suite sas perte de gééralité que pour les variables discrètes E Z. 11

12 12 Chapitre II. Variables aléatoires 1.B. Variable aléatoire à desité. Défiitio 4. Ue variable aléatoire X à valeurs das (R d, B(R d )) est à desité si P X cotiue par rapport à la mesure de Lebesgue λ. est absolumet Le théorème de Rado-Nikodym ous assure alors qu il existe ue foctio boréliee f : R d R + telle que B B(R d ), P X (B) = f(x)dx. O a e particulier f(x)dx = P (X R d ) = 1. La foctio f (uique à u esemble de mesure de R d Lebesgue ulle près), est appelée la desité de la loi de X. Si d = 1, o a e particulier, pour tout α β, P(α X β) = β α B p(x)dx. 2. Tribu egedrée par ue variable aléatoire Soit X ue variable aléatoire à valeurs das u espace mesurable quelcoque (E, E). La tribu egedrée par X, otée σ(x), est par défiitio la plus petite tribu sur Ω qui rede X mesurable : σ(x) = {A = X 1 (B) : B E}. O peut gééraliser cette défiitio à ue famille quelcoque (X i ) i I de variables aléatoires, X i état à valeurs das (E i, E i ). Das ce cas, σ(x i, i I) = {X 1 i (B i ) : B i E i, i I}. Propositio 5. Soit X ue variable aléatoire à valeurs das u espace (E, E), et soit Y ue variable aléatoire réelle. Il y a équivalece etre : (i) Y est σ(x)-mesurable ; (ii) il existe ue foctio mesurable f de (E, E) das (R, B(R)) telle que Y = f(x). Démostratio. L implicatio (ii) (i) est facile puisque la composée de foctios mesurables est mesurable. Pour la réciproque o traite d abord le cas où Y est étagée : Y = i=1 λ i1 Ai où λ i R et A i σ(x). Pour tout i, o peut trouver B i E tel que A i = X 1 (B i ), et o a Y = λ i 1 Ai = λ i 1 Bi X = f X i=1 i=1 où f = i=1 λ i1 Bi est E-mesurable. Das le cas gééral, o sait que Y est limite simple d ue suite de variables aléatoires Y étagées et σ(x)-mesurables. D après la première étape, o peut écrire, pour tout, Y = f (X), où f : E R est mesurable. O pose alors : pour tout x E { lim f f(x) = (x) si cette limite existe 0 sio qui est mesurable. O obtiet aisi Y = f(x). Rappels

13 3. Foctio de répartitio d ue variable aléatoire Foctio de répartitio d ue variable aléatoire Défiitio 6. Si X est ue variable aléatoire réelle, la foctio de répartitio de X est la foctio F X : R [0, 1] défiie par : t R, F X (t) = P(X t). O peut vérifier les propriétés suivates : la foctio F X est croissate ; la foctio F X est cotiue à droite ; la foctio F X a pour limite 0 e et 1 e +. Iversemet, si o se doe ue foctio F ayat ces propriétés, d après le cours d itégratio, il existe ue (uique) mesure de probabilité µ telle que µ(], t]) = F (t) pour tout t R. Cela motre qu o peut iterpréter F comme la foctio de répartitio d ue variable aléatoire réelle. Il découle, que F X caractérise la loi P X de X. O a : P(a X b) = F X (b) F X (a ) si a b, P(a < X < b) = F X (b ) F X (a ) si a < b. et les sauts de F X correspodet aux atomes de P X. Aisi ue variable aléatoire à desité aura ue foctio de répartitio cotiue, alors que la foctio de répartitio d ue variable aléatoire discrète sera e escalier. Remarque : il existe des variables aléatoires qui e sot i discrète, i à desité. Il suffit de cosidérer ue foctio de répartitio qui e soit i cotiue i e escalier... U exemple explicite assez simple cosiste à cosidérer u mélage des deux lois : par exemple, si Ω = [0, 1], la variable aléatoire défiie par X(ω) = 1 [0, 1 2 ] (ω) + ω1 [ 1 2,1] (ω) vaut 1 avec probabilité 1 2, mais elle est pas à desité. Mais o peut aussi costruire u exemple de variable aléatoire avec foctio de répartitio cotiue mais qui e soit pas à desité (elle aura alors ue loi qui sera ue mesure de probabilité sur R sas atome, mais étragère à la mesure de Lebesgue). Par exemple, si les ɛ sot des variables de Beroulli de paramètre 1 2 idépedates, il est facile de vérifier que la série 2ɛ =1 3 coverge, et la variable aléatoire limite appartiet avec probabilité 1 à l esemble de Cator, elle est doc pas à desité. La croissace de la foctio de répartitio F etraîe l existece de la foctio suivate. Défiitio 7. Soit F ue foctio de répartitio. O appelle foctio quatile la foctio F (u) = if {x : F (x) u}, u ]0, 1[ Si F est bijective d u itervalle I R das ]0, 1[, o a simplemet F = F 1. Cette foctio est très utile pour la simulatio iformatique de variables aléatoires, grâce à la propositio suivate : Propositio 8. Si U est ue variable de loi uiforme sur [0, 1] et si F est ue foctio de répartitio, alors la variable X = F (U) a pour foctio de répartitio F. Aisi, si l o dispose d u géérateur de variable de loi uiforme sur [0, 1], pour simuler ue variable de foctio de répartitio F il suffit d écrire u algorithme qui calcule F. Démostratio. O va vérifier t R, P (F (U) t) = F (t). Il suffit pour cela de vérifier (u, t) ]0, 1[ R, F (u) t u F (t). Si o suppose u F (t), alors F (u) t. Réciproquemet, si o suppose u > F (t), puisque F est J.-J. Ruch et M.-L. Chabaol

14 14 Chapitre II. Variables aléatoires cotiue à droite e t, il existe t 1 > t tel que F (t 1 ) < u. Puisque F est croissate, x t 1, F (x) < u et par coséquet F (u) t 1 > t. 4. Vecteur aléatoire Soiet X et Y deux variables aléatoires défiies sur u espace probabilisé (Ω, A, P) et à valeurs das (E 1, E 1 ) et (E 2, E 2 ). Défiitio 9. La loi du couple (X, Y ), ou loi cojoite de X et Y, est la probabilité sur (E 1 E 2, (E 1 E 2 )) otée P (X,Y ) défiie par B E 1 E 2, P (X,Y ) (B) = P((X, Y ) B) Das le cas de variables aléatoires discrètes, elle est caractérisée par l applicatio p défiie sur E 1 E 2 par (x, y) P(X = x, Y = y). O gééralise trivialemet cette défiitio à u -uplet. Coaissat la loi d u couple, o détermie la probabilité d u évéemet par ue somme double lorsque les variables sot discrètes, et par ue itégrale double lorsque le couple de variables aléatoires est à desité. Coaissat la loi du couple (X, Y ) il est facile de retrouver la loi de X et de Y qui sot alors appelées lois margiales : Si X et Y sot discrètes, P(X = x) = P(X = x, Y = y) P(Y = y) = P(X = x, Y = y). y E 2 x E 1 Si (X, Y ) à valeurs das R m+ est à desité f X,Y, la desité de X est x R m, f X (x) = f(x, y)dy R Les lois margiales se déduiset doc de la loi cojoite mais la réciproque est fausse comme le motre l exemple ci-dessous. Exemple : Cosidéros l espace correspodat au lacer de deux dés. Si X représete le résultat du premier dé et Y celui du secod. Alors la loi cojoite de (X, Y ) est équirépartie sur {1,..., 6} 2, mais P(X = 1, X = 2) = 0. C est-à-dire que les couples (X, Y ) et (X, X) ot pas la même loi alors que les lois margiales sot toutes égales. O peut cotourer ce problème quad les variables sot idépedates. A partir de la loi cojoite, o peut de maière géérale obteir la loi de importe quelle foctio (mesurable) de (X, Y ) Z = φ(x, Y ) à partir de la foctio de répartitio de Z : il faut pour cela détermier pour tout réel t l esemble A t = {(x, y) R 2, φ(x, y) t} et calculer P (Z t) = P (X, Y ) A t. Das le cas où les variables sot idépedates et où Z = X + Y, o se ramèe simplemet u produit de covolutio, comme o va le voir. 5. Variables aléatoires idépedates 5.A. Défiitios. La otio la plus géérale est celle de tribus idépedates. Rappels

15 5. Variables aléatoires idépedates 15 Défiitio 10. O dit que les tribus, B 1,..., B iclues das A, sot idépedates si A 1 B 1,..., A B, P(A 1 A ) = P(A 1 )... P(A ). Défiitio 11. O dit que les variables aléatoires, X 1,..., X à valeurs das (E 1, E 1 ),..., (E, E ), sot idépedates si les tribus σ(x 1 ),..., σ(x ) le sot. Cela équivaut à F 1 E 1,..., F E, P({X 1 F 1 } {X F, }) = P(X 1 F 1 )... P(X F ). E effet, o sait que σ(x i ) = {X 1 i (F ), F E i }. De maière ituitive les variables aléatoires, X 1,..., X sot idépedates si la coaissace de certaies d etre elles e doe pas d iformatio sur les autres. Si B 1,..., B sot sous-tribus idépedates, et si pour tout i, X i est ue variable aléatoire B i - mesurable, alors les variables aléatoires X 1,..., X sot idépedates. Les évéemets A 1,..., A sot idépedats si et seulemet si les tribus σ(a 1 ),..., σ(a ) le sot. Théorème 12. Soiet X 1,..., X des variables aléatoires à valeurs das (E 1, E 1 ),..., (E, E ), o ote X le vecteur aléatoire (X 1,..., X ) qui est à valeurs das E 1 E mui de la tribu produit E 1 E. Les variables aléatoires X 1,..., X sot idépedates si et seulemet si la loi du vecteur aléatoire X = (X 1,..., X ) est le produit des lois de X 1,..., X : P (X1,...,X ) = P X1 P X. et Démostratio. Soit F i E i pour tout i {1,..., }. O a P (X1,...,X )(F 1 F ) = P({X 1 F 1 } {X F, }) P X1 P X (F 1 F ) = P Xi (F i ) = i=1 P(X i F i ). L idépedace de X 1,..., X est équivalete à, les deux mesures de probabilités P (X1,...,X ) et P X1 P X preet les mêmes valeurs sur les pavés F 1 F. Mais, d après le lemme de classe mootoe, ue mesure de probabilité sur u espace produit est caractérisée par ses valeurs sur les pavés, d où les deux mesures sot égales. O peut gééraliser ces défiitios pour des familles ifiies : i=1 Défiitio 13. Soit (B i ) i I ue famille quelcoque de sous-tribus de A. O dit que cette famille est idépedate si pour tout sous-esemble fii {i 1,..., i p } de I, les tribus B i1,..., B ip sot idépedates. De même, si (X i ) i I est ue famille quelcoque de variables aléatoires, cette famille est dite idépedate si la famille des tribus (σ(x i )) i I l est. J.-J. Ruch et M.-L. Chabaol

16 16 Chapitre II. Variables aléatoires 5.B. Cas particuliers des variables aléatoires discrètes et à desité. Propositio 14. Les deux variables aléatoires discrètes X et Y sot idépedates ssi pour toutes les valeurs x et y les évéemets {X = x} et {Y = y} sot idépedats, autremet dit (x, y) E 1 E 2, P(X = x, Y = y) = P(X = x)p(y = y). Comme déjà metioé, la loi du couple est alors le produit (au ses des mesures) des deux lois margiales. Das le cas des variables aléatoire à desité, la défiitio e terme de mesure produit doe égalemet u critère assez simple : Propositio 15. Soiet X 1,..., X des variables aléatoires à desité à valeurs réelles. Elles sot idépedates si et seulemet si la desité du vecteur (X 1,... X ) est le produit des desités des X i : f X1,...,X (x 1,..., x ) = i=1 f X i (x i ) pour presque tout (x 1,..., x ). 5.C. Propriétés. Propositio 16. Regroupemet par paquets Soiet B 1,..., B des tribus idépedates, et soiet 0 = 0 < 1 < < p =. Alors les tribus D 1 = B 1 B 1 = σ(b 1,..., B 1 ) D 2 = B 1+1 B 2 sot idépedates. D p = B p 1+1 B p E particulier, si X 1,..., X sot idépedates, les variables aléatoires sot idépedates. Y 1 = (X 1,..., X 1 ),..., Y p = (X p 1+1,..., X p ) Propositio 17. Si X 1,..., X sot variables aléatoires idépedates idépedates et si g 1,..., g sot foctios mesurables, alors les variables aléatoires Y 1 = g 1 (X 1 ),..., Y = g (X ) sot idépedates. C est ue coséquece immédiate des iclusios 1 i, σ(g(x i )) σ(x i ). 5.D. Sommes de variables aléatoires idépedates. O commece par rappeler la défiitio du produit de covolutio : si µ et ν sot deux mesures de probabilités sur R d o ote µ ν la mesure-image de µ ν par l applicatio (x, y) x + y ; pour toute foctio mesurable positive ϕ sur R d ϕ(z)µ ν(dz) = R d R d ϕ(x + y)µ(dx)ν(dy). R d Rappels

17 5. Variables aléatoires idépedates 17 Propositio 18. Soiet X et Y deux variables aléatoires idépedates à valeurs das R d. Alors la loi de X + Y est P X P Y. E particulier : (i) Si X et Y sot à valeurs das N, o a N, P (X + Y = ) = P (X = k)p (Y = k) (ii) Si X a ue desité f X et si Y a ue desité f Y alors, X + Y a ue desité f X f Y défiie par f X f Y (z) = f X (x)f Y (z x)dx = f X (z y)f Y (y)dy. R d R d k=0 5.E. Loi du 0-1. Défiitio 19. Soit (T ) N ue suite de tribus idépedates sur (Ω, A, P). O ote B la tribu egedrée par T, T +1,.... La tribu B = N B est appelée tribu termiale. Ituitivemet, les évéemets de la tribu termiale sot caractérisés par des propriétés asymptotiques : par exemple, lim sup B est u élémet de la tribu termiale. La loi du 0-1 de Kolmogorov peut être vue comme ue gééralisatio du lemme de Borel-Catelli : Théorème 20. Loi du 0-1 de Kolmogorov Ue tribu termiale vérifie la loi du 0 1 (ou loi du tout ou rie), c est-à-dire que pour évéemet A de la tribu termiale P(A) = 0 ou P(A) = 1. Démostratio. Soit B B. O cosidère la classe mootoe des évéemets idépedats de B : M = {A A : P(A B) = P(A)P(B)}. O va motrer que B M. Alors, o aura B M et doc P(B) = P(B B) = P(B) 2, c est-à-dire P(B) = 0 ou 1. O pose C = σ(t 0,..., T ). Comme les tribus au départ sot idépedates, pour tout N les tribus C et B +1 le sot aussi ; par coséquet pour tout N les tribus C et B sot idépedates. O e déduit que : A C, B B, P(A B) = P(A)P(B). =1 Ceci etraîe que C = =1 C M et par le théorème des classes mootoes σ(c ) = M(C ) M. D autre part o a : T k C k C σ(c ) et par coséquet B = σ(t k, k ) σ(c ) d où le résultat. J.-J. Ruch et M.-L. Chabaol

18

19 CHAPITRE III Espérace 1. Défiitio Défiitio 1. Soit X ue variable aléatoire réelle itégrable. O appelle espérace mathématique de X la quatité suivate : E(X) = X(ω)dP(ω) = xdp X (x) Ω R Si X est à valeurs das Z, X est itégrable si et seulemet si la série P(X = ) coverge. O a Z alors E[X] = Z P(X = ) Si X a pour desité f, X est itégrable si et seulemet si x xf l est et o a alors E[X] = xf(x)dx R O éted cette défiitio au cas où X = (X 1,..., X d ) est à valeurs das R d e preat alors E[X] = (E[X 1 ],..., E[X d ]), pourvu que chacue des espéraces E[X i ] soit bie défiie. O a, si X = 1 B alors E[X] = P(B). E gééral, E[X] s iterprète comme la moyee de la variable aléatoire X. Das le cas particulier où Ω est fii et P est équidistribuée, E[X] est bie la moyee arithmétique au ses usuel des valeurs prises par X. Propositio 2. Soit X ue variable aléatoire à valeurs das (E, E). Pour toute foctio mesurable f : E [0, ], o a E[f(X)] = f(x)dp X (x). E Démostratio. O remarque que le résultat est vrai par défiitio pour f = 1 B puis par liéarité pour toute foctio étagée positive. Das le cas gééral, o utilise le théorème de covergece mootoe et le fait que que toute foctio mesurable positive est limite croissate d ue suite de foctios étagées positives. Si f est de sige quelcoque, la formule de la propositio reste vraie à coditio que les itégrales soiet bie défiies, ce qui reviet à E[ f(x) ] < +. La doée de P X permet doc de calculer la valeur moyee de variables aléatoires de la forme f(x). Iversemet, o peut utiliser cette propositio pour calculer la loi d ue variable aléatoire X : si o arrive 19

20 20 Chapitre III. Espérace à écrire E[f(X)] = fdµ pour toute foctio f suffisammet géérale (par exemple toute foctio boréliee borée), alors o peut idetifier µ à la loi de X. Cela doe ecore u autre moye de calculer la loi d ue foctio d ue variable aléatoire X. Das le cas où f est ue foctio puissace x x k, E[X k ] (si elle existe) est appelée momet d ordre k de X. 2. Momets d ue variable aléatoire Défiitio 3. Soit X ue variable aléatoire réelle et soit k 1 u etier. Le momet d ordre k de X est par défiitio la quatité E[X k ] qui est défiie que si X k est itégrable (E[ X k ] < + ). Si X est à valeurs das Z, X possède u momet d ordre k N, si la série k P(X = ) coverge. Le Z momet est alors oté E[X k ] = Z k P(X = ) E particulier le momet d ordre 1 est simplemet l espérace de X. O dit qu ue variable aléatoire réelle est cetrée si elle est itégrable et si E[X] = 0. Le cas du momet d ordre 2 est tout particulièremet importat car l espace L 2 (Ω, A, P) mui du produit scalaire X, Y = E[XY ] est u espace de Hilbert. Défiitio 4. Soit X L 2 (Ω, A, P). La variace de X est Var(X) = E[(X E[X]) 2 ] et l écart-type de X est σ X = Var(X). De maière iformelle, Var(X) représete la dispersio de X autour de sa moyee E[X]. De maière plus géométrique, e terme de orme das l espace de Hilbert L 2 (Ω, A, P), la variace mesure la distace de X à so espérace Var(X) = X E(X) 2. O cosidère souvet la variable cetrée réduite associée à ue variable aléatoire X, défiie par X = X E[X], qui vérifie E[X ] = 0 et σ(x ) = 1. σ(x) Propositio 5. Si le momet d ordre k existe tous les momets d ordre k, k k, existet égalemet. Démostratio. Ce est rie d autre que l iclusio L k L k si k k das le cas d ue mesure fiie. Rappel de la démostratio O cosidère deux etiers tels que 1 k k. O a 0 x k sup { x k, 1} 1 + x k et doc x k dp(x) (1 + x k )dp(x = x) = 1 + x k dp(x) E E E d où le résultat. Rappels

21 3. Propriétés Propriétés Les propriétés ci-dessous se démotret sas difficulté. E[aX + b] = ae[x] + b X 0 E[X] 0 Var(X) = E[X 2 ] E[X] 2 Var(X) = 0 X est costate presque suremet Var(aX + b) = a 2 Var(X) E[(X a) 2 ] = Var(X) + (E[X] a) 2 Var(X) = if a R E[(X a) 2 ]. Ces deux derières propriétés exprimet le fait que l espérace E[X] est la projectio orthogoale das L 2 de la variable aléatoire X sur l espace H des variables aléatoires costates, et que Var(X) est le carré de la distace de X à H. Les iégalités suivates sot très utiles. Propositio 6. Iégalité de Markov Si X est ue variable aléatoire positive et si a > 0, alors o a Plus gééralemet, si p > 0 et si X L p (Ω, A, P), P(X a) 1 a E[X]. P(X a) 1 a p E[Xp ]. Il suffit pour la démotrer de remarquer que sur l esemble {X a}, o a 1 X a. Ue coséquece directe de ce résultat est la propositio suivate. Propositio 7. Iégalité de Bieaymé - Tchebytchev Si X L 2 (Ω, A, P) et si a > 0, alors o a P( X E[X] a) 1 a 2 Var(X). De plus, l espérace mathématique état u cas particulier d itégrale par rapport à ue mesure positive, o peut doc lui appliquer tous les théorèmes gééraux d itégratios. Théorème 8. Théorèmes de covergeces. Covergece mootoe : X 0, X X E[X ] E[X]. Lemme de Fatou : X 0 E[lim if X ] lim if E[X ]. Covergece domiée : X Z, E[Z] <, X X p.s. E[X ] E[X]. E probabilité o utilise l expressio presque sûremet plutôt que le presque partout de la théorie de la mesure. Les espaces L p (Ω, A, P) sot défiies pour tout p [1, ] comme das le cours d itégratio. J.-J. Ruch et M.-L. Chabaol

22 22 Chapitre III. Espérace L iégalité de Hölder s écrit E[ XY ] E[ X p ] 1/p E[ Y q ] 1/q pourvu que 1 p + 1 q = 1. E preat Y = 1 o trouve X 1 X r X p si r p ; e particulier L p (Ω, A, P) L r (Ω, A, P) si r p. L iégalité de Cauchy-Schwarz s écrit E[ XY ] E[ X 2 ] 1/2 E[ Y 2 ] 1/2 et le cas particulier où Y = 1, E[ X ] 2 E[ X 2 ], est souvet très utile. 4. Covariace et corrélatio X p, ce qui se gééralise aussitôt à Défiitio 9. O appelle covariace des variables aléatoires réelles X et Y la quatité, lorsqu elle existe, Cov(X, Y ) = E[(X E[X])(Y E[Y ])]. L iégalité de Cauchy-Schwartz garatit que la covariace est bie défiie dès que X et Y possèdet u momet d ordre 2. O remarque de plus facilemet que Cov(X, X) = Var(X) et Cov(X, Y ) = E[XY ] E[X]E[Y ]. Il est égalemet facile de vérifier que la covariace est biliéaire, et que si a est u réel, Cov(X, a) = 0. E particulier, si a, b, c, d sot 4 réels, Cov(aX + b, cy + d) = accov(x, Y ). Théorème 10. Si X et Y sot deux variables aléatoires idépedates possédat ue espérace et telles que XY possède ue espérace, alors E[XY ] = E[X]E[Y ]. Plus gééralemet, si X et Y sot idépedates et si f et g sot deux foctios mesurables telles que f(x) et f(y ) possèdet ue espérace, o a alors E[f(X)g(Y )] = E[f(X)]E[g(Y )]. Démostratio. La démostratio est très simple das le cas discret : o a alors E[XY ] = x,y xyp(x = x, Y = y) = x,y xyp(x = x)p(y = y) = x xp(x = x) y yp(y = y) = E[X]E[Y ]. Das le cas gééral, c est ue coséquece du théorème de Fubii ; e effet si les variables aléatoires sot idépedates la loi de (X, Y ) est le produit des deux lois ; l itégrabilité de XY permet alors d utiliser le théorème de Fubii et d écrire : E[XY ] = xydp(x)dp(y) = xdp(x) ydp(y) = E[X]E[Y ] R 2 R R Il suffit pour la gééralisatio de remarquer que f(x) et g(y ) sot alors idépedates. O e déduit facilemet le résultat suivat. Propositio 11. Si X et Y sot deux variables aléatoires idépedates ayat ue covariace, alors cette covariace est ulle. Rappels

23 4. Covariace et corrélatio 23 Attetio la réciproque est fausse. Par exemple o peut predre X et Y telles que : P (X = 0, Y = 1) = 0 P (X = 0, Y = 0) = 1/2 P (X = 0, Y = 1) = 0 P (X = 1, Y = 1) = 1/4 P (X = 1, Y = 0) = 0 P (X = 1, Y = 1) = 1/4 ou ecore si o s itéresse à des variables aléatoires à desité : soit X 1 ue variable aléatoire réelle de loi N (0, 1). Soit ɛ ue deuxième variable aléatoire à valeurs das { 1, 1}, idépedate de X 1 et telle que P(ɛ = 1) = P(ɛ = 1) = 1/2. Si o pred X 2 = ɛx 1, o voit immédiatemet que Cov(X 1, X 2 ) = 0, alors que X 1 et X 2 e sot pas idépedates. E effet, sio X 1 et X 2 = X 1 le seraiet. Or, si ue variable aléatoire réelle est idépedate d elle même elle doit être costate presque suremet et doc sa loi est ue mesure de Dirac, d où ue cotradictio. La covariace permet de calculer la variace d ue somme de variables aléatoires : Théorème 12. Soiet X 1,..., X des variables avec u momet d ordre 2, alors Var( X i ) = Var(X i ) + 2 i=1 i=1 1 i<j Cov(X i, X j ). E particulier si X 1,... X sot deux à deux idépedates, alors Var( i=1 X i) = i=1 Var(X i) Défiitio 13. Le coefficiet de corrélatio des variables aléatoires X et Y est défii par (quad il existe) : ρ(x, Y ) = Cov(X, Y ) σ(x)σ(y ). Si ρ(x, Y ) = 0 o dit que les variables sot o-corrélées. Evidemmet, si X et Y sot idépedates leur coefficiet de corrélatio est ul. La réciproque est fausse. Le coefficiet de corrélatio doe doc ue idicatio plus ou mois précise de l idépedace de deux variables aléatoires. Cepedat la réciproque est exacte si (X, Y ) est u vecteur gaussie (cas fréquet), d où l itérêt de ce coefficiet. Doos quelques propriétés du coefficiet de corrélatio. Propositio 14. O a : ρ(x, Y ) [ 1, 1] Si Y = ax + b (a 0) alors ρ(x, Y ) = 1 Si ρ(x, Y ) = 1 alors o a X E[X] σ(x) ρ(x, Y ) Y E[Y ] σ(y ) = 0 (et doc Y est ue foctio affie de X). Démostratio. Ce est rie d autre que l iégalité de Cauchy-Schwartz pour le produit scalaire das L 2 < X, Y >= E[XY ] ; rappel de la démostratio : o cosidère la quatité positive suivate : ( ) ] 2 λ R, E[ X E[X] + λ(y E[Y ]) ; o a doc λ R, λ 2 Var(Y ) + 2λCov(X, Y ) + Var(X) 0. J.-J. Ruch et M.-L. Chabaol

24 24 Chapitre III. Espérace Le discrimiat de ce triôme est égatif ou ul, c est-à-dire Cov(X, Y ) 2 Var(X)Var(Y ), d où ρ(x, Y ) 2 1. Maiteat si ρ(x, Y ) = 1 le discrimiat est ul et par coséquet le triôme admet ue racie double λ 0 = Cov(X, Y )/Var(Y ) et doc E [ (X E[X] + λ 0 (Y E[Y ])) 2] = 0 Ceci etraîe que (X E[X] + λ 0 (Y E[Y ]) = 0 et par coséquet le résultat. Pour le deuxième résultat il suffit de remplacer Y par so expressio et de faire les calculs. 5. Foctio géératrice O e doera ici que la défiitio pour des variables aléatoires discrètes à valeurs das N. Défiitio 15. Soit X ue variable aléatoire à valeurs etières positives (X(Ω) N). La foctio géératrice de X est défiie par : s C, s 1, G X (s) = k N P(X = k)s k = E(s X ). Le rayo de covergece de cette série etière est au mois 1 puisque : G X (1) = k N P(X = k) = 1. Ue foctio géératrice est doc e particulier X sur ] 1; 1[. La coaissace de la foctio géératrice de X etraîe la coaissace de la loi puisque P(X = k) est le coefficiet de s k das la série. Théorème 16. Si X et Y sot des variables aléatoires idépedates alors G X+Y (s) = G X (s)g Y (s). Plus gééralemet, si X 1,..., X sot des variables idépedates G X1+ +X (s) = G X1 (s)... G X (s). Démostratio. Par idépedace des variables aléatoires X et Y o a E[s X+Y ] = E[s X ]E[s Y ]. Attetio la réciproque de ce résultat est fausse. Propositio 17. Soit X ue variable aléatoire à valeur das N. Si la série coverge o a G (m) X (1) = k(k 1)... (k m + 1)P(X = k) = E[X(X 1)... (X m + 1)] et e particulier k=m G X(1) = E[X] G X(1) = E[X 2 ] E[X]. La foctio géératrice permet doc d obteir l espérace et la variace, puisqu o a Var(X) = G X (1) + G X (1) (G X (1))2. Rappels

25 6. Foctios caractéristiques 25 Théorème 18. Somme d u ombre aléatoire de variables aléatoires Soit (X i ) i 1 ue suite de variables aléatoires idépedates idetiquemet distribuées à valeurs das N. Soit N ue variable aléatoire N à valeurs das N idépedate des X i. O pose S N = X i. Alors la foctio géératrice de S N vérifie : G SN (s) = G N G X1 (s). De plus si X 1 et N admettet ue espérace, S N égalemet et i=1 E[S N ] = E[N]E[X 1 ] Démostratio. O a P(S N = k) = P(N = )P(S N = k N = ) = P(N = )P( X i = k) =1 =1 i=1 ce qui etraîe le résultat. De plus si G N et G X1 sot dérivables e 1, comme o a G X1 (1) = 1, G SN est dérivable e 1 et G S N (1) = G X 1 (1)G N (1) d où le résultat. 6. Foctios caractéristiques Pour les variables aléatoires à desité, o préfère utiliser la otio de foctio caractéristique. Défiitio 19. Si X est ue variable aléatoire à valeurs das R d, la foctio caractéristique de X est la foctio : Φ X : R d C défiie par t R d, Φ X (t) = E[exp (it.x)] = exp (it.x)p X (dx). R d Ceci permet de voir la foctio caractéristique comme la trasformée de Fourier de la loi de X. Elle existe toujours car exp (it.x) = 1 et P X est ue mesure borée. De plus d après le théorème de covergece domiée, Φ X est cotiue et borée sur R d. Lorsque X est ue variable aléatoire réelle à desité, Φ X (t) = exp (itx)f(x)dx. R Propositio 20. Soit X ue variable aléatoire réelle. O ote a et b deux costates relles. O a alors Φ ax (t) = Φ X (at) Φ X+b (t) = exp (itb)φ X (t) O e déduit e particulier, si X est ue variable aléatoire d espérace m et d écart-type σ, e posat U = (X m)/σ ( Φ U (t) = Φ X m (t) = exp itm ) ( ) t Φ X Φ X (t) = exp (itm)φ U (σt). σ σ σ J.-J. Ruch et M.-L. Chabaol

26 26 Chapitre III. Espérace La foctio caractéristique se prête bie aux additios de variables aléatoires idépedates. E effet la foctio caractéristique d ue somme de variables aléatoires idépedates est égale au produit de leurs foctios caractéristiques : Φ X+Y (t) = Φ X (t)φ Y (t). E effet, si o cosidère X 1 et X 2 deux variables aléatoires idépedates, Φ X1+X 2 (t) = E[exp (it(x 1 + X 2 ))] = E[exp (itx 1 ) exp (itx 2 )] L idépedace de X 1 et X 2 etraîe que exp (itx 1 ) et exp (itx 2 ) sot idépedates et doc que l espérace du produit est égal au produit des espéraces. Notos qu il e s agit pas d ue coditio écessaire et suffisate. Propositio 21. Soit X ue variable aléatoire symétrique par rapport à l origie. Alors la foctio caractéristique de X est réelle. E effet Φ X ( t) = exp ( it.x)p X (dx) = Φ X (t) R d = exp (it.x)p X ( dx) = Φ X (t) R d car d après la symétrie P X ( dx) = P X (dx). Propositio 22. O a Φ X (0) = 1. De plus si les dérivées à l origie existet jusqu à l ordre k N Φ (k) X (0) = ik E[X k ]. E particulier o a Φ X(0) = ie[x] Φ X(0) = E[X 2 ]. Si Φ X est idéfiimet dérivable e 0, la formule de Mac-Lauri doe t k Φ X (t) = k! ik E[X k ]. k=0 D après les propriétés des trasformées de Fourier, deux variables aléatoires ayat même foctios caractéristiques ot même loi de probabilité. La foctio caractéristique détermie doc de maière uique ue distributio de probabilité d où so om. La formule d iversio de la trasformée de Fourier permet d obteir la loi de X coaissat Φ X. Propositio 23. Si Φ X (t) dt < alors X admet ue desité f(x) cotiue et : R f(x) = 1 Φ X (t) exp ( itx)dt. 2π R Sio o a toujours le résultat suivat : 1 T exp ( ita) exp ( itb) F X (b) F X (a) = lim Φ X (t) dt. T 2π T it Ce paragraphe est illustré par les calculs réalisés pour des variables aléatoires gaussiees. Rappels

27 6. Foctios caractéristiques 27 Soit X ue variable aléatoire de loi N (0, 1) (gaussiee cetrée réduite). Alors o a Φ X (t) = + = exp ( t 2 /2) 1 exp ( x 2 /2) exp (itx)dx = 1 + 2π 2π + exp ( ) 1 1 exp [x it]2 dx = exp ( t 2 /2). 2π 2 ( 1 2 [x it]2 t2 2 E effet l itégrale vaut 1 : o peut le devier car c est l itégrale d ue variable de Gauss imagiaire de moyee it et de variace 1 ; plus rigoureusemet ue utilisatio du théorème des résidus fourit ue preuve. Ue autre méthode pour trouver ce résultat est d utiliser la formule de Mac-Lauri. O sait que E[X k ] = 0 si k est impair et E[X 2k ] = (2k)! 2 k k!, d où Φ X (t) = k=0 t 2k (2k)! ( 1)k (2k)! 2 k k! = k=0 ( ) t2 2 k! = exp ( t 2 /2). Soit X ue variable aléatoire de loi N (m, σ 2 ), alors U = (X m)/σ est ue variable aléatoire gaussiee cetrée réduite. D après la propositio 18 Φ X (t) = exp (itm)φ U (σt) = exp (itm) exp ( σ 2 t 2 /2). O e déduit que la somme de deux variables aléatoires gaussiees X 1 L N (m1, σ 2 1) et X 2 L N (m2, σ 2 2) a pour foctio caractéristique Φ X1+X 2 (t) = Φ X1 (t)φ X2 (t) = exp (it(m 1 + m 2 )) exp ( (σ σ 2 2)t 2 /2), doc X 1 + X 2 suit ue loi gaussiee N ( m 1 + m 2, σ σ 2 2). ) dx J.-J. Ruch et M.-L. Chabaol

28

29 CHAPITRE IV Covergece de variables aléatoires 1. Les différetes otios de covergeces Soit (X ) 1 et X des variables aléatoires défiies sur (Ω, A, P), à valeurs das R d. Défiitio 1. p.s. O dit que la suite (X ) coverge presque sûremet vers X, et o ote X X, si P({ω Ω : X(ω) = lim X (ω)}) = 1. O dit que la suite (X ) coverge das L p L vers X, et o ote X p X, si lim E[ X X p ] = 0. P O dit que la suite (X ) coverge e probabilité vers X, et o ote X X, si ε > 0, lim P( X X > ε) = 0. Nous verros das la suite de ce chapitre ue derière otio, celle de covergece e loi. O peut vérifier que l o a {ω Ω : X(ω) = lim X (ω)} = {ω Ω : X (ω) X(ω) < 1/p} p 1 m m N Propositio 2. Soit L 0 R d (Ω, A, P) l espace de toutes les variables aléatoires à valeurs das R d, et soit L 0 R d (Ω, A, P) so quotiet par la relatio d équivalece X Y si et seulemet si X = Y p.s. Alors la formule d(x, Y ) = E[ X Y 1] défiit ue distace sur L 0 R d (Ω, A, P) qui est compatible avec la covergece e probabilité au ses suivat : X P X d(x, X) 0. De plus, l espace L 0 R d (Ω, A, P) est complet pour cette distace. Démostratio. O vérifie facilemet que d est ue distace. De plus si (X ) coverge e probabilité vers X, o a pour tout ε > 0, E[ X X 1] E[ X X 1 X X ε] + E[( X X 1)1 X X >ε] ε + P( X X > ε). D après la défiitio de la covergece e probabilité, cela etraîe que lim sup d(x, X) ε, et puisque ε est arbitraire o a d(x, X) 0. 29

30 30 Chapitre IV. Covergece de variables aléatoires Réciproquemet, si d(x, X) 0, alors, pour tout ε ]0, 1[, P( X X > ε) ε 1 E[ X X 1] = ε 1 d(x, X) 0. Il reste à motrer que L 0 est complet pour la distace d. Soit (X ) ue suite de Cauchy pour d. O peut trouver ue sous-suite Y k = X k telle que, pour k 1, d(y k, Y k+1 ) 2 k. Alors, ce qui etraîe [ ] E ( Y k+1 Y k 1) = d(y k+1, Y k ) < Y k+1 Y k 1 < p.s., et doc aussi variable aléatoire das L 0 e posat X = Y 1 + Y k+1 Y k <. O défiit esuite ue (Y k+1 Y k ). Par costructio la suite (Y k ) coverge presque sûremet vers X et cela etraîe le résultat. Ue coséquece de la démostratio précédete est : Propositio 3. Si (X ) coverge e probabilité vers X, alors, il existe ue sous-suite (X k ) qui coverge presque sûremet vers X. Ue coséquece immédiate du théorème de covergece domiée et de l iégalité de Markov est l implicatio ci-dessous : Propositio 4. Si (X ) coverge presque sûremet ou das L p probabilité vers X. vers X, alors, elle coverge aussi e Efi, o a Propositio 5. Si (X ) coverge e probabilité vers X et s il existe r ]1, [ tel que (X ) soit borée das L r, alors, pour tout p ]1, r[, la suite (X ) coverge das L p. Démostratio. Soit p ]1, r[. X état borée das L r, il existe u réel M tel que, E[ X r ] M. Le lemme de Fatou appliqué à ue sous-suite qui coverge p.s, assure alors qu o a égalemet E[ X r ] M. Il suffit alors puisque r p > 1 d utiliser l iégalité de Hölder : pour tout ɛ > 0, E[ X X p ] = E[ X X p 1 X X >ɛ]+e[ X X p 1 X X ɛ] (E[ X X r ]) p/r (P( X X > ɛ)) 1 p/r +ɛ p O e déduit E[ X X p ] (2M) p/r P( X X > ɛ) 1 p/r + ɛ p E faisat tedre vers l ifii, o obtiet pour tout ɛ > 0, lim sup E[ X X p ] ɛ p lim E[ X X p ] = 0. et doc O peut doer ue coséquece directe du lemme de Borel-Catelli pour les variables aléatoires. Rappels

31 1. Les différetes otios de covergeces 31 Lemme 6. Soit (X ) N ue suite de variables aléatoires réelles défiies sur (Ω, A, P). (i) Si pour tout ε > 0, N P( X X ε) < alors X X p.s. (ii) Si les (X ) N sot idépedates alors X 0 p.s. si et seulemet si pour tout ε > 0, P( X ε) <. N Démostratio. Soit k N. O ote A,k l évéemet X X 1 k. Si o suppose P( X X 1 k ) <, le lemme de Borel-Catelli assure que P (lim sup A,k ) = 0, c est-à-dire N que P (E k ) = 1 où o a oté E k = {ω Ω, ω u ombre fii de A,k }. O a doc égalemet P ( k E k ) = 1 : doc pour presque tout ω, quel que soit l etier k, il existe u rag N tel que N X X < 1 k : aisi, X coverge p.s. vers X. Réciproquemet, si N P( X ε) = et si les X sot idépedates, o déduit de Borel-Catelli que pour presque tout ω, l esemble des etiers tels que X ε est ifii : doc X e peut pas coverger vers 0. Le résultat ci-dessous est très utile e statistique : Propositio 7.Soit (X ) N ue suite de variables aléatoires réelles de carré itégrable défiies sur (Ω, A, P). O suppose qu il existe ue costate a telle que lim E[X ] = a et que lim Var(X ) = 0. Alors X coverge vers a das L 2 et e probabilité. Démostratio. C est ue coséquece immédiate de l égalité E[(X a) 2 ] = Var(X ) + (E[X a]) 2. D autre part ces covergeces sot compatibles avec u certai ombre d opératios : Propositio 8. Soit (X ) N ue suite de variables aléatoires à valeurs das R d qui coverge p.s., respectivemet e probabilités, vers ue variable aléatoire X et f ue foctio cotiue de R d das R m. Alors la suite f(x ) coverge p.s., respectivemet e probabilités, vers f(x). Soiet (X ) N et (Y ) N deux suites de variables aléatoires réelles qui coverget respectivemet vers X et Y, p.s. ou e probabilités ou das L p. Alors (X + Y ) coverge vers X + Y p.s. ou e probabilités ou das L p. Démostratio. Pour la covergece presque sûre, c est clair. O suppose doc que X coverge e probabilités vers X. Soit ɛ > 0, et soit δ > 0. O va motrer que pour assez grad, P ( f(x ) f(x) > ɛ) < 2δ. Puisque lim m P ( X > m) = 0, il existe a tel que P ( X > a) δ. D autre part f état cotiue elle est équicotiue sur la boule compacte B(0, 2a). Aisi il existe η > 0 tel que (x, y) B(0, 2a) 2, f(x) f(y) > ɛ x y > η O e déduit (x, y) (R d ) 2, f(x) f(y) > ɛ x > a ou x y > mi(η, a) J.-J. Ruch et M.-L. Chabaol

32 32 Chapitre IV. Covergece de variables aléatoires Fialemet P( f(x) f(x ) > ɛ) P ( X > a) + P ( X X > mi(η, a)) δ + P ( X X > mi(η, a)) Ce derier terme peut être redu iférieur à δ e preat suffisammet grad. Le seul éocé ouveau cocere la covergece e probabilités. O peut voir cette propriété comme ue coséquece de la métrisabilité de cette covergece (e vertu du premier théorème du chapitre). C est aussi ue coséquece du poit précédet : si (X ) et (Y ) coverget e probabilités, c est égalemet le cas du couple (X, Y ) qui coverge vers (X, Y ). Il suffit alors de lui appliquer la foctio cotiue (x, y) x + y. 2. Loi des grads ombres ; théorème de Gliveko Catelli Doos tout de suite l éocé le plus fort, celui de la loi forte des grads ombres. O trouvera e aexe sa démostratio ; o présetera das la sectio suivate des démostratios de versios plus faibles, plus abordables, et souvet plus facilemet gééralisables à d autres situatios. Théorème 9. Loi forte des grads ombres Soit (X ) 1 ue suite de variables aléatoires idépedates idetiquemet distribuées, itégrables alors X k coverge p.s. vers E[X 1 ] E statistique la moyee arithmétique X k sera e gééral otée X. Ue autre versio u peu plus forte de ce résultat est la suivate : - pour toute suite de variables aléatoires idépedates idetiquemet distribuées, o a X k coverge p.s. E[ X 1 ] < +. De plus si l ue des deux coditios est vérifiée alors la limite de la moyee empirique est E[X 1 ]. U cas particulier très souvet utilisé est explicité das le corollaire suivat : Corollaire 10. Si (A ) 1 est ue suite d évéemets idépedats de même probabilité, alors o a 1 p.s. 1 Ak P(A 1) Exemple Soit X ue variable aléatoire de loi uiforme sur [0, 1] et Y la suite de ses décimales. O peut motrer facilemet que les Y sot idépedates et uiformémet distribuées sur {0,..., 9}. 1 Par coséquet o a p.s. 1 Y k =5 = P(Y 1 = 5) = Dit autremet, u ombre réel choisi au hasard uiformémet das [0, 1] aura presque sûremet ue proportio asymptotique de 5 das so développemet décimal de 1 10 (5 e joue pas de rôle particulier, il e est de même pour tous les etiers etre 0 et 9). O motrerait aisi plus gééralemet que presque tous les réels sot ormaux. Rappels

33 2. Loi des grads ombres ; théorème de Gliveko Catelli 33 Ue coséquece fodametale du corollaire précédet, qui est à la base du test de Kolmogorov-Smirov est le théorème de Gliveko-Catelli, qui cocere la covergece de la foctio de répartitio empirique vers la foctio de répartitio théorique. Défiitio 11.Foctio de répartitio empirique Soit (X ) N ue suite de variables aléatoires réelles idépedates de même loi, de foctio de répartitio F. La foctio de répartitio empirique du vecteur (X 1,..., X ) est la foctio aléatoire F de R Ω défiie par (x, ω) R Ω, F (x, ω) = 1 1 Xi(ω) x i=1 La foctio de répartitio empirique est doc ue foctio aléatoire e escalier, qui mesure pour chaque x la proportio des X i qui sot iférieures à x. Le théorème de Gliveko-Catelli assure qu elle coverge p.s. uiformémet vers la vraie foctio de répartitio : aisi lorsqu o observe u échatillo de loi icoue, la foctio de répartitio empirique permet bie d avoir ue idée assez précise de la foctio de répartitio. De plus o sait que la différece etre les deux est d ordre 1. Cela sera la base e statistique du test de Kolmogorov Smirov. Théorème 12. Théorème de Gliveko-Catelli Soit (X ) N ue suite de variables aléatoires réelles idépedates de même loi, de foctio de répartitio F. Alors pour presque tout ω, la suite de foctios de répartitio empiriques F (., ω) coverge uiformémet vers la foctio de répartitio F : Pour presque tout ω, lim F (x, ω) F (x) = 0 sup x R Démostratio. O doit démotrer qu il existe u esemble Ω de probabilité 1 tel que pour tout ω Ω, pour tout etier k, il existe 0 tel que pour tout 0, pour tout x R, F (x, ω) F (x) 1 k. Pour alléger les otatios o otera F (x ) = P(X < x) la limite à gauche e x de F ; de même F (x ) = 1 i=1 1 X j<x. O peut déjà commecer par remarquer que si x est u réel fixé quelcoque, les évéemets 1 Xj x sot idépedats et de même probabilité, doc e vertu du corollaire précédet o a pour tout x réel, il existe u esemble de probabilité 1 Ω 1,x tel que pour tout ω Ω 1,x, F (x, ω) coverge vers F (x). De même o motre que pour tout x réel, il existe u esemble de probabilité 1 Ω 2,x tel que pour tout ω Ω 2,x, F (x, ω) coverge vers F (x ). Mais ces esembles Ω x dépedet de x or le théorème demade ue covergece presque sûre uiforme. O va doc devoir cosidérer ue famille déombrables de tels x pour pouvoir predre l itersectio. O va cosidérer pour tout etier k > 0, pour tout 0 j k, x j,k = if{x R, F (x) j k } = F ( j k ) où F désige la foctio quatile itroduite plus haut, e coveat que if(r) = et if( ) = +. La famille (x j,k ) k N,0 j k est déombrable, il existe doc u esemble Ω de probabilité 1 tel que la covergece simple ait lieu pour tout ω das Ω et pour tout x j,k. Soit ω Ω et soit k N. Il existe doc pour tout 0 j k u etier j tel que pour j, F (x j,k, ω)) F (x j,k ) 1 k J.-J. Ruch et M.-L. Chabaol

34 34 Chapitre IV. Covergece de variables aléatoires O pose maiteat 0 = max 0 j k j. Soit 0, et soit x R. Si x est l u des x j,k o a rie à demotrer. Sio, il existe l tel que x ]x l,k, x l+1,k [. La croissace des foctios cosidérées permet alors d écrire F (x l ) F (x) F (x l+1 ) F (x l ) 1 k F (x l, ω) F (x, ω) F (x l+1, ω) F (x l+1 ) + 1 k Il suffit maiteat de remarquer que, par cotiuité à droite de F, o a F (x l ) l k ; de plus puisque y < x l+1, F (y) < j+1 k o a F (x l+1 ) l+1 k : aisi, 0 F (x l+1 ) F (x l) 1 k et o a fialemet F (x, ω) F (x) 2 k 3. Lois faibles des grads ombres et démostratios Les éocés ci-dessous, certes plus faibles, sot aussi plus facilemet gééralisables, et leur démostratio est tout-à-fait abordable. Théorème 13. Loi faible des grads ombres Soit (X ) 1 ue suite de variables aléatoires réelles idépedates de même loi. Si o a E[X1 2 ] <, alors 1 (X L X ) 2 E[X 1]. [ 1 Démostratio. Par liéarité o a E E [ ( ) ] 2 1 (X X ) E[X 1 ] qui ted vers 0 quad. ] (X X ) = E[X 1 ], et par coséquet : = 1 2 Var(X X ) = 1 2 Var(X k ) = 1 Var(X 1) La preuve motre que le résultat reste vrai sous des hypothèses mois fortes. Au lieu, par exemple, de supposer que les X ot même loi, il suffit de demader que E[X k ] = E[X 1 ] et que la suite E[X 2 ] soit borée. Au lieu de l idépedace, il suffit qu o ait Cov(X m, X ) = 0 dès que m, ce qui est beaucoup plus faible. Nous doos u deuxième éocé de loi forte des grads ombres, avec ue hypothèse sur le momet d ordre 4. Propositio 14. Soit (X ) 1 ue suite de variables aléatoires réelles idépedates de même loi. Si o a E[X1 4 ] <, alors 1 (X X ) E[X 1 ] p.s. Rappels