LA LOI DES GRANDS NOMBRES ET LE THÉORÈME DE LA LIMITE CENTRALE

LA LOI DES GRANDS NOMBRES ET LE THÉORÈME DE LA LIMITE CENTRALE MATTHIEU KOWALSKI 1. INTRODUCTION La démarche statistique cosiste à observer ue expériece aléatoire das le but de mieux coaître ses caractéristiques. Défiitio 1 (-échatillo). O appelle -échatillo de loi P l esemble X 1,..., X de variables aléatoires idépedates et idetiquemet distribuées selo P. Autremet dit, o a i {1,..., X i P et i jx i et X j idépedats. Le -échatillo représete l iformatio dot o dispose. Défiitio 2. O appelle modèle statistique la famille de loi possible pour otre -échatillo. O le ote {P θ, θ Θ, où θ est u paramètre qui caractérise la loi. 1.1. Estimateur de la moyee. Le but de l estimatio est, à partir d u -échatillo de loi P θ, d estimer le paramètre θ de la loi P. Défiitio 3. Soit X 1,..., X u -échatillo de loi P tel que i E{X i = µ et Var {X i = σ 2 < +. O défiit la quatité X = 1 X i appelée moyee empirique. La moyee empirique est u estimateur de la moyee µ. O a la propriété suivate : Propositio 1. E{ X = µ et Var { X = σ 2. O verra u exemple pratique avec la modélisatio du jeu de pile ou face. 2. LA LOI DES GRANDS NOMBRES La loi des grads ombres a été formalisée au XVIIe XVIIe siècle lors de la découverte de ouveaux lagages mathématiques. Essetiellemet, la loi des grads ombres idique que lorsque l o fait u tirage aléatoire das ue série de grade taille, plus o augmete la taille de l échatillo, plus les caractéristiques statistiques du tirage (l échatillo) se rapprochet des caractéristiques statistiques de la populatio. Mais il est itéressat de oter que la taille de l échatillo à predre 1

Licece MASS Atelier: LGN et TLC pour approcher les caractéristiques de la populatio iitiale e déped que faiblemet voire pas du tout de la taille de la série iitiale : pour u sodage au Luxembourg ou aux États-Uis, il suffit, pour obteir ue précisio égale de predre u échatillo de même taille. C est sur cette loi que reposet la plupart des sodages Ils iterroget u ombre suffisammet importat de persoes pour coaître l opiio (probable) de la populatio etière. De même, sas la formalisatio de la loi des grads ombres, l assurace aurait jamais pu se développer avec u tel essor. E effet, cette loi permet aux assureurs de détermier les probabilités que les siistres dot ils sot garats se réaliserot ou o. La loi des grads ombres sert aussi e statistique iféretielle, pour détermier ue loi de probabilité à partir d ue série d expérieces. Théoreme 1 (Loi faible des grads ombres). Soit X 1, X 2,..., X variables aléatoires idépedates et idetiquemet distribuées d espérace commue µ et de variace commue σ 2 <. O pose X = 1 X i la moyee empirique. Alors ε > 0, lim P { X m > ε = 0 + Démostratio. Le théorème se motre e utilisat l iégalité de Tchebychev : avec P { X E{ X > ε Var { X E{ X = E { 1 X i = 1 ε 2 E {X i = µ et, parce que les X i sot idépedates, Var { { 1 X = Var X i = 1 2 Var {X i = σ2 Par coséquet P { X E{ X > ε Var{ X σ 2 et doc ε 2 lim P { X m > ε = 0 + Il e faut toutefois pas cofodre la moyee des gais et le gai absolu. Si deux joueurs jouet très logtemps à pile ou face, celui qui perd doat u euro à celui qui gage, la moyee des gais de chaque joueur tedra effectivemet vers 0 (la moyee état défiie comme le gai divisé par le ombre de parties jouées), mais le gai de chaque joueur passera alterativemet par des hauts et des bas. 3. MODÉLISATION DU JEU DE PILE OU FACE O peut modéliser u jeu de pile ou face par ue suite de variables aléatoires idépedates idetiquemet distribuées (X k ) k N à valeurs das {0, 1 telles que P{le k-ième lacer doe pile = P{X k = 1 = p P{le k-ième lacer doe face = P{X k = 0 = 1 p 2

Atelier: LGN et TLC Licece MASS où p est u paramètre fixé das [0, 1]. La loi des (X k ) k N est appelée loi de Beroulli de paramètre p et est otée B(p). Propositio 2. O rappelle que l espérace et la variace d ue variable aléatoire X suivat ue loi de Beroulli de paramètre p sot doées par E{X = p et Var {X = p(1 p). La première gradeur à laquelle o s itéresse est le ombre de pile obteu lors de tirages successifs (le ombre de face s e déduit... ). O itroduit doc la variable aléatoire : N = X i. La loi de N est appelée loi biômiale de paramètre (le ombre de tirages) et p (la proabilité de tomber sur pile ), et est oté B(, p). Remarque 1. O peut remarquer que la loi biômiale de paramètres = 1 et p [0, 1] quelcoque, est la loi de Beroulli de paramètre p. Propositio 3. L espérace et la variace d ue variable aléatoire X suivat ue loi Biômilae de paramètres N et p [0, 1] sot doées par E{X = p et Var {X = p(1 p). Expériece 1. Predre ue pièce de moaie. Le paramètre p de cette pièce est a priori icou. Répeter plusieurs fois l expériece suivate : «Lacer 10 fois la pièce de moaie, et compter le ombre de pile.» (1) Quelle est la loi qui permet de modéliser cette expériece? (2) Théoriquemet, quelles valeurs peut predre le ombre de pile obteu au cours d ue expériece? (3) Faire u diagramme e bato qui représete les résultats obteus par cette expériece. O va maiteat étudier le comportemet asymtotique de N, c est à dire l évolutio du ombre moye de pile das tirages pour grad. Expériece 2. Lacer plusieurs fois la pièce de moaie. À chaque lacé, recalculer le ombre de pile obteu e moyee. (1) Vers quelle valeur la moyee semble-t-elle coverger? (2) Dessiez sur u graphique l évolutio de la moyee e foctio du ombre de lacé. Que remarquez-vous? (3) E quoi est-ce que cette expériece illustre la loi des grads ombres? Le résultat de cet exercice est illustré sur les figures 1 (a) et (b). O simule le jet d ue pièce de moaie mal équilibrée : o a 7 chace sur 10 de tomber sur pile. Autremet dit, la pièce de moaie suit ue loi de Beroulli B(0.7). O fait ue première expériece (figure 1 (a)), où l o jette 500 fois la pièce. À chaque lacé, o calcule la moyee empirique. O s itéresse alors à l évolutio de cette moyee empirique au cours des lacés. 3

Licece MASS Atelier: LGN et TLC FIG. 1. Illustratio de la covergece e probabilité de la loi des grads ombres O refait esuite la même expériece, mais cette fois ci e jettat 10000 fois la pièce (figure 1 (b)). Les figures 1 (a) et (b) motre l évolutio de ces moyees empiriques au cours des lacés, par rapport à la moyee théorique. O remarque sur ces figures que plus o fait de lacés, plus la courbe de la moyee empirique se rapproche de la courbe de moyee théorique. De plus, la moyee empirique peut «fluctuer» autour de la moyee théorique, sas rester «collée». Ce comportemet illustre la covergece e probabilité, et sera précisé par le théorème de la limite cetrale e sectio 5. 4. PARADOXE OU «BON SENS»? O vous propose de jouer au jeu suivat. Trois boites idetiques se présete à vous. L ue d etre elle cotiet u lot (par exemple, ue grosse somme d arget) et les deux autres sot vides. Le but du jeu est simple : si vous choisissez la boite qui cotiet le lot, alors vous le gagez. Le jeu se déroule e trois étapes : (1) Vous choisissez ue boite, au hasard. (2) Le maitre du jeu vous motre ue boite qui est vide. (3) Vous avez alors deux possibilités : (a) Rester sur votre 1er choix (b) Chager d avis, et choisir l autre boite restée fermée. D après-vous, quelle est la boe stratégie : rester sur so choix, ou bie chager d avis? O va répodre à cette questio de deux maières différetes. L ue est u simple calcul théorique. L autre viedra pour se covaicre de la justesse de ce calcul, et cosistera à appliquer la loi des grads ombres e jouat plusieurs fois à ce jeu. 4

Atelier: LGN et TLC Licece MASS 4.1. Pourquoi il faut chager. Au début du jeu, le joueur choisit ue boite, qu o otera la boite B C (comme «boite choisie». Comme il y a trois boites, la boite B C a ue chace sur trois de coteir le lot. Esuite, le maitre du jeu motre ue boite vide. Cette boite, qu o otera B MJ à doc zéro chace de coteir le lot! Il e reste plus qu à calculer la probabilité pour la boite restate (qu o otera B R ) de coteir le lot. Pour cela, o utilise la loi fodametale des probabilités qui dit : «la somme des probabilités est égale à 1». Si o résume : P{B C cotiet le lot = 1 3 P{B MJ cotiet le lot = 0 P{B C cotiet le lot + P{B MJ cotiet le lot + P{B R cotiet le lot = 1. O e déduit doc que : P{B R cotiet le lot = 1 0 1 3 = 2 3! C est-à-dire que cette boite à deux fois plus de chace de coteir le lot que c elle qu o avait choisie au départ! Autremet-dit, il serait stupide de e pas choisir l autre boite... 4.2. Jouos! Pour s e covaicre, il suffit de jouer u grad ombre de fois et d appliquer la loi des grads ombres. Expériece 3. (1) Modéliser le jeu afi de pouvoir appliquer la loi des grads ombres, et retrouver P{B C cotiet le lot et P{B R cotiet le lot. (2) Jouer u certai ombre de fois, et oter à chaque fois quelle boite cotiet le lot (B C ou B R ). (3) Appliquer la loi des grads ombres et coclure. O a simulé la stratégie suivate : o choisi ue boite, puis o chage d avis à chaque fois. O joue 1000 fois, et l o compte le ombre de fois où l o a gagé et perdu sur ces 1000 fois. D après la loi des grads ombre, cela ous permet d estimer la probabilité théorique de gager et de perdre avec cette stratégie. Le résultat de cette simulatio est illustré sur la figure 2, où l o voit clairemet qu o se rapproche de la probabilité 2 3 de gager avec cette stratégie, ce qui correspod au calcul théorique! 5. LE THÉORÈME DE LA LIMITE CENTRALE 5.1. Théorème et illustratio statistique. Les lois de probabilité gaussiees apparaisset comme des lois limite das des situatios où o additioe des v.a.r. idépedates de carrés itégrables et de variace petite devat celle de la somme. Précisos : Théoreme 2 (De Moivre Laplace). Si (X ) est ue suite de v.a.r. i.i.d. de Beroulli (X i B(p)), alors pour tout a < b + 5

Licece MASS Atelier: LGN et TLC FIG. 2. Utilisatio de la loi des grads ombres pour tester la stratégie théoriquemet gagate au jeu des boites. lim P + { a < Autremet dit, la variable aléatoire Z = S p < b = 1 b p(1 p) 2π réduite. Ce théorème se gééralise de la maière suivate a e x2 /2 dx S p suit ue loi ormale cetrée p(1 p) Théoreme 3 (limite cetrale). Soit (X ) ue suite de v.a.r. i.i.d. de carrés it égrables, d espérace commue µ et de variace commue σ 2. Alors ou de maière équivalete S µ σ 2 X µ σ 2 N (0, 1) N (0, 1) Pour vérifier ce comportemet, o propose d abord la simulatio suivate, qui est ue illustratio du théorème de De Moivre Laplace. O fixe grad (par exemple = 10000), et l o simule u grad ombre de fois la variable aléatoire X (par exemple 1000 fois), pour ue variable aléatoire X B(p). Pour simuler la variable aléatoire X, il suffit de lacer fois la pièce de moaie de paramètre p, et de faire la moyee empirique de la probabilité d apparitio de pile. O répète alors cette expériece 1000 fois. Pratiquemet, ce théorème ous dit commet se comporte la variable aléatoire X, à fixé et grad : ) X N (µ, σ2 O illustre se comportemet, sur la figure 4 cette fois ci avec ue variable aléatoire suivat ue loi bibomiale : X B(100, 0.5). Pour cette simulatio, o doit doc répèter l expériece «jeter 100 fois la pièce de moaie» fois (o a pris ici 6

Atelier: LGN et TLC Licece MASS FIG. 3. Illustratio du théorème de De Moivre Laplace, avec XB(0.5) FIG. 4. Illustratio du comportemet de la variable aléatoire X où XB(100, 0.5). = 10000) pour calculer X. Et o simule 1000 fois la variable aléatoire X (ce qui fait e tout 1 milliard de jet de pièce de moaie!). O rappelle que E{X = p = 50 et Var {X = p(1 p) = 25. 5.2. Utilisatio du théorème e pratique : itervalles de cofiace. Le théorème de la limite cetrale sert surtout e pratique pour simplifier les calculs. E particulier, o pourra l utiliser das le calcul d itervalles de cofiace. Défiitio 4 (Itervalle de cofiace). I est u itervalle de cofiace au risque α pour u paramètre θ si et ssi P{θ I = 1 α. Le théorème de la limite cetrale va ous permettre de calculer u itervalle de cofiace pour la moyee µ d ue loi quelcoque. Ituitivemet, l estimateur doé par la moyee empirique doit être relativemet proche de la moyee théorique (d après la loi des grads ombres). O va doc chercher I tel que P{µ I = P{µ [ X t; X + t] = 1 α, où t R +. Trouver l itervalle de cofiace I reviet doc à trouver t. 7

Licece MASS Atelier: LGN et TLC P{µ [ X t; X + t] = P{ X µ < t { = P X µ σ2 / < t σ2 /. Or d après le théorème de la limite cetrale, si est grad, la loi de la variable aléatoire Z = X µ est approximativemet ue loi ormale cetrée réduite. Soit σ2 / alors Z N (0, 1), et soit z l uique valeur telle que P{ Z < z = 1 α. La valeur de z ous est doée par les tables de la loi ormale. Par exemple, si α = 0.95, alors z = 1.96. Si α = 0.99, alors z = 2.57. z est doc maiteat cou, et o peut poursuivre le calcul. O a doc : P { ˆX µ σ2 / < t σ2 / 1 α, avec t σ2 / = z. et doc t = z σ 2 /. Au fial, o peut parier (avec u risque α d avoir tort) que µ [ ˆX z σ 2 /; ˆX + z σ 2 /]. Si σ 2 est cou, alors le calcul est fii. Malheureusemet, o e coait pas toujours σ 2. O doit doc estimer sa valeur pour trouver l itervalle de cofiace (voir l applicatio à ue loi de Beroulli). 8