Cursus Intégré 004-005 Rappels de statistique mathématique Enoncé et corrigé des travaux dirigés n 4 Guillaume Lacôte vbureau E03 B Guillaume.Lacote@ensae.fr http://ensae.no-ip.com/se/ Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercic Enoncé de l exercice Soit f la densité de la loi exponentielle de paramètre translatée de α fx [ exp x α ] [α,+ [x Q Donner les e.m.v. ˆα et ˆ de α et. Q Calculer la loi à distance finie de nˆα α. Q3 Déterminer la loi limite de nˆ. Q4 Rappeler l expression de la loi de la statistique d ordre X,..., X N en fonction de f. déduire la loi du n-uplet nx, n X X,..., X n X n, X n X n En déduire que ˆ et ˆα sont indépendants à distance finie. Corrigé de l exercice Q On obtient : α min x i, x min x i. Q On a : Pn α α t Pmin x i α + t/n exp t/n n exp t/ n α α E. Q3 On ne peut pas appliquer le théorème de la normalité asymptotique à, car n est que l u des des deux composantes de l estimateur du maximum de vraisemblance α, dont les co posantes ne sont pas indépendantes, et qui dans ce cas particulier ne vérifie pas les conditio de régularité habituelles notamment dérivabilité de la log-vraisemblance. Il faut retrouver la loi limite d une autre façon. Ici : n n x + α + nα α Comme E X + α, V X, il vient d après le théorème central limite : L n x + α N 0, De plus, nα α n n α α P 0
Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercice puisque n α α E. Rappelons que : X n si a est une constante. Donc : L X, Y n a:x n + Y n X + a P L L n N 0, Q4 La densité de l échantillon ordonné Y X,..., X n s écrit En d autres termes, Soit alors f Y y,..., y n n!fy...fy n y<...<y n f X,...,X n y,...,y n n! y <...<y n n φ : Alors φ est de clasee C et en outre n! n Π n ie y i α e P n y i α α y<...<yn i min iy i α R n R n y,..., y n ny, n y y,..., y n y n f φy z,..., z n Jacφ f Y φ z,..., z n Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercic de sorte qu en définitive n 0 0... 0 0 n n 0... 0 0 Jacφ 0 n n... 0 0.......... 0 0...... En conséquence, Jacφ Jacφ Jacφ n! D autre part, y α φy nα, puis pour i, y i<y i+ φyi>0. Enfin, une récurrence immédiate montre que i, n, φ z i i j définitive f Z z,..., z n n exp P z i nα/ z nα z >0... z n>0 z j n j+, de sorte qu Autrement dit, les Z i sont indépendants, avec Z nα + E, et Zi E pour i Finalement, constatant que α Z n et n n i Z i, on conclut que α et sont indép dants. Enoncé de l exercice ceci se montre en effectuant le changement de variable z φy dans l intégrale A f Y y, pour toute partie mesurable A de R n. Or φy ny, donc puis φy n Y Y, φ Y n φ Y i 0, i φ Y n φ Y n, i φ Y i 0, i 3 Cet exercice présente les bases de l estimation bayésienne. Q Soit Ω, A, P un espace probabilisé, A un événement non-vide et H,..., H n un systè complet d hypothèses incompatibles non-vides c est-à-dire une partition de Ω. Exprimer P H i A en fonction des probabilités de H,..., H n, de celles de A conditionnelleme à H i et inversement, mais pas de PA. Q Soit X,..., X n iid L, de paramètre inconnu. On suppose que suit une loi a priori de densité π 0 sur. Donner la densité π x de la loi a posteriori de conditionnellement à l observation de X x. Q3 Définissons pour tout estimateur x de la fonction de risque quadratique R ν E X dν où ν désigne une loi quelconque sur par exemple dν π 0 dλ. On appelle estimateur bayésien de l estimateur qui minimise le risque associé. Montrer que l estimateur bayésien de associé au risque R π0 est x E π x π x d
Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercice Q4 Donner l estimateur bayésien de [a, b] lorsque π 0 U [a,b] en fonction de la densité de la loi L de X. Expliciter cet estimateur lorsque L est la loi exponentielle E de paramètre inconnu > 0. Corrigé de l exercice Q On a par définition de la probabilité conditionnelle i, n, P A H i P A H i P H i PA P A Ω P A n ih i car H,..., H n est complet n P A H i car H,..., H n est disjoint i n P A H i P H i i car chaque H i est non-vide cette formule est dite des probabilités totales. Par ailleurs on a P A H i P H i P A H i P H i A P A P H i A P H i P A H i P A PH ipa H i P n i PHiPA Hi Cette relation exprime la probabilité d un événement H i, une fois connue la réalisation de A, en fonction de sa probabilité a priori. Q Dans le cas où { i / i N} est dénombrable il suffit d appliquer le résultat précédent à A {x,..., x n } et i N, H i { i }. Dans le cas général le calcul est similaire : la formule des probabilités totales s écrit pour toute A R n mesurable PX A P X A 0 P 0 d 0 Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercic et par suite pour toute B mesurable, à supposer que PX A 0 P B P X A B P B X A P X A π x X x f L n x,...,x n π 0 R f L n x,...,x n π 0d Q3 Attention aux notations : E... X...... désigne l espérance sur la variable X, espéran qui dépend de, et non pas une espérance sur la variable. En outre l énoncé suppose ici q est de dimension sans quoi il faudrait noter E x. Soit X R n. Première méthode : On cherche l élément T : X qui est une fonction qui minimise R π0 T T x f L xπ 0 dxd X T x f L xπ 0 d dx d après Fubini X Or la fonction X φ : x, t t f L xπ 0 d est positive, donc il suffit de minimiser point-par-point : X argmin T :X φ T x dx x argmin t φx, t X Soit donc x X fixé, et calculons le nombre x argmin t φx, t. On a φx, t t f L xφ 0 d f L xφ 0 d t + f L xφ 0 d t + f L xφ 0 d } {{ } } {{ } } {{ } a>0 b c Donc φx, t at + bt + c est une parabole en t à x fixé, et est donc extrêmale en comme a > 0 elle est minimale en b a argmin t φx, t b a f L xφ 0 d f L xφ 0 d f L xφ 0 f L xφ 0 d d 4
Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercice 3 Par conséquent, x X, x π xd Q4 Dans le cas d une loi a priori uniforme on a simplement x π x d [a,b] f L x,..., x n b a [a,b] f L x,..., x n d d b a f [a,b] L xd f [a,b] L xd Dans le cas où L E la densité de l échantillon indépendant X,..., X n est f E n X x,..., X n x n Π n i e x i x i 0 pour x,..., x n R + n il vient x [a,b] n+ e x+ +xn d [a,b] n e x+ +xn d [ P ni x n+ e i P n Ainsi x P n n + i xi n e x+ +xn P ni x e i n + n min i x i 0 ] b i xi [a,b] P n d a i xi par parties [a,b] n e x+ +xn d n i x n + bn+ e b P n i xi a n+ e a P n i xi i [a,b] n e x+ +xn d n+ e P ni x i R [0,] n e x + +xn d lorsque [0, ] par exemple. L estimateur du maximum de vraisemblance de, par comparaison, est emv x Enoncé de l exercice 3 P n. n i xi Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercic Un des premiers exemples d utilisation de la Statistique Bayésienne remonte à Laplace, 786. Celui-ci décida de répondre à la question suivante : au regard du nombre observé n g naissances masculines parmi n naissances à Paris, peut-on dire si la probabilité p qu un enfa qui naisse soit un garçon est supérieure à? Q Laplace munit le paramètre p d une loi a priori uniforme sur l intervalle [0, ]. Ce choix vo semble-t-il naturel? Q Exprimer alors la loi a posteriori de p, puis exprimer la probabilité P p > N g n g so forme d un rapport d intégrales. Remarque : Laplace, obtint, pour n 49347 et n g 557, une probabilité P p > N g n.5.0 4 et en conclut que p était très vraisemblablement plus grand que. Q3 Donner l espérance et la variance de la loi a posteriori en fonction de la vrai valeur p 0 paramètre p. Quelles sont leurs limites lorsque n +? Rappel : la loi Beta Bα, β de paramètres α > 0, β > 0 admet pour densité : f α,β x xα x β Bα, β où Bα, β 0 xα x β dx. αβ Son espérance est E X et sa variance V X α α+β [0,]x α+β α+β+. Q4 Ces limites sont-elles modifiées si on choisit pour loi a priori sur p une loi Bα, β quelconqu Pourquoi est-il judicieux malgré tout de se restreindre au moins à la classe des lois a priori tel que α β? Corrigé de l exercice 3 Q Laplace considère en fait de ne pas détenir d information sur p autre que celle apportée par observations : en d autres termes, il n a pas d a priori sur p, ce qu il modélise par une lo priori uniforme. Cela revient intuitivement à donner une probabilité égale à toutes les valeu possibles de p. Mais cette intuition est en fait trompeuse : si on change la paramétrisati du modèle en remplaçant p par q p par exemple, on se rend compte alors que la lo priori sur q n est plus uniforme! Cette reparamétrisation ne nous a pourtant apporté aucu information supplémentaire. Ce paradoxe illustre la difficulté de bien choisir une loi a prio surtout dans un cadre non-informatif c est à dire lorsqu aucune information n est disponibl priori. Cependant, nous verrons en 4 qu il est assez simple de se restreindre au moins à choix limité de lois a priori raisonnables. Q La densité de la loi a posteriori π x,..., x n du paramètre s écrit sous la forme v exercice : π x,..., x n πpx,..., x n πpx,..., x n d 6
Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercice 3 Il vient Par conséquent πp N g n g Pp > N g n g πppn g n g p πppn 0 g n g pdp p ng p n ng [0,] 0 png p n ng dp πppn g n g p πppn 0 g n g pdp p> dp p ng p n ng dp 0 png p n ng dp Q3 Notons π p la densité de la loi a posteriori : π p est la densité de la loi Bn g +, n n g +. Son espérance et sa variance sont donc : E πp [p] n g + n + V πp [p] n g + n n g + n + n + 3 Or n g n i g i où g i l enfant i est un garçon iid B, p 0. Donc en vertu de la loi forte des grands nombres ng n n n i g i p 0 Ensae SE Enoncé et corrigé des travaux dirigés n 4 Exercic Cependant, la Statistique Bayésienne ne repose pas sur des justifications asymptotiques. distance finie c est à dire pour un nombre fini d observations, une loi a priori mal choi peut sérieusement déformer la loi a posteriori, et mener à une inférence complètement érron Ainsi, au vu du probème posé situer p dans l un des deux intervalles [0, ] ou [, ], on aucune raison de favoriser a priori l une de ces deux régions, seules les observations pouva nous permettre de les départager. Il est donc naturel de se restreindre au moins aux lois a pri symétriques α β. Parmi celles-ci, on peut aussi écarter les lois de très faible variance telles que α prend de fortes valeurs, ex : B0, 0, qui privilégient inutilement un voisina trop restreint du point. Finalement, la loi a priori uniforme proposée par Laplace semble donc un choix raisonna parmi d autres, au moins pour le problème posé. Il est en fait possible de proposer une plus satisfaisante dite loi a priori de Jeffreys, ici B/, / qui permette de s affranchir paradoxe de la reparamétrisation présenté en. E πp [p] V πp [p] p 0 p 0 p 0 n En d autres termes, lorsque n + la loi a posteriori se rétrécie sa variance tend vers 0 et se concentre autour de la vraie valeur p 0. Ce résultat est intuitif : plus on dispose d observations, plus faible est l incertidude sur la valeur du paramètre p. Q4 Si on change la loi a priori uniforme qui correspond d ailleurs à une loi B, pour une loi a priori plus générale Bα, β, on obtient une loi a posteriori : πp N g n g p α p β p ng p n ng [0,] p p α+ng p β+n ng [0,] p où signifie proportionnel à La loi a posteriori est donc une loi Bn g + α, n n g + β. On vérifie alors facilement que E πp [p] et V πp [p] conservent le même comportement asymptotique que dans le cas précédent. En effet, plus grand est le nombre d observations, plus le poids de l a priori est faible, et ce poids devient nul asymptotiquement. 8