Notes de cours Biostatistiques MIV (L3) Vraisemblance

Transcription

1 Notes de cours Biostatistiques MIV (L3) Vraisemblace M. Bailly-Bechet Uiversité Claude Berard Lyo 1 Frace 1 Rappels sur les variables aléatoires : espérace et variace Pour otre usage, ue variable aléatoire e abrégé (v.a.) est défiie par u esemble de valeurs auxquelles sot associées ue mesure, à savoir ue loi de probabilité. Ue variable alátoire est ue variable qui peut predre différetes valeurs, ces valeurs ayat chacue ue probabilité (ou ue desité de probabilité das le cas cotiu) défiie par ue loi de probabilité. Ue loi de probabilité est ue foctio qui à chaque éveemet (réalisatio possible de la v.a.) associe ue probabilité comprise etre 0 et 1. Si o ote Ω l esemble des éveemets possibles, alors o pour ue loi de probabilité p o a toujours : p(x)dx 1 (1) Ω Ceci sigifie simplemet que l esemble des éveemets possibles a globalemet ue probabilité de 1 : o est certai, à chaque tirage de la v.a., de tirer u éveemet parmi ceux-ci, par défiitio même de Ω. Das le cas discret, l espérace et la variace sot défiies comme : E(X) xp(x), (2) V(X) ( x 2 p(x)) E 2 (X), (3) ou V(X) (x E(X)) 2 p(x), (4) ou V(X) E(X 2 ) E 2 (X). (5) 1

2 Das le cas cotiu, o a : E(X) xp(x)dx, (6) V(X) x 2 p(x)dx E 2 (X), (7) ou V(X) (x E(X)) 2 p(x)dx, (8) ou V(X) E(X 2 ) E 2 (X). (9) L espérace représete la valeur moyee d u tirage de la v.a. D ailleurs, si o tire u échatillo de taille de la v.a. X et que la moyee de cet échatillo vaut µ, o peut motrer que quad, alors µ E(X). La variace d ue v.a. représete la variabilité attedue des tirages autour de la valeur moyee. De la même maière qu au dessus, o a ue relatio etre la variace observée d u échatillo σ 2 et la variace de la loi ; quad, o a σ 2 1 V(X). O ote qu il existe u biais, c est à dire que l o sous- estime toujours la variace d ue v.a. quad o l estime à partir d u échatillo. 1.1 Exemples Calculos l espérace d ue loi de Poisso de paramètre λ P (X k) λ k e λ k!. E(X) + + e λ + k P (X k) (10) λ λk k e k! λ e λ + λ k (k 1)! λ k 1 (k 1)! (11) (12) (13) λ e λ e λ λ (14) car + λ k e λ (voir partie du cours sur les DL). k! 2

3 Pour la variace de la même loi : V(X) E(X 2 ) (E(X)) 2 (15) + + λ e λ + k 2 P (X k) λ 2 (16) k 2 λ λk e k! λ2 (17) λ e λ + λ e λ d dλ + kλ k 1 (k 1)! λ2 (18) λ k d dλ (k 1)! λ2 (19) λ e λ d dλ [λ + λ k (k 1)! λ2 (20) λ k 1 (k 1)! ] λ2 (21) λ e λ d dλ [λ eλ ] λ 2 car exp(x) + 0 x! (22) λ e λ (λ + 1) e λ λ 2 (23) λ (λ + 1) λ 2 (24) λ (25) Pour ue loi cotiue, comme la loi ormale cetrée réduite de desité p(x x) 1 2π e x2, les calculs doet : E(X) 1 xe x2 2 dx (26) 2π [ 1 ] e x2 2 (27) 2π (28) Pour la variace, le calcul est plus complexe ; o utilise sas la démotrer 3

4 la formule dite de l itégrale gaussiee 1 x2 e x2 πdx. O a alors, pour la variace : V(X) E(X 2 ) (E(X)) 2 (29) 1 2π 1 2π x2 e x 2 2 dx 0 (30) 2y 2 e y2 dy (31) ( par chgt de variable y x 2 et doc dx 2dy) (32) 1 2π 2π 1. (33) 1.2 Propriétés d ue somme de variables aléatoires : espérace, variace. Cas de la moyee. O peut aisémet motrer commet l espérace et la variace se comportet par rapport à la multiplicatio par u scalaire. Par exemple : E(aX) V(aX) axp(x)dx a xp(x)dx ae(x) (34) (ax) 2 p(x)dx E 2 (ax) a 2 x 2 p(x)dx a 2 E 2 (X) a 2 V(X) (35) Passos maiteat à l additio de deux v.a. Soiet X et Y deux v.a. idépedates de desité de probabilités respectives P (X x) p(x) et P (Y y) q(y). Si o ote z(x, y) leur desité de probabilité cojoite, par idépedace de X et Y, o a z(x, y) p(x)q(y). O a alors : 1. La démostratio de cette égalité est u bo exercice, et peut être trouvée à l adresse 4

5 E(X + Y ) (x + y)z(x, y)dxdy (36) (x + y)p(x)q(y)dxdy (37) par idépedace de x et y o peut découpler les itégrales : (38) ( ) ( ) E(X + Y ) xp(x)dx q(y)dy + yq(y)dy p(x)dx (39) E(X) + E(Y ) (40) O dit que l espérace est u opérateur liéraire. Cocerat la variace : V(X + Y ) (x + y) 2 z(x, y)dxdy E 2 (X + Y ) (41) (x 2 + 2xy + y 2 )p(x)q(y)dxdy E 2 (X) 2 (E(X)E(Y )) E 2 (Y ) x 2 p(x)dx E 2 (X) + (42) y 2 q(y)dy E 2 (Y ) + 2 (E(XY ) E(X)E(Y )) (43) V(X) + V(Y ) + 2cov(X, Y ) (44) V(X) + V(Y ) (45) où la derière étape est dûe à l idépedace des variables, de laquelle o peut déduire que la covariace cov(x, Y ) est ulle. Attetio, o dira que la variace est u opérateur quadratique, à cause de la propriété V(aX) a 2 V(X). O peut gééraliser ces démostratios à ue somme de v.a. par récurrece : o défiit ue variable itermédiaire de 1 variables, et o développe otre formule précédete. Chaque itératio permet de gager ue variable das la somme. Si o veut gééraliser ces démostratios à des moyees de v.a., il suffit de coupler commet l espérace et la variace réagisset par rapport à la multiplicatio par ue costate. O va obteir que : 5

6 E V ( Xi ( Xi ) 1 E(Xi ) ) 1 V(Xi ) 1 ( ) (46) V(Xi ) 2 L espérace d ue moyee de v.a. est la moyee des espéraces, mais la variace d ue moyee de v.a. est la moyee des variaces divisée par. Cela implique que si o fait la moyee d u très grad ombre de v.a., la variace globale sera très faible, et doc que l o a ue très faible variabilité du résultat du tirage de la moyee d u grad ombre de v.a. 2 Vraisemblace d ue hypothèse O va predre comme premier problème celui d ue pièce de moaie que l o jette fois. O cherche à détermier la probabilité qu a la pièce de tomber sur pile, se basat sur le ombre de fois où elle est tombée sur pile ou face. O ote k le ombre de réussites (pile). Il existe u très grad ombre d hypothèses a priori sur la valeur de la probabilité p qu a la pièce de faire pile : toute valeur comprise etre 0 et 1 est ue possibilité. Mais si o observe u certai ombre de lacers de la pièce, certaies possibilités devieet plus logiques, plus vraisemblables. Nous allos défiir ce cocept u peu plus clairemet. 2.1 Vraisemblace pour u modèle biomial Soit u modèle M de la pièce disat que le paramètre p a ue valeur θ. O défiit la vraisemblace du modèle M commme la probabilité que ce modèle ait doé lieu aux doées observées. La vraisemblace est pas ue loi de probabilité : chaque vraisemblace correspod à u modèle M différet et doc la somme des vraisemblaces sur tous les modèles possibles e fait pas 1. Pour le cas d ue pièce qu o jette fois, e obteat k réussites (faire pile), la vraisemblace du modèle de paramètre p θ suit ue loi biomiale : L(θ) ( k ) θ k (1 θ) k. (47) O ote L la vraisemblace car e aglais, vraisemblace se dit likelihood. 6

7 2.2 Estimatio au maximum de vraisemblace Le pricipe du maximum de vraisemblace est que, si l o doit choisir u modèle pour correspodre à des doées observées, o choisit les valeurs des paramètres qui maximiset la vraisemblace du modèle par rapport aux doées. Souvet, le résultat peut paraître trivial ou ituitif. Par exemple, supposos que l o cherche le paramètre θ qui maximise la vraisemblace das le cas précédet de la pièce avec tirages et k réussites. Si o écrit le logarithme de la vraisemblace et qu o le dérive par rapport au paramètre θ, o trouve comme valeur θ : ( d log dθ d dθ L(θ) 0 d log L(θ) 0. (48) dθ ( (1 θ ) k)) 0. (49) ( ) + log ( θ k) + log k k θ k 0. 1 θ (50) k(1 θ ) ( k)θ. (51) θ k. (52) O retrouve ce qui est ituitif et souvet doé comme acquis : si o a vu la pièce tomber das 30% des cas sur pile, o peut supposer que cette pièce a 30% de chaces de faire pile à chaque tirage. Qu est ce qui ous permettrait de supposer autremet 2? 2.3 Maximum de vraisemblace pour u modèle expoetiel cotiu Preos u autre exemple, abstrait cette fois-ci : u modèle expoetiel, dot la desité de probabilité est doée par f(x) θe θx. Si o a u esemble de observatios x 1,...x, o peut écrire le logarithme de la vraisemblace comme : 2. Si vous avez evie de dire que les pièces das la réalité ot ue chace sur 2 de tomber sur pile, et que ca devrait compter das le raisoemet, vous êtes murs pour les statistiques bayesiees. 7

8 L(θ) i θe θx i. (53) log (L(θ)) i (log(θ) θx i ). (54) (55) Alors, o peut calculer la valeur du paramètre θ qui maximise la vraisemblace : d log L(θ) 0. (56) dθ ( ) 1 θ x i 0. (57) i θ x i 0 (58) i θ 1 x i (59) 2.4 Estimatio par itervalle de cofiace : pricipe O va repredre le problème celui d ue pièce de moaie que l o jette fois. O cherche à détermier la probabilité qu a la pièce de tomber sur pile, se basat sur le ombre de fois où elle est tombée sur pile ou face. O a vu que l o pouvait estimer ue valeur du paramètre θ qui maximise la vraisemblace. Mais o a das ce cas aucue idée sur le risque que l o a de faire ue erreur e affirmat que θ k. O va maiteat chercher u itervalle de cofiace (IC), c est à dire ue estimatio de la probabilité θ itrisèque avec θ [θ 1, θ 2 ] à u certai iveau de cofiace, ou plutôt de risque. O peut costruire cet IC de plusieurs faços. Si o se fixe u risque (de premiere espèce) α de 5%, o peut chercher u itervalle [θ 1, θ 2 ] [0, 1] das lequel se trouvet les valeurs pour lesquelles o a 95% de chaces que, das leur esemble, elles expliquet le tirage observé : o dit qu o a 5% de chaces de se tromper, c-à-d. que la valeur réelle du paramètre soit e dehors de l itervalle. Ue autre faço de l éocer est de dire que l o cherche, pour 8 i

9 chaque valeur possible du paramètre, si elle a plus de 5% de chaces de géérer le résultat observé ou mieux ; si c est le cas cette valeur doit être das l itervalle de cofiace à 95%. Cette deuxième méthode, comme vous allez le voir, est mois ituitive mais permet de costruire u IC e toutes coditios, puisqu elle se base directemet sur le calcul de la probabilité d observer les doées à partir d u modèle, doc la vraisemblace. O suppose que la pièce que l o jette fois est tombée k fois sur pile et k fois sur face. O suppose que la probabilité réelle de la pièce de tomber sur pile est p θ et o ote ˆθ l estimateur de cette probabilité au vu des résultats. Cet estimateur vaut ˆθ k au maximum de vraisemblace, comme vu plus haut. Notre IC devra doc impérativemet coteir la valeur k, plus évetuellemet d autres. Soit ue pièce que l o jette ue seule fois ( 1). O tombe sur face (échec, k 0, 1). Que peut-o dire sur θ 1 et θ 2? Au vu du tirage o a ˆθ k 0. Doc θ 1 0. O veut θ 2 tel que P (k 0 1, p θ 2 ) Or d après la formule 47 o a P (k 0 1, p θ 2 ) 1 θ 2, doc θ O peut seulemet affirmer au bout d u tirage que la probabilité de réussite est comprise etre 0 et 0.95, au risque de 5%. Si l o travaillait avec u risque de se tromper plus importat, par exemple 20%, l IC serait [0, 0.8], doc plus précis, mais avec plus de chaces de se tromper. 3 O fait u deuxième tirage, das les mêmes coditios. C est ecore u échec. O refait le même calcul, et o trouve θ 1 0 et (1 θ 2 ) , ce qui doe θ Plus gééralemet, au bout de échecs cosécutifs, e appliquat la formule de la vraisemblace 47, o pourra dire que l IC a pour bores θ 1 0 et θ 2 tel que (1 θ 2 ) Si o fait le calcul, o voit que cela veut dire que log(1 θ 2 ) 1 log(0.05). O peut reverser la questio et se demader au bout de combie de tirages o pourra rejeter ue certaie valeur du paramètre θ comme trop improbable. Par la suite, cette approche va ous ameer à effectuer des tests. Par exemple si o veut vérifier que la pièce est pas truquée (p 0.5), o peut se demader au bout de combie de tirages successifs de face o pourra rejeter H 0, au risque de 5%. D après les résultats précédets, o a plus de 5% 3. Si o pousse le raisoemet à ses limites et que l o pred u risque de 99,99%, o obtiet u IC de [0, 0.01] pour la probabilité de faire pile e état quasi-certai de se tromper, ce que l o pourrait traduire par : o est quasi certai de se tromper si o affirme que la pièce e fait jamais pile, sous prétexte qu elle a fait ue fois face. 9

10 de chaces de faire u face sur u tirage (la vraisemblace est de 1 ). Sur deux 2 tirages c est toujours vrai (la vraisemblace est de 1 ). Das le cas gééral : 4 (1 0.5) 0.05 (60) log(0.5) log(0.05) (61) log(0.05) (62) log(0.5) 4.32 (63) 5 (64) E effet, au bout de 5 tirages, o peut costater que la vraisemblace d obteir 5 faces avec ue pièce o truquée vaut /32 < 0.05, tadis que pour 4 tirages o a /16 > Itervalle de cofiace : gééralisatios La méthode exposée précedemmet est u cas u peu particulier, parce que l o a tiré uiquemet des faces. Qu e est-il si o obtiet u pile das l esemble des tirages? O pourrait calculer la vraisemblace de chaque modèle (chaque valeur de θ), et coserver ceux qui doet plus de 5% de chaces d obteir le résultat observé, comme précédemmet. Mais cette approche pose des problèmes : si l o est das ue situatio avec u très grad ombre de lacers, aucu des résultats possibles de l expériece aura plus de 5% de vraisemblace d arriver, même avec ue très boe estimatio du paramètre. Par exemple, si k, soit le résultat qui maximise la vraisemblace 2 de l hypothèse θ 1 alors pour > 300 o a L(θ 1 ) < 0.05 : 2 2 la valeur même du paramètre qui maximise la vraisemblace a pas ue vraisemblace de plus de 5%. Ceci viet du fait que, pour ue valeur du paramètre, la vraisemblace s étale sur tous les résultats possibles, et quad ceux-ci sot très ombreux, la vraisemblace peut deveir très faible pour toutes les valeurs du paramètres (mais elle l est beaucoup plus pour certaies que pour d autres, bie sûr). Pour pouvoir réaliser le même calcul que précedemmet das tous les cas possibles, o va gééraliser la formule employée, et dire que l o cherche à savoir si u modèle doé (par exemple θ 0.5) a plus de 5% de chaces 10

11 de fourir le résultat observé ou mieux. C est ce derier poit qui fait toute la différece : das le cas précédet avec 300, si θ 0.5, alors o a légèremet plus de 50% de chaces d avoir 150 piles ou mieux si o fait le calcul. La valeur 1 serait doc comprise das l IC à 95% de θ, avec cette 2 faço de calculer. Et o peut aisémet voir que le cas précédet avec k 0 est u cas particulier de celui-ci, das lequel le résultat observé était le plus extrême possible. La limite à droite de l IC das le cas où o a ue réussite et 1 échecs va doc se calculer e disat que : P C k (θ 2 ) k (1 θ 2 ) k α, (65),1 avec α le risque que l o s accorde. Le ses das lequel est fait le calcul (pour le choix du pire ou du mieux ) est toujours de sommer les vraisemblaces des valeurs du paramètre e décroissat à partir de la valeur observée. Das cette situatio, pour vérifier par exemple si le modèle p 0.5 est suffisammet vraisemblable au risque de 5%, o va calculer la probabilité qu o obtiee 1 pile ou pire (c-à-d 0) sur tirages. O a : P,1 C k ( ) k ( ) k (66) 2 2 Le calcul doe 8 comme limite. Attetio, ce calcul suppose que l o accepte u risque de 5% de se tromper à droite (c-à-d. de d accepter des valeurs du paramètre trop grades). Si o veut au total accepter u risque de 5%, mais qu il se décompose sur les 2 côtés, il faut accepter u risque de 2.5% à gauche et 2.5% à droite, et modifer la formule ci-dessus e coséquece. 2.6 Approximatio ormale de la formule de l itervalle de cofiace Das cette partie o voit commet o peut retrouver la formule de l itervalle de cofiace d ue proportio coue des étudiats de L1-L2 de biologie à l aide du raisoemet précédet sur l itervalle de cofiace, das le cas particulier où le ombre de tirages est très grad. Alors, o retrouve la formule simplifiée : 11

12 IC ˆθ ˆθ(1 ± ɛ ˆθ) α, (67) avec ɛ α ue variable ormale (défiie correctemet u peu plus loi). Preos la limite à droite (θ 2 ) de l IC de la probabilité qu ue pièce tombe sur pile, comme précédemmet. D après le paragraphe précédet, si o a obteu k faces, cette limite, au risque α, est telle que (o divise par 2 car o étale le risque à gauche et à droite, ue approximatio qui a guère d importace pour compredre le pricipe) : k i0 ( ) θ i i 2(1 θ 2 ) i α 2 (68) O sait 4 que quad le ombre de tirages deviet grad, et que θ e deviet pas proportioellemet petit, la loi biomiale se comporte comme u loi ormale de même espérace et écart-type. L espérace d ue loi biomiale vaut θ et sa variace θ(1 θ) (exercice : vérifiez-le). E appliquat cette covergece à la formule ci-dessus, o obtiet doc : lim k i0 ( ) k ) θ i (1 θ) i 1 (x θ)2 exp ( dx i 2πθ(1 θ) 2θ(1 θ) (69) La coditio 68 peut doc s écrire : k ( 1 2πθ2 (1 θ 2 ) exp (x θ ) 2) 2 dx α 2θ 2 (1 θ 2 ) 2 (70) La loi ormale est tabulée à l aide de couples (α, ɛ α ). O a la relatio suivate 5, pour ue loi ormale de moyee µ et de variace σ 2 : µ ɛασ ( ) 1 exp (x µ)2 dx α (71) 2πσ 2 2σ et cette démostratio peut se faire aisémet, voir wiki/loi_biomiale 5. La même écriture pour ue loi ormale cetrée réduite (écart-type 1, moyee 0) doe la formule plus facile à maipuler : ɛ α 1 2π exp ( x2 2 ) dx α 2. Par ailleurs, cette défiitio est la défiitio bilatérale des ɛ α ; certais textes repreet ue défiitio uilatérale, attetio! 12

13 Das otre cas précis la bore à droite de l IC, pour α quelcoque avec µ θ 2 et σ 2 θ 2 (1 θ 2 ) : d où : k θ 2 ɛ α θ2 (1 θ 2 ) (72) θ 2 k + ɛ θ2 (1 θ 2 ) α (73) O retrouve presque la formule 67. E pratique, e pouvat résoudre cette équatio e θ 2 de maière simple, o remplace simplemet à droite θ 2 par ˆθ k, ce qui est ue approximatio supplémetaire qui permet simplemet de coserver ue formule de taille raisoable pour les applicatios pratiques. 2.7 Lie etre vraisemblace et p-value des tests Pour coclure cette partie, o va, de maière abstraite, faire le lie etre vraisemblace d u modèle et p-value d u test. La démarche pratique d u test cosiste à : choisir deux hypothèses, l ue dite ulle et otée H 0, qui est l hypothèse par défaut que l o accepterait sas avoir de doées, et qui est doc la plus simple possible, l autre dite alterative, otée H 1, et qui est strictemet o recouvrate avec l hypothèse ulle. calculer ue p-value coclure sur la possibilité de rejeter l hypothèse ulle H 0 au vu de la valeur de la p-value : plus elle est faible, plus o peut rejeter avec certitude H 0 et accepter H 1. Formulé de maière mathématique, o va dire que la p-value d u test uilatéral pour u modèle fixé avec u paramaètre de valeur θ (qui correspod à l hypothèse ulle) est la somme (ou l itégrale, si les doées mesurées sot cotiues) des probabilités d observer des doées idetiques ou plus biaisées que les doées réelles, das le modèle p θ. Il s agit d ue itégrale sur des probabilités, et o pas sur des vraisemblaces, et doc les valeurs de cette itégrale sot bie comprises etre 0 et 1. Ue p-value de 0 sigifie que le modèle p θ a aucu chace d expliquer les doées observées, il e peut 13

14 pas les avoir géérées, tadis qu ue p-value de 1 sigifie que tous les résultats possiblemet géérés par le modèle p θ sot plus extrêmes que ceux qui ot été observés. La p-value est la probabilité que les doées observées (ou mieux) aiet été géérées si l hypothèse ulle est vraie. Vraisemblace Desité de probabilité θ 0 θ * Paramètre Desité de probabilité p valeur p value θ 0 obs Résultats possibles Figure 1 Relatio etre vraisemblace et p-value Preos comme exemple la figure 1. Das la partie supérieure de la figure, o voit la vraisemblace de chaque modèle e foctio de la valeur du paramètre p. Le maximum de vraisemblace doerait das ce cas p θ comme valeur du paramètre représetat au mieux les doées. Supposos que l o se pose la questio : est ce que la valeur θ du paramètre correspodrait éamois bie aux doées observées? O peut se poser la questio, par exemple si ue autre étude sur le sujet a doé θ comme valeur de référece. Das ce cas, il existe plusieurs approches. Certaies sot basées directemet sur la comparaiso des vraisemblaces des modèles, et e serot pas abordées das 14

15 ce cours. D autres cosistet à effectuer u test d hypothèse, avec comme hypothèse ulle H 0 : Le modèle p θ explique bie les doées. Ce test est schématisé sur la deuxième partie de la figure, où l o représete la probabilité d observer différets résultats (placés de maière abstraites sur l axe des abcisses, ce qui simule ue situatio où le résultat mesuré est ue seule variable réelle), avec la courbe tracée représetat la probabilité d observer ces résultats das le modèle p θ. U test uilatŕal de l hypothèse p θ cosiste à poser la questio : est ce que la probabilité que le modèle p θ ait gééré u résultat au mois aussi bo que celui qui a été observé (oté obs sur la figure) est iférieure à u seuil doé? Le seuil correspod e pratique au risque de première espèce α que l o choisit avat l expériece comme seuil de sigificativité. La partie de la figure e bleu correspod à la probabilité e questio, que l o appelle p-value e aglais (le terme fraçais de p-valeur est peu usité). Notre test cosiste doc à comparer la p-value du modèle choisi sur les doées observées à u seuil défii à l avace, oté α. Si la p-value est iférieure au seuil α, o pourra rejeter le modèle p θ car il a trop peu de chaces d avoir gééré les doées observées. Sio, o cocluera que les doées e permettet pas de rejeter le modèle pré-existat p θ (et ce, même si ce modèle e maximise pas la vraisemblace des doées observées... ). Cette approche de la vraisemblace pour la costructio de tests et d IC est détaillée sur u autre exemple sectio 3 du poly d Ae-Béatrice Dufour, qui se trouve à l URL 15