Bases de la statistique mathématique : Tests d hypothèses.

Transcription

1 Tests 1 Bases de la statistique mathématique : Tests d hypothèses. C. Huber Partie I Les tests comme cas particulier de la théorie de la décision. 1 Introduction On observe un phénomène aléatoire, qualitatif ou quantitatif, X, dont la loi dépend d un paramètre θ inconnu variant dans un ensemble Θ. L un des buts fondamentaux de la statistique mathématique est de prendre des décisions en ce qui concerne le paramètre inconnu θ ou plus généralement la loi de X, une fois que l on a observé un certain nombre de réalisations de X et d agir en conséquence. Exemples: Un médecin a obtenu 34 guérisons rapides sur 50 cas traités par un anti-inflammatoire A et 44 sur 50 par un autre anti-inflammatoire B. Peut il considérer que B est meilleur que A? ou bien doit il attribuer au hasard la différence observée? Disposant de la mesure d un examen biologique sur une centaine de sujets, le taux de glycémie à jeun par exemple, on se demande si cette variable suit, comme cela est habituellement supposé, une loi normale. Comment répondre à cette question? On se rend bien compte que, pour prendre une décision, il faudra tenir compte de certains risques à encourir. Evidemment, plus les risques associés à une décision seront faibles, meilleure sera la décision. Nous allons exposer ici les bases élémentaires de la théorie de la décision. La théorie des tests apparaîtra comme un cas particulier de la théorie de la décision. 2 Notations et définitions Soit X une variable aléatoire qui est I

2 3 EXEMPLE: UN JEU Tests 2 soit continue (et alors numérique) de densité f(x, θ) en x, soit discrète, de masse (ou probabilité) f(x, θ) en x, où θ est un paramètre inconnu appartenant à Θ, qui est appelé l ensemble des paramètres. Soit A un ensemble dit l ensemble des actions. En général, A est défini à partir de Θ et consiste souvent en une partition de Θ. Soit alors un n-échantillon, x = (x 1,, x n ) de X et E l ensemble des valeurs possibles de cet échantillon. Une décision d est une application de E dans A: d : E A Si x est observé, on décide de mener l action a = d(x). Definition 1 (Fonction de coût) Supposons que, si on choisit l action a alors que θ est la vraie valeur (inconnue) du paramètre, cela coûte L(θ, a). L est une fonction de Θ A dans IR. Elle est appelée la fonction de coût. Definition 2 (Risque d une décision) Supposons que θ 0 soit la vraie valeur (inconnue) de θ. On appelle risque de la décision d pour la fonction de coût L la valeur moyenne (ou espérance) de L(θ 0, d(x)): R(d, θ 0 ) = E(L(d(X), θ 0 )). 3 Exemple: un jeu 3.1 Jeu sans observation préalable 1. On suppose qu on dispose d une urne contenant deux types de pièces: le premier type est en proportion π 1 dans l urne et le deuxième type en proportion π 2 = 1 π 1. La probabilité de tirer pile avec le premier type de pièce est p 1 et elle vaut p 2 avec le deuxième. On note P(pile type1) = p 1 = > 0 P(pile type2) = p 2 = > 0 2. On tire au hasard une pièce de l urne. 3. On parie contre la banque qu un jet X de la pièce donnera: Action A 1 : pile. Action A 2 : face. 4. L enjeu est de : l euros si on joue pile I

3 3 EXEMPLE: UN JEU Tests 3 m euros si on joue face. 5. Quelle action choisir? Considérons que l état de la nature est le type (inconnu) de la pièce. Cet état est noté E 1 si la pièce est du premier type et E 2 si elle est du second type. Notons Y la perte (ou le gain) que l on subit lorsqu on choisit l action A i (i = 1 ou 2) alors que l état de la nature est E j (j = 1 ou 2) et q i = 1 p i, i = 1, 2 Ce gain Y est aléatoire. On peut en calculer la moyenne (ou espérance) conditionnellement à l état de la nature et à l action menée: E[Y E 1, A 1 ] = lp 1 lq 1 = l(p 1 q 1 ) = +2l 1 E[Y E 2, A 1 ] = lp 2 lq 2 = l(p 2 q 2 ) = 2l 2 E[Y E 1, A 2 ] = mp 1 + mq 1 = m(q 1 p 1 ) = 2m 1 E[Y E 2, A 2 ] = mp 2 + mq 2 = m(q 2 p 2 ) = +2m 2 Etat de la nature Etat de la nature E 1 E 2 Action A 1 2l 1 2l 2 Action A 2 2m 1 2m 2 Pour calculer le gain moyen lorsqu on mène l action A 1, il faut moyenner sur les deux états possibles E 1 et E 2 de la nature: E[Y A 1 ] = π 1 2l 1 π 2 2l 2 E[Y A 2 ] = π 1 2m 1 + π 2 2m 2 = lg = mg où g = 2(π 1 1 π 2 2 ). La décision à prendre dépend donc du signe de g: Si g > 0, il faut choisir l action A 1, c est à dire parier pile, sinon parier face. Le signe de g est celui de (π 1 1 π 2 2 ). La règle de décision est donc la suivante: Si Si Si π 1 π 2 > 2 1 choisir pile : A 1 π 1 π 2 < 2 1 choisir face : A 2 π 1 π 2 = 2 1 choix indifférent. I

4 3 EXEMPLE: UN JEU Tests Jeu avec observations préalables On modifie le jeu: cette fois on décide de l action à mener après avoir tiré la pièce et l avoir jetée n fois. Le nombre aléatoire R de fois que l on a obtenu pile donne une information sur le type de la pièce, que l on a appelé l état de la nature. La suite des jets (x 1, x n ) donne R = k fois pile et n k fois face. On a ) p k 1 (1 p 1 ) n k P(R = k E 1 ) = ( n k P(R = k E 2 ) = ( ) n k p k 2 (1 p 2 ) n k La probabilité a postériori des états de la nature est la suivante: P(E = E 1 R = k) = = = P(R=k E=E 1 )P(E=E 1 ) P(R=k E=E 1 )P(E=E 1 )+P(R=k E=E 2 )P(E=E 2 ) π 1( n k)p k 1 (1 p 1) n k π 1( n k)p k 1 (1 p 1) n k +π 2( n k)p k 2 (1 p 2) n k π 1 π 1 +( p 2 p1 ) k ( 1 p 2 ) 1 p n k π = 1+ p 2 k 1 p p1 ( 2 ) 1 p n k π 2 1 π 1 = π 1 P(E = E 2 R = k) = π 2 = 1 π 1 Donc π 2 π 1 = ( p 2 ) k ( 1 p 2 ) n k π 2 p 1 1 p 1 π 1 1+( p 2 ) p k ( 1 p 2 ) 1 1 p n k π 2 1 π 1 = π 2 π 1 ( p 2 p 1 ) k ( 1 p 2 1 p 1 ) n k = π 2 π 1 P(R = k E 2) P(R = k E1) c est à dire que le rapport initial des probabilités des deux types de pièce est corrigé par le rapport des vraisemblances des observations. Par conséquent, à la suite de l expérimentation préalable de la pièce, la décision devient: choisir pile : A 1 Si choisir face : A 2 Si π 1 π 2 π 1 π 2 > 2 1 < 2 1 choix indifférent Si π 1 π 2 = 2 1. I

5 4 AUTRES EXEMPLES Tests 5 4 Autres exemples 4.1 Estimation de moindre variance Prenons A = Θ, c est à dire que l action consiste à choisir une valeur du paramètre. On suppose que le coût du choix de θ dans Θ, lorsque θ 0 est la vraie valeur du paramètre, est L(θ, θ 0 ) = (θ θ 0 ) 2. Notons X un échantillon de X et x l observation correspondante X = (X 1,, X n ) x = (x 1,, x n ). Après avoir observé un échantillon x = (x 1,, x n ) de X de loi f θ, on prend la décision θ = d(x) c est à dire que d(x) est l estimateur choisi pour θ. Si nous ne nous intéressons qu aux estimateurs sans biais, c est à dire aux décisions d telles que E(d(X 1,, X n ) θ) = θ la meilleure décision d sans biais, au sens de la fonction de coût L est celle qui rend minimum R(d, θ) = E[(d(X) θ) 2 θ] = var(d(x) θ). 4.2 Décision multiple On considère une partition de Θ: A = {Θ 1,, Θ k } c est à dire que l action consiste, non pas à choisir une valeur unique de θ dans Θ mais plutôt l appartenance de θ à l un des k sous-ensembles Θ j. On considère la fonction de perte L qui vérifie: L(θ, a) = 0 si θ a L(θ, a) > 0 si θ / a Dans le cas où Θ est fini et a p éléments, on a donc une matrice de perte {L(θ i, a j ) i = 1, 2,, p, j = 1, 2,, k} I

6 5 LES TESTS COMME CAS PARTICULIER DE DÉCISION Tests 6 5 Les tests comme cas particulier de décision Le cas particulier où k = 2 (partition de Θ en deux) est celui qui définit ce que l on appelle un problème de test. Un problème concret: Un médicament est produit par lots de 500 dont une proportion p est défectueuse. Cette proportion n est pas connue, mais on sait qu elle peut prendre l une des quatre valeurs Chaque médicament défectueux doit être rectifié et le coût unitaire est de 3 euros. Toutefois, il est possible d éliminer toutes les défectuosités en procédant à un réglage avant la mise en marche de la production, réglage dont le coût est de 70 euros. On a le choix entre deux décisions: D 1 : redoser les 500 p médicaments défectueux, D 2 : procéder au réglage avant chaque production. Les risques de ces deux décisions sont des fonctions de p: p D D On voit bien que, de ces deux décisions, aucune n est uniformément meilleure, c est à dire meilleure quel que soit p: D 1 est meilleure pour p = 0.01 et D 2 est meilleure partout ailleurs. Il s agit de prendre une décision en présence d une incertitude sur p et plusieurs stratégies peuvent être envisagées: 1. Limiter les trop gros dégâts On considère pour cela, associée à la décision d son plus grand risque en θ: max R(d, θ) θ et on choisit la décision qui minimise le plus grand risque. C est ce qu on appelle une règle minimax. Ici, min d {D 1,D 2 } max R(d, θ) = θ D 2 est donc parmi {D 1, D 2 } la règle minimax. min {70, 375}. d {D 1,D 2 } 2. Minimiser le risque moyen à partir d une information a priori sur le paramètre p du problème, sous la forme d une loi a priori sur p: Par exemple, on connaît les probabilités a priori des taux de médicaments défectueux I

7 5 LES TESTS COMME CAS PARTICULIER DE DÉCISION Tests 7 taux probabilité On peut choisir dans ce cas la régle de décision d qui minimise le coût moyen, soit E(R(d)) = 0.7R(p 1, d) + 0.1R(p 2, d) + 0.1R(p 3, d) + 0.1R(p 4, d). Ici, E(R(D 1, p)) = 78 E(R(D 2, p)) = 70 D 2 est la meilleure décision au sens de cette stratégie, dite stratégie de Bayes. Cet exemple nous conduit aux deux définitions suivantes: Soit R(d, θ) le risque associé à la décision d, d variant dans un ensemble de décisions possibles D. Definition 3 (Règle minimax sur l ensemble de décisions D) : d 0 est dite règle minimax sur D si d 0 minimise le risque maximum pour tous les θ, c est à dire: R(d 0, θ) = min (max R(d, θ)) d D θ Θ Definition 4 (Règle de Bayes pour la loi a priori τ) : Si τ est une loi a priori sur le paramètre θ, une règle d 0 de l ensemble de décisions D est dite de Bayes relativement à τ si R(d 0, τ) = E(R(d 0, θ) τ) = min R(d, τ). d D I

8 1 LES QUATRE TYPES DE MODÈLES Tests 8 Partie II Modèle statistique associé à un test: paramétrique, non-paramétrique ou semi-paramétrique. Etant donné un problème de test, le premier stade de la formalisation mathématique consiste à lui associer un modèle statistique. 1 Les quatre types de modèles 1.1 Modèles paramétriques Par commodité mathématique, on choisit souvent pour X un modèle paramétrique: c est à dire que l on suppose que l ensemble H des lois possibles de X a une densité dont on connaît la forme, mais dans laquelle intervient un paramètre inconnu: p(x, θ) x IR n θ Θ IR d où p est une fonction complètement spécifiée et Θ l ensemble des valeurs du paramètre θ ; assimilant un élément de H à sa densité, on écrit : H = {p(x, θ)} θ Θ IR d (1) En particulier, on suppose souvent qu on a affaire à une loi normale, à cause des théorèmes de convergence comme le théorème de la limite centrale. Une hypothèse H, qui est un sous-ensemble de H, peut alors être simplement considérée comme un sous-ensemble de Θ, et une fonctionnelle sur H comme une fonction de θ. Les raisons qui justifient un tel choix de H sont souvent de type heuristique, et ce que l on sait en général, c est que la loi de X n est pas très éloignée d une loi de la forme p(x, θ). Or il se trouve que les tests et estimateurs optimaux adaptés à un modèle tel que (1) perdent souvent leurs bonnes propriétés dès qu on s écarte un peu de H. En revanche, si on choisit pour H un modèle assez vaste pour être à peu près sûr d englober la loi de X, on se prémunit contre de tels risques. Comme c est souvent au prix d une perte assez minime d efficacité pour le sous-modèle paramétrique, il y aura des cas où ce sera avantageux. Ces modèles statistiques, trop vastes pour être représentés sous la forme (1) sont appelés non paramétriques. 1.2 Modèles non paramétriques Considérons l exemple de l introduction: après avoir observé 34 succès sur 50 pour l anti inflammatoire A et 44 sur 50 pour l anti inflammatoire B, on se demande si les II

9 1 LES QUATRE TYPES DE MODÈLES Tests 9 deux produits sont équivalents (hypothèse H 0 ) ou si B est meilleur que A. Nous sommes dans un cas paramétrique, la loi du succès Y est Bernoulli, pour A comme pour B, de probabilités de succès respectives p A et p B. Rappelons nous cependant que c est la rapidité de l action de l anti inflammatoire qui est en cause. Aussi, si on veut être plus précis et que l on observe la durée X qui s écoule entre le début de la prise du produit et la guérison, l hypothèse nulle est que H 0 : L(X A) = L(X B) la loi commune n est alors pas du tout spécifiée et peut être n importe quelle loi continue sur IR +. Cela devient un problème non-paramétrique. On appelle cette hypothèse générale l hypothèse d homogénéité. Elle est souvent dans la pratique remplacée par une hypothèse plus simple, celle de l égalité des moyennes H 00 : E(X A) = E(X B) qui en est une conséquence mais qui n entraîne pas H Modèles robustes Ce type de modèle consiste à supposer que la loi de la variable X ne vérifie pas (1) mais presque, c est à dire que cette loi se trouve dans un voisinage de H = {p(x, θ)} θ Θ IR d pour une certaine distance sur les probabilités. Plusieurs choix de distances sont possibles (Lévy, Prokhorov, variation totale). Ces trois distances ont pour définitions respectives, F et G étant deux fonctions de répartition,p et Q deux probabilités: Distance en variation totale Distance de Kullback : Distance de Lévy : Distance de Prokhorov : d var (P, Q) = sup B ( P(B) Q(B) ) d K (Q, P) = + log(dp dq )dp d L (F, G) = inf {ǫ : F(x) G(x + ǫ) + ǫ} d π (P, Q) = inf {ǫ : Q(B) P(B ǫ + ǫ) B} où B ǫ est l ensemble des points distants de B d au plus ǫ. Deux de ces distances, celle de Lévy et celle de Prokhorov tiennent compte d un possible flou, d une possible incertitude, sur la définition des ensembles dont on mesure la probabilité, et sont, de ce fait, plus réalistes que les autres. Les tests que l on est amené à choisir dans ce cas sont de type minimax. II

10 2 EXEMPLES Tests Modèles semi paramétriques Lorsqu on veut modéliser l impact d un traitement Z sur la durée X de survie, on emploie souvent pour cela un modèle de Cox. On note h(t Z)dt = P(t X t + dt Z) P(X t Z et le modèle suppose que h(t Z) = h 0 (t)e βz où Z = 1 pour les patients traités et Z = 0 pour les témoins, h 0 (t) est le taux de mort de base (des sujets non traités) qui est libre d être égal à n importe quelle fonction positive et β est un paramètre qu on espère négatif. En effet, dans ce cas,le taux de mort sous traitement est inférieur à ce qu il est sans traitement. On teste donc H 0 : β = 0 H 1 : β < 0 Le problème de test semble paramétrique car il est seulement relatif au paramètre β. Mais comme h 0 est une fonction non spécifiée, le modèle, qui inclut le couple (h 0, β), est dit semi-paramétrique. 2 Exemples Les exemples suivants illustrent les difficultés rencontrées en pratique dans le choix de H, et introduisent, dans des cas simples, certains tests usuels. Exemple 1 Sur 10 individus issus du croisement de deux hétérozygotes Aa, on en a observé 8 de phénotype a récessif. L hypothèse que AA est un caractère léthal, c est à dire mortel avant la naissance, semble-t-elle être vérifiée? Dans cet exemple, l observation S est le nombre des sujets de phénotype a. La loi de S est binomiale B(n, p) où n = 10 et p est inconnu : P(S = k) = C k n θk (1 θ) n k k {0, 1,..., n} II

11 2 EXEMPLES Tests 11 Mais comme la loi de Mendel entraîne que les quatre configurations du résultat du croisement AA, Aa, aa, aa ont toutes la même probabilité, égale à 1/4, p vaut 1/4 si AA n est pas léthal, et 1/3 si AA est léthal. On a donc ici H = {B(10, 1/4); B(10, 1/3)} H 0 = {B(10, 1/4)} H 1 = {B(10, 1/3)} Exemple 2 On observe le diamètre d une pièce utilisée pour des prothèses et produite par un tour automatique. Ce diamètre devrait être égal à une valeur d donnée. L observation de six mesures supposées indépendantes de ce diamètre a donné les résultats suivants : x = (5, 8; 4, 7; 5, 0; 5, 1; 4, 8; 4, 9) On peut supposer que cette pièce a un diamètre D qui suit une loi normale N(µ, σ 2 ). Si d = 5, on se demande donc si µ = 5. Dans ce cas les trois ensembles H, H 0 et H 1 sont: H = {N(µ, σ 2 ); µ IR; σ 2 IR + } H 0 = {N(5, σ 2 ); σ 2 IR + } H 1 = {N(µ, σ 2 ); µ 5; σ 2 IR + } Exemple 3 Deux produits dermatologiques sont testés sur deux zones symétriques de la peau de dix patients atteints d une certaine affection. Les dix mesures appariées de la réduction des surfaces atteintes ont donné les résultats suivants A : 0,19 0,22 0,18 0,17 1,20 0,14 0,09 0,13 0,26 0,66 B : 0,21 0,27 0,15 0,18 0,40 0,08 0,14 0,28 0,30 0,68 Ces observations permettent elles de conclure qu il y a une différence entre les deux produits? Exemple 4 Un médecin décide de s assurer de l efficacité d un traitement dont il pense qu il peut prolonger la durée de vie de certains malades ayant déjà eu un infarctus. il choisit pour II

12 2 EXEMPLES Tests 12 cela dix malades comparables à tous les points de vue, en prend 5 au hasard, à qui il applique le traitement. Les 5 autres seront des témoins, non traités. Ils recevront un placebo. Les résultats concernant la durée de survie, en années, sont les suivants : Traités : 6,5 4,2 17,8 7,9 13,2 Non traités : 6,7 0,4 2,9 1,2 5,6 Peut on en conclure que le traitement est efficace? De ces quatre exemples, le premier est le seul où un modèle paramétrique soit rigoureusement justifié. En revanche, dans tous les autres exemples, l hypothèse de normalité qui est faite le plus souvent, n a que des justifications assez vagues. En particulier, dans le quatrième exemple qui comporte un très petit nombre d observations, le médecin n emploie l hypothèse de normalité que parce que beaucoup de variables aléatoires biologiques sont approximativement normales à cause du théorème limite centrale. Cela le conduira à utiliser un test de Student, optimal sous cette hypothèse. Mais, si le médecin répugne à faire l hypothèse de normalité parce qu elle est forte et assez mal justifiée, il peut choisir un modèle statistique beaucoup plus large, en supposant que la durée de survie, chez les malades non traités, a une loi de densité f et, chez ceux qui ont subi un traitement, une loi de densité f telle que : f (x) = f(x ) Pourvu que soit positif, il mesure l amélioration due au traitement. Le modèle sera non paramétrique, et s il y a eu m observations sous traitement et n m sous placebo, il s écrira: H = {Π m i=1 f(x i ) Π n j=m+1 f(x j) ; f densité quelconque ; 0} L hypothèse H 0 de non efficacité du traitement correspond à = 0 à tester contre H 1 = { 0}. On peut dès maintenant examiner s il serait possible de fonder un test sur une statistique T dont la loi serait toujours la même quelle que soit la loi choisie dans H 0 pour les observations. Une telle statistique est dite libre sous H 0. On est alors assuré de ne pas dépasser un certain niveau α qu on s est fixé arbitrairement à l avance. Par exemple, le nombre N des patients qui ont survécu plus de quatre ans parmi les malades qui ont subi le traitement, est, sous l hypothèse H 0 et conditionnellement à l échantillon global,une variable qui a une loi hypergéométrique H(n = 10, m = 7, k = 5).On rappelle que la loi hypergéométrique est celle d une variable N qui compte le II

13 2 EXEMPLES Tests 13 nombre de boules blanches tirées d une urne lorsqu on fait k tirages au hasard successifs sans remise dans une urne contenant m boules blanches et n-m boules noires. En effet tout se passe, sous l hypothèse H 0 comme si, parmi les dix patients, 7 étaient, indépendamment de tout traitement, en quelque sorte prédestinés à survivre plus de quatre ans. Si H 0 est vraie, appliquer le traitement à cinq d entre eux revient à faire un tirage au hasard parmi les 10. Donc P(N = 5) = C5 7 = 1 0, 083 C Cette loi ne dépend donc pas de f. On peut cependant estimer que cette probabilité est trop élevée pour permettre de rejeter H 0. D autre part la valeur seuil de 4 ans a été choisie arbitrairement. Nous verrons plus tard un test fondé sur une statistique libre sous H 0 qui prend mieux en compte l information donnée par les observations. Exemple 5 : Insuffisance respiratoire : sensibilité, spécificité et courbe Roc. La quantité d air, en litres, rejetée par un sujet sain lors d une expiration forcée est une variable aléatoire X qui est supposée normale N(µ = 2.65; σ 2 = 0.5) et la capacité respiratoire Y est la somme de deux expirations forcées successives séparées par un intervalle de deux minutes et supposées indépendantes. 1. Quelle est la loi de la capacité respiratoire d un sujet sain? 2. Quelle est la probabilité pour qu un sujet sain ait une capacité respiratoire inférieure à 3.3? Une maladie M entraîne une insuffisance respiratoire chez les sujets qui en sont atteints. La loi de leur capacité respiratoire Y est chez eux normale N(µ = 2.8; σ 2 = 1). 3. Quelle est la probabilité p pour qu un sujet atteint de M ait une capacité respiratoire inférieure à 3.3? 4. Si l on se fonde sur l observation de Y pour diagnostiquer M, quelle règle de diagnostic proposez vous? 5. Avec cette règle quels sont les risques d erreur que vous prenez? 6. Si on appelle D le diagnostic, qui vaut 1 si on diagnostique M et 0 sinon, on appelle sensibilité (se) la probabilité d un bon diagnostic de M et spécificité (sp) la probabilité d un bon diagnostic de non M. Quand on change de seuil, comment évolue se en fonction de 1-sp? Les réponses à ces diverses questions sont les suivantes: II

14 2 EXEMPLES Tests La loi de la somme de deux v.a. normales indépendantes est normale de moyenne la somme des moyennes et de variance la somme des variances. En notant Z une variable normale standard, Z N(0, 1): Y N((µ = 5.3; σ 2 = 1) p = P(Y < 1.3) = P(Z < 3.3) = P(Z < 2) = 1 P(Z < 2) = = p = P(Y < 3.3) = P(Z < 3.3) = P(Z < 0.5) = 1 P(Z < 0.5) = = D = 1 si y < 3.3 D = 0 si y > 3.3. Les risques d erreur sont donc: P(D = 0 M = 1) = P(Y > 3.3) = 1 p = P(D = 1 M = 0) = P(Y < 3.3) = p = Autrement dit, en choisissant ce seuil, on a une bonne spécificité, mais une très mauvaise sensibilité. Il vaut donc mieux choisir un seuil plus élevé, par exemple celui c qui égalise les deux erreurs : P(Z+5.3 < c) = P(Z+2.8 > c) c 2.8 = (c 5.3) c = ( )/2 = 4.05 Étant données les deux lois normales en jeu, les valeurs utiles de x se situent entre 0 et 8. Voici les ordres en Splus permettant d obtenir les résultats ci-dessus et les figures 1 et 2 (voir plus loin). Ordres en Splus : seuil< seq(0,8,0.05) plot(seuil,dnorm(seuil,5.3,1),type= l,lty=1,lwd=3, col=1,xlab = y,ylab= densite de y et y ) lines(seuil,dnorm(seuil,2.8,1),lty=1,lwd=3,col=2) lines(c(4.05,4.05),c(-0.2,dnorm(4.05,2.8,1)), lwd=2,col=1,lty=1) lines(c(3.3,3.3),c(-0.2,dnorm(3.3,2.8,1)), lwd=2,col=3,lty=1) export.graph( a:\\ vems.eps, Name= GSD2, ExportType = EPS,) sens < pnorm(seuil-2.8) un.moins.spec < pnorm(seuil-5.3) plot(un.moins.spec,sens,type= l,xlab= 1 - specificite,ylab= sensibilite ) title(main= courbe ROC ) export.graph( a:\\roc.eps, Name= GSD3, ExportType = EPS,) II

15 3 QUELQUES REMARQUES GÉNÉRALES Tests densite de y et y y Figure 1: Courbes de densité des vems pour les malades et les témoins courbe ROC sensibilite specificite Figure 2: Courbe ROC 3 Quelques remarques générales L ensemble des notions évoquées à propos des exemples qui viennent d être traités peut être résumé de façon abstraite comme suit. Si (Ω, A, A) est l espace probabilisé associé aux réalisations ω du phénomène, X est une variable aléatoire définie sur cet espace II

16 3 QUELQUES REMARQUES GÉNÉRALES Tests 16 et à valeurs dans (E, B), appelé espace des expériences, et que l on peut souvent en pratique assimiler à IR p muni de la tribu B de ses boréliens. Par exemple ω est une greffe de rein, et X est la durée de la greffe jusqu au rejet, ou bien la similarité des tissus du receveur et du donneur. Dans ces deux cas, p = 1. En revanche, si X est l ensemble de ces deux valeurs, p = 2. Soit P la probabilité sur (E, B) image par X de la loi A. Si M est l ensemble de toutes les probabilités sur (E, B), toute connaissance que l on pourrait avoir a priori (c est à dire avant l expérience) sur le phénomène se traduit en l appartenance de P à un sous-ensemble de M. Supposons donc que P H M (2) Une hypothèse H 0 peut alors être identifiée à un sous-ensemble de H, strictement inclus dans H, car sinon le problème serait résolu. Appelons H 1 le complémentaire de H 0 dans H : ce sera l hypothèse alternative, H 0 étant l hypothèse nulle. Une caractéristique du phénomène sera une fonctionnelle T(P) de la loi P de X à valeurs dans IR k pour un k entier : T(P) = (T 1 (P),..., T k (P)) Par exemple, T 1 (P) pourrait être la moyenne de la loi P et T 2 (P) pourrait être sa variance. Considérons un problème de test : le modèle statistique peut être caractérisé soit par le couple (H 0, H 1 ) soit par le couple (H 0, H 1 ) et il s agit de trouver une application mesurable φ de l espace des observations (E, B) dans ([0; 1], B[0; 1]), appelée fonction critique du test, ou simplement test, qui, à tout x associe la probabilité φ(x) de rejeter l hypothèse H 0 ; φ doit être optimal dans un certain sens. Par exemple, si α est un nombre compris entre 0 et 1, on peut demander à φ de rendre (4) maximum parmi tous les tests qui vérifient (3) : sup P H 0 inf P H 1 φ dp α (3) φ dp (4) En effet, sup P H 0 φdp majore la probabilité de rejeter H 0 à tort, et inf φdp P H 1 II

17 3 QUELQUES REMARQUES GÉNÉRALES Tests 17 minore celle d accepter H 1 à juste titre. Un tel test est appelé maximin. Pour un test φ donné, le membre de gauche de l inégalité (3) est appelé le niveau du test et l expression (4) sa puissance ; α est le seuil de signification qu on s est fixé. Si, dans la classe des tests vérifiant (3), il en existe un φ 0 qui, pour chaque P de H 1, rende maximum φ dp, on dit que φ 0 est uniformément le plus puissant, en abrégé UPP, au niveau α. Dans beaucoup de cas, il n existe pas de test UPP, mais il existe un test ayant cette propriété dans une sous-classe de tests ayant une propriété donnée. Qu il s agisse d un problème de test ou d estimation, le choix de H est primordial. II

18 1 NEYMAN ET PEARSON: DEUX HYPOTHÈSES SIMPLES Tests 18 Partie III Tests optimaux:neyman et Pearson 1 Neyman et Pearson: deux hypothèses simples Supposons que l on ait à tester H 0 = {p} contre H 1 = {q} où p et q sont les densités de deux lois connues. Le lemme de Neyman et Pearson, qui donne la solution optimale de ce problème, qui se pose assez rarement dans la pratique, doit son intérêt à ce que certains problèmes de tests d hypothèses composées peuvent être réduits à un test d hypothèses simples. Lemme 1 (Neyman et Pearson) Pour tester p contre q au niveau α, le test le plus puissant est de la forme : où k IR + et κ [01] doivent vérifier = 1 si q(x) > kp(x) Φ(x) = = κ si q(x) = kp(x) NP = 0 si q(x) < kp(x) ΦdP = α. (5) Pour tout α [01], on peut trouver un test vérifiant ces deux équations. Démonstration La fonction c α(c) = P(q(x) > cp(x)) est décroissante et continue à droite sur [0+ [ ; De plus α(0 ) = 1 et α( ) = 0. En effet, les ensembles E c = {x q(x) > cp(x)} décroissent, quand c, de l espace entier quand c est négatif à E = {x q(x) > 0, p(x) = 0}; la continuité à droite de α découle de ce que, pour tout h positif, α(c) α(c + h) = P {cp(x) < q(x) (c + h)p(x)} h 0 + P( ) = 0 Par suite, pour tout α [01], il existe k 0 tel que α(k ) α α(k) (6) Si k est un point de continuité de α, c est à dire si P(kp(x) = q(x)) = Q(kp(x) = q(x)) = 0, alors, quel que soit le choix de κ, l equation ( 5) est vérifiée. Si k est un point de discontinuité de α, il suffit de prendre : III

19 2 NEYMAN ET PEARSON:DEUX HYPOTHÈSES COMPOSÉES Tests 19 κ = Soit Φ 1 un autre test. Alors, pour tout x on a : α α(k) α(k ) α(k). (7) signe(φ 1 Φ 2 ) = signe(q kp) à moins que l une de ces deux expressions ne soit nulle. Donc, dans tous les cas,on a (Φ Φ 1 )(q kp) 0. (8) Par suite, si Φ 1 est de niveau α, c est à dire si Φ 1 dp α, on a ΦdQ Φ 1 dq k (Φ Φ 1 )dp = k(α Φ 1 dp) 0. (9) Réciproquement, pour que Φ 1 ait la même puissance que Φ, il faut que ( 8) soit presque sûrement nul. Donc il faut que Φ 1 vérifie ( 1) presque sûrement. 2 Neyman et Pearson:deux hypothèses composées Nous allons voir maintenant un certain nombre de cas où le test de deux hypotèses composées H 0 et H 1 peut se ramener à celui de deux hypothèses simples. 2.1 Ordre stochastique Definition 5 Soient sur (Ω, A) deux probabilités P et Q et une variable aléatoire X réelle. On dit que X est, sous P, stochastiquement plus petite que sous Q si: P(X x) Q(X x) x IR. (10) De même, si X et Y sont deux variables aléatoires réelles définies sur un même espace de probabilité, et de fonctions de répartition respectives F X et F Y, on dit que X est stochastiquement plus petite que Y si F X (x) F Y (x) x IR. (11) Lemme 2 Etant données deux fonctions de répartition F 0 et F 1, une condition nécessaire et suffisante pour que F 0 (x) F 1 (x) pour tout x réel est qu il existe deux fonctions f 0 et f 1 croissantes, avec f 1 f 0, et une variable aléatoire réelle U définie sur un espace (Ω, A, P) telles que f 0 (U) et f 1 (U) aient respectivement F 0 et F 1 pour fonctions de répartition. III

20 2 NEYMAN ET PEARSON:DEUX HYPOTHÈSES COMPOSÉES Tests 20 Démonstration La condition est suffisante car F 0 (x) = P(f 0 (U) x) P(f 1 (U) x) = F 1 (x). Pour montrer que la condition est nécessaire, il suffit de prendre f 0 = F0 1 et f 1 = F1 1. Comme F 0 F 1, f 0 = F0 1 f 1 = F Couple le moins favorable Definition 6 Etant donnés deux sous ensembles disjoints H 0 et H 1 de l ensemble de toutes les probabilités sur l espace (IR n, B) des expériences, on dit que le couple (P 0, Q 0 ) est le moins favorable pour tester H 0 contre H 1 si la variable aléatoire γ = dq 0 /dp 0 est stochastiquement la plus grande sous P 0 dans H 0, et la plus petite sous Q 0 dans H 1, c est à dire : P(γ > c) P 0 (γ > c) Q 0 (γ > c) Q(γ > c) P H 0 Q H 1 (12) 2.3 Neyman et Pearson généralisé Pour choisir un test Φ de H 0 contre H 1, on peut choisir l un des trois critères d optimalité suivants, où λ est compris entre 0 et 1 : 1. sup{(sup P H0 ΦdP), (supq H1 (1 Φ)dQ)} minimum 2. λ(sup P H0 ΦdP) + (1 λ)(supq H1 (1 Φ)dQ) minimum 3. { supp H0 ΦdP α pour un α (01) inf Q H1 inf ΦdQ maximum Théorème 1 (Neyman et Pearson généralisé) S il existe dans H 0 H 1 un couple le moins favorable (P 0, Q 0 ), la famille des tests les plus puissants de P 0 contre Q 0, donnée par (NP) contient les tests optimaux de H 0 contre H 1 pour les trois critères ci-dessus. Démonstration Soit β la puissance du test de niveau α le plus puissant de P 0 contre Q 0, qui est donné par le lemme de Neyman et pearson : Φ 0 (x) = 1 si q 0 > kp 0 κ si q 0 = kp 0 1 si q 0 < kp 0 Pour un tel test et en tenant compte de ( 12), on a Φ 0 dp Φ 0 dp 0 Φ 0 dq 0 Φ 0 dq P H 0 Q H 1. (13) III

21 2 NEYMAN ET PEARSON:DEUX HYPOTHÈSES COMPOSÉES Tests 21 Donc E Q [Φ 0 ] β quel que soit Q dans H 1. Tout autre test de niveau α sur H 0 aura en Q 0 une puissance infèrieure ou égale à β. Donc Φ 0 vérifie le troisième critère d optimalité. Supposons qu un test Φ 1 soit optimal pour le deuxième critère et posons α = sup Φ 1 dp P H 0 Alors le test Φ 0 de niveau α est tel que : Φ 1 dq 0 Φ 0 dq 0 Donc inf Q H 1 Φ 1 dq inf Q H 1 Φ 0 dq Q H 1 Φ 0 dq et il y a nécessairement égalité puisque Φ 1 est optimal pour le deuxième critère. Par suite, Φ 0 est aussi optimal pour le ce critère. Un raisonnement tout à fait analogue prouve que Φ 0 est aussi optimal pour le premier critère. 2.4 Application aux familles de lois à rapport de vraisemblance monotone Definition 7 Soit (h(x, θ)) θ IR une famille paramétrée de densités sur IR par rapport à une mesure µ. S il existe une statistique T(x) telle que pour tout θ 2 > θ 1, il existe une fonction c telle que h(θ 2, x) = c(t(x)) x IR (14) h(θ 1, x) où c est une fonction croissante, on dit que la famille (h θ ) est à rapport de vraisemblance monotone en T(x). Exemple : familles exponentielles. Soit θ un paramètre réel et X une variable aléatoire réelle ayant par rapport à une mesure µ une densité h(x, θ) = C(θ)h(x)e Q(θ)T(x) (15) où Q(θ) est strictement monotone. Alors, si θ 2 > θ 1, h(θ 2, x) h(θ 1, x) = C(θ 2) C(θ 1 ) e[q(θ 2) Q(θ 1 )]T(x) (16) III

22 2 NEYMAN ET PEARSON:DEUX HYPOTHÈSES COMPOSÉES Tests 22 est une fonction croissante de T (respectivement de T) si Q est croissante (respectivement décroissante). On vérifiera par exemple que la loi binomiale B(n, θ) est du type précédent avec T(x) = x et Q(θ) = log θ, ainsi que le produit de n lois de Poisson de paramètre λ, 1 θ avec T(x) = Σx i et Q(λ) = log(λ). Exercice Démontrer qu une condition nécessaire et suffisante pour que la famille h(x, θ) = f(x θ) des translatées d une densité f soit à rapport de vraisemblance monotone en x est que f soit fortement unimodale. On pourra supposer que f(x) > 0 pour tout x réel. Théorème 2 Si une famille paramétrée ((h(x, θ)) θ IR est à rapport de vraisemblance monotone avec T(x) = x et si θ 1 < θ 2, alors le couple de lois (h θ1, h θ2 ) est un couple le moins favorable pour tester H 0 : θ θ 1 contre H 1 : θ θ 2. C est cette propriété qui est utilisée pour obtenir les tests uniformément les plus puissants (UPP) pour des hypothèses du type θ θ 1 contre θ θ 2 pour les familles de lois exponentielles qui sont très répandues. Ce test de deux hypothèses composées est ainsi ramené à un test de deux hypothèses simples: { H0 : θ = θ 1 H 1 : θ = θ 2 III

23 1 VRAISEMBLANCE ET INFORMATION Tests 23 Partie IV Trois tests classiques:score, Wald, RV 1 Vraisemblance et information Supposons qu une variable aléatoire X suive une loi de densité f θ (x) dépendant d un paramètre θ. La fonction f est connue; Seul le paramètre θ, qu on supposera réel pour simplifier, est inconnu. 1.1 Cas d une seule observation On suppose pour l instant, pour simplifier la notation, que l on a une seule observation x. Par définition, la vraisemblance V (θ x) = f θ (x) est une fonction du paramètre inconnu θ, qui évolue dans Θ. L observation x, elle, ne bouge pas. Cela explique l écriture de V comme fonction de θ, conditionnelle à x. On peut d ailleurs aussi l écrire: V x (θ) = f θ (x). La vraisemblance étant une probabilité est toujours positive. On suppose que V est dérivable, deux fois, par rapport à θ et on note V x (θ) la dérivée première et V x(θ) la dérivée seconde. De plus, on note θ 0 la vraie valeur, inconnue, de θ, et L x (θ) le logarithme de la vraisemblance. Toutes les dérivations qui ont lieu dans la suite sont par rapport à θ: V,L, L. Théorème 3 E[L x(θ 0 ) θ 0 ] = 0. (17) Démonstration: Comme f θ (x)dx = 1, on a aussi V x (θ)dx = 1. En dérivant par rapport à θ, on obtient V x (θ)dx = 0 (18) Cette équation peut s écrire en utilisant le logarithme de la vraisemblance, L x (θ) = log(v x (θ)), dont la dérivée vaut V x (θ) V x (θ), IV

24 1 VRAISEMBLANCE ET INFORMATION Tests 24 et en y remplaçant V x (θ) par f θ (x): L x (θ)f θ(x)dx = 0. (19) C est donc vrai en particulier pour θ = θ 0. On peut définir l information de Fisher à partir de la vraisemblance. Definition 8 (Information de Fisher) On appelle information de Fisher la quantité I(θ 0 ) = E θ0 [( f θ 0 (x) f θ0 (x) )2 ] Théorème 4 I(θ 0 ) = E θ0 [L x(θ 0 ) 2 ] = E θ0 [L x (θ 0 )] (20) 1.2 Cas d un échantillon Le logarithme de la vraisemblance de l échantillon x = (x 1,, x n ) vaut L x (θ) = n L xi (θ) (21) i=1 puisque les observations x i sont indépendantes. On notera dorénavant L x (θ) : L n (θ). De ce qui précède, il résulte que Théorème 5 E θ0 [L n (θ 0)] = 0 I n (θ 0 ) = E θ0 [ L n (θ 0 )] = E θ0 [(L n(θ 0 )) 2 ] = ni(θ 0 ) L n (θ 0) est la somme de variables aléatoires indépendantes de moyenne 0 et de variance I(θ 0 ) d après les théorèmes précédents. La loi des grands nombres et le théorème central limite permettent donc d écrire Théorème 6 L n (θ 0)/n 0 (22) L n (θ 0 )/n I(θ 0 ) (23) L n (θ 0) (n) N(0, I(θ 0 )) (24) Pour utiliser ce résultat, on l écrit plus volontiers de la manière suivante, qui est moins rigoureuse: L n (θ 0) N(0, ni(θ 0 )) où la loi normale est une approximation de la loi exacte de L n (θ 0). IV

25 3 LES TROIS TESTS CLASSIQUES Tests 25 2 Estimateur du maximum de vraisemblance On estime θ par la valeur ˆθ du paramètre qui rend maximum V x (θ) et donc qui annule V x (θ). On démontre en utilisant le théorème 6 que ˆθ est consistant. Quand n est suffisamment grand, ˆθ est assez proche de θ 0 pour que l on puisse confondre la courbe V n(θ) et sa tangente en θ 0 : En particulier, en θ = ˆθ: L n (θ) = L n (θ 0) + (θ θ 0 )V n (θ 0 ) 0 = L n (θ 0) + (ˆθ θ 0 )L n (θ 0 ) (25) d où l on déduit ˆθ θ 0 = L n(θ 0 ) L n (θ 0 ) Grâce aux deux premières équations du théorème 6, quand n, on voit que D autre part, l équation (25) se ré-écrit: n(ˆθ θ0 ) = a/b ˆθ θ 0 0 Donc Théorème 7 On en déduit Théorème 8 où a = +(1/ n)l n (θ 0) N(0, I(θ 0 )) b = (1/n)L n (θ 0 ) I(θ 0 ) n(ˆθ θ0 ) N(0, 1/I(θ 0 )) (26) 2[L n (ˆθ) L n (θ 0 )] χ 2 (1) (27) 3 Les trois tests classiques 3.1 cas unidimensionnel On veut tester H 0 : θ = θ 0 H 1 : θ θ 0 Notons z u le u-quantile de la gaussienne, défini par P(N(0, 1) z u ) = u Les plus connus sont z = 1.96 et z 0.95 = IV

26 3 LES TROIS TESTS CLASSIQUES Tests Test de Wald: Si H 0 est vraie, le théorème ( 7)) nous dit que ni(θ0 )(ˆθ θ 0 ) N(0, 1)). Le test de niveau α s écrira: On rejette H 0 si et seulement si ni(θ 0 )(ˆθ θ 0 ) > z 1 α/2 2. Test du score: Si H 0 est vraie, l équation ( 24) nous dit que L n(θ 0 ) N(0, 1). ni(θ0 ) Le test de niveau α s écrira: On rejette H 0 si et seulement si L n(θ 0 ) ni(θ0 ) > z 1 α/2. 3. Test du rapport de vraisemblance Si H 0 est vraie, le théorème ( 8) nous dit que 2[L n (ˆθ) L n (θ 0 )] χ 2 (1). Le test de niveau α s écrira: On rejette H 0 si et seulement si 2[L n (ˆθ) L n (θ 0 )] > t α. où t α est le α-quantile de la loi du χ 2 à un degré de liberté. Cette valeur est donnée par la table du χ 2 : 3.2 Cas multidimensionnel On suppose maintenant que P(χ 2 (1) > t α ) = α. θ = (θ 1,...,θ d ). Le logarithme de la vraisemblance est une fonction des d variables, dont on regroupe les dérivées partielles en un vecteur G de taille d, appelé le vecteur des scores: t(g) = (G 1,...,G d ) = ( / θ 1 L n,..., / θ d L n ) et ses dérivées secondes en une matrice d d notée H. Le terme (i, j) de H vaut H ij = / θ i ( / θ j L n ) IV

27 3 LES TROIS TESTS CLASSIQUES Tests 27 et on définit la matrice d information de Fisher comme la matrice à d lignes et d colonnes, I(θ 0, de terme général: I ij (θ 0 ) = E θ0 ( / θ i / θ j L n ). Un théorème analogue au théorème ( 4) dit que L équation ( 24) s écrit: I ij (θ 0 ) = +E θ0 / θ i L n / θ j L n. G N(0, ni(θ 0 )). (28) L estimateur du maximum de vraisemblance de θ s obtient en maximisant L n donc en annulant toutes les composantes du vecteur des scores G. Les équations ( 26, 27)) s écrivent: ˆθ θ 0 N(0, (1/n)I 1 (θ 0 )) (29) 2[L n (ˆθ) L n (θ 0 )] χ 2 (d) (30) Une façon de mener les trois tests classiques est fondée sur le Lemme 3 En dimension d, si Y N(0, Σ), alors 1. Test de Wald Sous H 0,d après l équation ( 29), Donc t(y )Σ 1 Y χ 2 (d). ˆθ θ 0 N(0, 1/nI 1 (θ 0 )). W = n(ˆθ θ 0 ) I(θ 0 )(ˆθ θ 0 ) χ 2 (d). On rejette H 0 si et seulement si W > t 1 α (d) où t 1 α (d), donné par la table est tel que P(χ 2 (d) > t 1 α (d)) = α. 2. Test du score Sous H 0, (cf 28), donc G N(0, ni(θ 0 ))), S = (1/n)t(G)I(θ 0 ) 1 G χ 2 (d). On rejettera H 0 si et seulement si S > t α (d). 3. Test du rapport de vraisemblance Sous H 0 (cf 30) R = 2[L n (ˆθ) L n (θ 0 )] χ 2 (d). On rejette H 0 si et seulement si R > t 1 α (d). IV

28 2 UN GRAND NOMBRE DE PARAMÈTRES NUISIBLES: Tests 28 Partie V Tests avec paramètres nuisibles. 1 Introduction Il arrive très souvent qu on s intéresse à un paramètre particulier alors que le modèle statistique en comporte un ou plusieurs autres. Ces derniers sont appelés des paramètres nuisibles ou parasites. Plusieurs méthodes sont possibles pour traiter ces paramètres. On peut tout d abord les estimer au même titre que le paramètre d intérêt. Mais cela peut conduire à de graves ennuis comme l illustre l exemple ci-dessous, au paragraphe 2. Aussi existe-t-il d autres méthodes pour se débarrasser de ces paramètres, en particulier lorsque la famille de probabilités est exponentielle. C est ce que nous verrons au paragraphe 3. 2 Un grand nombre de paramètres nuisibles: Cet exemple célèbre est dû à Le Cam. On observe n couples indépendants (X i, Y i ) de variables normales indépendantes, dont la moyenne commune µ i dépend de i et dont la variance σ 2 est la même pour tous les couples: (X i, Y i ) X i N(µ i, σ 2 ) Y i N(µ i, σ 2 ) X i Y i i = 1, 2,, n Ce qu on veut estimer, c est la variance commune aux 2n observations, σ 2. Les moyennes µ i sont donc des paramètres nuisibles. On peut remarquer de plus que le nombre de ces paramètres tend vers l infini en même temps que le nombre des observations. Si on estime simultanément σ 2 et les n moyennes µ i en utilisant la méthode du maximum de vraisemblance, on obtient le calcul suivant: V (σ 2, µ 1,, µ n ) = Π n 1 i=1 ( 2πσ) exp { (x i µ i ) 2 (y i µ i ) 2 } 2 2σ 2 2σ 2 1 = ( exp { Σ n 1 (2πσ) 2)n i=1 2σ 2[(x i µ i ) 2 + (y i µ i ) 2 ]} lnv = n(ln (2π) + ln (σ 2 )) 1 2σ 2Σn i=1[(x i µ i ) 2 + (y i µ i ) 2 ] V

29 2 UN GRAND NOMBRE DE PARAMÈTRES NUISIBLES: Tests 29 Il y a donc ici n + 1 équations du maximum de vraisemblance: L σ 2 = n σ σ 4 Σ n i=1 [(x i µ i ) 2 + (y i µ i ) 2 ] = 0 L µ i = 1 [4µ σ 2 i 2(x i + y i )] = 0 i = 1, 2,, n. Par équivalences successives, on obtient les estimateurs du maximum de vraisemblance: L µ i = 0 µ i = x i+y i 2 L = 0 n + 1 Σ(x σ 2 σ 2 2σ 4 i y i ) 2 = 0 n + 1 4σ 2 Σ(x i y i ) 2 = 0 σ 2 = Σ(x i y i ) 2 4n est ce un bon estimateur de σ 2? Comme X i et Y i sont indépendants et normaux, leur différence suit une loi normale de moyenne la différence des moyennes, c est à dire 0, et de variance la somme des variances, soit 2σ 2 : Donc X i Y i N(0, 2σ 2 ) Par suite, E((X i Y i ) 2 ) = 2σ 2 E( σ 2 ) = σ 2 /2 ce qui signifie que σ 2 est un très mauvais estimateur de σ 2 : il n est ni sans biais, ni convergent. Son biais est égal à σ 2 /2 et il converge vers la moitié de la valeur qu il est censé estimer. Cela est dû à un phénomène général: la méthode du maximum de vraisemblance n a pas de bonnes propriétés si le nombre des paramètres croît à la même vitesse que le nombre des observations. En fait, pour se débarrasser des paramètres parasites µ i, on peut considérer l échantillon des différences D i = X i Y i Les D i sont alors indépendantes de même loi N(0, 2σ 2 ). On a donc un estimateur sans biais de variance minimum pour 2σ 2, fondé sur le n-échantillon (D 1,, D n ) : V

30 3 ELIMINATION PAR CONDITIONNEMENT Tests 30 2σ 2 = Σn i=1(d i d) 2 n 1 ce qui donne un estimateur sans biais et de variance minimum pour σ 2 : σ 2 = Σn i=1(d i d) 2. 2(n 1) On peut cependant remarquer que cette solution est typique de notre exemple. Nous verrons aux paragraphes suivants une solution applicable de manière plus générale. 3 Elimination par conditionnement Supposons que l on veuille tester H 0 : θ = θ 0 H 1 : θ = θ 1 θ 1 > θ 0 grâce à un échantillon (X 1, X 2,, X n ) d une variable aléatoire X obéissant à une famille de lois de densité, au point x, f(x, θ, φ) qui dépende de θ et d un autre paramètre φ. Dans ce cas, θ est le paramètre d intérêt et φ est un paramètre parasite. Si la loi peut se mettre sous la forme exponentielle: f(x, θ, φ) = C(θ, φ)h(x)e θu(x)+φt(x) alors, d après le lemme de Neyman et Pearson, les tests les plus puissants de H 0 contre H 1 ont une zone de rejet de H 0 de la forme: {x : U(x) > k} où la valeur de la constante k doit être choisie de telle sorte que le niveau du test soit égal à une valeur choisie α, soit: α = P H0 (U(X) > k) Or cette probabilité dépend de la valeur inconnue du paramètre parasite φ. En effet, l hypothèse H 0 n est une hypothèse simple qu en apparence. En réalité, l hypothèse H 0 s écrit: H 0 : θ = θ 0, φ quelconque. De même, l alternative H 1 est aussi une hypothèse composée: H 1 : θ = θ 1, φ quelconque. V

31 4 COMPARAISON DE DEUX LOIS DE POISSON Tests 31 Mais on pourra montrer (voir le paragraphe 5) que, si l on connaît la valeur de t, la loi de U, sachant θ = θ 0 et T = t, ne dépend pas de la valeur du paramètre inconnu φ. Cette propriété entraîne que l on peut déterminer la région de rejet de H 0 pour un niveau donné α, sans connaître φ, à condition toutefois que les observations (x 1, x 2,, x n ) aient été faites, et que par conséquent la valeur de la statistique T soit connue, soit T = t. On ne peut donc pas déterminer la zone de rejet du test avant d avoir fait l expérimentation. Principe de la méthode Le principe de la méthode est le suivant: 1. Le paramètre d intérêt étant θ, repérer la présence d un paramètre parasite φ. 2. Mettre si possible sous la forme exponentielle suivante la loi des variables observées: f(x, θ, φ) = C(θ, φ)h(x)e θu(x)+φt(x). 3. Trouver la loi de U conditionnellement à T = t. 4. Obtenir la zone de rejet du test: elle dépend de t observée et non de φ inconnu. Cette méthode sera illustrée au paragraphe suivant par un exemple: la comparaison de deux lois discrètes, des lois de Poisson. 4 Comparaison de deux lois de Poisson Deux types d événements se produisent selon deux lois de Poisson de paramètres respectifs λ et µ X Poisson (λ) Y Poisson (µ) Et on se demande si les événements du premier type sont plus fréquents que ceux du second type. Autrement dit, sachant que On veut donc tester les deux hypothèses: λ λx P(X = x) = e x = 0, 1, 2, x! µ µy P(Y = y) = e y = 0, 1, 2, y! H 0 : λ µ H 1 : λ > µ Dans ce problème de test, on peut se poser la question suivante: y a-t-il un paramètre d intérêt et un paramètre parasite? Si oui, quels sont ils? V

32 4 COMPARAISON DE DEUX LOIS DE POISSON Tests Paramètre parasite : En fait, on peut reformuler ainsi les hypothèses: H 0 : λ µ 1 H 1 : λ µ > 1 Cette nouvelle formulation des hypothèses montre que λ peut être considéré µ comme l unique paramètre d intérêt, qu on veut tester à 1. On peut alors choisir comme paramètre complémentaire du problème soit λ, soit µ, qui devinet alors un paramètre parasite. Supposons que nous ayons seulement deux observations, une de X et une de Y. Alors la vraisemblance de (x, y) s écrit: P(X = x, Y = y) = e (λ+µ) 1 ln λ+y ln µ) e(x x!y! = e λ µ (µ+1) 1 λ x!y! exln µ 2. Réécriture de la loi sous la forme exponentielle: On est amené à poser: ce qui donne pour vraisemblance: θ = ln ( λ µ ), U = X φ = ln(µ), T = X + Y +(x+y) lnµ P(X = x, Y = y) = e eφ (e θ +1) 1 x!y! eθx+φ(x+y) 3. Il reste maintenant à calculer la loi de U, c est à dire X, conditionnellement à T, c est à dire X + Y. Comme X et Y sont indépendantes, la loi de leur somme est une loi de Poisson de paramètre la somme des paramètres, soit: D autre part, P(X + Y = t) = e (λ+µ) ( (λ + µ)t ). t! P({X = x} {X + Y = t}) = P(X = x, Y = t x) = e (λ+µ) λ x µ t x x!(t x)! Par suite: P(X = x X + Y = t) = t! x!(t x)! ( λ µ λ + µ )x ( λ + µ )t x V

33 5 FAMILLE EXPONENTIELLE Tests 33 On reconnaît la loi binomiale B(t, λ ) qui dépend: λ+µ de la somme t des deux observations x et y, et du paramètre d intérêt θ. Nous allons voir au paragraphe suivant que ce résultat, obtenu pour la loi de Poisson, est vrai pour toute famille exponentielle. 5 Famille exponentielle Soit une famille exponentielle, de paramètres canoniques θ et φ, et dont les statistiques exhaustives correspondantes sont U(x) et T(x): Propriétés: f(x, θ, φ) = C(θ, φ)e θu(x)+φt(x) h(x). (31) 1. Espérances des statistiques exhaustives: E(U(X)) = lnc(θ,φ) θ E(T(X)) = lnc(θ,φ) φ 2. Moments d ordre deux des statistiques exhaustives: V ar(u(x)) V ar(t(x)) = 2 lnc(θ,φ) θ 2 = 2 lnc(θ,φ) φ 2 Cov(U(X), T(X)) = 2 lnc(θ,φ) θ φ 3. Loi de U conditionnellement à T = t: elle ne dépend pas de φ: si la densité de (U, V ) sécrit g θ,φ (u, t) = C(θ, φ)h(u, t)e θu+φt alors g θ,φ (u t) = H(u, t) e θu l(t) V

34 6 EXEMPLES: Tests 34 où l(t) = H(u, t)e θu du. Démonstration: Démontrons le résultat concernant les espérances: f(x, θ, φ) = 1 f 1 fdx = 0 θ f Or = (ln f)fdx = 0 θ θ (ln f) = (ln C(θ, φ)) + U(X) θ Les résultats concernant les moments d ordre deux s obtiennent de manière analogue. C est cette dernière propriété qui est utile pour établir des tests concernant θ sans connaître φ, commencons par elle. Soit g θ,φ (u, t) = C(θ, φ)h(u, t)e θu+φt Calculons la densité de U conditionnellement à t: g θ,φ (u t) = = g θ,φ (u,t) gθ,φ (u,t)du C(θ,φ)H(u,t)e θu+φt C(θ,φ)H(u,t)e θu+φt du = H(u,t) l(t) e θu ce qui est le résultat annoncé. Cela prouve bien que cette loi conditionnelle ne dépend pas du paramètre φ. 6 Exemples: Nous allons voir quelques exemples de tests en présence de paramètres nuisibles. Les trois premiers ont trait à des lois continues, la loi normale et la loi exponentielle. Le dernier concerne une loi discrète, la loi de Poisson. Toutes ces lois appartiennent à la famille dite exponentielle, dont les propriétés sont rappelées au paragraphe 5. V

35 6 EXEMPLES: Tests 35 Exemple 1 : Soit X N(µ, σ 2 ), où µ et σ 2 sont inconnus. µ 0 étant une valeur connue fixée, on veut tester: H 0 : µ = µ 0. Puisqu on ne la précise pas, l alternative est bilatérale H 1 : µ µ 0. et le paramètre d intérêt est µ et le parasite est σ 2. Si on dispose d un n- échantillon de X, x = (x 1,, x n ), sa vraisemblance s écrit: f(x) = 1 ( 2πσ) n e 1 σ 2 Σn i=1 (x i µ) 2 1 = ( e nµ 2 2πσ) n 2σ 2 e 1 2σ 2 Σn i=1 (x2 i )+ µ σ 2 Σn i=1 (x i) On voit sur cette expression que les paramètres canoniques et les statistiques exhaustives correspondantes sont θ = µ σ 2 U = Σx i φ = 1 σ 2 T = Σx 2 i Si au contraire on s intéressait à σ 2 et non à µ, on intervertirait les rôles de θ et de φ. Comme ici on veut tester H 0 : µ = µ 0 on peut remplacer les x i par y i = x i µ 0 et tester la moyenne des y i, qu on notera aussi µ, à 0: H 0 : µ = 0 La zone de rejet de H 0 est de la forme Or la zone de rejet H 1 : µ 0 X / [k 1 k 2 ] k 1, k 2 : P( X / [k 1 k 2 ] µ = 0, Σx 2 = t) = α { x / [k 1 k 2 ] { x Σx 2 n( x) 2 / [k 1 k 2 ]} x { 1 n Σ(x i x) 2 n 1 / [k 1 k 2 ]} V