Tests non paramétriques

Transcription

1 Retour au plan du cours Fonction de répartition empirique Définition et premières propriétés Soit X, X 2, X n, une suite de variables aléatoires réelles iid de fonction de répartition F On rappelle que, pour tout x R, F (x = P(X i x DÉFINITION On appelle fonction de répartition empirique associée au n échantillon X, X 2, X n la fonction F n (x = n Xi x n i= F n est croissante, continue à droite, lim x F n (x = 0, lim x + F n (x = nf n (x suit une loi binomiale de paramètre (n, F (x E(F n (x = F (x, pour tout x, F n (x est un estimateur sans biais de F (x Var(nF n (x = nf (x( F (x, Var(F n (x = Par l inégalité de Tchebichev, F (x( F (x n 0 ε > 0, P ( F n (x F (x ε ε 2 Var(F n(x 0 F n (x F (x Prob 0 C est aussi une conséquence de la loi des grands nombres On déduit du TLC que pour tout x tel que F (x( F (x 0, n(fn (x F (x Loi N (0, F (x( F (x 2 Inverse généralisée DÉFINITION 2 Soit F une fonction de répartition On définit l inverse généralisée F de F par x [0, ], F (x = inf{t R, F (t x} Remarque Si F est une bijection, F est la bijection réciproque Exemple Calculer F pour la loi de Bernoulli de paramètre p LEMME 3 Soit U une variable aléatoire de loi uniforme sur [0, ] Soit F une fonction de répartition et F son inverse généralisée La variable aléatoire X = F (U a pour fonction de répartition F Ceci permet de simuler des va de loi donnée, dès lors que l on sait calculer F Exercice : comment simuler une variable de loi exponentielle de paramètre λ? De loi de Bernoulli de paramètre p? Démonstration La preuve repose sur l équivalence suivante : On déduit de ( que, pour tout x, F (x y x F (y ( P(F (U x = P(U F (x = F (x, donc X = F (U a pour fonction de répartition F LEMME 4 Soit X une variable aléatoire de fonction de répartition F, supposée continue Alors F (X suit une loi uniforme sur [0, ]

2 2 2 Tests basés sur la fonction de répartition empirique 2 Test d adéquation de Kolmogorov Soit X,, X n iid de fonction de répartition F On se donne une fonction de répartition F 0, supposée continue On veut tester l hypothèse H 0 : F = F 0 contre H : F F 0 DÉFINITION 5 Le test de Kolmogorov est défini par la statistique de test F F 0, on utilise la statistique de test respectivement D n + = sup(f n (x F 0 (x Dn = sup(f 0 (x F n (x On rejette H 0 si D n + d + n, α, respectivement D n d n, α Les quantiles sont lus dans les tables D n = sup F n (x F 0 (x Il consiste à rejeter l hypothèse H 0 si D n d n,α PROPOSITION 6 La loi de D n sous l hypothèse H 0 (F = F 0 est indépendante de F 0 Remarque Soit X ( X (n l échantillon ordonné On pose X (0 = et X (n+ = + ( D n = max max i i=0,,n n F 0(X (i ; i n F 0(X (i+, ce qui permet de calculer facilement D n La loi de D n sous H 0 est tabulée On trouve dans les tables les quantiles d n, α tels que P H0 (D n d n, α α, (en étant le plus proche possible de α Ces tables sont obtenues à partir de simulations de D n, sous l hypothèse que les X i sont iid de loi uniforme sur [0, ] (F 0 = [0,] Si la loi de D n dépendait de F 0, il faudrait construire une table pour chaque loi F 0 Pour faire un test unilatéral, H 0 : F = F 0 contre H : F F 0 (respectivement PROPOSITION 7 (admise λ > 0, P H0 ( nd + n λ exp( 2λ 2 Smirnov (942 λ > 0, P H0 ( nd n λ 2 ( k+ exp( 2k 2 λ 2 Kolmogorov (933 k= λ > 0, P H0 ( nd n λ 2 exp( 2λ 2 Massart (990 Il existe d autres tests basés sur la fonction de répartition empirique Le test de Cramer Von Mises utilise la statistique C n = n + (F n (x F 0 (x 2 f 0 (xdx, le test d Anderson Darling utilise la statistique de test D n = n + (F n (x F 0 (x 2 f 0 (x F 0 (x( F 0 (x dx Comme pour le test de Kolmogorov, on montre que les lois de C n et A n sont indépendantes de F 0 sous H 0 Ces lois sont tabulées

3 3 3 Tests de comparaison de deux échantillons On considère deux échantillons indépendants X,, X n iid de fonction de répartition F 0 et Y,, Y m iid de fonction de répartition F Dans le cas où F 0 correspond à une loi normale N (m 0, σ 2 et F à la loi N (m, σ 2, on peut utiliser un test de Student pour tester H 0 : F 0 = F contre H : F 0 F (cf cours de 3ième année Nous ne revenons pas sur ce test et nous nous plaçons ici dans un cadre non paramétrique Les lois des variables X i et Y j ne sont pas supposées connues 3 Tests de Kolmogorov-Smirnov de comparaison de deux échantillons On considère deux échantillons indépendants : X,, X n iid de fonction de répartition F 0 et Y,, Y m iid de fonction de répartition F On veut tester H 0 : F 0 = F contre H : F 0 F Soit F n la fonction de répartition empirique de l échantillon (X,, X n et G m celle de l échantillon (Y,, Y m DÉFINITION 8 Le test de Kolmogorov-Smirnov est défini par la statistique de test D n,m = sup F n (x G m (x Il consiste à rejeter l hypothèse H 0 si D n,m d n,m, α PROPOSITION 9 Si F 0 est continue, la loi de D n,m sous l hypothèse F 0 = F est indépendante de F 0 Cette loi est tabulée Remarque Pour faire un test unilatéral ( H 0 : F 0 = F contre H : F 0 F, on utilise la statistique de test D n,m + = sup(f n (x G m (x 32 Test de Wilcoxon- Mann-Whitney On considère deux échantillons indépendants : X,, X n iid de fonction de répartition F 0 et Y,, Y m iid de fonction de répartition F On veut tester H 0 : F 0 = F contre H : F 0 F on suppose que F 0 et F sont continues Le principe du test consiste à détermniner le nombre de couples (X i, Y j pour lesquels Y j X i Sous H, pour tout x, P(Y x P (X x (avec parfois l inégalité stricte, par conséquent pour tout x, P(Y > x P (X > x et le nombre de couples (X i, Y j pour lesquels Y j X i prend des valeurs plus grandes sous H que sous H 0 DÉFINITION 0 On appelle test de Mann-Whitney le test défini à partir de la statistique n m U (n,m = Yj>X i i= j= Le test consiste à rejeter H 0 si U (n,m u (n,m, α Remarque La loi de U (n,m sous H 0 peut être établie par récurrence (cf Caperaa Van Cutsem p 26 On note Alors pour tout k, p n,m (k = P H0 (U (n,m = k pour k = 0,, mn p n,0 (k = p 0,m (k = pour k = 0; = 0 pour k 0 (n + mp n,m (k = mp n,m (k + np n,m (k Cette formule de récurrence permet de calculer la loi de U (n,m sous H 0 On peut aussi utiliser un résultat asymptotique : THÉORÈME (Hajek (968 (admis Sous H 0, U (n,m E H0 (U (n,m VarH0 (U (n,m Loi N (0, quand n, n/(n+m λ ]0, [

4 4 On utilise ce résultat en pratique si n, m 8 E H0 (U (n,m = mn 2, ( n + m + Var H0 (U (n,m = mn 2 Il existe une autre forme équivalement de ce test, appelé test de la somme des rangs de Wilcoxon, qui consiste à calculer la somme des rangs des individus du deuxième échantillon : W n,m = où R j représente le rang de Y j dans l échantillon complet ordonné : on note (Z,, Z n, Z n+,, Z N = (X,, X n, Y,, Y m On pose pour tout j de à m N R j = Zi<Y j + i= On a la relation m(m + U (n,m = W n,m 2 Les deux statistiques conduisent donc au même test Traitement des ex-aequos : Nous avons supposé les lois continues, donc la probabilité d avoir des ex-aequos est nulle En pratique, soit parce que les lois ne sont pas continues, soit parce qu on a des mesures arrondies, on peut avoir des ex-aequos Dans ce cas, la solution la plus couramment employée dans les logiciels est la méthode des rangs moyens Elle consiste à affecter à tous les élements d un groupe d ex-aequos la moyenne des rangs des élements du groupe 33 Test de la médiane On considère deux échantillons indépendants : X,, X n iid de fonction de répartition F 0 et Y,, Y m iid de fonction de répartition F On veut tester H 0 : F 0 = F contre H : F 0 F on suppose que F 0 et F sont m j= R j continues Le principe du test consiste à détermniner le nombre de variables du deuxième échantillon qui sont supérieures à la médiane de l ensemble des observations On note N = n + m DÉFINITION 2 Le test de la médiane est défini à partir de la statistique M n,m = m m Rj> N+ 2 j= Pour tester H 0 : F 0 = F contre H : F 0 F, on rejette H 0 si M n,m m n,m, α Exemple d application : Test de localisation X,, X n sont iid de fonction de répartition F 0 et Y,, Y m sont iid de fonction de répartition F = F 0 ( µ Par exemple, on étudie la pression artérielle de patients soumis à un traitement contre l hypertension (Y j, et on les compare à des patients non traités (X i Supposons qu après traitement, la loi de la pression artérielle est translatée de µ Le traitement est efficace si µ < 0, il est inefficace si µ = 0 Loi de M n,m sous H 0 : Supposons N pair k {0,, m}, P(mM n,m = k = Ck mcn N/2 k C N/2 N Il s agit d une loi hypergéométrique de paramètre (N, N/2, m La connaissance de la loi de M n,m sous H 0 permet de déterminer la zone de rejet du test * E H0 (M (n,m = si N pair (2 2 = N si N impair (3 2N Var H0 (M (n,m = = n si N pair 4m(N (4 n(n + 4mN 2 si N impair (5

5 5 * Pour n, m 30, on peut approximer la loi de M (n,m sous H 0 par la loi N (E H0 (M (n,m, Var H0 (M (n,m Remarque Les tests de Wilcoxon, Mann-Withney et de la médiane ne permettent pas de tester des alternatives bilatérales 4 Tests de normalité 4 Méthode graphique : droite de Henry La méthode est aussi appelée Normal Probability Plot ou Q-Q Plot On représente le graphe des points (X (i, F F n (X (i, où X ( X (n est l échantillon ordonné, F n la fonction de répartition empirique de l échantillon (X,, X n (notons que F n (X (i = i/n et F représente la fonction de répartition de la loi N (0, Sous l hypothèse que les X i sont iid de loi normale, les points (X (i, F F n (X (i sont pratiquement alignés 42 Test de normalité de Kolmogorov Soit X,, X n iid de fonction de répartition F On souhaite tester l hypothèse H 0 : les X i suivent une loi normale, contre l hypothèse H : les X i ne suivent pas une loi normale On note X = n n i= X i, S 2 = n n (X i X 2 i= Le test de normalité de Kolmogorov utilise la statistique de test T n = sup F n (x F ( X,S (x 2 où F ( X,S 2 est la fonction de répartition de la loi normale N ( X, S 2 Le test consiste à rejeter l hypothèse de normalité pour de grandes valeurs de T n PROPOSITION 3 Sous l hypothèse H 0, (les X i suivent une loi normale N (m, σ 2, la loi de T n ne dépend pas de (m, σ 2 La loi de T n est tabulée (on peut par exemple la simuler avec m = 0 et σ = pour en estimer les quantiles 43 Test de Shapiro-Wilk Il s agit d un test basé sur les L-statistiques (combinaison linéaire des statistiques d ordre, qui se base sur une comparaison de la variance empirique avec un estimateur de la variance des X i qui a de bonnes propriétés sous l hypothèse de normalité 43 Estimation de la moyenne et de la variance à l aide des statistiques d ordre pour des lois symétriques Soit X,, X n iid On note µ = E(X i et σ 2 = Var(X i La loi de Y i = (X i µ/σ est supposée symétrique (ce qui signifie que Y i a même loi que Y i On note (X (,, X (n l échantillon des X i ordonné : X ( X (n On note (Y (,, Y (n l échantillon des Y i ordonné On a Pour i =,, n, on note On a alors Y (i = (X (i µ/σ α i = E(Y (i, B i,j = Cov(Y (i, Y (j X (i = µ + α i σ + ε i, avec E(ε i = 0 Les ε i ne sont pas indépendantes La matrice de variancecovariance du vecteur ε = (ε,, ε n est σ 2 B On note et α les vecteurs de R n definis par =, α = α α 2 α n On note A la matrice de taille (n, 2 définie par A = (, α Enfin, on note X ( = (X (,, X (n et ε = (ε,, ε n On a la relation ( µ X ( = A σ + ε

6 6 L estimateur des moindres carrés pondérés de (µ, σ est obtenu en minimisant en les paramètres (µ, σ le critère : ( ( µ X ( A σ On obtient comme solution de ce système (cf Cours sur le modèle linéaire ( ( B µ X ( A σ ( ˆµn ˆσ n = (A B A A B X ( ( A B A = B B α α B α B α On peut l écrire sous la forme avec SW n = (a,, a n = ( n i= a ix (i 2 n i= (X i X n 2, α B (α B B α /2 La zone de rejet est de la forme (SW n c n, α Les a i sont tabulés, ce qui permet de calculer facilement SW n, les quantiles (c n, α sont également tabulés LEMME 4 Lorque la loi des Y i est symétrique, B α = 0, la matrice A B A est donc diagonale Il en résulte que ˆµ n = B X ( B, ˆσ n = α B X ( α B α On peut montrer que, si la loi des Y i n est pas symétrique, ˆσ n sous-estime σ 432 Test de Shapiro-Wilk DÉFINITION 5 Soit Y, Y n iid de loi N (0, et Y ( Y (n l échantillon ordonné Soit α = (E(Y (, E(Y (n Soit B la matrice de covariance du vecteur (Y (,, Y (n Le test de Shapiro-Wilk pour tester l hypothèse de normalité des X i est basé sur la statistique de test : SW n = ˆσ 2 n(α B α 2 n i= (X i X n 2 (α B 2 α