L analyse de variance à un critère de classification (ANOVA)

Transcription

1 Bio 041 L analyse de variance à un critère de classification (ANOVA) Pierre Legendre & Daniel Borcard, Université de Montréal Référence: Scherrer (007), section et Introduction Objectif: comparer plusieurs ( ici, g dans Scherrer 007) groupes indépendants d observations quant à leur moyenne. On analyse la variance totale, intragroupe et intergroupe (voir plus bas) pour comparer des moyennes et tester l hypothèse H 0 : µ 1 = µ = = µ. Plutôt que d employer l analyse de variance, on pourrait être tenté de réaliser une série de tests t pour comparer la moyenne de toutes les paires de groupes. Or, on ne peut remplacer l ANOVA par une série de tests t parce que la multiplication des tests modifie de façon importante la probabilité de commettre une erreur de type I si H 0 est vraie. Exemple Considérons 7 groupes d observations tirées indépendamment d une même population statistique. - Il faudrait réaliser 7 (7 1)/ = 1 tests t pour comparer toutes les paires de groupes. - Chaque test étant réalisé au niveau α = 0,05, on a, dans chaque cas, 5 chances sur 100 de rejeter H 0 même si H 0 est vraie (erreur de type I). - La probabilité de rejeter H 0 au moins une fois au cours de 1 tests est 0,66 et non 0,05. Calcul basé sur distribution binomiale: Scherrer p Pour être valide, le test global doit avoir une erreur de type I α.

2 L analyse de variance à un critère de classification (Anova) L analyse de variance a été développée par l agronome britannique Ronald A. Fisher à la station expérimentale de Rothamsted, UK. L appartenance des observations aux différents groupes (variable nominale) s appelle le critère de classification. Celui-ci peut représenter un facteur contrôlé ( fixed factor ) ou un facteur aléatoire ( random factor ). Ces termes ont été définis au cours no. Les hypothèses statistiques sont les suivantes pour groupes: H 0 : µ 1 = µ = = µ H 1 : au moins l une des moyennes diffère des autres. Pour savoir laquelle ou lesquelles, il faut avoir recours, par la suite, aux tests de comparaisons multiples (Scherrer section 14., pas au Bio041). Notez bien: il ne s agit pas de comparer les variances des groupes. L hypothèse nulle n est pas H 0 : σ 1 = σ = = σ ; un test de Bartlett (p. 393) ou un test de Levene (p. 396) permettraient de tester cette hypothèse (Bio 04). Cependant, nous utiliserons le rapport Variance intergroupe Variance intragroupe pour comparer les moyennes, tout comme le test t comparait deux moyennes en tenant compte des variances intragroupes correspondantes.

3 L analyse de variance à un critère de classification (Anova) 3 L ANOVA est une méthode très utilisée pour analyser les résultats d expériences contrôlées, réalisées en laboratoire ou sur le terrain. Selon la nature des facteurs, les intentions sont généralement différentes. - Facteur aléatoire: on tente souvent de montrer que les données supportent H 0. S il n y a pas d évidence que les groupes diffèrent par leur moyenne, on pourra les réunir pour les analyses subséquentes, si le test de comparaison des moyennes avait assez de puissance pour rejeter H 0 lorsque H 1 est vraie (n suffisamment élevé); si les groupes ne diffèrent pas non plus par leur variance (test de Bartlett: Scherrer p. 393; test de Levene: p. 396). - Facteur contrôlé: on cherche la plupart du temps à rejeter H 0 afin de supporter l hypothèse (H 1 ) qu une partie de la variabilité des données est explicable par le critère de classification. On peut considérer plusieurs critères de classification à la fois. L analyse de variance à plusieurs critères de classification permet d identifier les critères qui expliquent, séparément ou conjointement, une fraction significative de la variabilité des données. Références: Soal & Rohlf (1981 ou 1995); Underwood (1981, 1997), Winer et al. (1991). Underwood, A. J Techniques of analysis of variance in experimental marine biology and ecology. Annu. Rev. Oceanogr. Mar. Biol. 19: Underwood, A. J Experiments in ecology Their logical design and interpretation using analysis of variance. Cambridge University Press, Cambridge, England. Winer, B. J., D. R. Broan and K. M. Michels Statistical principles in experimental design. Third edition. McGraw-Hill, Sydney. - Notation: Scherrer, tableau 14.3; p. 7 de ce document; (voir aussi Scherrer 1984, figure 13.9).

4 L analyse de variance à un critère de classification (Anova) Sources de variation SC = Somme des carrés des écarts Dispersion totale = SCT Dispersion intragroupe ( due aux erreurs ) = SCE Dispersion intergroupe ou due au facteur A = SCA Mesure de la dispersion (variation) totale SCT SCT = somme des carrés des écarts à la moyenne générale x, sans tenir compte du groupe (j = 1 ) de provenance des données. SCT ( x ij x) n = = ( x i x) j = 1 i = 1 i = 1 où n =. Puisque ν Tot = n 1, nous retrouvons la variance SCT Var Tot = s x = Transformation algébrique de SCT: n 1 SCT = ( x ij + x j x) j = 1i = 1 [ ] SCT = ( x ij ) + ( x j x ) Forme: [a + b] SCT = ( x ij ) ( x ij ) ( x j x ) x j x + + ( ) SCT = ( x ij ) ( x j x ) ( x ij x ) j x j x j i + + ( )

5 L analyse de variance à un critère de classification (Anova) 5 Or, pour chaque groupe, la somme des écarts à la moyenne de ce groupe est nulle, par définition de la moyenne. Par conséquent, le terme central de l équation ci-dessus est nul, si bien que SCT = ( x ij ) + ( x j x) j = 1 i = 1 Mesure de la dispersion (variation) intragroupe SCE La variation [somme des (écarts par rapport à la moyenne) ] à l intérieur des groupes ne nous intéresse pas explicitement dans cette analyse. On considère qu il s agit de variation ( erreur ) expérimentale. Pour chaque groupe j, on calcule j = 1 i = 1 SCT = ( x ij ) + ( x j x) j = 1 i = 1 Faisant la somme de ces termes pour tous les groupes j, on obtient Cette équation est dérivée comme la formule raccourcie de calcul de la variance. Degrés de liberté: ν e = (n 1 1) + (n 1) + + (n 1) = n j = 1 SCE donc la var. intragroupe CME = CME: notation Scherrer, eq n SCE = ( x ij ) = j = 1 i = 1 SCE j = ( x ij ) j i = 1 i x ij T j n j j

6 L analyse de variance à un critère de classification (Anova) 6 Mesure de la dispersion (variation) intergroupe SCA Pour chaque groupe j, il s agit de calculer le carré de l écart entre la moyenne de ce groupe et la moyenne générale ( x j x), puis de sommer ces valeurs pour tous les groupes. Il faudra cependant pondérer cette somme par le nombre d éléments faisant partie de chaque groupe. Ainsi, s il y a éléments dans le groupe j, la quantité de dispersion attribuable à ce groupe sera ( x j x). Donc, pour les groupes, SCA = ( x j x) = j = 1 j = 1 T j n j T n (14.48) Le nombre de degrés de liberté associés à un calcul est le nombre de ses composantes indépendantes, i.e. le nombre des composantes de base du calcul moins le nombre de relations (paramètres) qui lient celles-ci. - Les composantes de base dans le calcul sont les écarts x j x. - Ces moyennes sont liées par une seule relation, la moyenne générale x. Donc ν A = 1 ν A : notation de Scherrer, eq SCA et CMA= CMA: notation de Scherrer, eq Relations intéressantes: SCT = SCE + SCA et ν Tot = n 1 = (n ) + ( 1) = ν e + ν A

7 L analyse de variance à un critère de classification (Anova) 7 On peut disposer toutes ces valeurs dans un tableau d analyse de variance: Scherrer, tableau Voir p. 8 de ce document. Attention: s x CME + CMA même si SCT = SCE + SCA. Dans certains problèmes, on ne possède pas les données d origine. On peut quand même calculer les estimations de SCE et SCA si les données suivantes sont disponibles: les différents, les différents T j et la somme des carrés de toutes les données (Σ x ij ). Voici la notation et les étapes. Tableau de données:

8 L analyse de variance à un critère de classification (Anova) 8 Étapes de calcul: On calcule n = somme de tous les. On calcule les différents T j. On calcule T = somme de tous les T j, de même que T. On peut maintenant calculer SCA et SCE. Tableau d analyse de variance:

9 L analyse de variance à un critère de classification (Anova) 9 Remarquez dans ce tableau les formules raccourcies pour le calcul de SCT et SCA. 4 - Deux estimations de σ, sous H 0 Le raisonnement présenté dans cette section permettra par la suite de construire un test de signification pour tester la différence entre les moyennes. Supposons que les populations, d où sont tirés les groupes d éléments, sont distribuées normalement et qu elles ont toutes la même variance σ ( σ 1 = σ = = σ = σ ). Si H 0 est vraie (H 0 : µ 1 = µ = = µ ), alors la variance commune σ peut être estimée de deux façons différentes. Première méthode d estimation de σ Une hypothèse de base de l ANOVA est que chacune des variances σ j estime la même variance commune σ x. Cela nous autorise à chercher une estimation robuste de la variance générale en calculant la moyenne pondérée des variances estimées pour les groupes. C est ici qu est introduite l hypothèse d homogénéité des variances dans la construction du test, hypothèse qu il faut d abord vérifier (tests d homogénéité des variances: Scherrer section 1.; Bio 04). Variance d un groupe j, pondérée par le nombre de degrés de liberté de ce groupe:

10 L analyse de variance à un critère de classification (Anova) 10 ( 1) ( x ij ) i = 1 = ( 1) ( x x ) ij j i = 1 Moyenne des variances pondérées des groupes: ( x i1 x 1 ) + + ( x i x ) ( n 1 1) + + ( n 1) ( x ij ) j = 1 i = 1 ( n ) = SCE n = Var E = CME Deuxième méthode d estimation de σ Si H 0 est vraie, les moyennes x j des groupes sont toutes des estimations de la moyenne commune µ. La variance de ces différentes estimations de la moyenne µ peut s écrire: s x = ( x j x) j ( 1) La racine carrée de cette variance estime l erreur type de la moyenne.

11 L analyse de variance à un critère de classification (Anova) 11 On peut aussi estimer l erreur type de la moyenne à partir de l écart type des données d un seul groupe: s x = s x n Eq. 10. j j qui peut s écrire: s x = s x j Si H 0 est vraie, on peut donc estimer la variance de la population σ x par: s x j = s x = ( x j x) n j = 1 j ( 1) peut être incorporée à l intérieur de la sommation et on obtient l estimation suivante de la variance commune: s x = s x = SCA = = Var c = CMA 1 Résultat: si H 0 est vraie et si les groupes d observations sont tirés d une même population statistique, ou encore de populations ayant la même moyenne µ et la même variance σ, alors CME et CMA représentent deux estimations indépendantes de σ. Ces estimations devraient être à peu près égales. 5 - Test de comparaison ( x j x) j = 1 ( 1) Si H 0 est vraie (H 0 : µ 1 = µ = = µ ), CME et CMA représentent deux estimations de σ. On s attend donc à ce que leur rapport soit près de 1.

12 L analyse de variance à un critère de classification (Anova) 1 Dans tous les cas, CME demeure une estimation de σ puisqu on est censé avoir vérifié l égalité des variances des populations d où ont été tirés les groupes (condition d homogénéité des variances ou homoscédasticité: σ 1 = σ = = σ ). Si H 1 est vraie, la variance intergroupe CMA n est plus une estimation de σ. En effet, dans ce cas, la distribution des moyennes x 1, x,, x ne représente pas la distribution d échantillonnage d une même moyenne µ. Dans ce cas, la distribution des moyennes x 1, x,, x est plus large et aplatie que la distribution d échantillonnage de la moyenne commune µ. CMA est donc nécessairement plus grande que CME. CMA et CME sont deux composantes indépendantes de la variance totale puisque SCT = SCE + SCA. Si H 0 est vraie, leur rapport (qui est près de 1) constitue une statistique-test distribuée comme une loi de F (eqs 1. et 14.55): F c Var = c = Var E CMA CME (14.55) avec les degrés de liberté du numérateur et du dénominateur respectivement: ν 1 = 1 et ν = n. On place CMA au numérateur parce que c est la plus grande des deux valeurs si H 1 est vraie. Il s agit d un test unilatéral dans tous les cas, car si H 0 est vraie, CMA CME et donc F c 1;

13 L analyse de variance à un critère de classification (Anova) 13 si H 1 est vraie, CMA > CME et donc F c > 1. Zones d acceptation et de rejet de H 0 : figure 9.7 p.301. Règles de décision: tableau On ne rejette pas H 0 si F c < F α où F α est la valeur critique au seuil α (par exemple, 5%). Langage R: fonctions aov et summary. Le critère de classification doit se trouver dans une variable de type factor, créée par as.factor. Test de différence des moyennes, groupes: test F = test t bilatéral. Note (Soal & Rohlf 1981, p. 01) Si le critère de classification représente un facteur aléatoire et si H 0 est fausse, CMA estime une quantité ( σ + nσ ) où σ est la variance de x dans la population A statistique et σ A est la variance ajoutée par le facteur aléatoire. Si au contraire le critère de classification représente un facteur contrôlé et si H 0 est fausse, la variance CMA estime une quantité ( σ + ( n ( 1) ) α j ) où α j représente l effet quantitatif de chaque traitement particulier donnant naissance à un groupe j. La distinction entre facteur aléatoire et contrôlé (cours #) est importante en analyse de variance à deux critères de classification (Bio 04). 6 - Conditions d application de ce test - Variable dépendante quantitative (pour pouvoir calculer x et s x ). - Indépendance des observations (observations non autocorrélées). - Normalité de la population d où est tiré chaque groupe.

14 L analyse de variance à un critère de classification (Anova) 14 - Homoscédasticité. Même si le test d égalité des variances de plusieurs groupes n a pas été étudié dans ce cours (test de Bartlett; langage R: bartlett.test), il faudra supposer que cette condition est remplie pour pouvoir utiliser l ANOVA. Comme pour le test t de comparaison de deux groupes, si on n a pas d abord vérifié l égalité des variances, le test F teste en fait deux hypothèses nulles (problème de Behrens-Fisher): l égalité des moyennes et l égalité des variances. Effet de la violation des conditions d application: - Le test F c de l ANOVA est robuste face à une certaine hétéroscédasticité. Ses résultats resteront donc valides en présence d une certaine quantité (pas trop élevée) d hétérogénéité des variances. - Le test F c de l ANOVA est également robuste face à une certaine asymétrie ou aplatissement des distributions. Pour l asymétrie, on pourra utiliser le critère 5 ( α 3 ) j. - En cas de violation sévère de la condition de normalité: 1. Transformer les données avant l analyse.. Tester F c par permutations. 3. Utiliser plutôt le test non-paramétrique de Krusal-Wallis (langage R: fonction rusal.test). - Enfin, en cas de non-indépendance des observations, le test devient soit trop libéral, soit trop conservateur, selon le type de dépendance entre les observations. Voir Legendre et al. (004), Ecology 85:

15 L analyse de variance à un critère de classification (Anova) 13 Exercice 13.4 Scherrer p. 460 Évolution de l indice de condition du grand corégone au lac Nathalie. Données Mai Juin Juillet Août Sept. Octobre x j 0,9994 1,0068 1,0068 1,0305 1,031 1, n = 75 T j 1, ,7004 4,856 1, ,57 31,1584 T = 84,3109 On sait de plus que x ij = 313,197 j i On cherche à calculer F c = Var c /Var E pour tester l hypothèse H 0 d égalité des 6 moyennes. SCT = x T = 313,197 (84,3109) ij /75 = 19,557 j i n T j T SCI = = 94, ,9371 = 0,8133 n j j n Var c = 0,8133/(6 1) = 0,167 SCE = SCT SCI = 18,444 ou encore: SCE = x T j ij = 313,197 94,7503 = 18,444 n j i j j Var E = 18,444/(75 6) = 0,0686 F c = Var c /Var E = 0,167/0,0686 =,376 Pour α = 0,05, ν 1 = 5 et ν = 69, F 0,05 (5, 69) =,48. Puisque F c > F α (car,376 >,48), on rejette H 0 au profit de H 1.

16 L analyse de variance à un critère de classification (Anova) Différentes formes d analyse de variance 1. Analyse de variance à un critère de classification (one way / single classification ANOVA) Nombres égaux ou inégaux d éléments par colonne. Test non-paramétrique: Krusal-Wallis. Critère de classification Hiérarchique 3. À deux critères croisés (nested / hierarchic ANOVA) (two-way ANOVA) Crit. Critère de classification Critère de classification Plus de facteurs: analyse de variance à plusieurs critères de classification (multiway ANOVA). Plus d une variable dépendante: Analyse de variance multivariable (multivariate analysis of variance; MANOVA). Critère de classification 1

17 ANOVA à un critère de classification. Exemple 1: H 0 est vraie Critère de classification Observations{ Groupe 1 Groupe Groupe 3 4,0 6,0,0 4,5 3,5 5,3,7 4,5,3 5,7,0 3,0 4,5 5,5 6,0 Dispersion intragroupe Groupe 1 Groupe Groupe 3 Dispersion totale Dispers. intergr. 6 5 x 1 x 53 n x 31 x 1 x x 3 X x 3 x x 1 n 1 X n (x ij ) 0 n 1 = 5 n = 5 n 3 = 5 n = 15 Σ (x j X) = 0,10 T 1 = 0,0 T = 0,5 T 3 = 1,0 x 1 = 4,0 x = 4,1 x 3 = 4, Σ(x i1 x 1 ) = 8,50 Σ(x i3 x 3 ) = 11,30 Σ(x i x ) = 9,36 T = 61,5 X = 4,1 Σ(x ij X) = 9,6 SCT SCA SCE = 9,16 SCT = SCE + SCA Sources de variation Dispersions Degrés de liberté Variances Totale Intergroupe Intragroupe SCT = 9,6 SCA = 0,10 SCE = 9, = = 15 3 = 1 9,6/14 =,09 CMA = 0,10/ = 0,05 CME = 9,16/1 =,43 F c = CMA/CME = 0,006 P = 0,9797 F (0,05,,1) = 3,89

18 ANOVA à un critère de classification. Exemple : H 0 est fausse Critère de classification Observations{ Groupe 1 Groupe Groupe 3 4,0 6,0,0 4,5 3,5 5,3,7 4,5,3 5,7 6,0 7,0 8,5 9,5 10,0 10 Dispersion intragroupe Groupe 1 Groupe Groupe 3 Dispersion totale Dispers. intergr. 9 8 x 3 x 3 7 n x 1 x (x ij ) n 1 = 5 n = 5 n 3 = 5 n = 15 (x j X) = 57,43 T 1 = 0,0 T = 0,5 T 3 = 41,0 T = 61,5 x 1 = 4,0 x = 4,1 x 3 = 8, Σ(x i1 x 1 ) = 8,50 Σ(x i3 x 3 ) = 11,30 Σ(x i x ) = 9,36 X X = 5,43 Σ(x ij X) = 86,59 SCT Σ n 1 X n x x 1 SCA SCE = 9,16 SCT = SCE + SCA Sources de variation Totale Intergroupe Intragroupe Dispersions SCT = 86,59 SCA = 57,43 SCE = 9,16 Degrés de liberté 15 1 = = 15 3 = 1 F c = CMA/CME = 11,8 P = 0,0015 F (0,05,,1) = 3,89 F (0,01,,1) = 6,93 Variances 86,59/14 = 6,19 CMA = 57,43/ = 8,7 CME = 9,16/1 =,43