Analyse de la variance

Transcription

1 Plan Analyse de la variance - Chapitre VI - Notes de cours Statistique L3 MIASHS - Université de Bordeaux - Chapitre VI - L3 MIASHS- Analyse de la variance 1/37

2 Plan Plan 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 2/37

3 Plan Introduction Introduction 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 3/37

4 Introduction Introduction On peut classiquement introduire l analyse de la variance ou l ANOVA (ANalysis Of VAriance) de deux manières On cherche à expliquer une variable quantitative Y au moyen d une variable explicative qualitative X Généralement, la variable explicative est appelée facteur (explicatif) Les modalités sont appelées niveaux de facteur On verra que l on peut faire apparaître un modèle linéaire sous-jacent On désire comparer différentes populations ou différentes conditions expérimentales La question que l on se pose est : Y-a-t-il des différences en moyenne entre les divers groupes? Exemple : un agronome veut étudier l effet de 3 types d engrais sur le rendement à l hectare de parcelles de blé Ici, Y = rendement à l hectare (en tonnes), variable quantitative, X = type d engrais (A, B ou C), variable qualitative ou facteur Quel modèle linéaire pour étudier cette problématique? - Chapitre VI - L3 MIASHS- Analyse de la variance 4/37

5 Introduction Tableau récapitulatif Type de la variable Type de la ou des Modèle linéaire à expliquer variables explicatives correspondant quantitative quantitative (1) régression linéaire simple quantitative quantitatives (p) régression linéaire multiple quantitative qualitative (1) ANOVA à un facteur quantitative qualitatives (p) ANOVA à plusieurs facteurs quantitative quantitative(s) analyse de la covariance + qualitative(s) (ANCOVA) qualitative à 2 quantitative(s) régression logistique modalités (codées 0/1) qualitative qualitative(s) régression binomiale Dans ce cours, ANOVA à 1 facteur uniquement - Chapitre VI - L3 MIASHS- Analyse de la variance 5/37

6 Introduction Reprenons l exemple des engrais Supposons que n i observations du rendement à l hectare ont été obtenues pour chaque type d engrais i Un modèle peut s écrire sous la forme : avec i = A, B, C et j = 1,, n i Y ij = µ i + ε ij Y ij est le rendement observé de la parcelle j traitée avec l engrais i ; µ i représente le rendement moyen d une parcelle traitée avec l engrais i ; ε ij est un terme d erreur aléatoire Ce modèle peut aussi s écrire sous la forme alternative suivante : Y ij = µ + α i + ε ij où µ est le rendement moyen global (quel que soit l engrais) et α i est l effet différentiel du niveau i du facteur engrais - Chapitre VI - L3 MIASHS- Analyse de la variance 6/37

7 Introduction Une hypothèse intéressante à tester ici est : ou de manière équivalente : Le but sera donc : H 0 : µ A = µ B = µ C H 0 : α A = α B = α C = 0 tester si deux niveaux différents du facteur entraînent une différence significative dans la variable à expliquer Y ou de manière équivalente tester l effet du facteur X ( engrais ) sur la variable à expliquer Y ( rendement ), - Chapitre VI - L3 MIASHS- Analyse de la variance 7/37

8 Plan Introduction Représentation des données Notations 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 8/37

9 Représentation des données Notations Représentation des données On suppose que l on dispose de k échantillons de tailles respectives n 1,, n k, correspondant aux k niveaux d un facteur La taille de la population est donc k n = n i Les variables aléatoires de notre n échantillon (Y ij ) sont alors indicées par 2 dimensions (1 i k est le niveau d appartenance de Y ij et 1 j n i est le numéro d apparition de Y ij dans le niveau i) Il s ensuit que n i est l effectif du niveau i Nous pouvons ainsi représenter nos données sous forme de tableau i=1 Niveaux Effectifs Variables à expliquer 1 n 1 Y 11, Y 12,, Y 1n1 2 n 2 Y 21, Y 22,, Y 2n2 k n k Y k1, Y k2,, Y knk - Chapitre VI - L3 MIASHS- Analyse de la variance 9/37

10 Représentation des données Notations Par exemple, le tableau ci-dessous donne le rendement en quintaux par hectare d une variété de blé cultivée avec les engrais A, B et C L agriculteur se demande : Niveaux Effectifs Rendements A 4 48, 49, 50, 49 B 4 47, 49, 48, 48 C 4 49, 51, 50, 50 si le type d engrais (A, B ou C) a un effet sur le rendement moyen de la variété de blé qu il cultive? quel type d engrais est lui permet d obtenir un meilleur rendement à l hectare? La variable explicative qualitative (le facteur) définit des groupes (classes) d appartenances des variables à expliquer Y ij - Chapitre VI - L3 MIASHS- Analyse de la variance 10/37

11 Notations Introduction Représentation des données Notations au niveau de chaque groupe i (pour i = 1,, k), n i Y i = Y ij et Ȳ i = 1 n i n i j=1 j=1 représentent la somme ainsi que la moyenne empirique du niveau i au niveau de l ensemble des observations, Y ij Y = k Y i = n k i Y ij et Ȳ = 1 n k Y i = 1 n n k i Y ij i=1 i=1 j=1 i=1 i=1 j=1 représentent la somme sur tous les niveaux ainsi que la moyenne empirique de l échantillon global - Chapitre VI - L3 MIASHS- Analyse de la variance 11/37

12 Plan Introduction Première modélisation Seconde modélisation 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 12/37

13 Première modélisation Première modélisation Seconde modélisation La première modélisation est donnée par : où Y ij = µ i + ε ij pour i = 1,, k et j = 1,, n i les erreurs ε ij sont des variables aléatoires indépendantes, gaussiennes, centrées, homoscédastiques de variance σ 2 > 0, les observations Y ij sont des variables aléatoires centrées autour d une moyenne µ i propre au niveau i avec : { Y ij N (µ i, σ 2 σ 2 si i = k et j = l ) et que Cov(Y ij, Y kl ) = 0 sinon Les variables aléatoires Y ij sont donc indépendantes mais non identiquement distribuées (puisque leur espérance dépend de leur niveau d appartenance) la moyenne théorique µ i de la variable à expliquer Y dans le groupe de niveau i est appelée l effet du niveau i du facteur X - Chapitre VI - L3 MIASHS- Analyse de la variance 13/37

14 Seconde modélisation Première modélisation Seconde modélisation Objectif : Mettre en évidence la présence d un effet global, ne dépendant pas du niveau i, puis d effets marginaux propres à chaque niveau On utilise la décomposition de µ i suivante : où µ i = µ + α i pour i = 1,, k - µ est l effet global ne dépendant pas du niveau i, - α i est l effet marginal propre à chaque niveau i Le problème : Il existe une infinité de décompositions et donc de choix de paramètres µ, α 1,, α k Il faudra donc ajouter une condition d identifiabilité sur les paramètres - Chapitre VI - L3 MIASHS- Analyse de la variance 14/37

15 Seconde modélisation Première modélisation Seconde modélisation La seconde modélisation est alors donnée par : Y ij = µ + α i + ε ij pour i = 1,, k et j = 1,, n i où les erreurs (ε ij ) forment toujours un bruit blanc gaussien de variance σ 2 > 0 et donc { Y ij N (µ + α i, σ 2 σ 2 si i = k et j = l ) avec Cov(Y ij, Y kl ) = 0 sinon L interprétation de l effet global µ et de l effet marginal α i dépendent du choix de la décomposition de µ i = µ + α i, Deux décompositions classiques de µ i - Chapitre VI - L3 MIASHS- Analyse de la variance 15/37

16 Première modélisation Seconde modélisation Une première décomposition classique est donnée par : avec µ i = µ + α i pour i = 1,, k - l effet global µ = 1 n k i=1 n iµ i qui est appelé l effet moyen µ = 1 k k i=1 µ i si tous les n i sont égaux - l effet marginal α i = µ i µ qui est appelé l effet différentiel du niveau i On a par construction la condition d identifiabilité : k α i = 0 si tous les n i sont égaux et i=1 k n i α i = 0 sinon i=1 La modélisation avec calage sur l effet moyen est alors : Y ij = µ + α i + ε ij pour i = 1,, k et j = 1,, n i - Chapitre VI - L3 MIASHS- Analyse de la variance 16/37

17 Première modélisation Seconde modélisation Une seconde décomposition classique est donnée par : avec µ i = µ k + α i pour i = 1,, k - l effet global µ k qui est la moyenne propre au dernier niveau k - l effet marginal α i = µ i µ k qui est l effet différentiel du niveau i On a par construction la condition d identifiabilité : α k = 0 La modélisation avec calage sur le groupe k est alors : Y ij = µ k + α i + ε ij pour i = 1,, k et j = 1,, n i - Chapitre VI - L3 MIASHS- Analyse de la variance 17/37

18 Plan Introduction Le premier modèle Le second modèle 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 18/37

19 Le premier modèle Le second modèle du premier modèle Le premier modèle Y ij = µ i + ε ij pour i = 1,, k et j = 1,, n i contient k paramètres à estimer : µ 1,, µ k et σ 2 1 Ecriture sous la forme d un modèle linéaire gaussien 2 Ecriture matricielle du modèle, 3 Estimation de µ 1,, µ k par la méthode des moindres carrés - Chapitre VI - L3 MIASHS- Analyse de la variance 19/37

20 Le premier modèle Le second modèle Le premier modèle s écrit sous la forme du modèle linaire gaussien suivant (allégée des indices) : Y = µ 1I µ k I k + ε, où I i est l indicatrice d appartenance au niveau i du facteur, c est à dire { 1 si l observation j a le niveau i du facteur I i (j) = 0 sinon Ceci est un modèle de régression linéaire multiple avec une ordonnée à l origine β 0 = 0, k variables explicatives X 1 = I 1,, X k = I k, le rôle des β i étant joué par les µ i (pour i = 1,, k) - Chapitre VI - L3 MIASHS- Analyse de la variance 20/37

21 Le premier modèle Le second modèle Le premier modèle s écrit alors sous la forme matricielle Y = X β + ε avec : Y 11 Y 1n1 Y 21 Y 2n2 Y k1 Y knk }{{} Y = }{{} X µ 1 µ 2 µ k }{{} β + ε 11 ε 1n1 ε 21 ε 2n2 ε k1 ε knk }{{} ε - Chapitre VI - L3 MIASHS- Analyse de la variance 21/37

22 Le premier modèle Le second modèle Par calcul direct, on obtient : n Y 1 X t X = 0 n 2 0 et X t Y 2 Y = 0 0 n Y k k Il est donc très facile d obtenir l estimateur des moindres carrés de β : 1/n Ȳ 1 (X t X ) 1 = 0 1/n 2 0 et β = (X t X ) 1 X t Ȳ 2 Y = 0 0 1/n Ȳ k k d où β i = µ i = Ȳi = 1 n i n i l effet moyen d un niveau est estimé par la moyenne empirique des observations dans ce niveau j=1 Y ij - Chapitre VI - L3 MIASHS- Analyse de la variance 22/37

23 Le premier modèle Le second modèle du second modèle Le second modèle Y ij = µ + α i + ε ij pour i = 1,, k et j = 1,, n i contient k + 1 paramètres à estimer : µ, α 1,, α k et σ 2 1 Ecriture sous la forme d un modèle linéaire gaussien 2 Ecriture matricielle du modèle, 3 Estimation de µ, α 1,, α k selon la contrainte sur les paramètres : - k i=1 n iα i = 0 (calage sur la moyenne globale) - α k = 0 (calage sur le groupe k) k paramètres à estimer - Chapitre VI - L3 MIASHS- Analyse de la variance 23/37

24 Le premier modèle Le second modèle Le second modèle s écrit sous la forme du modèle linaire gaussien suivant (allégée des indices) : Y = µ1 + α 1I α k I k + ε, où I i est l indicatrice d appartenance au niveau i du facteur, c est à dire { 1 si l observation j a le niveau i du facteur I i (j) = 0 sinon Ceci est un modèle de régression linéaire multiple avec une ordonnée à l origine β 0 = µ, k variables explicatives X 1 = I 1,, X k = I k, le rôle des β i étant joué par les α i (pour i = 1,, k) - Chapitre VI - L3 MIASHS- Analyse de la variance 24/37

25 Le premier modèle Le second modèle Le second modèle s écrit alors sous la forme matricielle Y = X β + ε avec : Y 11 Y 1n1 Y 21 Y 2n2 Y k1 Y knk = µ α 1 α k + ε 11 ε 1n1 ε 21 ε 2n2 ε k1 ɛ knk par construction rang(x ) = k < k + 1 (la première colonne de X étant égale à la somme des autres colonnes) et k + 1 paramètres inconnus à estimer il faut donc imposer une contrainte sur les paramètres - Chapitre VI - L3 MIASHS- Analyse de la variance 25/37

26 Le premier modèle Le second modèle On reprend les deux exemples de contraintes rencontrées usuellement dans les logiciels de statistique : k i=1 n iα i = 0 (calage sur la moyenne globale) Avec ce choix, l ordonnée à l origine est l effet moyen µ = 1 I I i=1 n iµ i et on considère le modèle linéaire gaussien et Y = µ 1 + α 1I α k I k + ε avec α i = µ i µ - l ordonnée à l origine µ est estimé par µ = Ȳ - les effets différentiels α i sont estimés par ˆα i = Ȳi Ȳ - Chapitre VI - L3 MIASHS- Analyse de la variance 26/37

27 Le premier modèle Le second modèle α k = 0 (calage sur le groupe k) Avec ce choix, l ordonnée à l origine n est plus l effet moyen µ mais l effet du dernier niveau µ k et on considère le modèle linéaire gaussien : Y = µ k 1 + α 1 I α k 1I k 1 + ε avec α i = µ i µ k et - l ordonnée à l origine µ k est estimé par µ k = Ȳk - les effets différentiels α i sont estimés par ˆα i = Ȳ i Ȳ k - Chapitre VI - L3 MIASHS- Analyse de la variance 27/37

28 Le premier modèle Le second modèle Prédictions, résidus, et estimation de σ 2 Quel que soit le modèle utilisé, nous aboutissons à la même reconstruction de nos données En effet, on construit les prédictions Ŷ ij = µ i = Ȳi ou encore Ŷ ij = µ + α i = Ȳ + Ȳi Ȳ = Ȳi et les résidus ε ij = Y ij Ŷij = Y ij Ȳi L estimateur usuel de la variance σ 2 des erreurs ε ij est donné par σ 2 = 1 n k n k i ε ij 2 = 1 n k i=1 j=1 n k i (Y ij Ȳ i ) 2 i=1 j=1 - Chapitre VI - L3 MIASHS- Analyse de la variance 28/37

29 Plan Introduction Variabilité Significativité 1 Introduction Chapitre VI - L3 MIASHS- Analyse de la variance 29/37

30 Décomposition de la variabilité Variabilité Significativité La variabilité des n observations (des k échantillons réunis) est mesurée par la somme totale des carrés des écarts définie par : SCT = n k i (Y ij Ȳ)2 i=1 j=1 C est le numérateur de la variance empirique totale Cependant on peut remarquer que cette variabilité a deux sources : variabilité à l intérieur de chacun des k groupes (appelée variation intra ou variation résiduelle), variabilité entre les différents k groupes (appelée variation inter ou variation factorielle) - Chapitre VI - L3 MIASHS- Analyse de la variance 30/37

31 Décomposition de la variabilité Variabilité Significativité Ces deux sources de variabilité sont mesurées respectivement par : la somme des carrés des résidus qui mesure la variabilité intra ou résiduelle : n k k i SCR = SCR i = (Y ij Ȳ i ) 2 i=1 i=1 j=1 où SCR i est le numérateur de la variance empirique du groupe i la somme des carrés expliqués par le facteur qui mesure la variabilité inter ou factorielle : k SCE = n i (Ȳ i Ȳ ) 2 i=1 - Chapitre VI - L3 MIASHS- Analyse de la variance 31/37

32 Variabilité Significativité Equation de l analyse de la variance On a la décomposition : SCT }{{} = SCR }{{} + SCE }{{} Variabilité Variabilité Variabilité totale résiduelle (intra) factorielle (inter) On obtient facilement cette décomposition en remarquant que Y ij Ȳ = (Y ij Ȳi) + (Ȳi Ȳ) et en l incorporant dans la quantité SCT - Chapitre VI - L3 MIASHS- Analyse de la variance 32/37

33 Significativité du modèle Variabilité Significativité La statistique de test à utiliser est donnée par F = (SCT SCR)/(k 1) SCR/(n k) qui suit sous H 0 la loi de Fisher F (k 1, n k) Ainsi la zone de rejet est donnée par = R = ]f k 1, n k, 1 α, + [ SCE/(k 1) SSR/(n k) où f k 1, n k, 1 α est le quantile d ordre 1 α de la loi de Fisher à (k 1, n k) degrés de liberté Rejeter H 0 signifie admettre que le facteur qualitatif X joue un rôle significatif sur Y - Chapitre VI - L3 MIASHS- Analyse de la variance 33/37

34 Tableau d analyse de la variance Variabilité Significativité La plupart des logiciels de statistiques présentent leurs sorties d ANOVA de la manière suivante : Source Degrés de Somme des carrés Carrés moyens Statistique F de variation liberté (DF) (sum of squares) (mean square) Inter k 1 SCE (factorielle) Intra n I SCR (résiduelle) Totale n 1 SCT SCE k 1 SCR n k F = SCE/(k 1) SCR/(n k) - Chapitre VI - L3 MIASHS- Analyse de la variance 34/37

35 Application numérique Variabilité Significativité Reprendre les données de l exemple Estimer les paramètres du modèle d analyse de variance à un facteur correspondant Tester l hypothèse H 0 contre H 1 Code R dans le fichier Chapitre6R - Chapitre VI - L3 MIASHS- Analyse de la variance 35/37

36 Variabilité Significativité Remarques pratiques sur les hypothèses de l ANOVA La méthode d analyse de la variance est dite robuste en ce sens qu elle est peu sensible à des écarts (raisonnables) par rapport aux hypothèses mentionnées La normalité Bien que la normalité des k populations fasse partie des hypothèses d application de l analyse de variance il faut reconnaître que l ANOVA est peu sensible, dans l ensemble, à la non-normalité des populations considérées Il suffit en pratique d éviter d employer l analyse lorsque les populations sont très différentes des distributions normales, et lorsque ces distributions sont de formes très différentes d une population à une autre (disymétries de sens opposés par exemple), surtout pour des petits échantillons - Chapitre VI - L3 MIASHS- Analyse de la variance 36/37

37 Variabilité Significativité Remarques pratiques sur les hypothèses de l ANOVA L homoscédasticité (égalité des variances) De même, l hypothèse d égalité des variances est d importance relativement secondaire lorsque les effectifs des échantillons sont tous égaux Par contre, dans le cas d échantillons d effectifs inégaux, on doit s assurer de la validité de cette hypothèse surtout lorsque les échantillons d effectifs les plus réduits correspondent aux populations de variance maximum Remarque Ces deux hypothèses peuvent être testées : par exemple, on a le test de Shapiro-Wilk pour tester la normalité et le test de Bartlett pour tester l égalité des variances - Chapitre VI - L3 MIASHS- Analyse de la variance 37/37