Analyse de la covariance*

Transcription

1 Analyse des données - Méthodes explicatives (STA102) Analyse de la covariance* Giorgio Russolillo Département IMATH CNAM giorgio.russolillo@cnam.fr *Ces transparents (et les données d exemple) sont inspirées par celles de Laura Trinchera (2011)

2 Introduction 2

3 Les données Où : (n x 2) (n x 1) x 11 x 12.. x 1K -. x IK On dispose d un échantillon de n individus sur lesquels on a observé 2 variables quantitatives X et Y dans des conditions différents définies par une variable qualitative. On veut étudier si le lien entre les 2 variables quantitatives est le même ou pas dans les différents conditions Variable quantitative Variable qualitative qui défini les différents «traitement»à I niveaux 3

4 Le modèle d analyse de la covariance (ANCOVA) 4

5 Le modèle d analyse de la covariance (n x 2) (n x 1) Terme constant, i.e. valeur de la droite à l origine pour le traitement i Pente de la droit de régression pour le traitement i Variable aléatoire Y ik = µ i + β i x ik + ε ik Variance résiduelle, elle est la même dans tous les traitements Terme résiduel aléatoire ( ) { ε ik } i.i.d. N 0,σ 2 5

6 Le modèle d analyse de la covariance Y ik = µ i + β i x ik + ε ik On peut décomposer chaque paramètre de régression en une partie due à l effet global du traitement et un partie spécifique à chaque niveau du traitement : µ i = µ + α i β i = β + γ i 1 + I I = 2(I+1) paramètres à estimer Terme constant Effet du traitement, i.e. l écart entre les ordonnées à l origine Y ik = µ + α i + βx ik + γ i x ik + ε ik Effet global de x Ecriture du modèle en termes de la loi de Y ik ε ik i.i.d. N ( 0,σ 2 ) Effet spécifique du traitement, i.e. un terme correctif à apporter à β en fonction du traitement, c est l effet du à l interaction ( ) = µ ik = µ + α i + β x ik + γ i x ik E Y ik où Y ik i.i.d. N ( µ ik,σ 2 ) 6

7 Les données 7

8 Les données On dispose d un échantillon de n=20 sacs de 10 huitres, on cherche à savoir si des conditions de température et d oxygénation dues à 5 différents emplacements ont une influence sur l évolution du poids des huitres Pour chaque sac, on a son poids avant l expérience son poids après l expérience l emplacement (I = 5 niveaux) Dans chaque emplacement on a posé 4 sacs, donc K=4 pour chaque emplacement 8

9 Ecriture matricielle du modèle où Y n 1 = Y 11 Y 12 Y 13 Y 14 Y 15 Y 21 Y 22 Y 23 Y 24 Y 25 Y 31 Y 32 Y 33 Y 34 Y 35 Y 41 Y 42 Y 43 Y 44 Y 45 Y 51 Y 52 Y 53 Y 54 Y 55 Y = XΘ + En 1 [ n 1] [ ( ) 1] [ n 2( I +1) ] 2 I +1 Partie relative à l effet global de x [ ] Partie relative à l interaction ε ik i.i.d. N ( 0,σ 2 ) E n 1 = ε 11 ε 12 ε 13 ε 14 ε 15 ε 21 ε 22 ε 23 ε 24 ε 25 ε 31 ε 32 ε 33 ε 34 ε 35 ε 41 ε 42 ε 43 ε 44 ε 45 ε 51 ε 52 ε 53 ε 54 ε 55 9

10 Un modèle de régression pour chaque traitement l l u l v n o n o n l n u u o o u v v v o n l u v 10

11 Table de l analyse de la variance 11

12 Décomposition de la variabilité totale SCT = SCM + SCR ( Y ik Y ) 2 = Y ˆ ik Y + Y ik ˆ k i i k ( ) 2 ( Y ) 2 i k ik SCT = ( Y ik Y ) 2 i k SCM = ( Y ˆ ik Y ) 2 i k SCR = ( Y ik Y ˆ ) 2 i k ik 12

13 Décomposition de la variabilité totale Sommes des carrés et carrés moyens Dans un dispositif non orthogonal on ne peut pas décomposer la SCM en sommes des carrés dues aux diffèrent effets de façon unique, on fait donc référence aux différents décompositions possibles, notamment au sommes des carrés de type I et de type III 13

14 Estimation des paramètres du modèle 14

15 Estimation des paramètres du modèle Y ik = µ + α i + βx ik + γ i x ik + ε ik à Ce modèle n est pas identifiable ε ik i.i.d. N ( 0,σ 2 ) 1 + I I paramètres à estimer 2I colonnes indépendantes dans la matrice X à On doit introduire 2 contraintes indépendantes sur les paramètres : - Contraintes de SAS à α I = 0 γ I = 0 15

16 Interprétation des paramètres et Prédiction Avec les contraintes fixés pas SAS et vu que le dispositif n est pas orthogonal, les estimateurs des paramètres n ont pas de expression explicite, donc on peut pas interpréter les valeurs des estimations obtenues ainsi que les résultats des test sur les paramètres en termes de différences entre moyennes! Toutefois la prédiction ne dépend pas des contraintes, elles est dans tous les cas : E( Y x ) ik = Y ˆ x ik = ˆµ + ˆα i + ˆβ x ik + γˆ i x ik 16

17 Estimateur de la variance résiduelle 2 S n 2I = SCR n 2I = I i=1 K ( Y ik Y ˆ ) 2 ik k=1 n 2I Nombre de paramètres à estimer une fois posées les contraintes 17

18 Test de la signification du modèle et tests des différents effets 18

19 Test du modèle complet On veux tester l hypothèse H 0 = {ni la variable X ni le traitement ont un effet sur le Y} contre l hypothèse H 1 = {il existe un effet sur le Y due à la variable X et/ou au traitement} Dans un modèle de ANCOVA, ce test s écrit : H 0 = { Y ik = µ + ε ik } contre H 1 = { Y ik = µ + α i + βx ik + γ i x ik + ε ik } On teste le modèle constant ou nul (pas d effet sur Y) contre le modèle complet 19

20 Test du modèle complet H 0 = { Y ik = µ + ε ik } contre H 1 = { Y ik = µ + α i + βx ik + γ i x ik + ε ik } Ce test se fait au moyen de la statistique de test de Fischer : ( ) ( ) F = SCM 2I 1 SCR n 2I Variance expliquée par le modèle Estimateur de la Variance des erreurs La statistique de test F suit sous H 0 une loi de Fisher à 2I-1 et n-2i degrés de liberté : F ~ H 0 F 2I 1,n 2I 20

21 Test du modèle complet H 0 = { Y ik = µ + ε ik } contre H 1 = { Y ik = µ + α i + βx ik + γ i x ik + ε ik } Statistique de test ( ) ( ) F = SCM 2I 1 SCR n 2I Probabilité critique (p-value) Pr( F 2 I-1,n-2 I > f ) obs Règle de décision : On rejette l hypothèse H 0 au niveau α si p valeur < α ou f obs > f 2I 1,n 2I,(1 α ) 21

22 Tests des différents effets On peut définir 5 sous-modèles du modèle complet d analyse de la covariance : Nom Modèle 0) Y ik = µ + ε ik A) Y ik = µ + α i + ε ik Modèle nul B) Y ik = µ + βx ik + ε ik BG) AB) AG) Y ik = µ + βx ik + γ i x ik + ε ik Y ik = µ + α i + βx ik + ε ik Y ik = µ + α i + γ i x ik + ε ik Modèle complet avec interaction C) Y ik = µ + α i + βx ik + γ i x ik + ε ik 22

23 Interprétation du modèle nul, cas de I=2 à Modèle 0 : aucun effet n est présent Y ik = µ + ε ik Modèle 0 23

24 Interprétation du modèle A, cas de I=2 à Modèle A : il n y a que l effet traitement Y ik = µ + α i + ε ik Modèle A C est un modèle d ANOVA à un facteur : le traitement 24

25 Interprétation du modèle B, cas de I=2 à Modèle B : il n y a que l effet du à la variable X (même effet dans tous les niveaux) Y ik = µ + βx ik + ε ik Modèle B C est un modèle de régression simple : la variable x est la variable explicative 25

26 Interprétation du modèle BG, cas de I=2 à Modèle BG : c est un modèle de ANCOVA avec un effet constante que est le même pour tous les niveaux Modèle BG Y ik = µ + βx ik + γ i x ik + ε ik Les I droites de régression ont toutes la même origine 26

27 Interprétation du modèle AB, cas de I=2 à Modèle AB : c est un modèle de ANCOVA sans interaction Y ik = µ + α i + βx ik + ε ik Modèle AB x µ 1k µ 2k = α 1 α 2 Les I droites de régression sont parallèles (ont toutes la même pente), l évolution de Y est la même dans tous les niveaux 27

28 Interprétation du modèle C, cas de I=2 à Modèle C : c est un modèle de ANCOVA avec interaction Y ik = µ + α i + βx ik + γ i x ik + ε ik Modèle C L évolution de Y est différente selon les niveaux 28

29 Equivalence entre le modèle AG et le modèle C Modèle AG : Y ik = µ + α i + γ i x ik + ε ik Modèle C : Y ik = µ + α i + βx ik + γ i x ik + ε ik Le modèle AG n est pas un sous-modèle du modèle C mais est complètement équivalent à ce modèle X C = X AG = 29

30 Sommes des carrés de type I Dans un modèle de ANCOVA avec interaction, les sommes des carrés de type I sont : Réduction due au passage du modèle 0 au modèle B Réduction due au passage du modèle B au modèle AB Réduction due au passage du modèle AB au modèle C 30

31 Sommes des carrés de type III Dans un modèle de ANCOVA avec interaction, les sommes des carrés de type III sont : Réductions dues au passage du modèle AG au modèle C I avec les contraints : α i = 0 et γ i = 0 i=1 I i=1 31

32 Test général associé aux sommes des carrés Etant donnés un modèle complet M C et un modèle réduit M R : SCR R SCR C ddl 1 SCR C ddl 2 ~ F ddl1,ddl 2 SCR R : somme des carrés des résidus du modèle réduit SCR C : somme des carrés des résidus du modèle complet ddl 1 : (nombre de paramètres dans le modèle complet) (le nombre de paramètres dans le modèle réduit) ddl 2 : nombre de degrés de liberté associé aux résidus du modèle complet, c est-à-dire : (nombre d observations) (nombre de paramètres dans le modèle complet) On ne teste pas des modèles emboités (sauf pour le test sur l effet du à l interaction) donc ces tests n ont pas une interprétation facile 32

33 Tests associes aux sommes des carrés de type III On peut associer un test à chaque somme de carrés de type III : Test sur γ : H 0 : Les droites de régression ont même pente Test sur β : Même test sur les SS de type I ou de type III H 0 : Il n y a pas d effet de la variable quantitative sur Y Test sur α : H 0 : Les droites ont la même ordonnée à l origine 33

34 Enchainement des tests des différents effets On teste d abord l effet de l interaction γ H 0 :{ Y ik = µ + α i + βx ik + ε ik } contre H 1 :{ Y ik = µ + α i + βx ik + γ i x ik + ε ik } Le résultat de ce test est le même si on utilise les SS de I type ou du III type On teste après le paramètre β H 0 :{ Y ik = µ + α i + γ i x ik + ε ik } contre H 1 :{ Y ik = µ + α i + βx ik + γ i x ik + ε ik } Le résultat de ce test se obtient utilisant les SS de III type Pour conclure on teste le paramètre α H 0 :{ Y ik = µ + βx ik + γ i x ik + ε ik } contre H 1 :{ Y ik = µ + α i + βx ik + γ i x ik + ε ik } Le résultat de ce test se obtient utilisant les SS de III type 34

35 Résultats sur les données Huitres 35

36 Modèle Complet Table d analyse de la variance n 2I = 20 2*5 = 10 Estimation de σ L ajustement du modèle est très bon, la SCM est presque la même que la SCT Probabilité critique < 0.05, on rejette l hypothèse H 0 : le modèle 0 n est pas le bon modèle 36

37 Modèle Complet - Analyse des résidus Si les hypothèses di modèle sont satisfaites, alors le nuage des points dans ce graphique ne doit pas présenter une structure particulier, comme dans ce cas 37

38 Modèle Complet Estimation des paramètres Paramètre fixé à zéro 38

39 Modèle Complet - Tests sur les sommes des carrés de type I et de type III 39

40 Enchainement des tests des différents effets 1 à H 0 : Les droites de régression ont la même pente Test sur γ On ne rejette pas H 0, donc l interaction n est pas significative (L effet de la variable quantitative sur Y ne dépend pas des niveaux du facteur) On estime à nouveau modèle sans l interaction 40

41 Modèle sans interaction Table d analyse de la variance n (#par - #contr) = 20 (7-1) = 14 L ajustement du modèle est toujours très bon On a une variabilité résiduelles plus élevé 41

42 Modèle sans interaction Analyse des résidus Toujours pas de structure particulier, tous les hypothèses sur les résidus sont vérifiées 42

43 Modèle sans interaction Estimation des droites de régression o u o l u n l l u l v o n n o n u v v v o n l u v 43

44 Modèle sans interaction Sommes des carrés de type I et de type III R(α β,µ) Les décisions prises avec les deux procédures coïncident 44

45 Modèle sans interaction Enchainement des tests des différents effets 2 à H 0 : il n y a pas d effet moyen de la variable quantitative sur Y Test sur β On rejette H 0 : Il y a relation linéaire significative entre le poids initial et le poids final 3 à H 0 : les droites ont la même ordonnée à l origine Test sur α On rejette H 0 : Non, quel que soit le poids initial il y a une différence significative entre le poids final des traitements 45

46 Comparaison des moyennes par traitement 47

47 Moyennes empiriques de Y par traitements (Modèle sans interaction) Moyennes empiriques des traitements Dans un modèle sans interaction, pour chaque traitement i sa moyen est : µ i = 1 K K k=1 µ ik = µ + α i + β 1 K K k=1 x ik = µ + α i + βx i et on obtient une estimation de cette moyen par la moyen empirique du traitement i, c est-à-dire : ˆ µ i = y i = ˆ µ + α ˆ i + ˆ β x i Moyenne empirique de y dans le traitement i. C est donc la prédiction de y dans le traitement i pour un réplication de poids initial correspondant à la moyenne x i du poids initial dans le traitement 48

48 Moyennes empiriques de Y par traitements (Modèle sans interaction) Moyennes empiriques des poids initiaux et finaux par traitement = *29.75 Les huitres placées dans le traitement 1 ont un poids final moyen plus élevé que les autres 49

49 Moyennes empiriques de Y par traitements (Modèle sans interaction) Moyennes empiriques dans un modèle sans interaction et avec I=2 50

50 Moyennes ajustées de Y par traitements (Modèle sans interaction) Moyennes ajustées Dans un modèle sans interaction, pour chaque traitement i sa moyenne ajustée est :!µ i = µ + α i + βx Moyenne générale de X et on obtient une estimation de cette moyenne par : ˆ µ i = ˆ µ + α ˆ i + ˆ β x C est donc la prédiction de y dans le traitement i pour la moyenne générale x 51

51 Moyennes ajustées de Y par traitements (Modèle sans interaction) Moyennes ajustées des poids finaux par traitement = *25.76 x Les huitres placées dans le traitement 3 ont une moyenne ajustée plus élevée que les autres 52

52 Moyennes ajustées de Y par traitements (Modèle sans interaction) Moyennes ajustées dans un modèle sans interaction et avec I=2 53

53 Modèle sans interaction Comparaison des poids finaux moyens ajustés H 0 : µ i = µ j H 1 : µ i µ j Valeur observée de la statistique t Différences significatives à 0.05 P-valeur 54

54 Modèle sans interaction Comparaison des poids finaux moyens ajustés H 0 : µ i = µ j H 1 : µ i µ j Valeur de la statistique t P-valeur corrigée par la correction de Bonferroni Différences significatives à 0.05 mais pas après correction de Bonferroni Différences significatives après correction de Bonferroni, i.e. à 0.05/10 =

55 This presentation is made available through a Creative Commons Attribution- Noncommercial license. Details of the license and permitted uses are available at G. Russolillo Analyse de la covariance Title: Analyse de la covariance UE STA102 Attribution: G. Russolillo, CNAM L. Trinchera, NEOMA Business School 56