10.1 Inférence dans la régression linéaire

Transcription

1 0. Inférence dans la régresson lnéare La régresson lnéare tente de modeler le rapport entre deux varables en adaptant une équaton lnéare avec des données observées. Chaque valeur de la varable ndépendante x est assocée à une valeur de la varable dépendante (appelée auss varable de réponse). On suppose que la varable est normalement dstrbuée avec une moenneµ et un écart tpeσ. La drote de régresson des mondres carrés = b0 + b x est une estmaton de la vértable drote de régresson de populatonµ = β + β x. o Cette drote décrt comment la réponse moenne de la varableµ change avec x. Les valeurs observées pour varent autour de leur moenneµ et on suppose qu elles ont le même écart tpeσ. Les valeurs ajustées b 0 et b estment respectvement l'ntercepte et la pente de la drote de régresson de la populaton. Pusque les valeurs observées pour varent autour de leurs moennesµ, le modèle statstque nclut un terme pour cette varaton. Tradut en mots, le modèle est exprmé par Données observées = Données ajustées + Données résduelles où le terme «données ajustées» représente l'expressonβ o + βx. Le terme «données résduelles» représente les dévatons des valeurs observées de leurs moennesµ qu sont normalement dstrbués avec une moenne 0 et un écart tpeσ. La notaton pour les dévatons des modèles estε. En termes formels, le modèle pour la régresson lnéare est le suvant : Étant données n pares d'observatons ( x, ),( x, ),..., ( x n, n), la varable observée de réponse est : = β + β x + ε. ε ~ N(0, ). =,,,n., o σ Dans le modèle des mondres carrés, la drote la plus précse pour les données observées est calculée (vor chaptre ) en rédusant au mnmum la somme des carrés des dévatons vertcales de chaque pont de repère à la drote (s un pont se trouve

2 exactement sur la drote ajustée, sa dévaton vertcale est 0.) Pusque les dévatons sont d'abord mses au carré pus addtonnées, l n' a aucune annulaton entre les valeurs postves et négatves. Les estmateurs des mondres carrés b 0 et b sont généralement calculés par des logcels statstques. Ils sont exprmés par les équatons suvantes: Les valeurs calculées pour b 0 et b sont les estmateurs sans bas deβ et de o β et ls sont normalement dstrbués avec des écarts tpes qu peuvent être estmés à partr des données observées. ŷ et les résduels e Les valeurs ajustées par l'équaton b 0 + b x sont dénotées par égalent ˆ, sot la dfférence entre les valeurs observées et ajustées. La somme des résduels est égale à zéro. Le varance σ peut être estmée par s² = e /(n-), également connu sous le nom de erreur quadratque moenne (MSE). Exemple L'ensemble de données «Health Breakfast» ssu d un rapport de consommateur content, parm d'autres varables, la varable «Ratng» portant sur l évaluaton de 77 céréales ans que la varable «Sugar» représentant le nombre de grammes de sucre contenus dans chaque porton. (Source de données: ensemble de données dsponbles dans «Data and Stor Lbrar (DASL)» ). La corrélaton entre les deux varables est -0,760, ndquant une assocaton négatve forte. Un scatterplot des deux varables ndque un rapport lnéare:

3 En utlsant la commande de «MINITAB» Stat > Regresson > Regresson avec «Sugar» comme varable explcatve et «Ratng» comme varable dépendante, nous obtenons le résultat Ratng = Sugars Le graphque des données avec la drote de régresson est montré à gauche. Après l ajustement de la drote de régresson, l est mportant d examner les résduels pour détermner s ls semblent correspondre à notre supposton d une dstrbuton normale. Un graphque des résduels ˆ sur l'axe vertcal avec les valeurs explcatves correspondantes sur l'axe horzontal est montré à drote. Les résduels ne semblent pas déver de façon sstématque d'un échantllon aléatore d'une dstrbuton normale c est pourquo nous pouvons mantenr l'acceptaton de la normalté. La sorte de «MINITAB» (sélectonner «Regresson equaton, table of coeffcents, s, R-squared, and basc analss of varance» après la commande «Stat > Regresson > Regresson >Results» ) nous donne : Predctor Coef StDev T P Constant Sugars S = 9.96 R-Sq = 57.7% R-Sq(adj) = 57.% 3

4 Cette sorte nous fournt de nombreuses d'nformatons. Elle fournt l estmaton par la méthode des mondres carrés de la constante b 0 et de la pente b. Pusque b est le coeffcent de la varable explcatve de «sucres», l est dentfé sous ce nom. Les écarts tpes calculés pour l'ntercepte et la pente sont ndqués dans la deuxème colonne. Test d hpothèse pour la pente de régresson La trosème colonne de sorte «T» de «MINITAB» fournt des statstques de tests. Dans la régresson lnéare, on souhate tester la sgnfcaton de la pente de la drote. L'hpothèse nulle ndque que le coeffcent de la pente de la droteβ est égal à 0. S c'est vra, alors l n aucun rapport lnéare entre les varables explcatves et dépendantes. Ans l'équaton = β + β x + ε devent smplement β + ε. o = o L'hpothèse alternatve peut être unlatérale ou blatérale, énonçant queβ est plus pett ou plus grand que 0 ou smplement non égal à 0. La statstque de test t est égale à b / s b, l'estmaton du paramètre de pente de la drote dvsée par son écart tpe. Ce rapport sut la lo de Student avec (n-) degrés de lberté, à savor t(n-). Dans l'exemple c-dessus, l'évaluaton du paramètre de pente est -,4008 avec un écart tpe de 0,373. La statstque de test est t = -,4008/0,373 = -0,, fourne dans la colonne " T " de la sorte de «MINITAB». Pour un test blatéral, la P-valeur est P(T > -0. ) pour la dstrbuton T=t(77-), ce qu est une valeur extrêmement pette. La colonne " P " de la sorte de «MINITAB» fournt la P-valeur lée au test blatéral. Les ntervalles de confance pour la pente et l ntercepte de la drote de régresson Un ntervalle de confance de nveau C pour les paramètresβ et o β peut être calculé à partr des estmatons de b 0 et b en utlsant les écarts tpes calculés par ordnateur et la valeur crtque approprée t * à partr de la dstrbuton. t(n-). β prend la forme b o 0 + t * s b0 et l'ntervalle de confance β est donné par b + t * s b. L'ntervalle de confance pour pour 4

5 Dans l'exemple c-dessus, un ntervalle de confance de 95% pour le paramètre de pente β est calculé ans : (-, *0.373) = (-,4008-0,4746, -, ,4746) = (-,8754, -,96). La valeur pour «S» ndquée dans la sorte de «MINITAB» fournt l'estmaton pour l'écart tpe σ. La valeur " «R-Carré»" est le carré de la corrélaton r écrt comme une valeur en pourcentage. Cec ndque que les 57,7% de la varablté dans les évaluatons des céréales peuvent être explqués par la varable «sucre». Intervalles de confance pour la réponse moenne La moenne de réponse pour toute valeur spécfque de x, dsons x*, est donnée par µ = βo + βx*. La substtuton des valeurs estmées b 0 et b donne l'équaton ˆ µ = bx*. b o + Un ntervalle de confance pour la réponse moenne est calculé comme étant µ ˆ ± t * s où la valeur ajustée µˆ µ ˆ est l'estmaton de la réponse moenne. La valeur t * est la valeur crtque de (-C)/ d erreur à drote pour la dstrbuton t(n - ). La commande secondare «In addton, the full table of fts and resduals» de «MINITAB» sute à la commande «Stat > Regresson > Regresson» afn d'nclure les valeurs observées de x (Sugers) et de (Ratng), les valeurs ajustées µˆ (Ft) l'écart tpe des valeurs ajustées (StDev Ft), les valeurs résduelles (Resdual)et les valeurs résduelles normalsées (St Resd) La table c-dessous montre cette sorte pour les 0 premères observatons. Obs Sugars Ratng Ft StDev Ft Resdual St Resd R R Pour calculer à partr de «MINITAB» un ntervalle de confance pour la réponse moenne d'une observaton, chosssons d'abord une valeur crtque à partr de la dstrbuton approprée de t. Pour un ntervalle de confance de 95%, la valeur crtque de t(75) est approxmatvement égale à,000. Pour la deuxème observaton dans la table 5

6 c-dessus, un ntervalle de confance de 95% pour la réponse moenne est calculée comme étant (40, *.08) = (40,08 +,6) = (37,9, 4,4). Intervalles de prévson Une fos qu'une drote de régresson a été ajustée à un ensemble de données, l est fréquent d utlser les valeurs estmées de la pente et de l ntercepte pour prévor la réponse pour une valeur spécfque de x, dsons x *, qu n'a pas été ncluse dans l ensemble d'observatons de départ. L'estmaton pour la réponse ŷ est dentque à l estmaton pour la moenne de la réponse: ŷ = b 0 + b x *. L'ntervalle de confance pour la valeur prévue est ndqué par t * s où ˆ ŷ est la valeur ajustée correspondant à x *. La valeur t* est la valeur crtque de (-C)/ d erreur à drote pour la dstrbuton t(n - ). Note : L'erreur tpe assocé à un ntervalle de prévson est plus grande que l'écart tpe pour la réponse moenne pusque l'erreur tpe pour une valeur prévue dot explquer une varablté supplémentare. La commande Stat > Regresson > Regresson > Optons de «MINITAB» peut prévor la varable de réponse et fournr les bornes de l ntervalle de confance à 95%. Supposons que nous sommes ntéressés à prévor l'évaluaton pour une céréale avec un nveau de sucre de 5,5 «MINITAB» produt la sorte suvante: ˆ ± Ft StDev Ft 95.0% CI 95.0% PI ( 43.89, 48.7) ( 7.63, 64.53) La valeur ajustée 46,08 est smplement la valeur calculée lorsque 5,5 est substtué dans l'équaton de la drote de régresson: 59,8 - (5.5*.40) = 59,8-3,0 = 46,08. La valeur ndquée dans la colonne de 95,0% CI est l'ntervalle de confance pour la réponse moenne alors que la valeur ndquée dans la colonne de 95,0% PI est l'ntervalle de prévson pour une future observaton. 0. ANOVA pour la régresson lnéare L'analse de la varance (ANOVA) comporte des calculs qu fournssent des nformatons au sujet des nveaux de la varablté dans un modèle de régresson et qu forment la base pour la sgnfcaton des tests. Le concept de base de la drote de régresson Données observées = Données ajustées + Données résduelles est réécrt comme sut ( ) = (ˆ ) + ( ) ˆ Le premer terme est la varaton totale de la varable réponse, le deuxème représente la varaton de la réponse moenne et le trosème est la valeur résduelle. En mettant au 6

7 carré chacun de ces termes et en addtonnant l ensemble de n observaton, nous obtenons l équaton ( ) = ( ˆ ) + ( ˆ) Cette équaton peut également être écrte comme SST = SSM + SSE où SS (sum of squares) est la notaton pour la somme des carrés et T (total), M (model) et E (error) sont respectvement les notatons pour totale, modèle et erreur. Le carré de la corrélaton d échantllonnage est égal au rapport obtenu par la somme des carrés du modèle dvsé par la somme des carrés du total SSM r = SST Cec formalse l'nterprétaton de r ² en explquant la fracton de la varablté dans les données explquées par le modèle de régresson. La varance d échantllon est égale à la somme des carrés totale dvsée par le total des degrés de lberté DFT ( total degrees of freedom) SSD s = ( ) = n DFT Pour la régresson lnéare smple, la moenne des carrés de modèle MSM (mean square model) SSM ( ˆ ) MSM = = DFM pusque le modèle smple de régresson lnéare a une seule varable explcatve x. L erreur quadratque moenne MSE (mean square error) correspondant à SSE ( ˆ) = = MSE DFE n l'estmateur de la varance de la drote de la régresson de la populaton Les calculs d'anova sont montrés dans une table d analse de la varance qu, pour la régresson lnéare smple, a le format suvant : Source DF Sum of squares Mean Square F SSM/DFM MSM/MSE Model ( ˆ ) Error n- ( ˆ) σ SSE/DFE Total n- ( ) SST/DFT β La colonne «F»fournt une statstque pour tester l'hpothèse 0contre l'hpothèse nulle β 0. La statstque de test est le rapport = 7

8 MSM F = MSE la moenne des carrés du modèle dvsé par le terme de l erreur quadratque moenne. Quand le terme MSM est grand par rapport à celu du MSE, alors le rapport est grand et l a évdence contre l'hpothèse nulle. Pour la régresson lnéare smple, la statstque MSM/MSE a une dstrbuton F avec des degrés de lberté (DFM, DFE) = (, n - ). La dstrbuton de Fsher, dénotée par F(n, d) est défne pour toutes les valeurs postves dont les probabltés assocées à chaque valeur sont données par la table E dans Moore et McCabe et Mntab. Elle est caractérsée par n et d degrés de lberté. Comme exemple d utlsaton de la table Pr( F(0,4)>5.96 ) = 0.05 Exemple Reprenons l exemple c-dessus «Health Breakfast» La deuxème parte de l'analse de la varance de la sorte de MINITAB est montrée c-dessous. Les degrés de lberté sont ndqués dans la colonne «DF», les termes des sommes des carrés sont ndqués dans la colonne «SS», et les termes des mondres carrés sont ndqués dans la colonne «MS». Analss of Varance Source DF SS MS F P Regresson Error Total la statstque «F» est égale à 8654,7/84,6 = 0,35. La dstrbuton est F (, 75) et P-valeur, la probablté d'observer une valeur supéreure ou égale à 0,35, est mons que 0,00. Il a donc une forte évdence que β n'est pas égal à zéro. 8