Modèle de régression linéaire: cas bivarié

Transcription

1 U. Pars Ouest, M1 - Cours de Modélsaton Applquée Modèle de régresson lnéare: cas bvaré Laurent Ferrara Févrer 017

2 Sot varables contnues X et Y. On observe les untés epérmentales : (, y ), pour = 1,, n. 1. Este-t-l un len entre X et Y?. Comment le mesurer? 3. Comment modélser ce len? 4. Comment estmer les paramètres de ce modèle? 5. Comment valder ce modèle? 6. Comment trer parte de ce modèle pour prévor les valeurs d une varable d après les valeurs de l autre?

3 Gra Eemple : données USA 199 sur 50 états (state.77) Este-t-l un len entre : les revenus d un état et le nombre de ses «hgh-school graduates»? Inc

4 Lfe Ep Causalté? Este-t-l un len entre : Le nombre de meurtres et l espérance de ve? U. Pars Ouest Murder L. Ferrara,

5 Este-t-l un len entre : L arrvée de mgrants et le vote au électons US?

6 Quel type de len? Mse en évdence un len lnéare entre les varables. Y est consdérée comme la varable à eplquer, ou ndépendante, ou eogène X est consdérée comme la varable eplcatve, ou dépendante, ou endogène. Relaton statstque entre les varables (non-détermnste) : la connassance de X n mplque pas la connassance parfate de Y : l este une erreur aléatore autour de la valeur prédte

7 Comment mesurer un len lnéare? Outl prncpal : Coeffcent de corrélaton lnéare Estmateur emprque : n n n Y y X Y y X Y X ) ( ) ( ) )( ( ), ( ) ( ) ( ), ( ), ( Y V X V Y X Cov Y X c

8 Comment mesurer un len lnéare? Sgnfcaton : c( X, Y) 1 a, b t. q. : Y ax b c( X, Y ) 1? Test de Student H0 : H1 : ( X, Y) ( X, Y) 0 0

9 Comment mesurer un len lnéare? Sous l hypothèse nulle H0 : ( X, Y ) (1 ( X, Y )) n sut une lo de Student à (n-) dl Donc, s t* ( X, Y ) (1 ( X, Y )) n est tq : t* > 1 / t n on rejette H0 au rsque

10 Eemple : Evoluton des tau souverans à 10 ans pour US et Royaume Un Coeffcent de corrélaton de 0,9 Queston économque: quel est le degré d ndépendance des poltques monétares? Len avec le trangle d ncompatblté de Mundell en macro nter

11 Eemple : Corrélaton des tau souverans pour US et Royaume Un pour dfférentes maturtés sous forme de heat map

12 Attenton au pège : dépendance non lnéare le coeff de corrélaton ne mesure que la dépendance lnéare. > cor(, y) [1] 0.99 > cor(, y) [1] 0.46 > cor(, y3) [1] > cor(, yep) [1] Effectuer une analyse graphque au préalable pour dentfer la forme de la dépendance. Un coeff de corrélaton élevé ne sgnfe pas forcément une dépendance lnéare.

13 y yep y y U. Pars Ouest L. Ferrara,

14 Attenton au pège : Corrélaton fallaceuse Estence d un coeff de corrélaton non nul entre deu varables qu aucune théore économque, physque ne rele. cas : résultat purement aléatore estence d un trosème varable qu eplque conjontement les phénomènes (en général : le temps) Eemple de Krugman : len désndustralsaton - délocalsaton au USA (Applcaton à la France)

15 Evoluton de l emplo ndustrel France (Trmestrel ) empndus 4700,0 4600,0 4500,0 4400,0 4300,0 400,0 4100,0 4000,0 mars-91 jul-91 nov-91 mars-9 jul-9 nov-9 mars-93 jul-93 nov-93 mars-94 jul-94 nov-94 mars-95 jul-95 nov-95 mars-96 jul-96 nov-96 mars-97 jul-97 nov-97 mars-98 jul-98 nov-98 mars-99 jul-99 nov-99 mars-00 jul-00 nov-00 mars-01 jul-01 nov-01 mars-0 jul-0 nov-0 mars-03

16 Evoluton des mportatons de bens en volume France Imports,10 1,90 1,70 1,50 1,30 1,10 0,90 0,70 mars-91 jul-91 nov-91 mars-9 jul-9 nov-9 mars-93 jul-93 nov-93 mars-94 jul-94 nov-94 mars-95 jul-95 nov-95 mars-96 jul-96 nov-96 mars-97 jul-97 nov-97 mars-98 jul-98 nov-98 mars-99 jul-99 nov-99 mars-00 jul-00 nov-00 mars-01 jul-01 nov-01 mars-0 jul-0 nov-0 mars-03

17 Corrélaton = - 0,50, t de Student = 3,99 Concluson statstque : on rejette l hypothèse H0 de nullté de la corrélaton lnéare entre les varables Concluson économque rapde : les pays à fables coûts salarau détrusent les emplos dans l ndustre Françase Hypothèse alternatve : les destructons d emplos ndustrels peuvent être causées en parte par la basse des dépenses (en valeur) des ménages en produts manufacturés, lée à la forte hausse de la productvté dans l ndustre par comparason avec celle dans les servces

18 On remarque également que les coeffcents de corrélaton entre chacune des varables et le temps sont de : -0,75 pour l emplo ndustrel 0,94 pour les mports Eercce : Proposer des eemples de corrélaton fallaceuse

19 Attenton au pège : Un coeff de corrélaton nul ne sgnfe pas que les varables sont ndépendantes (sauf dans le cas Gaussen) En partculer, l peut ester une relaton sur les moments d ordre supéreur du modèle Eemple : len lnéare entre les varances de X et Y (cas des processus ARCH en séres chronologques)

20 Autres outls de mesure de dépendance: Concordance Corrélaton de rang (Tau de Kendall, coeffcent de Spearman) Corrélaton condtonnelle L epresson générale de la dépendance ne peut se fare que par la lo jonte. S celle-c n est pas calculable: concept de copules

21 Comment modélser un len lnéare? Quel est le «melleur» ajustement lnéare entre v.a.? Eemple : tau longs souverans / dette publque brute

22 Notaton y ŷ est la ème observaton de la varable eogène est la ème observaton de la varable endogène Est la valeur ajustée (estmée) de la ème observaton Equaton de la melleure drote d ajustement: ˆ y b b 0 1

23 En utlsant Erreur de prévson (ou erreur résduelle) ŷ pour prédre, on fat une erreur de prévson: e y yˆ y La drote d ajustement qu colle le meu au données est celle pour laquelle les n erreurs de prévsons sont les plus pettes possbles au sens d un certan crtère.

24 Crtère des Mondres Carrés Equaton de la drote : ˆ y b0 b1 Chosr les valeurs b 0 et b 1 qu mnmse la somme des carrés des erreurs..e. : mnmser: Q n 1 ˆ y y

25 La drote de régresson Par le calcul, mnmser (dérver, annuler et résoudre pour b 0 et b 1 ): n b b y Q et obtenr les estmateurs des mondres carrés ordnares (MCO) de b 0 et b 1 : n n y y b ˆ b y b 1 0 ˆ ˆ

26 Remarques En termes géométrques la drote de régresson est celle qu mnmse la dstance quadratque entre les ponts et les projectons orthogonales de ces ponts sur cette drote. la drote de régresson est celle qu mamse la varance du nuage de ponts projetés orthogonalement sur cette drote.

27 Formalsaton Hypothèses du modèle lnéare : H1 : E(Y ) foncton lnéare des (détermnstes) y = b 0 + b 1 +, pour =1,,n H : Les erreurs,, sont ndépendantes entre elles H3 : E( ) = 0, les erreurs sont d espérance nulle (en moyenne le modèle est ben spécfé)

28 H4 : E( ) =, les erreurs sont de varance égale pour toute valeur de X (hypothèse d homoscédastcté) H5 : E(X ) = 0, les erreurs,sont ndépendantes des valeurs de X H6 : Hypothèse de Normalté Les erreurs,, sont dentquement dstrbuées selon la lo Normale.

29 Estmaton des paramètres Quels paramètres? b 0, b 1, bˆ ˆ 0, b ˆ 1, bˆ 0, bˆ 1 estmés par MCO ˆ estmée par l erreur quadratque moyenne ou Mean Squared Error (MSE)

30 La MSE est défne par : MSE 1 ˆ n Y Yˆ n On pondère par le nombre de degrés de lberté du modèle défn par : degrés de lberté = nbre d observatons - nbre de paramètres

31 Lo asymptotque des paramètres Les estmateurs MCO sont sans bas et convergents On montre que : E E( b ˆ1) b1 ( bˆ0 ) b0 On montre que : V ( bˆ ) 1 n 1 ˆ ( X ) Donc V bˆ ) 0 s n ( 1

32 Lo asymptotque des paramètres De même, n X X n b V 1 0 ) ( 1 ˆ ) ˆ ( n s b V 0 ) ˆ ( 0

33 Remarques Dans ce cadre, sous l hypothèse de normalté des erreurs, estmateur MCO = estmateur EMV La varance estmée par le modèle est dfférente de la varance emprque (valable pour tout échantllon qu sut le modèle lnéare) La varance résduelle mesure avec quelle ampltude les valeurs de Y s écartent de la drote de régresson. C est une mesure de la précson du modèle C est une mesure du rsque assocé au modèle

34 Eemple : précsons dfférentes

35 Remarques Quel est le but du jeu de toute tentatve de modélsaton d une varable Y? Mnmser la varance résduelle Y = parte détermnste + parte aléatore Y = f(x) + Par ndépendance, V(Y) = V(f(X)) + V() (Vor parte «Analyse de la Varance»)

36 Valdaton du modèle On valde le modèle à l ade des tests statstques. types de tests d hypothèses sont développés : 1) Tests sur les paramètres du modèle ) Tests sur les résdus du modèle

37 (1-) IC pour la pente ˆb 1 Formule en mots: Paramètre estmé ± (t-multpler standard error) Formule en notatons: bˆ 1 t 1, n X ˆ

38 Test sur la pente ˆb 1 Null hypothess H 0 : 1 = (en général =0) Alternatve hypothess H 1 : 1 (en général 0) Test statstc t * MSE b 1 b1 seb1 P-value = Rsque mamum d accepter H1 à tort (à comparer avec le rsque de premère espèce ) La P-value est détermnée par référence à une t- dstrbuton avec n- degrés de lberté

39 (1-) IC pour la constante ˆb 0 Formule en mots: Paramètre estmé ± (t-multpler standard error) Formule en notatons: bˆ 0 t ˆ 1 1, n n X

40 Test sur la constante ˆb 0 Null hypothess H 0 : 0 = (en général = 0) Alternatve hypothess H A : 0 (en général 0) Test statstc t * MSE b0 b0 1 seb0 n P-value = Rsque mamum d accepter H1 à tort (à comparer avec le rsque de premère espèce ) La P-value est détermnée par référence à une t- dstrbuton avec n- degrés de lberté.

41 Test sur le terme d erreur Les ntervalles et les tests précédents sont basés sur la Normalté du terme d erreur. Il mporte donc de tester les résdus. Test d adéquaton (Jarque-Bera, KS, ) Test graphques (QQ-Plot) Les résultats restent valdes en cas d écart à la lo Normale s l échantllon est grand. (résultats asymptotques)

42 Mesure de la qualté du modèle On mesure la qualté du modèle par l analyse de la varance On montre les relatons suvantes : la somme des résdus est nulle,.e. : n 1 e 0 la moyenne de la varable et la moyenne de la varable estmée sont égales,.e. : n n y yˆ 1 1

43 e y y y y ˆ) ˆ ( ) ( On en dédut l équaton de l analyse de la varance: Varance totale = Varance eplquée + Varance résduelle Objectf : Mamser la varance eplquée

44 R : mesure de la varance eplquée R 1 n 1 ˆ ( Y Y ) valeur entre 0 et 1 Crtères d nformaton : Akake (1971)

45 Que veut-on prévor? Prévson La réponse «moyenne» de la populaton = E(Y h ) pour une valeur h E : Quel est le pods moyen pour une talle donnée? (Plus précs que le pods moyen de l échantllon) La réponse Y h(new) à une nouvelle valeur donnée h E : Quel est le pods estmé par le modèle d un nouvel ndvdu chos au hasard de talle donnée?

46 En fat les prévsons sont égales : ˆ Yh b0 b1 h est le melleur estmateur dans chaque cas. Seuls les ntervalles de confance autour des réponses vont varer

47 Intervalle de confance pour la réponse moyenne de la populaton E(Y h )

48 Formule en notaton: Formule en mots: Sample estmate ± (t-multpler standard error), 1 1 ˆ ˆ X X n t y h n h (1-) IC pour la réponse moyenne E(Y h )

49 Implcatons sur la précson Au plus les valeurs des sont étalées, au plus l ntervalle de confance est pett, donc l estmaton de E(Y h ) est plus précse. Suvant le même échantllon de, au plus la valeur de h est lon de la moyenne emprque, au plus l ntervalle de confance est grand, donc l estmaton de E(Y h ) est mons précse.

50 Remarques h est une valeur correspondant au champ de l étude mas pas nécessarement une valeur de l échantllon L IC pour E(Y h ) est correct même s le terme d erreur est seulement approché par une lo Normale S le nombre d observatons est grand, l IC pour E(Y h ) est correct même s le terme d erreur s écarte fortement d une lo Normale

51 Intervalle de Prévson pour la réponse Y h(new) à une nouvelle valeur h(new)

52 Prévson de Y h(new) s la moyenne E(Y) n est pas connue e : s les paramètres sont estmés on rajoute une ncerttude sur la moyenne de Y

53 La prévson est non basée h h b b Y 1 0 ˆ ˆ ˆ h h h h h h h h b b b b b b b b Y Y e ) ˆ ( ) ˆ ( ) ˆ ˆ ( ˆ Proprété: 0 ) ( e h E

54 Varance de la prévson n h n h n n ˆ 1 ˆ ˆ Estmaton: Elle dépend de composantes : 1. Varance due à l estmaton de E(Y h ) par. Varance de Y nhérente à sa dstrbuton ŷ h

55 Sample predcton ± (t-multpler standard error), ˆ ˆ n t y h n h (1-) IC pour la réponse Y h

56 Mortalty Regresson Plot Mortalty = Lattude S = R-Sq = 68.0 % R-Sq(adj) = 67.3 % Regresson 95% CI 50 95% PI Lattude 50