Chapitre 4 : RÉGRESSION

Transcription

1 Chapitre 4 : RÉGRESSION 4.3 Régression linéaire multiple Equation et Estimation Inférence Coefficients de détermination Spécifications Régression linéaire multiple 1 / 50

2 Chapitre 4 : RÉGRESSION 4.3 Régression linéaire multiple Equation et Estimation Inférence Coefficients de détermination Spécifications Régression linéaire multiple 2 / 50

3 L équation de la régression (1) Un modèle de régression multiple contient 1< K < n 1 variables indépendantes, x 1, x 2,..., x K. (On utilisera k comme indice pour une variable particulière.) Les paramètres sont estimables quand K = n 1, mais l ajustement est alors parfait et l inférence est impossible. En pratique, on doit veiller à ce que n >> K. L équation de la régression linéaire multiple (ou le «modèle de régression») s écrit donc de la façon suivante : y = β + β x + β x + + β x + ε, où E(ε) = 0, K K E ( y ) β0 β1x1 β2x2... βk xk = , ( ) E y x1, x2,..., xk = β0 + β1x1 + β2x βk xk, où β0, β1, β2,..., β K sont les paramètres du modèle, et le terme d erreur ε est une variable aléatoire. Régression linéaire multiple 3 / 50

4 L équation de la régression (2) Tout comme dans le cas de la régression linéaire simple, β 0 représente le point, où x 1 = x 2 =... = x K = 0 («constante»). La valeur d un paramètre β k > 0 donne le nombre d unités supplémentaires de y associées à une augmentation par une unité de x k lorsque toutes les autres variables indépendantes sont constantes (variation «ceteris paribus»). ( ) E y x1, x2,... x K est la moyenne de y pour un vecteur de valeurs des variables indépendantes { x1, x2,..., x K} donné. Régression linéaire multiple 4 / 50

5 L équation de la régression (3) Si K > 2, on ne peut plus représenter le modèle de régression de façon graphique. Avec K = 2, une représentation graphique est possible, puisqu il n y a que trois dimensions : x 1, x 2 et y. L équivalent à la droite de régression en régression linéaire simple est alors appelé «surface de réponse» : Régression linéaire multiple 5 / 50

6 L équation estimée Les statistiques d échantillon b 0, b 1, b 2,..., b K servent d estimations de β0, β1, β2,..., β K. Ainsi, l équation estimée de la régression est donnée par : ˆ K K y = b + b x + b x + + b x, où ŷ est l estimation ponctuelle de ( ) E y x1, x2,... x K. Régression linéaire multiple 6 / 50

7 Processus d estimation Régression linéaire multiple 7 / 50

8 Estimation par les moindres carrés Tout comme pour la régression linéaire simple, la méthode la plus répandue pour calculer b 0, b 1, b 2,..., b K est l estimateur des moindres carrés. Formellement, la méthode est alors la suivante : { b b b b } ( y yˆ ),,,..., argmin = K i i b 1 0, b1, b2,... b i = K n b, b, b,... b n i = 1 Régression linéaire multiple 8 / 50 2 ( y b b x b x... b x ) = arg min K i 0 1 1i 2 2i K Ki L estimateur des moindres carrés pour une régression multiple suit la même logique que celle de la régression linéaire simple, mais sa formulation est plus compliquée, nécessitant l utilisation de l algèbre matricielle. De plus, l estimation est trop compliquée pour être faite «à la main» avec un effort raisonnable et est donc toujours effectuée avec l aide d un ordinateur. 2

9 Chapitre 4 : RÉGRESSION 4.3 Régression linéaire multiple Equation et Estimation Inférence Coefficients de détermination Spécifications Régression linéaire multiple 9 / 50

10 Hypothèses de l estimateur MCO Tout comme pour la régression linéaire simple, la légitimité des tests d hypothèse repose sur les cinq hypothèses faites à propos du terme d erreur du modèle de régression, ε. En fait, on peut démontrer que, sous condition que ces hypothèses soient satisfaites, l estimateur des MCO est le meilleur des estimateurs concevables, dans le sens suivant (théorème de Gauss-Markov): o Les coefficients estimés b 0, b 1, b 2,..., b K sont des estimations nonbiaisées des paramètres β0, β1, β2,..., β K. o L estimateur MCO implique les variances des coefficients estimés s, s, s,..., s les plus petites de tous les estimateurs b0 b1 b2 b k linéaires et non-biaisés concevables. Régression linéaire multiple 10 / 50

11 Test du t de Student (1) Si les hypothèses sur ε sont satisfaites, on peut se servir de la loi du t de Student pour tester des hypothèses sur des paramètres individuels β k. Statistique de test : t k bk βk n K 1 = t s b k o Le calcul de l erreur type des coefficients estimés s b k est trop compliqué pour être effectué «à la main», mais sa logique est la même que dans le cas de la régression linéaire simple. o Notamment, s tend à diminuer avec n. b k L intervalle de confiance autour d un paramètre estimé individuel est alors donné par : n K b ± t 1 * s k α b k Régression linéaire multiple 11 / 50

12 Test du t de Student (2) Dans la plupart des applications, l hypothèse la plus importante concerne la signification statistique de x k comme facteur «explicatif» des variations de y. H 0 : β k = 0 ; H 1 : β k 0 statistique de test : t k k = t n K 1 Régression linéaire multiple 12 / 50 b s Ces statistiques de test sont fournies par tous les logiciels statistiques pour chacun de coefficients estimés b 0, b 1, b 2,..., b K. Puisque t 0.05 = 1.96, une façon de tester la significativité statistique à 5% d un coefficient estimé d une régression multiple basée sur un grand échantillon est de vérifier si t k > Pour tester la significativité à 1%, on vérifie si t k > b k

13 Test du F de Fisher Si les hypothèses sur ε sont satisfaites, on peut se servir de la loi du F de Fisher pour déterminer s il existe une relation significative entre y et l ensemble des variables indépendantes ; on parle du test de signification globale. H 0 : β1 = β2 =... = β k = 0 H 1 : au moins un des paramètres n est pas égal à zéro Statistique de test : F = SCReg K F SCRes n K 1 ( K, n K 1) Régression linéaire multiple 13 / 50

14 Multicolinéarité (1) Il est possible qu aucun des coefficients estimés b k soit individuellement statistiquement significatif (selon le test du t de Student), mais que le modèle soit quand même globalement statistiquement significatif (selon le test du F de Fisher). L explication de ce phénomène apparemment paradoxal est la multicolinéarité : le fait que les variables indépendantes x k, tout en étant indépendantes de y, peuvent parfaitement être corrélées entre elles. Plus les variables indépendantes sont corrélées, plus il devient difficile de déterminer l effet propre d une variable indépendante particulière sur la variable dépendante. Autrement dit, quand la multicolinéarité est forte, les erreurs type des coefficients s sont grands, et le risque peut être fort que les coefficients estimés prennent le signe opposé à celui du vrai paramètre. Régression linéaire multiple 14 / 50 b k

15 Multicolinéarité (2) En pratique il peut être utile d inspecter la matrice de corrélation entre les variables indépendante. Comme valeur pratique (très) approximative, on utilise parfois un seuil de ρ = 0.7 pour déterminer s il y a un problème potentiel de multicolinéarité entre deux variables. La multicolinéarité peut prendre la forme d une relation linéaire entre plusieurs variables indépendantes, càd elle peut être présente même si les corrélations entre paires de variables individuelles sont toutes relativement faibles. Des tests plus avancés existent pour vérifier la présence de ce phénomène. Le meilleur moyen pour pallier au problème de multicolinéarité est d augmenter la taille de l échantillon n. S il y a colinéarité parfaite entre deux ou plusieurs variables indépendantes, leurs paramètres ne peuvent pas être estimés. Régression linéaire multiple 15 / 50 ˆ k x x l

16 Chapitre 4 : RÉGRESSION 4.3 Régression linéaire multiple Equation et Estimation Inférence Coefficients de détermination Spécifications Régression linéaire multiple 16 / 50

17 R-carré (1) La définition du R-carré (aussi : «coefficient de détermination multiple») est identique à celle pour la régression linéaire simple : R n 2 i = 1 n i = 1 ( yˆ y ) ( y y ) i 2 i SCReg SCReg = = = 2 SCReg + SCRes SCTot n n 2 2 ( yi yˆ ) i ui i = 1 i = 1 n n 2 2 = 1 = 1 = 1 ( y y ) ( y y ) i i = 1 i = 1 i SCRes SCTot Régression linéaire multiple 17 / 50

18 R-carré (2) Le R-carré exprime le pourcentage de la somme des carrés totaux «expliqué» (dans le sens d une explication géométrique et non causale!) par l équation estimée de la régression. Le R-carré ne peut pas être décomposé en «contributions explicatives» de chacune des K variables explicatives. Exception : cas de zéro colinéarité entre les variables explicatives (qui sont donc «orthogonales») Exemple : vecteurs de variables binaires par pays et par année dans un modèle des différences de taux de chômage décomposition du R-carré en une composante «conjoncturelle» (contribution au R-carré des différences temporelles) et une composante «structurelle» (contribution au R-carré des différences inter-pays) Régression linéaire multiple 18 / 50

19 R-carré et test du F de Fisher Il existe une relation mathématique entre le R-carré et la statistique de test de signification globale (du F de Fisher) : SCReg 2 K ( n K 1) R F = = ( 2 SCRes K 1 R ) n K 1 Étant donné n et K, un R-carré élevé implique une statistique F élevée. De plus, la statistique F varie en fonction de n et de K. Pour un R- carré donné, plus n K est grand, plus la statistique F est élevée. Intuitivement, cela représente le fait que plus il y a d observations par rapport au nombre de variables indépendantes, plus il semble invraisemblable qu une certaine qualité d ajustement du modèle (càd un certain R-carré) se soit produit aléatoirement. Régression linéaire multiple 19 / 50

20 R-carré ajusté (1) Puisque la méthode des MCO minimise la somme des carrés des résidus (SCRes), le R-carré augmente si on ajoute des variables indépendantes (ce qui ne change pas SCTot) même si ces variables ne sont pas statistiquement significatives. La valeur du R-carré dépend donc de K, ce qui complique la comparaison de la qualité d ajustement de différents modèles de régression si le nombre de variables indépendantes n est pas identique. Pour cette raison, SCRes il est courant de calculer le «R-carré ajusté» : ( ) 2 1 ( 2 ) 1 R 1 n K 1 1 R n 2 = =, R 1 SCTot n 1 n K 1 ( ) Régression linéaire multiple 20 / 50

21 R-carré ajusté (2) SCRes 2 est la variance estimée des résidus, s u ; et SCTot n est la variance estimée de y. On peut donc aussi ( n K 1) ( 1) écrire le R-carré ajusté de la façon suivante : R 2 ( s 2 s 2 ) =. 1 u y Si l ajout d une variable indépendante diminue SCRes 2 proportionnellement moins qu il n augmente K, alors s u augmente, et le R-carré ajusté diminue. Le R-carré ajusté peut donc diminuer ou augmenter quand on ajoute des variables indépendantes. Il est même possible que le R-carré ajusté prenne des valeurs négatives (si K est grand et le R-carré est petit). On peut démontrer que l ajout d une variable indépendante augmente le R-carré ajusté si la statistique du t de Student de cette variable est supérieure à 1. Pour augmenter le R-carré ajusté, une variable indépendante supplémentaire n a donc pas besoin d être statistiquement significative, même au seuil de 10%. Régression linéaire multiple 21 / 50

22 Exemple Statville (1) Le syndic cherche à savoir si l effet de l âge sur le revenu des habitants de sa commune reste statistiquement significatif si on contrôle aussi pour la durée d expérience des travailleurs dans leur fonction actuelle. Il recense donc la variable «expérience» pour les 12 individus de son échantillon aléatoire simple. ind. revenu âge expérience Moyenne Ecart type Régression linéaire multiple 22 / 50

23 Exemple Statville (2) Excel : Outils - Utilitaire d analyse - Régression linéaire cocher Intitulé présent 2 R 2 R 2 R s u SCRes RAPPORT DÉTAILLÉ Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 12 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Coefficients Erreur-type Statistique t Probabilité Limite inférieure pour seuil de confiance = 95% Limite supérieure pour seuil de confiance = 95% Constante E âge expérience Régression linéaire multiple 23 / 50

24 Exemple Statville (3) Le syndic conclut que, étant donné l âge, les années d expérience dans la fonction ne constituent pas un déterminant statistiquement significatif du salaire. Le modèle prédit donc que deux travailleurs qui ont le même âge mais des durées d expérience différentes auront le même salaire en moyenne. On note que par rapport à l estimation de la régression linéaire simple (avec l âge comme unique variable indépendante), le R- carré a augmenté (de à 0.588). Par contre, puisque la valeur de la statistique t de la variable «expérience» est inférieure à 1, le R-carré ajusté a diminué (de à 0.496). Malgré l augmentation du R-carré, la valeur de la statistique F a diminué (de 14.1 à 6.4) et celle de l erreur type de la régression a augmenté (de 2239 à 2353). L augmentation de K (de 1 à 2) a donc plus que compensé la diminution de SCRes (de 50.1 mn à 49.8 mn). Régression linéaire multiple 24 / 50

25 Exemple Statville (4) Corrélation entre les variables «âge» et «expérience» : 12 ˆρ = 0.77 La multicolinéarité pourrait jouer un rôle (càd les variations dans le valeurs de la variable «expérience» ne sont pas suffisamment indépendantes de l âge, ainsi qu avec seulement 12 observations on arrive pas à identifier statistiquement un effet spécifique dû à «expérience». Excel : =COEFFICIENT.CORRELATION(âge;expérience) Prédiction du salaire pour une personne de 55 ans avec 15 ans d expérience : yˆ x = 55, x = 15 = E yˆ x = 55, x = 15 ( ) ( ) = * * 15 = La construction d un intervalle de confiance autour de cette prévision n est pas possible avec Excel. Régression linéaire multiple 25 / 50

26 Exemple Statville (5) Dans les tableaux publiés de résultats de la régression, il est utile de présenter les coefficients ainsi que leurs erreurs types et des symboles indiquant le niveau de signification statistique du test bilatéral de H 0 : β k = 0. Une telle présentation des résultats facilite des tests d hypothèse alternatifs, H 0 : β = z. o Le syndic pourrait s intéresser si la véritable hausse salariale moyenne par année d âge est égale à 500 francs (α = 5%) : b n K 1 9 tx 1= 500 = = = 2.58 ; t α t s 89.3 = = b 1 o Intervalle de confiance de 95% approximatif pour n 60 : b ± 2s b1 k Les déterminants salariaux à Statville variable dépendante: salaires; estimateur: MCO Variables indépendantes : âge expérience Constante 269.9* (89.3) 23.4 (103.2) * (3500.3) R-carré 0.59 R-carré ajusté 0.50 Erreur type de la régression Observations 12 Remarques : erreurs types entre parenthèses ; * : significatif à 5% Régression linéaire multiple 26 / 50

27 Chapitre 4 : RÉGRESSION 4.3 Régression linéaire multiple Equation et Estimation Inférence Coefficients de détermination Spécifications Régression linéaire multiple 27 / 50

28 Bases Par «spécification», on entend la formulation du modèle empirique, càd de l équation de la régression. La spécification linéaire est suffisamment flexible pour permettre l estimation d une large gamme de modèles théoriques, dont certains sont non linéaires à la base (mais «intrinsèquement linéaires»). Nous présenterons quelques spécifications particulières très utiles : o spécification polynomiale o variables indépendantes binaires o spécification logarithmique o interactions Il existe des modèles théoriques non linéaires qui ne peuvent être transformés en une spécification linéaire et nécessitent donc l utilisation d un estimateur non linéaire (pas traité dans ce cours). y = β + β x + β Exemple : ( ) Régression linéaire multiple 28 / 50

29 Spécification polynomiale La spécification de base de la régression linéaire multiple peut être considérée comme un cas particulier d une classe de fonctions plus large, les fonctions polynomiales : y = + x + x + x + + x K β0 β1 β2 β3... βk ε K : le «degré» du polynôme K = 2 : polynôme du deuxième degré (ou «parabole») Si ε satisfait les hypothèses du modèle des MCO, cette spécification peut être estimée avec la méthode des moindres carrés : ( ) 2 3 yˆ = E y x = b + b x + b x + b x b x K K Régression linéaire multiple 29 / 50

30 Exemple Statville (1) Le syndic se rend compte que sa spécification initiale n est pas satisfaisante. En particulier, l hypothèse d une relation linéaire entre l âge et le revenu des habitants n est pas plausible. Il décide donc d estimer un modèle polynomial du deuxième degré pour la variable indépendante «âge» : y = β + β x + β x + β x + ε, où x 1 = âge, et x 2 = expérience Régression linéaire multiple 30 / 50

31 Exemple Statville (2) Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 12 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Coefficients Erreur-type Statistique t Probabilité Limite inférieure pour seuil de confiance = 95% Limite supérieure pour seuil de confiance = 95% Constante âge âge^ expérience b 1 et b 2 sont statistiquement significatifs «expérience» devient statistiquement significative (à 10%) spécification parabolique semble justifiée Régression linéaire multiple 31 / 50

32 Exemple Statville (3) Prédictions impliquées par les coefficients estimés pour une personne avec dix ans d expérience : yˆ x = 10 = * x 22.1* x + 98 * 10 ( ) Prédiction de l âge auquel le revenu est maximal, x : max 1 yˆ max = b1 + 2b2x1 = 0 x1 max x = b 2b x max = = 2 * 22.1 ( ) 47 revenu âge Régression linéaire multiple 32 / 50

33 Variables indépendantes binaires Une variable indépendante binaire (aussi : variable «muette», «indicatrice», ou «dummy») ne prend que deux valeurs : 0 ou 1. Les variables binaires sont utilisées pour distinguer deux niveaux mutuellement exclusifs des valeurs d une variable quantitative ou qualitative. Quelques exemples : o dimension temporelle : bonne/mauvaise conjoncture ; été/nonété ; avant/après campagne publicitaire o dimension spatiale : nord/sud ; ville/campagne ; Suisse/étranger o variables qualitatives : homme/femme ; employé/non-employé o variables quantitatives groupées : ménages à plus/moins de de revenu ; firmes avec plus/moins de 10 employés Le niveau pour laquelle la variable binaire est définie comme égale à zéro, est appelée le «niveau de référence». Régression linéaire multiple 33 / 50

34 Exemple Statville (4) Le syndic cherche à savoir si, au-delà de l âge et de l expérience 2 (càd «en contrôlant pour» x 1, x 1 et x 2 ), le sexe des travailleurs influence leur salaire moyen. Il définit alors la variable muette x 3 suivante : o individu i est une femme x 3 = 1 o individu i est un homme x 3 = 0 (niveau de référence) ind. revenu âge expérience femme Moyenne Ecart type Régression linéaire multiple 34 / 50

35 Exemple Statville (5) Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 12 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Coefficients Erreur-type Statistique t Probabilité Limite inférieure pour seuil de confiance = 95% Limite supérieure pour seuil de confiance = 95% Constante âge âge^ expérience femme En moyenne, une femme gagne francs de moins qu un homme du même âge et avec le même nombre d années d expérience. Cet effet est statistiquement significatif au seuil de 10% mais non au seuil de 5%. Régression linéaire multiple 35 / 50

36 Exemple Statville (6) Prédictions impliquées par les coefficients estimés o pour une femme avec dix ans d expérience : 2 ( yˆ x2 = 10, x3 = 1) = * x * x * o pour un homme avec dix ans d expérience : yˆ x = 10, x = 0 = * x 20.8 * x * 10 ( ) revenu femmes hommes b 3 = âge Régression linéaire multiple 36 / 50

37 Exemple Statville (7) Plutôt qu estimer les paramètres du modèle de régression (des corrélations conditionnelles), le syndic pourrait s intéresser aux corrélations «pures» ˆkl ρ entre toutes les paires de variables indépendantes kl (les corrélations inconditionnelles). examiner la matrice de corrélation Excel : Outils - Utilitaire d analyse Analyse de corrélation Intitulés en première ligne revenu âge âge^2 expérience femme revenu 1 âge âge^ expérience femme ! Régression linéaire multiple 37 / 50

38 Variables binaires pour niveaux multiples Des variables indépendantes binaires peuvent aussi servir pour représenter des variables qualitatives ou des variables quantitatives groupées avec C > 2 niveaux. Dans ce cas on crée C 1 variables binaires, une pour chaque niveau sauf un, appelé «catégorie de référence». Exemple Statville : Trois tranches d âge o 0 30 : x1 = 0 ; x2 = 0 o : x1 = 1 ; x2 = 0 E ( y ) = β0 + β1x1 + β2x2 o : x1 = 0 ; x2 = 1 β 0 est le salaire moyen des jeunes (0 30) β 1 est la différence entre le salaire moyen du groupe des 31 à 55 par rapport à celui des jeunes. β 2 est la différence entre le salaire moyen du groupe des 56 à 65 par rapport à celui des jeunes. Régression linéaire multiple 38 / 50

39 Spécifications logarithmiques (1) Un modèle non linéaire mais «intrinsèquement linéaire» est l équation Cobb-Douglas, k =, souvent utilisée en Régression linéaire multiple 39 / 50 K y a x β microéconomie pour représenter l origine des courbes d offre (fonction de production) et de demande (fonction d utilité). k = 1 β1 β2 ε version stochastique (K = 2) : y = ax1 x2 e, où ε satisfait les cinq hypothèses du modèle des MCO Ce modèle devient linéaire quand on le transforme en logarithmes naturels : ln y = β + β ln x + β ln x + ε, où β 0 = lna o Puisque pour estimer ce modèle on transforme la variable dépendante ainsi que les variables indépendantes, on parle de la «double transformation logarithmique» ou de la «spécification log-log». k

40 Spécifications logarithmiques (2) Un grand atout de la spécification log-log est que les coefficients estimés peuvent être interprétés comme des élasticités. On parle donc aussi du «modèle à élasticité constante».) ( ln y ) 1 y = = ln y y y y y xk y ln y o élasticité de y par rapport à x k : = = = βk x x k y k ln xk x o Tout comme les coefficients standardisés, les coefficients d un modèle log-log peuvent être comparés à travers les variables indépendantes k, puisque par définition les élasticités sont toutes exprimées dans les mêmes unités (càd en termes de déviations en pourcentage de y et de x k ). k ( y ) Régression linéaire multiple 40 / 50

41 Spécifications logarithmiques (3) Un autre modèle «intrinsèquement linéaire» est donné par 0 1x x2 k xk y = e β + β + β + + β. 0 1x1 2x2 version stochastique (K = 2) : y = e β + β + β + ε, où ε satisfait les cinq hypothèses du modèle des MCO Ce modèle devient linéaire quand on le transforme en logarithmes naturels : ln y = β + β x + β x + ε o Puisque pour estimer ce modèle on ne transforme que la variable dépendante, on parle de la «spécification semilogarithmique». Régression linéaire multiple 41 / 50

42 Spécifications logarithmiques (4) Les paramètres d une telle spécification sont des semi-elasticités : il représentent la variation en pourcentage de la variable dépendante par rapport à une variation d une unité de la variable indépendante en question. Puisque ces semi-elasticités dépendent des unités de mesure des variables indépendantes, elle ne sont pas directement comparables à travers les différentes variables indépendantes. La spécification semi-logarithmique est utilisée en macroéconomie afin de modéliser des taux de croissance stables : 0 1 o Soit y = e β + β x+ ε, où y est un agrégat économique (PIB, niveau des prix, ), et x est la variable «temps» (en mois, trimestres, années, ). d ln y o Alors β 1 = est le taux de croissance moyen de y. dx Régression linéaire multiple 42 / 50

43 Exemple Statville (8) Spécification log-log (régression simple) : ln(revenu) = β 0 + β 1 *ln(âge) + ε Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 12 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Limite inférieure pour seuil Limite supérieure pour Coefficients Erreur-type Statistique t Probabilité de confiance = 95% seuil de confiance = 95% Constante E ln(âge) par pourcent d âge supplémentaire, le revenu moyen augmente de 0.25 pourcent R-carré (0.68) plus élevé que dans la régression avec y et x non transformées (0.59, voir ch ) spécification log-log (nonlinéaire) mieux ajustée aux données Régression linéaire multiple 43 / 50

44 Exemple Statville (9) Spécification semi-logarithmique (régression simple) : ln(revenu) = β 0 + β 1 *âge + ε Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 12 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Coefficients Erreur-type Statistique t Probabilité Limite inférieure pour seuil Limite supérieure pour de confiance = 95% seuil de confiance = 95% Constante E âge par année d âge supplémentaire, le revenu moyen augmente de 0.57 pourcent R-carré (0.57) moins élevé que dans la régression avec y et x non transformés (0.59, voir. ch ) spécification semi-logarithmique moins bien ajustée aux données Régression linéaire multiple 44 / 50

45 Exemple Statville (10) revenu yˆ = x ( ( x) ) yˆ = exp * ln yˆ = exp( x) âge Régression linéaire multiple 45 / 50

46 Interactions (1) L équation de régression linéaire multiple implique des effets isolés y de chaque variable indépendante : = βk k x En ajoutant des produits de variables indépendantes («termes d interaction»), on peut modéliser des interdépendances entre les effets des variables indépendantes : y = β + β x + β x + β x x + ε y y = β1 + β3x2, = β2 + β3x1 x1 x2 k Régression linéaire multiple 46 / 50

47 Interactions (2) β 1 (β 2 ) représente l effet de x 1 (x 2 ) sur ŷ quand x 2 (x 1 ) est égal à zéro. Puisque une valeur de zéro n est souvent pas très réaliste ou informative (p.ex. dans une estimation des déterminants salariaux), on estime souvent une spécification transformée : ( )( ) y = β + ɶ β x + ɶ β x + β x x x x + ε βɶ 1 ( βɶ 2 ) est alors l effet de x 1 (x 2 ) sur ŷ quand x 2 (x 1 ) prend sa valeur moyenne. Si x 1 est une variable continue et x 2 une variable binaire, alors β 2 représente le déplacement de l intercept, et β 3 représente le changement de la pente de ŷ par rapport à x 1, quand x 2 passe de 0 à 1. Régression linéaire multiple 47 / 50

48 Exemple Statland (1) Les syndics de Statville et Statdorf cherchent à savoir si les salaires moyens croissent à un rythme différent avec l âge dans leurs deux communes. Ils collectionnent des données pour des échantillons aléatoires simples dans les deux communes (n = 12). ind. commune revenu âge âge*commune moyenne écart type moyenne écart type Régression linéaire multiple 48 / 50

49 Exemple Statland (2) revenu = β 0 + β 1 *commune + β 2 *âge + β 3 *âge*commune + ε, où commune = 0 Statville ; commune = 1 Statdorf Statistiques de la régression Coefficient de détermination multiple Coefficient de détermination R^ Coefficient de détermination R^ Erreur-type Observations 24 ANALYSE DE VARIANCE Degré de liberté Somme des carrés Moyenne des carrés F Valeur critique de F Régression Résidus Total Coefficients Erreur-type Statistique t Probabilité Limite inférieure pour seuil Limite supérieure pour de confiance = 95% seuil de confiance = 95% Constante E commune âge âge*commune revenu commune = 1 = = 245 âge (différence non significative du point de vue statistique) Régression linéaire multiple 49 / 50

50 Exemple Statland (3) revenu revenu estimé: Statville revenu estimé: Statdorf revenu observé: Statville revenu observé: Statdorf âge Régression linéaire multiple 50 / 50