Régression linéaire multiple

Transcription

1 1 1 IRMA, Université Louis Pasteur Strasbourg, France Master 1ère Année

2 Régression linéaire simple Exemple Affiner le modèle Problème : Étude de la concentration d ozone dans l air. Modèle : La température (v.a. X) et la concentration d ozone (v.a. Y ) sont liées de manière linéaire : Y = β 0 + β 1 X + ε. Observations : n = 10 mesures de la température et de la concentration d ozone. But : Estimer β 0 et β 1 afin de prédire la concentration d ozone connaissant la température.

3 Régression linéaire simple Exemple Affiner le modèle

4 Régression linéaire simple Exemple Affiner le modèle Souvent la régression linéaire est trop simpliste. Il faut alors utiliser d autres modèles plus réalistes mais parfois plus complexes : Utiliser d autres fonctions que les fonctions affines comme les fonctions polynômiales, exponentielles, logarithmiques... Considérer plusieurs variables explicatives. Exemple : La température et la vitesse du vent

5 Vision pratique Le principe de la régression linéaire multiple est simple : Déterminer la variable expliquée Y. Exemple : La concentration d ozone. Déterminer (p 1) variables explicatives X 1,..., X p 1 Exemple : X 1 température, X 2 vitesse du vent... Il ne reste plus qu à appliquer un modèle linéaire : Y = β 0 + β 1 X β p 1 X p 1 + ε

6 Vision pratique Dans un échantillon de n individus, on mesure y i, x i,1,..., x i,p 1 pour i = 1... n. Observations Y X 1... X p 1 1 y 1 x 1,1... x 1,p 1 2 y 2 x 2,1... x 2,p n y n x n,1... x n,p 1 Remarque : Les variables x i,j sont fixes tandis que les variables y i sont aléatoires.

7 But : Introduction Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R Estimer les paramètres β 0,..., β p 1 du modèle de régression et ce de manière optimale. Méthode : La méthode des moindres carrés. Cette méthode revient à minimiser la quantité suivante : n i=1 ( y i ( ˆβ 0 + ˆβ 1 x i,1 + + ˆβ p 1 x i,p 1 )) 2.

8 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R Le système peut se réécrire : y 1 1 x 1,1 x 1,p 1. =.... y n 1 x n,1 x n,p 1 y = X β + ε Vecteur des résidus : ε = y ŷ = y X ˆβ. β 0. β p 1 + Remarque : Les variables y et X sont mesurées tandis que l estimateur ˆβ est à déterminer. La méthode des moindres carrés consiste à trouver le vecteur ˆβ qui minimise ε 2 = t εε. ε 1. ε n

9 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R ε 2 = t( y X^β )( y X^β ) = t yy t ˆβ t Xy t yx ˆβ + t ˆβ t XX ˆβ = t yy 2 t ˆβ t Xy + t ˆβ t XX ˆβ car t ˆβ t Xy est un scalaire. Donc il est égal à sa transposée. La dérivée par rapport à ˆβ est alors égale à : 2 t Xy + 2 t XX ˆβ.

10 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R Problème : On cherche ˆβ qui annule cette dérivée. Donc on doit résoudre l équation suivante : t XX ˆβ = t Xy. Solution : On trouve après avoir inversé la matrice t XX (il faut naturellement vérifier que t XX est carrée et inversible c est-à-dire qu aucune des colonnes qui compose cette matrice ne soit proportionnelle aux autres colonnes) ˆβ = ( t XX) 1t Xy.

11 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R Retrouvons les résultats de la régression linéaire simple (p = 2) Donc : t XX = ( n xi xi x 2 i ( t XX) 1 = = ) ; ( 1 x n xi 2 ( 2 i x i ) 2 x i ( 1 x 2 i /n x (xi x) 2 x 1 ( ) t yi Xy =. xi y i ) x i n ).

12 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R Finalement on retrouve bien : ȳ xi 2 x x i y ( ) i ˆβ ˆβ = 0 (xi x) 2 = ˆβ 1 xi y i n xȳ (xi x) 2 ce qui correspond aux estimateurs de la régression linéaire simple que nous avons déjà rencontrés dans le cours 1.

13 Méthode Version matricielle Les calculs Cas p = 2 Exemple avec le logiciel R > a <- lm(max03 T12 + VX) > summary(a) Call : lm(formula = max03 T12 + VX) Residuals : Min 1Q Median 3Q Max Coefficients : Estimate Std. Error t value Pr(> t ) (Intercept) T VX Residual standard error : on 7 degrees of freedom Multiple R-Squared : , Adjusted R-squared : F-statistic : on 2 and 7 DF, p-value :

14 Résultats préliminaires : à la Pythagore Coefficient de détermination ŷi 2 = ŷ i y i ou (forme matricielle) t ŷŷ = t yŷ ŷ i = y i Propriété des moindres carrés : (yi ȳ) 2 = (ŷ i ȳ) 2 + (y i ŷ i ) 2 SC tot = SC reg + SC res

15 à la Pythagore Coefficient de détermination

16 à la Pythagore Coefficient de détermination Le coefficient de détermination est défini par : R 2 = SC reg SC tot. Intuitivement ce coefficient de détermination quantifie la capacité du modèle à expliquer les variations de Y. Si R 2 est proche de 1 alors le modèle est proche de la réalité. Si R 2 est proche de 0 alors le modèle explique très mal la réalité. Il faut alors trouver un meilleur modèle.

17 Estimation de σ 2 d hypothèses On fait les hypothèses suivantes : y = Xβ + ε où le vecteur aléatoire ε suit une loi multinormale qui vérifie les hypothèses suivantes : E[ε] = 0 Var[ε] = σ 2 I n, où σ 2 est la variance de la population et I n est la matrice identité de taille n.

18 Estimation de σ 2 d hypothèses Ceci implique que : E[y] = Xβ Var[y] = σ 2 I n. On peut alors démontrer, sous ces hypothèses : E[ ˆβ] = β. Ce qui signifie que ˆβ est un estimateur sans biais Var[ ˆβ] = σ 2 ( t XX) 1. Il reste un problème : Estimer la variance σ 2 qui est a priori une quantité inconnue.

19 Estimation de σ 2 d hypothèses Un estimateur sans biais de la variance σ 2 est défini par : s 2 = (yi ŷ i ) 2 n p = SC res n p = SC tot SC reg, n p où n est le nombre d individus/d observations, p est le nombre de variables explicatives. On appelle la quantité (n p) le nombre de degrés de liberté.

20 Estimation de σ 2 d hypothèses But : Tester l hypothèse nulle H 0 : β j = b j pour j = 0,..., p 1 contre l hypothèse alternative H 1 : β j b j pour j = 0,..., p 1.

21 Estimation de σ 2 d hypothèses Méthode : Calculer la statistique t obs = ˆβ j b j s( ˆβ j ) où s 2 ( ˆβ j ) est l élément diagonal d indice j de s 2 ( t XX) 1. Si l hypothèse nulle H 0 est vraie, alors t obs suit une loi de Student avec (n p) degrés de liberté.

22 Estimation de σ 2 d hypothèses Valeur critique : t (α/2,n p) le (1 α/2)-quantile d une loi de Student avec (n p) degrés de liberté (cf table de la loi de Student). On rejette l hypothèse nulle H 0 si t obs t (α/2,n p). Cas particulier : Tester si «β j = 0» pour un certain j. Si l hypothèse nulle H 0 : «β j = 0» est acceptable alors la variable X j n est pas significative au sein du modèle. On peut simplifier le modèle,...et recommencer!