Probabilités et Statistiques

Transcription

1 Probabilités et Statistiques Année 2010/2011

2 Cours n 13 Régression Influence des prédicteurs

3 Rappel modèle linéaire Y vecteur des réponses X matrice du plan d expériences vecteur des paramètres vecteurs des écarts au modèle : " " Y = X + 1,..., n indépendants et de même loi N(0, ) Ecriture développée : " " pour toute «expérience» n i "" y i = x 1,i + + p x p,i + i

4 Estimation de β β est estimé par moindres carrés : " L estimateur ˆ β vérifie : (Y-Xβ) (Y-Xβ) minimum On montre que c est équivalent à X (Y-Xβ) = 0 D où soit (X X) β = X Y ˆ β = (X' X) 1 X'Y σ est estimé selon : ˆ σ 2 = 1 (n p 1) n i=1 2 ˆ ε i

5 Propriétés de β ˆ E( ˆ β ) = β : l estimateur est sans biais. cov( ˆ β ) = σ 2 (X' X) 1 M = (X' X) 1 En d autres termes, si Var( ˆ β j ) = σ 2 M j, j Cov( ˆ β j, ˆ β k ) = σ 2 M j,k ˆ β j Les sont tous de loi normale N(β j, σ 2 M j,j )

6 Influent ou non influent? y i = β 0 + β 1 x i + e i avec e 1,, e 4 i.i.d N(0, ) vraie droite simulation 1 Imaginer un pèsepersonne avec une erreur de mesure de 50 kg! simulation 2 vraie droite droite estimée ˆ β 1 (ω) < 0 droite estimée ˆ β 1 (ω') > 0!! Ici, l erreur d estimation sur β 1 vaut β 1! (=0.2)

7 Influent ou non influent (suite) Le même ex., mais en planifiant mieux les expériences simulation 1 simulation 2 Ici, l erreur d estimation sur la pente vaut 0.054

8 Question Vous pouvez réaliser 4 expériences pour estimer un phénomène linéaire sur [a,b] impliquant 1 prédicteur Comment répartir les expériences dans le domaine expérimental [a,b] de façon à ce que l estimation soit la plus précise possible?

9 Influent ou non influent (suite) Le même exemple, planification optimale simulation 1 simulation 2 L erreur d estimation sur la pente vaut ici 0.04

10 Conclusion temporaire Prendre en compte l erreur d estimation d un paramètre pour savoir s il est important ou pas Décision en milieu incertain : test statistique La difficulté à décider peut venir d une mauvaise planification des expériences

11 Formalisation Considérons le modèle linéaire " " Y = Xβ+ε soit : y i = β 0 +β 1 x 1,i + + β p x p,i + ε i avec ε 1,, ε n i.i.d N(0,σ 2 ) Le prédicteur x j est influent si β j 0 Test statistique opposant les hypothèses {β j = 0} et {β j 0}

12 Construction du test statistique 1ère étape : hypothèse H 0 On veut que les données nous montrent qu un prédicteur est influent. Quelle est l hypothèse H 0? { } H = β = 0 0 j Raison inavouable : pouvoir faire les calculs

13 Construction du test (suite) 2ème étape : loi de ˆ β j sous H 0? ˆ β j Mais sous H 0 : β j = 0 ˆ De façon générale, est de loi N(β i, σ 2 M i,i ) donc sous H 0 est de loi N(0, σ 2 M i,i ) et σ ˆ β j M j, j est de loi N(0,1) On remplace σ par son estimation : T = ˆ β j σ ˆ M j, j β j est de loi de Student t n-p-1

14 Construction du test (suite) 3ème étape : détermination d un seuil Notation : Remarques : T obs = ˆ β j,obs σ ˆ obs M j, j T est appelé t-ratio (à cause de la loi de Student, notée t) En pratique, pour n-(p+1) 20, on approche t n-(p+1) par N (0,1) Au niveau 5%, on rejette H 0 n-(p+1) 20 : si T obs dépasse 1.96 en valeur absolue n-(p+1)<20 : utiliser les tables de la loi de Student Mieux (dans tous les cas) : utiliser la p-valeur

15 Interprétation densité de la loi t 17 5%

16 Idem avec p-valeur densité de la loi t 17 P( t 17 >t_obs) 15% t_obs=1.5

17 Test de signification : pratique En pratique, les logiciels donnent le tableau suivant : prédicteur x j estimation ˆ β j,obs erreur d'estimation ˆ σ j,obs T obs = t ratio p valeur ˆ β j,obs P σ ˆ H 0 (T > T obs ) j,obs

18 Retour sur les simulations y i = β 0 + β 1 x i + e i avec e 1,, e 4 i.i.d N(0, )

19 Call: La t-valeur est > 1.96 en valeur absolue, lm(formula = ysim ~ experiences) Pourtant on ne rejette pas H 0 Cela est dû au fait qu on ne peut pas utiliser Residuals: l approximation normale (ici n-2=2 << 20) La p-valeur est calculée à partir de la loi de Student Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) ** experiences Signif. codes: 0 *** ** 0.01 * Moralité : la pente de la droite est négative, Residual standard error: Mais l erreur on 2 degrees d estimation of freedom est trop importante Multiple R-Squared: , Et Adjusted le paramètre R-squared: est statistiquement non F-statistic: on 1 and 2 DF, significatif p-value: au niveau 5% rassurant!

20 Simulations (suite) y i = β 0 + β 1 x i + e i avec e 1,, e 4 i.i.d N(0, )

21 Call: lm(formula = ysim ~ experiences) Moralité : la pente de la droite est négative, Residuals: Cette fois l erreur d estimation est assez faible Et le paramètre est statistiquement significatif au niveau 5% (mais pas 1%) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) *** experiences * --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 2 degrees of freedom Multiple R-Squared: , Adjusted R-squared: Remarque F-statistic: : la pente 57.6 réelle on 1 and (inconnue) 2 DF, p-value: est

22 Données de pollution Rappel : on veut prévoir la teneur en NO 3 par celle en S0 4

23 Régression avec R Le fichier de données : (format.txt) lm : linear model NO3 SO4 0,45 0,78 0,09 0,25 1,44 2,39 > pollution <- read.table("pollution.txt", header=true, dec=",", sep="\t") > modele_degre_1 <- lm(log(no3)~log(so4), data=pollution) > summary(modele_degre_1) > modele_degre_2 <- lm(log(no3)~log(so4)+i(log(so4)^2), data=pollution) > summary(modele_degre_2)

24 Sorties à commenter Call: lm(formula = log(no3) ~ log(so4), Comme data n-p-1>20, = pollution) on peut aussi se baser sur le fait que t-ratio > 2 Residuals: ou Min 1Q Median 3Q que Max l erreur d estimation est < la moitié de l estimation Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** log(so4) <2e-16 *** --- Signif. codes: 0 *** ** 0.01 * 0.05 p-valeur. 0.1 < paramètres significatifs au niveau 5% Residual standard error: (on on est 165 même degrees très large of : p=2e-16!) freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 165 DF, p-value: < 2.2e-16

25 Call: lm(formula = log(no3) ~ log(so4) Comme + I(log(SO4)^2), n-p-1>20, on peut data aussi = pollution) se baser sur le fait que t-ratio < 2 Residuals: ou Min 1Q Median 3Q Max que l erreur d estimation est > la moitié de l estimation Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** log(so4) <2e-16 *** I(log(SO4)^2) Signif. codes: 0 *** ** 0.01 * Residual standard error: on 164 degrees p-valeur of > freedom 0.05 Multiple R-Squared: , paramètre Adjusted R-squared: non significatif au niveau 5% F-statistic: on 2 and 164 DF, p-value: < 2.2e-16

26 Exercice planification d expériences Exemple précédent (n expériences et un facteur) Vérifier que l on a X' X = n 1 x x x 2 puis X' X puis ( ) 1 = 1 n En déduire que pour minimiser l erreur d estimation de la pente, il faut que la variance empirique des x i soit la plus grande possible Pour n=4, et considérons le domaine expérimental [-1,1]. Montrer que le maximum est atteint lorsque la moitié des points est placée sur le bord gauche (en x = -1), et l autre moitié sur le bord droit (x = 1) 1 x 2 x 2 var( ˆ β ) 1 = cov( ˆ β 1, β ˆ 1 ) = ( σ 2 (X' X) 1 ) 11 = σ 2 n 2 x x x 1 1 x 2 x 2