Travaux dirigés - Régression linéaire simple: corrigé partiel Julien Chiquet et Guillem Rigaill 1er octobre 2015

Transcription

1 Travaux dirigés - Régression linéaire simple: corrigé partiel Julien Chiquet et Guillem Rigaill 1er octobre 2015 Quelques révisions de R 1. Manipulation de vecteur. On rappelle que e x = k 0 Créer dans un vecteur exp2 les 20 premiers termes de cette suite. Supprimer toutes les valeurs inférieures à En déduire une approximation de e 2 et comparer avec la valeur exp(2). k <- 0:19 x <- 2^k/factorial(k) qplot(k,cumsum(x), geom="line") x k k!. 6 cumsum(x) k exp2.hat <- sum(x[x > 1e-8]) 2. Simuler des données. Simuler avec la fonction rnorm (l aide est accessible avec la commande?rnorm) un vecteur X de taille 100 issu d une loi normale de moyenne 2 et variance 1. Simuler un autre vecteur Y de taille 100 obtenu en multipliant X par 9.8 et en rajoutant un bruit Gausssien d écart-type 10. 1

2 n <- 100 X <- rnorm(n,mean=2,sd=1) Y <- 9.8 * X + rnorm(n,sd=10) qplot(x,y) Y X 3. Lire et écrire un fichier de données. Mettre le vecteur X et Y dans un data.frame. Sauvegardez le data.frame avec la commande write.table. Le relire avec la commande read.table. Comparer le tableau obtenu après relecture avec le tableau initial. donnees <- data.frame(x=x,y=y) write.table(donnees, file="my_file.csv") mes.donnees <- read.table(file="my_file.csv") head(mes.donnees) X Y Le contenu des deux tableaux correspond, mais le nom de la variable dans laquelle est stockée le tableau n est pas conservé par la commande write.table. 4. Lire et écrire un fichier de données au format RData. Mettre le vecteur X et Y dans un data.frame. Sauvegardez le data.frame avec la commande save. Le relire avec la commande load. Comparer le tableau obtenu après relecture avec le tableau initial. 2

3 save(donnees, file="my_file.csv") load(file="my_file.csv") Avec la commande save, c est la variable donnees et son contenu qui sont sauvegardés (au format binaire, i.e., compressé). 5. Nuage de points. Tracer le nuage de point de Y en fonction de X, d abord avec la commande plot puis à l aide de la librairie ggplot2. plot(donnees$x,donnees$y) donnees$y donnees$x ggplot(donnees, aes(x=x,y=y)) + geom_point() ou qplot(donnees$x,donnees$y) 3

4 40 20 Y X 6. Histogramme. Tracer l histogramme de X. hist(donnees$x) Histogram of donnees$x Frequency donnees$x 4

5 ggplot(donnees, aes(x=x)) + geom_histogram(binwidth=.5) count X 7. Boucle For. Une variable aléatoire suit une loi du χ 2. On ne connait pas son nombre de degré de liberté. On souhaite estimer ce degré à partir de la moyenne empirique de n realisations de cette variable aléatoire. Utiliser R pour évaluer la qualité de cette estimation pour n = 3 et n = 100. Vous utiliserez une boucle for. 8. Boucle for (plus rapide, plus élégant, plus dans l esprit). Même question en utilisant la fonction sapply. je n'arrive pas à utiliser de boucles for sous R n < true.df <- 10 x <- rchisq(n,true.df) qplot(1:n,cumsum(x)/1:n) 5

6 10 cumsum(x)/1:n :n Régression linéaire simple: Brochet et DDT Le DDT (dichlorodiphényltrichloroéthane) est un insecticide relativement puissant. Il est toxique et n est pas dégradé de manière naturelle. Il s accumule dans certains tissus tels que le foie et les tissus adipeux. On étudie ici l accumulation du DDT chez les brochets. 1. Préliminaires a) Importer les données Brochet.txt. brochets <- read.table(file="brochet.txt", row.names=1, header=true) b) Calculer la moyenne, la médiane, la variance de l age des brochets et du taux de DDT. summary(brochets) Age TxDDT Min. :2 Min. : st Qu.:3 1st Qu.:0.265 Median :4 Median :0.330 Mean :4 Mean : rd Qu.:5 3rd Qu.:0.590 Max. :6 Max. :1.100 c) Tracer l histogramme de l âge et du taux de DDT. 6

7 qplot(brochets$txddt, geom="histogram", binwidth=.1) 4 3 count brochets$txddt qplot(brochets$age, geom="histogram") 7

8 3 2 count 1 0 brochets$age Les effectifs par classes d âge sont identiques. d) Tracer, sous la forme d un nuage de point, le graphe du taux de DTT en fonction de l âge des brochets. ggplot(brochets, aes(age, TxDDT)) + geom_point() 8

9 0.9 TxDDT Age Ces graphiques indique qu il semble exister un lien fort entre âge et taux de DDT. Il permettent d émettre des hypothèses quant à la relation qui existe entre les deux mais en aucun cas de conclure ni sur la significativité ni sur la nature de la relation. Ces hypothèses doivent être statistiquement testées. e) Tracer, sous la forme de box-plot, le graphe du taux de DTT en fonction de l âge des brochets. Que constate-t-on? ggplot(brochets, aes(factor(age), TxDDT)) + geom_boxplot() 9

10 0.9 TxDDT factor(age) Ce graphe confirme l existence d une relation mais indique surtout que la variance n est pas homogène par classe d âge, ce que l on confirme dans la question suivante. f) Calculer la variance du Taux de DDT par classe d âge. with(brochets, tapply(txddt, Age, var)) Un premier modèle a) Écrire un modèle de regression linéaire permettant d expliquer le taux de DDT en fonction de l âge. Soit (X i, Y i ) le couple (Age,TxDDT) du i e individu. On pose Y i = β 0 + X i β 1 + ε i b) Utiliser R pour estimer les paramètres de ce modèle. Vous appliquerez tout d abord les formules du cours, puis vous utiliserez la fonction lm. Donner l ordonnée à l origine, la pente et la variance résiduelle. ajustement "à la main" des paramètres n <- nrow(brochets) beta1 <- with(brochets, cov(age,txddt)/var(age)) beta0 <- with(brochets, mean(txddt) - mean(age) * beta1) sigma.hat <- sqrt(with(brochets, sum((txddt - beta0 - beta1*age)^2))/(n-2)) cat("\nbeta0, beta1, sigma.hat: ", c(beta0,beta1,sigma.hat)) 10

11 beta0, beta1, sigma.hat: ajustement à l'aide de la fonction lm de R M1 <- lm(txddt~age,brochets) cat("\nbeta0, beta1, sigma.hat: ", c(coefficients(m1), sqrt(sum(residuals(m1)^2)/(n-2)))) beta0, beta1, sigma.hat: c) Tester les paramètres du modèles. Faites une analyse de la variance. Calculer à la main la valeur de la statistique de Fisher ainsi que la valeur du coefficient d ajustement. On calcule la statistique de teste de Fisher SCR <- sum(residuals(m1)^2) SCM <- with(brochets, sum((fitted(m1) - mean(txddt))^2)) SCT <- with(brochets, sum((txddt - mean(txddt))^2)) f <- (SCM/1) / (SCR/(n-2)) r2 <- SCM/SCT on retrouve bien la valeur de la stat dans la table d'analyse de la variance anova(m1) Analysis of Variance Table Response: TxDDT Df Sum Sq Mean Sq F value Pr(>F) Age e-05 *** Residuals Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 L information renvoyée par la commande summary est encore plsu riche : noter les test de Student réalisé sur chaque coefficient, avec la valeur de l estimateur, de son écart-type et de la statistique t accompagnée de la p valeur. Cette analyse conclut à un effet très significatif de la pente, un peut moin d un décrochement à l origine normal pour un taux qui doit être proche de zéro pour un brochet à la naissance). On note également le coefficient d ajustement, qui indique que le modèle explique 75% de la variabilité totale. summary(m1) Call: lm(formula = TxDDT ~ Age, data = brochets) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept)

12 Age e-05 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 13 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 13 DF, p-value: 2.165e-05 d) Tracer la droite de regression. Ajouter les intervalles de confiance de prédictions. Vous les calculerez d abord à l aide des formules du cours puis en vous aidant de la commande predict. ggplot inclut l intervalle de confiance sur les valeurs prédites, pas l intervalle de prédiction qu on rajoute a posteriori. inter.pred <- data.frame(predict(m1,interval="prediction")[, -1]) Warning in predict.lm(m1, interval = "prediction"): predictions on current data refer to _future_ res ggplot(cbind(brochets, inter.pred), aes(age, TxDDT)) + geom_point() + stat_smooth(method="lm", formula=y~x) + geom_errorbar(aes(x=age, ymin=lwr, ymax=upr), colour="red") TxDDT Age à la main, on retrouve bien la même chose Y.hat <- beta0 + beta1*brochets$age alpha < T <- with(brochets, (Age-mean(Age))^2/sum((Age-mean(Age))^2)) 12

13 lower <- Y.hat - qt(1-alpha/2, df=n-2) * sigma.hat * sqrt(1 + 1/n + T) upper <- Y.hat + qt(1-alpha/2, df=n-2) * sigma.hat * sqrt(1 + 1/n + T) e) Faites un graphes des résidus pour évaluer la pertinence de votre modèle et effectuer les diagnostics d usage. Vous pourrez également utiliser la commande plot de R appliqué à l objet issu de la fonction lm. qplot(brochets$age, residuals(m1)) residuals(m1) brochets$age shapiro.test(residuals(m1)) Shapiro-Wilk normality test data: residuals(m1) W = , p-value = Aïe, aïe aïe: grosse tendance quadratique dans les résidus. Les tests de normalités sont en revanche concluant autour de la valeur prédites. 3. Modèle quadratique a) Écrire un nouveau modèle de regression linéaire permettant d expliquer le taux de DDT en fonction de l âge au carré. 13

14 Soit (X i, Y i ) le couple (Age,TxDDT) du i e individu. On pose Y i = β 0 + X 2 i β 1 + ε i b) Utiliser R pour estimer les paramètres de ce modèle. M2 <- lm(txddt~i(age^2), brochets) c) Tester les paramètres du modèles. Faites une analyse de la variance. summary(m2) Call: lm(formula = TxDDT ~ I(Age^2), data = brochets) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) I(Age^2) e-06 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 13 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 13 DF, p-value: 1.532e-06 d) Tracer la droite de regression. On pourra utiliser la fonction geom_smooth de ggplot ggplot(brochets, aes(age, TxDDT)) + geom_point() + stat_smooth(method="lm", formula=y~i(x^2)) 14

15 0.9 TxDDT Age e) Effectuer le diagnostic du modèle Aïe: toujours pas ça... qplot(brochets$age, residuals(m2)) 15

16 residuals(m2) brochets$age 4. Modèle transformation logarithmique a) Écrire un nouveau modèle de regression linéaire permettant d expliquer le log du taux de DDT en fonction de l âge. Soit (X i, Y i ) le couple (Age,TxDDT) du i e individu. On pose log(y ) i = β 0 + X i β 1 + ε i b) Tracer, sous la forme de box-plot, le graphe du log du taux de DTT en fonction de l âge des brochets. Que constate-t-on? ggplot(brochets, aes(factor(age), log(txddt))) + geom_boxplot() 16

17 0.0 log(txddt) factor(age) La tendance semble maintenant globalement linéaire entre le logarithme du taux de DDT et l âge des brochets. De plus, la variance est plus homogène. c) Calculer la variance du log de Taux de DDT par classe d âge. with(brochets, tapply(log(txddt), factor(age), var)) d) Utiliser R pour estimer les paramètres de ce modèle. M3 <- lm(log(txddt)~age,brochets) e) Tester les paramètres du modèles. Faites une analyse de la variance. summary(m3) Call: lm(formula = log(txddt) ~ Age, data = brochets) Residuals: Min 1Q Median 3Q Max

18 Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-09 *** Age e-07 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 13 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 13 DF, p-value: 5.092e-07 La transformation en log induit une forte significativité de l intercept... (on a log transformé les données, la droite n est plus sensée physiquement passer par l origine). f) Tracer la droite de regression. On pourra utiliser la fonction geom_smooth de ggplot. ggplot(brochets, aes(age, log(txddt))) + geom_point() + stat_smooth(method="lm", formula=y~x) log(txddt) Age g) Effectuer le diagnostic du modèle qplot(brochets$age, residuals(m3)) 18

19 0.2 residuals(m3) brochets$age C est mieux du côté des résidus mais on peut faire encore plus performant avec un modèle de régression multiple. 5. Vers la régression multiple a) Écrire un modèle de regression linéaire permettant d expliquer le log du taux de DDT en fonction de l âge et l âge au carré. Soit (X i, Y i ) le couple (Age,TxDDT) du i e individu. On pose log(y ) i = β 0 + X i β 1 + X 2 i β 2 + ε i b) Utiliser R pour estimer les paramètres de ce modèle. M4 <- lm(log(txddt)~age + I(Age^2), brochets) c) Tester les paramètres du modèles. Faites une analyse de la variance pour comparer les 3 modèles M0, M1, M2 (intercept, + âge, + le carré de l âge). summary(m4) Call: lm(formula = log(txddt) ~ Age + I(Age^2), data = brochets) 19

20 Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) ** Age I(Age^2) * --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 12 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 12 DF, p-value: 5.553e-07 anova(m3, M4) Analysis of Variance Table Model 1: log(txddt) ~ Age Model 2: log(txddt) ~ Age + I(Age^2) Res.Df RSS Df Sum of Sq F Pr(>F) * --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Le R 2 est meilleur que précédemment (90% de variabilité expliqué), même si le coefficient sur l âge n est pas très significatif. Vous constatrez par ailleurs que l anova entre les modèle M3 et M4 correspond au test de Student du dernier paramètre du modèle. Le test de Fisher dans la commande summary correspond à l anova entre le modèle avec simple un intercept et le modèle avec âge et âge au carré, comme montré ci-dessous. anova(lm(log(txddt)~1, brochets), M4) Analysis of Variance Table Model 1: log(txddt) ~ 1 Model 2: log(txddt) ~ Age + I(Age^2) Res.Df RSS Df Sum of Sq F Pr(>F) e-07 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 d) Tracer la courbe de regression. ggplot(brochets, aes(age, log(txddt))) + geom_point() + stat_smooth(method="lm", formula=y~x + I(x^2)) 20

21 0.0 log(txddt) Age e) Validation des hypothèses. Utiliser R pour évaluer la pertinence du modèle. Qu en pensez-vous? C est beaucoup mieux pour les résidus! Plus de tendance particulière. qplot(brochets$age, residuals(m4)) 21

22 0.2 residuals(m4) brochets$age Les tests de normalité et d indépendance sont tout à fait concluant: ok pour la normalité shapiro.test(residuals(m4)) Shapiro-Wilk normality test data: residuals(m4) W = , p-value = qqnorm(residuals(m4)) qqline(residuals(m4)) 22

23 Normal Q Q Plot Sample Quantiles Theoretical Quantiles ok pour independence library(car) durbinwatsontest(m4) lag Autocorrelation D-W Statistic p-value Alternative hypothesis: rho!= 0 23