TD1: Statistiques descriptives

Transcription

1 TD1: Statistiques descriptives Probabilités et Statistiques pour l Ingénieur M1 Info Etienne Birmelé, Vittorio Perduca Description statistique d un jeu de données Question 1. Charger le jeu de données CO2 à l aide de la commande data(co2). Montrer les premières observations à l aide de head(co2). Lire la description des données présente dans help(co2). Question 2. Décrire la variable uptake pour les plantes du Québec, indépendamment du traitement subi : moyenne, variance ; médiane, quartiles, valeurs extrêmes. Indication : utiliser les fonctions mean,var,median,quantile. Quelle conclusion tirer concernant la symétrie de cette variable? Question 3. Reprendre la question précédente à l aide de summary et tracer la boîte à moustache à l aide de boxplot. Question 4. Tracer sur un même graphique les boîtes à moustaches : du Québec et du Mississipi ; des plantes ayant subi le gel ou non ; des quatre possibilités issues du croisements des informations précedentes. Quelle conclusion en tirer sur la résistance au gel des plantes? Question 5. On se pose la question de la corrélation entre concentration en CO2 de l air ambiant et absorption par la plante. Calculer le coefficient de corrélation de ces deux variables sur l ensemble du jeu de données à l aide de la fonction cor. Commenter. Tracer le nuage de points de l absorption en fonction de la concentration ambiante à l aide de plot. Qu observe-t-on? Séparer l échantillon en deux parties suivant l observation précédente et calculer les nouveaux coefficients de corrélation associés. Interpréter. 2 Corrélation n est pas causalité Il existe de nombreuses situations où, malgré un coefficient de corrélation élevé entre 2 variables quantitatives, on ne peut pas établir de relation de cause à effet entre elles. L exemple suivant 1

2 Années Nombre de licenses en France Production de bière en Belgique (en milliers) (en million d hectolitres) illustre ces propos 1. On a relevé la production de bière alsacienne et le nombre de licences sportives des fédérations françaises entre 1960 et Question 6. Calculer la corrélation entre les variables Licences et Bières. Peut-on en déduire que la pratique du sport conduit à boire de la bière? Et que boire de la bière conduit à faire du sport? 3 Que peut-on conclure des statistiques descriptives? On cherche à comparer les survies de rats en fonction de leur alimentation. Pour cela, on considére quatre modes d alimentation M0 (normal), M1, M2 et M3, et on suppose qu on connaît les taux de mortalité à deux ans suivant le mode d alimentation : les rats en mode M0 ou M1 meurent avec une probabilité de 30%, les rats en mode M2 avec probabilité 35% et ceux en mode M3 avec probabilité 45%. Question 7. Générer des échantillons de taille 10 suivant chacun des modes. Pour cela, pour chaque mode, on tirera 10 observations suivant une loi de Bernoulli de paramètre égale au taux de mortalité à l aide de la fonction rbinom avec paramètre size=1. Question 8. Comparer les résultats, en incluant la variance des échantillons dans les critères de comparaison. Que peut-on conclure? Recommencez l opération plusieurs fois. Question 9. Reprendre l expérience avec des échantillons de taille 50. Question 10. Reprendre l expérience avec des échantillons de taille Cet exercice est tiré du livre Statistique Vraiment appliquée au sport. Cours et Exercices., S. Champely (2003). 2

3 Correction Correction (Q1). Chargement et exploration initiale des données : > data(co2) > head(co2) Plant Type Treatment conc uptake 1 Qn1 Quebec nonchilled Qn1 Quebec nonchilled Qn1 Quebec nonchilled Qn1 Quebec nonchilled Qn1 Quebec nonchilled Qn1 Quebec nonchilled Description des variables : > help(co2) Correction (Q2). Deux façon d accèder à uptake : CO2$Uptake ou > attach(co2) > uptake Statistiques de tendance et dispersion de la variable uptake pour les plantes du Québec : > mean(uptake[type == 'Quebec']) [1] > var(uptake[type == 'Quebec']) [1] > median(uptake[type == 'Quebec']) [1] > uptake_queb <- uptake[type == 'Quebec'] > q <- quantile(uptake_queb); q 0% 25% 50% 75% 100% Premier et troisième quartiles, écart interquartile : > q1 <-q[2]; q1 25% > q3 <- q[4]; q3 3

4 75% > as.numeric(q3-q1) [1] Pas de points extrêmes supérieurs, quatre points extrêmes inférieurs : > uptake_queb[uptake_queb > q *(q3-q1)] numeric(0) > uptake_queb[uptake_queb < q1-1.5*(q3-q1)] [1] > min(uptake_queb) [1] 9.3 > max(uptake_queb) [1] 45.5 On peut conclure que la distribution de uptake pour les plantes du Québec n est pas très symétrique, avec quatre valeurs etrêmes inférieurs. Correction (Q3). summary() donne les quartiles, le min et le max : > summary(uptake_queb) Min. 1st Qu. Median Mean 3rd Qu. Max Boxplot : > boxplot(uptake_queb,main='upatke distribution, Quebec plants') 4

5 upatke distribution, Quebec plants Correction (Q4). Distributions au Québec et Mississippi : > boxplot(uptake~type, main='uptake distributions by type') 5

6 uptake distributions by type Quebec Mississippi Distributions selon traitement : > boxplot(uptake~treatment, main='uptake distributions by treatment') 6

7 uptake distributions by treatment nonchilled chilled Distributions pour les quatre combinaisons : > boxplot(uptake~treatment+type, main='uptake distributions by treatment') 7

8 uptake distributions by treatment nonchilled.quebec nonchilled.mississippi Il semble que les plantes du Québec absorbent plus CO2 que les plantes du Mississippi. Dans chaque catégorie, les plantes qui n ont pas été gelées ont une meilleur absorption de CO2. Cependant on ne peut pas tirer de véritables conclusions sans faire de tests. Correction (Q5). Faible corrélation linéaire, nuage de points n est pas homogènes (présence de sous-groupes?) : > cor(conc,uptake) [1] > plot(conc,uptake) > plot(conc,uptake,col=type) Forte corrélation linéaire pour les plantes du Québec : > cor(conc[type=='quebec'],uptake[type=='quebec']) [1]

9 > cor(conc[type=='mississippi'],uptake[type=='mississippi']) [1] Correction (Q6). On remarque une très forte corrélation. Bien evidemment, il ne paraît pas raisonnable de croire que ces deux variables soient en lien de causalité. > l<-c(1640,2220,3240,4620,6300,8340,8980,9210) > b<-c(3.3,4.1,5.6,8.0,9.6,10.2,11.3,11.2) > plot(l,b,xlab='nb licenses',ylab='production bière') > cor(l,b) [1] Correction (Q7 et suivantes). Simulations des données : > m0 <- rbinom(n=10,size=1,prob=0.3); m0 #size=1 si on veut simuler des Bernoulli [1] > m1 <- rbinom(10,1,0.3); m1 [1] > m2 <- rbinom(10,1,0.35); m2 [1] > m3 <- rbinom(10,1,0.45); m3 [1] Moyennes et variances : > mean(m0); var(m0) [1] 0.5 [1] > mean(m1); var(m1) [1] 0.3 [1] > mean(m2); var(m2) [1] 0.5 9

10 [1] > mean(m3); var(m3) [1] 0.5 [1] Les moyennes empiriques calculées à partir des échantillons ne sont pas les moyennes théoriques utilisées pour générer les données! Si on répète l expérience, on obtient chaque fois des résultats différents. Par exemple pour M2, on répète 5 fois l expérience et on stocke les résultats : > res=data.frame(moyenne = rep(na,5), variance = rep(na,5)) > for(i in 1:5){ + m2 <- rbinom(10,1,0.35) + res$moyenne[i] <- mean(m2) + res$variance[i] <- var(m2) + } Les échantillons considérés (taille = 10) sont trop petits. Si on prends taille=200, les moyennes et variances observées sont proches des valeurs théoriques : > m0 <- rbinom(200,1,0.3); mean(m0); var(m0) #size=1 si on veut simuler des Bernoulli [1] 0.3 [1] > m1 <- rbinom(200,1,0.3); mean(m1); var(m1) [1] [1] > m2 <- rbinom(200,1,0.35); mean(m2); var(m2) [1] 0.37 [1] > m3 <- rbinom(200,1,0.45); mean(m3); var(m3) [1] [1] Leçon à retenir : il ne faut pas tirer des conclusions définitives à partir des statistiques descriptives car celles-ci sont sont très sensibles à la taille de l échantillon (plus la taille est petite, plus les statistiques descriptives sont variables). 10