La statistique bidimensionnelle

Transcription

1 La statistiue bidimensionnelle I) Introduction On s intéresse au rarochement ossible entre variables statistiues observées sur une même oulation, 3 cas sont ossibles soit : variables uantitatives variables ualitatives Variable uantitative/variable ualitative dans le cadre su cours les variables sont de même nature. On cherche our ces variables une étude simultanée de celles-ci à traduire au moyen de table grahiue et/ou de méthode numériue, la liaison ouvant exister entre ces variables. II) Rerésentation grahiue 1) Deux variables uantitatives juxtaosition d histogramme et/ou de diagramme en bâtons. Nuage de oints Si (x i ; y i ) n ou (y i ; x i )..n Si (x i ) n et (y i )..n sont resectivement les observations de variables x et y. ) Deux variables ualitatives Juxtaosition de diagramme en bâtons. III) La statistiue bidimensionnelle des aramètres. 1) La série double à doubles indices. On considère variables statistiues x et y admettent (res. et ) modalités, classes et/ou valeur observées mesurées sur une même oulation de taille n. Ex1: a) x = oids (x i ) n y = taille (y i ).n b) (x i ; y j ; n ij ) Valeurs observées. Centre de classes 1.1) Tableau croisé (ou tri croisé). Définition: déterminer le tableau croisé associé aux variables x et y, c est déterminer le nombre d unité statistiue n ij réondant simultanément aux

2 modalités classes ou valeurs observées x i et y j de x et y our i {1.} et j {1.} (n ij ) constitue un tableau d effectif croisés. n 11, n 1 n 1 n 1, n.n n i1, n i.n ij..n i n 1, n..n Ex : On considère une variable uantitative discrète x et y (res. 3 et ) valeurs observées soit : x 1 = 0 x = 1 x 3 = y 1 = 0 y = 1 n = 10 v X 1 X X 3 Y 1 Y Construisons le tableau des effectifs croisés associés à ces donnés, c est un tableau de 3 lignes (car X rend 3 valeurs) et colonnes (car Y rend valeurs). s ij.3 est le nombre d unité statistiue our lesuelles on a simultanément observés x i et y j avec..3 et j=1 n 11 associé à X 1 et Y 1 on lit n 11 = 3 n 1 associé à X 1 et Y on lit n 1 = 1 n 1 associé à X et Y 1 on lit n 1 = 1 n associé à X et Y on lit n = 3 n 31 associé à X 3 et Y 1 on lit n 31 = n 3 associé à X 3 et Y on lit n 3 = 0 Le tableau croisé est donc n 11.n n 1.n = 1 3 n 31...n ) Transformation d un tableau croisé On considère le tableau croisé (n ij ) j=1 n i = n i our on ael marge colonne et on note n j la uantité définit ar n ij = n ij our j=1..

3 On définit le tableau des fréuences croisé ar f ij j=1 n ij Avec f ij =. n On définit aussi : Les fréuences marges lignes fi = f ij our. Les fréuences marges colonne f. j = f ij our j=1. On a les relations suivantes n = n i. = n. j = n ij 1 = f i. = f. j = f ij j=1 j=1 j=1 j=1 Définition: on aelle distribution de X liée our Y = Y j les valeurs (n 1j, n j,. n j ar j=1.. Distribution de Y liée our X = X i la suite des valeurs (n i1, n i,.n i ) our. Ex 3 (suite ex ) : On a le tableau croisé Déterminons les effectifs des lignes et des colonnes. n 1. = n 1j = n 11 + n 1 = 4 n. = n j = n 1 + n = 4 n 3. = n 3j = n 31 + n 3 = n. 1 = n i1 = n 11 + n 1 + n 31 = 6 n. = n i = n 1 + n + n 3 = 4 n = n i. = n j = n ij j=1 Y 1 Y n i X X X 3 0 n ij (n 11, n 1, n 31 ) = (3 ; 1 ; ). La distribution de Y liée à X = X 1 est (n 1, n ) = (1 ; 3). Pour les fréuences on a le tableau des fréuences croisées. n ij n ij f ij = = our i = 1,, 3. n 10 j = 1, La distribution de X liée à Y = Y 1 est

4 Les fréuences marginales s écrivent f i. = f ij our 3 j=1 f. j = f ij our De manière générale on à une résentation de la fréuence. Proriété d indéendance des distributions à variables ualitatives. Définition : distribution théoriue On ael distribution théoriue et on note : (V ij ) j=1. n ij n ij La distribution définie ar V ij = our j=1 n Problème a-t-on indéendance des caractères observés. A-t-on donc our cela i {1.} et j {1 }. n i. n. j n ij = V ij = ou de manière éuivalente f ij = n b i f ij? n Une mesure de l indéendance de variables : On a les effectifs observés n ij j=1 On a les effectifs théoriues (Y ij ) j=1. n i. n. j n i. = n ij Y ij = où n. j = n ij n On s intéresse à la différence n ij y ij Si our tout ( i ; j ) n ij Y ij = 0 alors les variables sont indéendantes. Si our tout ( i ; j ) donné on a n ij Y ij 0 alors on dit ue le coule (x i ; y j ) est surrerésenté. Si n ij Y ij 0, alors on dit ue (x i ; y j ) est sous-rerésenté. Déterminons les effectifs théoriues : n i n j Y ij = où i = 1,, 3 n j = 1,. effectif y 1 y x

5 x x n 1. n y 11 = = =.4 n 10 n 1. n. 4 4 y 1 = = = 1.6 n 10 n. n y 1 = = =.4 n 10 n. n. 4 4 y = = = 1.6 n 10 n 3. n. 1 6 y 31 = = = 1. n 10 n 3. n. 4 y 3 = = = 0.8 n 10 Par exemle le coule (1 ; ) tel ue n 1 - y 1 = 1 16 = Donc le coule (x i ; y 1 ) est sous oulation. ) Paramètres associés à variables uantitatives double à double indice. 1) Les données On considère la série (x i, y j, n ij ) associée à variables uantitatives X et Y observée sur une oulation de taille n et ayant resectivement et valeurs observées. ) Les résumés numériues a) Les moyennes et les variances marginales Définition : La moyenne marginale de x est x x = 1/n n i. x i La moyenne marginale de y est y y = 1/n n. j y j

6 Définition : La variance marginale de x est : V (x) = 1/n n i. (x i x) = 1/n n i. x i x La variance marginale de y est : V (y) = 1/n n. j (y j y) = 1/n n. j y j y b) Moyenne et variance conditionnelle Définition : La moyenne conditionnelle de X liée ar Y = y j est : x j = 1/n. j n ij x i La moyenne conditionnelle de Y liée ar X = x i est : y i = 1/n i. n ij y j Définition : La variance conditionnelle de X liée ar Y = y j est : V j (x) = 1/n. j n ij (x i x j ) = 1/n. j n ij x i x j La variance conditionnelle de Y liée ar X = x i est : V i (y) = 1/n i. n ij (y j y i ) V i (y) = 1/n i. n ij y j y i

7 c) Relation entre moyenne marginale et moyenne conditionnelle Proriété : La moyenne arithmétiue ondéré des moyennes conditionnelle de Y (res. de Y) est égale et la moyenne marginale de X (res. de Y) soit : x = 1/n n. j x j (res. y = 1/n n i. y i ) d) Décomosition de la variance marginale Relation entre les variances de X. V (x) = 1/n n. j V j (x) + 1/n n. j ( x j x) Variance résiduelle + variance exliuée Relation entre les variances de Y. V (x) = 1/n n i. V i (Y) + 1/n n i. (y i y) j=1 Y 1 Y n i. x x x 3 0 n. j Calculons les moyennes conditionnelles de X liée ar y = y j our j=1.. On a x 1 moyenne conditionnelle x 1 = 1/n n. 1 x i 3 = 1/6 ( ) = 5/6. x = 1/n n. x i 3 = ¼ ( ) = ¾ = 0.75 La moyenne marginale de x est donc : x = 1/n n j x j

8 = 1/n (n. 1 x 1 n. x ) = 7/10 (6 5/6 + 6 ¾) = 8/10 = 4/5 = 0.8 Calculons les variances conditionnelles de X liée ar y = y j j=1.. On a : 3 V 1 (x) = 1/n 1 n 1 (x i x 1 ) 3 = 1/n 1 n 1 x i x 1 ) = 1/6 (( ) (5/6) = 9/6 35/36 = 9/36. 3 V (x) = 1/n n x i (x ) = ¼ (( ) (3/4) = ¾ - (3/4) = ¾ (1/4) = ¾ - (3/4) = ¾ (1/4) = 3/16. On obtient V (x) = 1/n n. j V j (x) + 1/n n. j (x j x) o=1 (3/4) (0.8) ] = 1/10 (6 9/ /16) + 1/10 [6 (5/6) + 4 = Paramètre de liaison entre caractères uantitatifs. 1) La covariance Définition : La série observée (x i, y i, n ij ) associé aux variances x et y est tel ue la variance de x et y est définit ar définit ar : Cos (x ; y) = 1/n (x i x) (y j y) Proriété : on a j=1 Cos (x ; y) = 1/n n ij x i y j - xy j=1 Proriété 3 : on a La covariance est un aramètre symétriue.

9 Cov (x ; y) = Cov (y ; x). Proriété 4 : Pour (a, b, c) R 4 on a : Cov (ax + b, cy + d) = a c cov (x ; y). Exercice 7 (suite ex ) La covariance de x est de y s écrit: 3 cov (x ; y) = 1/n n ij (x i x) (y j y) j=1 3 = 1/n n ij x i y j xy 3 = 1/n (n i x i y 1 + n i x i y ) - xy j= = 1/n (n 11 x 1 y 1 + n 1 x y 1 + n x y + n 31 x 3 y 1 + n 3 x 3 y ) = 3/ (calculs fait à l ex 5 y = 0.4 x = 0.8) = = -0.0 La corrélation Définition : La corrélation entre les variables x et y est définit ar : cov (x ; y) x (x ; y) = (x ; y) = V (x) V (y) cov (x ; y) = (x) (y) Le coefficient de corrélation est le coefficient de corrélation de Bravers Pearson. Proriété : le coefficient de corrélation est un aramètre symétriue. 3) Série statistiue à indice simle. On considère la série statistiue double à indice simle (x i, y i n i ) associé aux variance X et Y observée sur une même oulation de taille n réécrivons les aramètres du III) ) our cette série. Proriété : Les moyennes arithmétiue de X et de Y s écrivent : x = 1/n n i x i et y = 1/n n i y j j=1 La variance de X et de Y S écrivent : V (x) = 1/n n i (x i x) = 1/n n i x i x V (y) = 1/n n i (y i y) = 1/n n i y j y

10 j=1 j=1 La variance entre X et Y s écrit : Cos (x ; y) = 1/n n i (x i x) (y i y) = 1/n n i x i y i xy. IV) La roriété énoncé dans le III).) (les résumés numériues) restent vraies our les séries double à indice simle. Etude de la liaison entre variables uantitatives La régression On considère la série statistiue double (x i, y i, n i ) observée our les variables doubles uantitative X et Y sur une même oulation de taille n. 1) Aroche grahiue le nuage de oints. Le nuage de oints est constitué des oints (x i y i ) our.7 y x ) Régressions linéaires droites des moindres carrées. 1) Le rincie Définition : la régression linéaire de Y en X consiste à déterminer la fonction affine et les valeurs (a ; b) R ui rendait minimum la uantitative. n i (y i (ax 1 + b)) x y Régression de X en Y n i (x i (ay i + b))

11 x y ) Définition et roriété La régression linéaire de Y en X ar la méthode des moindres carrée conduisent aux coefficient arochés our a et b. cov (x y) â = V (x) b^ = y ā x Proriété : Pour (a, b, c, d) R 4 tel ue (a, b) R* On a : (ax + b ; cy + a) = r (x ; y). En effet on a : cov (ax + b ; cy + d) r (ax + b) cy + d) = (ax + b) (cy + d) a c cov ( y x ) = a (x) c (y) a c = n (x ; y) = ± n (x ; y) ac en fonction des signes de ac Exercice 8 Le coefficient de corrélation de X et de Y est : cov (x ; y) r (x ; y) = = = < 0 V (x) V (y) Le raort de corrélation : Définition : Le raort de corrélation de X en Y est définit ar :

12 Variance exliuée de x = 1/n n. j (x j x) Variance total de x Le raort de corrélation de Y en X est définit ar : Variance exliuée de y 1/n n i. (y i y) = Variance total de y V(y) Proriété : Quand les variables sont indéendantes, le raort est nul (les variances des moyennes card. est réelle). Quand il existe une liaison fonctionnelle entre X et Y, la variance résiduelle est nulle et le raort vaut 1. R : Le raort de corrélation corresond donc à la roortion de variance exiué Ex 9 (suite ex) : Le raort de corrélation de X en Y est donné ar : 1/n n ij (x j x) V (x) 1/10 (n. 1 x 1 + n. x ) x = V (x) 1/10 (6 (5/6) + 4 (3/4) (0.8) = /10 (5/6 + 9/6) 0.64 = = 0.56 = 0./ La droite de régression à our éuation : ŷ = āx + b^

13 Les valeurs estimées sont our... Proriété : ŷ est une nouvelle variable et on a : ŷ = y V (y) = 1/n n i (ŷ i y) = 1/n n i (y i y) Définition : on aelle oint moyen dans le cadre de la régression de Y en X le oint de coordonnées (x ; y). Proriété : Le oint moyen est un oint de la droite de régression de Y en X. y y = âx + b^ x On a en effet âx + b^ = âx + y âx = y (x ; y) est donc un oint de la droite de régression de Y en X. Proriété : Les coefficients de la régression de Y en X et le coefficients de la régression de X en Y sont tel ue : â â = R (x ; y) On a â (res. â ) est l estimation du coefficient de l éuation y = ax + b (res. x = ay + b ). Calcul de l indice moyen sur 1 an y = 1/n n i y i = 1/n y i = 170/10 = 17 R : La artie de la droite de régression est liée aux signes de la covariance : cov (xy) â = 0 si cov (xy) 0

14 V (x) 0 si cov (xy) 0. â 0 â 0 3) Mesure de la ualité de la régression. a) Variance exliuée et variance résiduelle dans le cadre de la régression. Définition : On aelle variance résiduelle ou variance des écarts de la uantité : V R (y) = 1/n n i (y i y i ) On aelle variance exliuée la uantité : V C = (y) = 1/n n i (ŷ y i ) Proriété : on a : V R (y) = (y) 1- r (x ; y) = V (x) 1 r (x ; y) V E (y) = V (y) V R (x) = V (y) r (x ; y) b) Coefficient de corrélation Proriété : Pour variances X et Y de coefficient de corrélation : cov (xy) r (x ; y) = est tel ue r (x ; y) [-1 ; 1]. V (x) V (y) La régression est considérée ĉ justifié si : r (x ; y) 1 c'est-à-dire r (x ; y) -1 ou r (x ; y) 1

15 r (x ; y) -1 r (x ; y) 0 r(x ; y) 1 cov (x ;y) â = 0 ente négative V (x) cov (x ;y) â = 0 ente ositive V (x) c) Erreur absolue Définition : l erreur absolue est liée à la variance résiduelle soit e tel ue : e = 1/n n i (y i ŷ i ) = V R (y) d) Erreur relative Définition : l erreur absolu est définit ar : (ŷ) (y) Proriété : on a : (ŷ) = r (x ;y). (y) e) Coefficient de détermination Définition : On aelle coefficient de détermination le carré du coefficient de corrélation. on la note en général R. Ex 1 (suite ex 10) On a : r (x ; y) V (x) V (y) Avec cov (x ; y) = 1/n x i y i - xy

16 y = 1/n y i V (x) = 1/n x i x V (y) = 1/n y i y i Avec les données on a 170 y = = cov (x; y) = = V (x) = = (5.5) = V (y) = = (17) = 564. d ou r (x; y) = ĉ r (x; y) 1 l argument linéaire est envisageable. cov (x ;y) Le coefficient de la régression sont â = et b^ = y âx V (x) -66 soit â = = -8 et b^ = L éuation de la droite de régression est ŷ = -8x + 6 R : On aurait u considérer e = V R (y) = V (y) V E (y). L existence d une corrélation n imliue as toujours un lien de causalité. 4) Régression non linéaire 1) Ajustement d une fonction uissance On a Y = x a (E ) Avec 0 et x 0 or linéaire (E ) et on a ln y = ln + ln x, on ose Y = ln y et x = ln x. Y = ax + b

17 Avec a = b = ln a et b sont estimé ar cov (x ;y) â = V (x) b^ = y âx On déduit de â et b^ des estimation de et = â = e b^ Ex 1 Y = ax + b On estime a ar : cov (x ;y) â = V (x) et b ar b^ = y âx On obtient : x = 13.5 y = 180 cov (x ;y) = V (x) = 17.5 V (y) = D où â b^ On a ŷ = 18.86x On considère le modèle uissance y = bx a On linéaire et on a ln y = ln b + a ln x On ose : y = ln y b = ln b a = ln a x = ln x D où y = a x + b On estime a et b ar cov (x ;y ) â = et b^ = y â x V (x)

18 On obtient x = 1/n x i =.55 P y = 1/n y i = 4.5 cov (x ; y ) = 1/n x i y i xy 0.31 P V (x ) = 1/n x i x i = 0.1 V (y ) 0.48 On aboutit â.017 b^ Comme a = a b = b On a a = a b = e b D où les estimations : â.017 b^ e b^ e On a : Ŷ = b^ â = Pour déterminer le meilleur modèle, on considère l erreur absolue. Ces linéaires e = 1/n (y i - y i ) avec ŷ i = âx i + b^ â b Ces uissances e 1/n (y i y i ) avec ŷ i = b^ x i â â.017 b^ On obtient e et e 8 8

19 Soit e e la meilleur modèle est le modèle uissance. Utilisons le modèle uissance our donner une valeur ou a ŷ 0 = b^ x 0 â ) Ajustement d une fonction exonentielle. Y = e x + Y = ln y = x + 3) Ajustement d une fonction logarithme Y = ln ( x + ) e y = x + avec ax + b 0 Y = ax + b Y = ax b Y = a ln x + b Modèle 1 cov (x ;y) â = V (x) b^ = ŷ = âx Modèle cov (x ;y) â = avec X = x 0.5 V (x 0.5 ) b^ = y âx Modèle 3 cov (x y) â = avec x = ln x V (x ) On obtient : â = 0.31 b^ = â 7.68 b^ = â b^ = e = 1/n (y i ŷ i ) avec ŷ i = âx i + b Recherche du meilleur modèle e = 1/n (y i ŷ 1 ) avec ŷ = âx i b^ P e = 1/n (y i y i ) avec ŷ i = âx + b^

20 On obtient e e e Le meilleur modèle est n o Y = a ln x + b Prévision our x 0 = 00 ŷ 0 = â ln (x 0 ) + b^ 35.39