Corrélaton et régresson lnéare 1. Concept de corrélaton. Analyse de régresson lnéare 3. Dfférences entre valeurs prédtes et observées d une varable
1. Concept de corrélaton L objectf est d analyser un ensemble de données en pares (données bvarées) et de détermner s l y a une assocaton (ou un len) entre les deux varables. par ex. pods et talle d ndvdus En statstque une telle relaton est appelée corrélaton. nous ne consdérons que les assocatons lnéares sur un graphque appelé dagramme de dsperson les ponts forment approxmatvement une lgne drote. Fn du chap.1: assocatons non lnéares) nous ne consdérons que des données quanttatves len entre cancer et tabagsme
La corrélaton lnéare est étudée par : 1. un dagramme de dsperson qu est un graphque. le coeffcent de corrélaton lnéare qu est une mesure de la drecton et de l ntensté de l assocaton lnéare entre deux varables
Il y a corrélaton entre deux varables quand l une est lée à l autre Un dagramme de dsperson est un graphque dans lequel les données (x,y) sont placées sur un axe horzontal pour x et sur un axe vertcal pour y. Chaque pare ndvduelle (x,y) est représentée par un pont et on obtent un nuage de ponts x= revenu annuel y= taux de possesson d une voture La talle de l échantllon sera égale au nombre de ponts : c n = 9
Descrpton des données Deux tendances lnéares
Corrélaton négatve ou postve
Relaton lnéare forte corrélatons postves ou négatves presque parfates
Len lnéare parfat y pour tout couple x y x Centroïde, pont moyen de coordonnées x, y
Intensté du len lnéare Deux varables aléatores lées X et Y : d espérance mathématque E(X) =µ X et E(Y) = µ Y et de varance Var(X) = σ (X) et Var(Y) = σ (Y) Cov(X,Y)= E(XY) E(X) E(Y). S X et Y ndépendantes Cov(X,Y) = 0 Remarque :cov(x,x) = Var(X) = σ (X), cov(y,y) = Var(Y) = σ (Y) Le coeffcent de corrélaton est défn par dt de Pearson ρ(x,y) est sans unté ρ( X,Y) = cov(x,y) Var(X)Var(Y)
Sot une populaton de N sujets pour laquelle les valeurs des varables X et Y sont (x, y ) cov (X, Y) = N = 1 (x n µ X N )(y µ Y ) = σ(x, Y) (x µ x) = 1 Var(X) = σ (X) = = varance de la varable X N n (y µ y) = 1 Var(Y) = σ (Y) = = varance de la varable Y N
Et le coeffcent de corrélaton vaut ρ(x, Y) = (x µ )(y X N (x µ )² X N µ Y ) (y µ N Y )² = (x (x µ µ X X )² )(y µ (y Y ) µ Y )²
A partr d un échantllon de talle n on estme la covarance par : cov (x, y) = n = 1 (x x)(y n 1 n = nombre de couples de valeurs ou nombre de ponts expérmentaux sur le dagramme de dsperson y) ρ(x,y) est estmé par r(x,y) calculé à partr des données d échantllon r est le coeffcent de corrélaton de Bravas-Pearson
S ( x ) n = = 1 ( x x ) n 1 et S ( y ) n = = 1 ( y y ) n 1 sont les estmatons des varances σ (X) et σ (Y) Pour un échantllon de n sujets où les couples de valeurs de X et Y observés sont x,y on obtent : r(x, y) = (x x)(y n 1 (x x)² n 1 y) (y y)² n 1 et après smplfcaton par n -1 r(x,y) = (x x)(y (x x)² y) (y y)²
Coeffcent de corrélaton lnéare r (ou coeffcent de corrélaton de Bravas Pearson) Le coeffcent de corrélaton lnéare calculé : r mesure l ntensté de l assocaton lnéare entre les valeurs x et y lées et ssues d un échantllon et peut être calculé à partr de tout échantllon de données apparées s : 1. L échantllon de données (x,y) est un échantllon aléatore de données quanttatves. L examen vsuel du dagramme de dsperson ndque une forme approxmatvement lnéare 3. L effet des valeurs extrêmes est consdéré avec son 4. Pour toute valeur fxée de x les valeurs de y correspondantes montrent une dstrbuton essentellement normale et récproquement (4. =. + 3.)
r(x, y) = (x x)(y y) (x x)² (y y)² r(x,y) peut être >0 ou <0, même sgne que la covarance mas sans unté. - + + -
Pour un len lnéare parfat k est le même en tout pont et on peut remplacer ( y y) par k(x x) La même relaton entre x et y en tout pont : ( y y) = k(x x) r = k (x x)² (x x)² k² (x x)² = k k (x x)² ( (x x)²)² = 1ou 1
Intensté du len lnéare r(x,y)=r(y,x) rôle symétrque pour x et y -1 r(x,y) 1 r(x,y) >0 relaton lnéare crossante r(x,y) <0 relaton lnéare décrossante X et Y ndépendantes r(x,y)=0 r(x,y) = ± 1 y = ax + b r et a sont de même sgne autre écrture de r r = (x x)(y (x x)² y) (y y)² = n ( x n x y x y ) ( x ) n (y ) ( y )
Formule utlsant les moyennes r = x y nxy ( ( ) ( x ) nx ( y ) n y ) Fare le calcul qu permet de passer d une forme à l autre Et quand on a calculé r que peut on dre?
Test du coeffcent de corrélaton varables X et Y ndépendantes? la valeur de ρ est elle ou non égale à zéro? ρ est estmé par r r est assort d une certane ncerttude constructon du test statstque : r t
Savor tester r qu est une estmaton de l ntensté de la relaton lnéare ρ entre X et Y dans la populaton On passe de la varable rédute r à la varable rédute t qu sut une lo de Student avec n - ddl t = r ρ var( r) = r ρ S(r) On montre que var( r) = 1 r n On teste H 0 : ρ = 0 contre H 1 : ρ 0 ddl = n - La statstque de test ou t calculé vaut : quand ρ = 0 t = r 1 n r
Exemple : on a mesuré le pods de nassance de 10 nouveau-nés. L hypothèse est qu l exste une relaton entre le pods de nassance et l exposton au tabac des mères pendant les deux premers mos de la grossesse. Le tableau donne pour chaque nouveau-né le pods de nassance et le nombre de cgarettes fumées par jour par la mère pendant les deux premers mos de la grossesse pods 1447 1500 1701 171 1857 031 145 14 10 537 Exposton tabagque 15 10 5 8 9 7 11 6 3 Quelle est la valeur du coeffcent de corrélaton lnéare r entre le pods de nassance et le nombre de cgarettes fumées par jour au cours de premers mos de la grossesse? r = - 0,7056
Calculette : touche stat (nd + data) Pus chox : y = ax + b pour rentrer les valeurs Pour entrer les valeurs appuyer sur la touche data : x = pods y = exposton tabagque S des valeurs précédentes sont présentes vder la mémore en utlsant la touche reset ou la touche clear var Pour accéder aux résultats refare touche stat (nd + data) - chox et descendre avec les flèches jusqu à CALC pus taper enter - ou chox n 3 (3 : StatVars) s on vent revor le s résultats après avor lancé les calculs par CALC une 1 ère fos 9 + 1 lgnes de résultats : 1, 9 + A, B, C L
Queston : La valeur de r calculée a - t elle un sens? Dans la populaton dans laquelle on a prélevé l échantllon ρ dffère - t l de zéro? On va utlser un test statstque pour répondre à la queston cdessus
On va tester l hypothèse nulle H 0 : ρ = 0 L hypothèse alternatve H 1 : ρ 0 On passe de la varable r à la quantté qu sut une lo de Student avec n - ddl r t = = var(r) r S(r) et var(r) = 1 r n La statstque de test ou t calculé vaut : = -,817 pour n = 10 t = r n 1 r
Tros remarques mportantes 1. la lo de Student de varable t et la lo normale rédute de varable z (ou u) sont modélsées avec des fonctons pares centrées sur une moyenne = 0 - t et - u. Seules les valeurs postves de t et de u sont données dans les tables fournes 3. Les tables de t et de u fournes permettent de lre drectement pour un test blatéral et pour un rsque α chos, le seul de rejet de H 0 ou valeur crtque permettant de rejeter ou non H 0 (on lt t table ou u table )
Exemple : H 0 : ρ = 0 t calculé = -,817 t calculé =, 817 Le seul de rejet de H 0 ou valeur crtque pour α =0,05 et ddl = n - = 8, est donné dans la table par : t table =,306 CONCLUSION : t calculé =,817 > t table =,306 H 0 est rejetée : ρ 0 et r a ben un sens : l y a une assocaton entre les pods de nassance et le nbre de cgarettes fumées par la mère pendant la grossesse
seul expérmental α* ou p-value? Pour t calculé =,817 et ddl =10 = 8 test blatéral : on teste l hypothèse nulle H 0 : ρ = 0 contre l hypothèse alternatve H 1 : ρ 0 Sur la lgne ddl = 8 on vot que sous l hypothèse nulle H 0 la probablté que t > t calculé =,817 est comprse entre 0,0 et 0,05 0,0 < α* < 0,05 α* < α et H 0 rejetée On n utlse pas la valeur t table ou valeur crtque
Façon équvalente de trater le problème Dans de nombreux ouvrages : pour un test blatéral on dt que la valeur crtque est double et donnée par t ± α/ ou ± t α/ Pour l exemple c-dessus ± t α/ = ±,306 t calc = -,817 rejet de H 0 rejet de H 0 - -,306 0,306 + - t α/ + t α/
f(z) test unlatéral à gauche Rejet de H0 Non rejet de H0 α= 0,05 ddl = f(z) test unlatéral à drote Non rejet de H0 α =0,05 α =0,05 Rejet de H0 α α z -3 - -1 0 1 3 z -3 - -1 0 1 3 z α -zα zα Z -1,645 1,645 Z Rejeter H 0 s z < z α Test blatéral Rejeter H 0 s z > z α t ddl = = z = u f(z) X rejet de H0 α/ =0,05 Non rejet de H0 Rejet de H0 α/ α/ 0 - zα/ zα/ -1,96 1,96 Rejeter H 0 s z < - z α/ ou s z > z α/ α/ =0,05 Z α= 0,10 α =0,05 α/ =0,05
Les tables autorsées sont drectement utlsables pour les tests blatéraux : la probablté α de rejeter H 0 lorsque celle-c est vrae, est la somme de contrbutons égales α/ prses dans deux zones symétrques (les zones grs-foncé) sous les deux ales des courbes Pour fare un test unlatéral au rsque α, l faut qu une zône entère égale à α sot défne d un seul côté sous une seule ale de la courbe Reprenons l exercce sur le pods de nassance des 10 nouveaux nés On veut savor s un coeffcent de corrélaton négatf a un sens On teste H 0 : ρ = 0 contre H 1 : ρ < 0 test unlatéral à gauche pour α = 0,05 et ddl =n - = 8 : t table est prs dans une table blatérale sur la colonne α (c est-à-dre α à gauche + α à drote)
Pour un test unlatéral au rsque α : on lt dans la colonne α α = 0,05 et ddl = 8 l faut lre dans la colonne α = 0,10 de même : α = 0,05 et ddl =
La valeur lue dans la table est t = 1,860 zone de rejet de H 0 t calc = -,817-1,860 0 t La valeur crtque est t α =-1,860 t calculé = -,817 < t table = - 1,860 H 0 refusée et H 1 acceptée
Test du coeffcent de corrélaton des rangs de Spearman S l exste un doute sur la normalté des dstrbutons de X et Y, ou sur la lnéarté de la relaton entre X et Y, on ne peut pas utlser le coeffcent de corrélaton de Pearson On utlse alors un test non paramétrque : On calcule r s le coeffcent de corrélaton des rangs de Spearman Ce test étude l exstence d une lason (assocaton) entre varables quanttatves.
Le prncpe du test de Spearman consste à remplacer les valeurs x et y par leurs rangs x et y : On attrbue un rang entre 1 et n à chaque valeur de x correspondant au classement de cette valeur par ordre crossant : rang 1 pour la plus pette valeur x 1 = 1, rang pour la suvante rang n pour la plus grande valeur. On procède de même pour les y valeurs des rangs de y séparément des valeurs de x On obtent ans n couples de valeurs(x, y ) correspondant aux couples de valeurs (x,y) et on établt les n dfférences d = x - y entre les valeurs des rangs pour chaque couple x,y le coeffcent de corrélaton des rangs de Spearman est donné par : r s 6 ( x' = 1 n( n y' 1) )
1. le test sur r s le coeffcent de corrélaton des rangs de Sperman pourra être fat en utlsant une varable t de student comme avec le test de Pearson s n > 10 snon table spécfque de r s non fourne au concours. en présence de peu d ex-aequo dans les rangs de x et dans les rangs de y
r s 6 = 1 n ( n (d ) 1) On défnt l écart type du 1 r s = s coeffcent de Sperman par r comme pour le test de Pearson n A partr de n >10, on passe de r s à t qu sut une lo de Student à n- d.d.l. On teste H 0 ρ s est le coeffcent de corrélaton des rangs des données de toute la populaton, c est un paramètre de populaton. : ρ s = 0, H 1 : ρ s 0 en calculant t = t 0 r s = s r r s ρ s s r 0
Le test de Spearman consste à calculer la valeur et à la comparer à une valeur théorque : t = 0 r s s r Test blatéral H 0 : ρ s = 0 et H 1 : ρ s 0 on rejette H 0 s t 0 t n ; α Test unlatéral H 0 : ρ s = 0 à drote - H 1 : ρ s > 0 on rejette H 0 s à gauche t 0 t n ; α - H 1 : ρ s < 0 on rejette H 0 s t 0 - t n ; α
Exemple On désre vérfer la corrélaton entre la talle (en cm) et le pods (en kg) des enfants de ans sur un échantllon de 15 ndvdus. Talle (x) 8,9 83,4 8,4 8,1 84,8 86,7 84,0 89,0 85,0 85,4 87,7 87,7 86,4 86,4 86,9 Pods (y) 8,7 9, 9,5 10,1 10,4 10,5 10,8 11,0 11,5 11,6 1,4 13,6 13,8 13,9 14,6 Il exste un doute sur la lnéarté de la relaton entre x et y. On préconse le calcul du coeffcent de Spearman Les observatons pour chaque varable sont ndépendantes les unes des autres
Condtons d applcaton vérfées : Le nombre de couples de valeurs >10 Pas d exgence sur la normalté n sur la lnéarté On pose H 0 : ρ s = 0 c est-à-dre qu l n exste aucune corrélaton entre la talle et le pods H 1 : ρ s 0 l exste une relaton entre talle et pods
Talle (x) 8,9 83,4 8,4 8,1 84,8 86,7 84,0 89,0 85,0 85,4 87,7 87,7 86,4 86,4 86,9 valeurs Ordonner les valeurs de façon crossante 8,1 8,4 8,9 83,4 84 84,8 85 85,4 86,4 86,4 86,7 86,9 87,7 87,7 89
Talle (x) 8,9 83,4 8,4 8,1 84,8 86,7 84,0 89,0 85,0 85,4 87,7 87,7 86,4 86,4 86,9 valeurs Ordonner les valeurs de façon crossante 8,1 8,4 8,9 83,4 84 84,8 85 85,4 86,4 86,4 86,7 86,9 87,7 87,7 89 1 3 4 5 6 7 8 Affecter les rangs
Talle (x) 8,9 83,4 8,4 8,1 84,8 86,7 84,0 89,0 85,0 85,4 87,7 87,7 86,4 86,4 86,9 valeurs Ordonner les valeurs de façon crossante 8,1 8,4 8,9 83,4 84 84,8 85 85,4 86,4 86,4 86,7 86,9 87,7 87,7 89 1 3 4 5 6 7 8 9,5 9,5 11 1 13,5 13,5 15 Affecter les rangs (8+11)/=9,5 (1+15)/=13,5
valeurs rangs Talle x 8,9 83,4 8,4 8,1 84,8 86,7 84,0 89,0 85,0 85,4 87,7 87,7 86,4 86,4 86,9 x 3 4 1 6 11 5 15 7 8 13,5 13,5 9,5 9,5 1 Pods y 8,7 9, 9,5 10,1 10,4 10,5 10,8 11,0 11,5 11,6 1,4 13,6 13,8 13,9 14,6 y 1 3 4 5 6 7 8 9 10 11 1 13 14 15 valeurs rangs
x 3 4 1 6 11 5 15 7 8 13,5 13,5 9,5 9,5 1 y 1 3 4 5 6 7 8 9 10 11 1 13 14 15 Calcul des carrés des dfférences des rangs (rang(x)-rang(y)) Rang (y) 4 4 1 9 1 5 4 49 4 4 6,5,5 1,5 0,5 9 r s 6 ( x' = 1 n( n y' 1) ) r s = ( x' y' ) = 155 (6 155) 1 = 0,7 15 (15 1) s r 1 rs = n s r = (1 0,7 ) (15 ) = 0,19
tcalculé = t0 = 0,7 0,19 = 3,79 ddl = 15 = 13 Or t 13;5% =,160 - t 0 > t 13;5% On rejette H 0. - La valeur t 0 est encore supéreure à t 13;1% = 3,01 - On conclut donc qu l exste une lason postve sgnfcatve entre la talle et le pods des enfants de ans
0,7 t = t = = calculé o 0,19 3,79 On cherche la probablté α* d avor t > t calculé pour ddl = 13 (p-value : 0,001 < α* < 0,01) α* < α H 0 refusée