Corrélation et régression linéaire

Transcription

1 Chaptre 9 Corrélaton et régresson lnéare 1. La corrélaton lnéare Chap La corrélaton lnéare. La régresson lnéare 1.1) Défntons L étude statstque d'une populaton peut porter smultanément sur pluseurs varables è nécessare de mesurer la lason éventuelle entre ces varables. e.g.: l'une augmente, l'autre augmente également ou l'une augmente, l'autre dmnue, etc. è on va alors étuder les corrélatons Vocabulare utlsé foncton de la nature et du nb de varables mplquées: Lason lnéare entre varables quanttatves gaussennes: on parlera de corrélaton lnéare smple, ce qu sera développé c; Intensté de la relaton lant 1 varable à 1 ensemble de varables ndépendantes quanttatves : corrélaton multple Len entre ensembles de varables quanttatves: corrélaton canonque; Relaton entre varables sem quanttatves: corrélaton de rang; Relaton entre varables qualtatves: assocaton Relaton entre varables qualtatves bnares: corrélaton de pont ou d'assocaton Les séres statstques doubles (ou multples) peuvent être obtenues en consdérant une varable aléatore et une varable contrôlée (on parle alors de modèle I), en consdérant deux varables aléatores et (modèle II).

2 1.) Dstrbuton bnormale On consdère une varable aléatore normale de moyenne μ x et la varance σ x è densté de probablté gaussenne, forme typque de cloche. Lo bnormale suve par varables aléatores et : caractérsée par 5 paramètres: μ x, σ x pour la dstrbuton de, μ y, σ y pour la dstrbuton de, ρ = coeff. de corrélaton lnéare, pour caractérser la lason entre les varables. Pont μ de coordonnées (μ x,μ y ) = pont moyen théorque de la dstrbuton de la bvarable (,). Les varances σ x et σ y sont appelées varances margnales de et de envsagées ndépendamment l'une de l'autre. S'l exste une corrélaton entre les varables, on défnra pour, la valeur de étant fxée (= 1,) une dstrbuton condtonnelle caractérsée par: moyenne= E( 1) μ y varance σ ( 1) < σ y dstrbuton normale De même : on défnra la dstrbuton condtonnelle de, étant fxée à 1. La dstrbuton de chaque varable dépend donc de la valeur prse par l'autre. S : è dstrbutons margnales et les dstrbutons condtonnelles sont toutes normales è varances condtonnelles sont constantes (c-a-d σ ( ) est ndépendante de et σ ( ) est ndépendante de ) la dstrbuton conjonte de et de est dte bnormale. Elle s exprme par une foncton de densté de probablté bvarable Z = f(,), = généralsaton D de la lo normale unvarable, se représente dans l'espace euclden {,,Z} par une surface en cloche.

3 La projecton des courbes de nveau (pour une valeur donnée de Z) de la surface de la cloche représente des courbes concentrques centrées sur μ, qu sont des ellpses (d'sodensté ou de probablté) s la dstrbuton est bnormale. On peut détermner des ellpses délmtant des portons du plan {,} contenant 95%, 99% ou 99,9% des ponts de la bvarable (,).

4 1.3) Le coeffcent de corrélaton lnéare Corrélaton de Pearson (ou de Bravas-Pearson): mesure la lason lnéare exstant entre deux varables quanttatves aléatores. ρ = coeffcent de corrélaton lnéare, mesure le degré d'aplatssement des ellpses de dstrbuton. ρ = Cov σ (, ) σ E[( = E( ))( σ σ E( ))] = E[( Estmaton à partr d'un échantllon obtenue à partr des estmateurs non basés (donc pondérés à n 1) S xy de la covarance et S x et S y des varances de et de : µ σ )( σ µ )] S r = [-1, 1] S S

5 Remarques: 1. La valeur de r mesure le degré de lason lnéare entre varables. S la relaton n'est pas lnéare, r peut être nul ou très fable malgré une très forte dépendance curvlnéare ou, au contrare, est très élevé même s le modèle lnéare décrt vsblement mal la lason entre ces varables.. Le coeffcent de corrélaton lnéare n'ndque pas nécessarement une relaton de cause à effet. En partculer, l est fréquent que deux varables évoluant dans le temps de façon totalement ndépendante montrent une corrélaton fortute. 3. Le coeffcent de corrélaton lnéare est ndépendant des échelles de mesure des varables consdérées, ce qu faclte la comparason de coeffcents de corrélaton.

6 1.4) Test de sgnfcaton du r de Pearson Comme toujours, l'estmaton r à partr d'un échantllon subt la varablté de celu-c. Test: H0 : ρ = 0 H1 : ρ 0 test blatéral ou H1 : ρ > 0 ou ρ < 0 tests unlatéraux La varable auxlare (ou statstque du test) r T = ( n ) (1 r ) obét à une lo de Student à n ddl s H0 vrae. S T > t n α ;1 alors H 0 est rejetée. C est-à-dre qu l exste une corrélaton sgnfcatve entre les deux varables (ρ 0). Snon, on peut conclure qu on n a pas de relaton sgnfcatve entre les deux varables. Il revent au même d'estmer la varable Fα = r ( n ) (1 r ) Sut une lo de Fsher- Snedecor s H0 vrae. On compare cette valeur à F α(1, n -). Ce test revent à effectuer une analyse de varance sur r (cf. 9..). En pratque, on utlse couramment une table de sgnfcaton du r de Pearson ndquant la valeur crtque en foncton de n ou du ddl n -. è Corrélaton sgnfcatve au rang α s r calc > r α/.

7 1.5) Comparason de coeffcents de corrélaton lnéare On consdère deux échantllons aléatores et ndépendants d effectfs n1, n et de coeffcents de corrélaton r1 et r. Les transformatons de Fsher de r1 et r, varables z r1 et z r ~ los normales dfférence obét également approxmatvement à une lo normale de moyenne 0 et de varance 1/ (n 1 3) + 1/(n 3), permet de construre un test à part de l'écart rédut z dr : z dr ( zr1 zr) ( /( n 3) + 1/( n 3) ) 1 1 La transformaton de Fsher se lt dans une table ou se dédut de la formule : = z 1 = 1 [ ln( 1+ r) ln( r) ] La comparason des coeffcents de corrélaton se fera donc selon un mode blatéral (H1 : ρ1 ρ) ou unlatéral (H1 : ρ1 > ρ ou H1 : ρ1 < ρ) en utlsant la table des probabltés de la courbe normale centrée rédute.

8 . La régresson lnéare Chap La corrélaton lnéare. La régresson lnéare Objectf: résumer la relaton entre deux varables par une foncton smple (c une drote) de type = a + b. En réalté, on recherche un estmateur, ˆ Deux démarches sont possbles: et = a = a + b + b + ε Fables varatons = erreur du modèle è Prédre la valeur la plus probable de, notée Ŷ, pour une valeur donnée de, on parle alors de régresson de en, c'est la plus couramment utlsée (l exste symétrquement une régresson de en ), c'est la predctve regresson des anglo-saxons; è Décrre smplement sans souc de prédcton la tendance du nuage de pont par une équaton de drote ; dans ce cas, on utlse généralement la méthode de l'axe majeur rédut, c'est la functonnal regresson des anglo-saxons ou drote de Tesser.

9 .1) Régresson de en : méthode des mondres carrés Méthode la plus adaptée pour prédre à partr de (pour modèle I ou II). Régresson = détermner, connassant la valeur de, la valeur de la plus probable (s est dscrète) ou de densté de probablté maxmale (s est contnue) == mode de la dstrbuton ( ), étant fxée. S cette dstrbuton condtonnelle est normale, mode == espérance mathématque. Symétrquement, on défnt une foncton et une drote de régresson de en è l exste régressons dfférentes. Note: Régresson de en régresson de en! E.g.: ce n'est pas parce que les sardnes de 0 cm pèsent en moy 100 g que les sardnes de 100 g mesureront en moy 0 cm.

10 Mondres carrés: On détermne les valeurs des coeffcents a et b de la drote de régresson =a+b qu mnmsent la somme des carrés des écarts entre valeurs observées et valeurs prévues ˆ S ( ) ˆ = ( a ) ( ) + = b S On recherche les valeurs de a et b satsfasant smultanément : = 0 En développant on trouve: S a Or = a a a S b = b a a b = a S et = 0 b ( ( a + b ) = ( a b) ( ( a + b) ) = ( a b) b = 0 ( a ) n = 0 cov = E ( ) E ( )E ( ) = σ = 1 n ( n ) n nb = n an nb = 0 = 0 = 0 a = S S = 0 Ou en utlsant les estmateurs:

11 On obtent donc: ˆ = a + b = a + ( a ) ou ˆ = a ( ) La drote de régresson passe par le pont moyen de coordonnées m(),m(), a une pente égale à a et une ordonnée à l'orgne égale à [m() a.m()]. Partant de l'expresson de r xy = S xy /(S x.s y ), on peut en dédure a = r S S résdu = ˆ

12 .) Coeffcent de détermnaton R et décomposton de la varance Le coeffcent de détermnaton mesure la proporton de la varaton de explquée par la varaton de. Dans le cas de la régresson lnéare: R = r Décomposton de la varance: Somme des carrés des écarts totaux= dsperson due à la régresson + autour de la régresson SCET = SCER + SCEE Par défnton: ( ˆ ) ( ˆ ) R = SCER SCET SCET = SCER + SCEE = R SCET + (1 R ) SCET R représente donc la proporton de varaton de explquée par la régresson (donc la varaton de ) et (1 R ) la proporton de varaton de non explquée ou résduelle ou encore la dsperson du nuage de ponts autour de la régresson.

13 Lorsqu'on analyse la lason entre deux varables et, l faut donc consdérer deux aspects dstncts: d'une part, la valeur de r et l'ndcaton de la sgnfcaton de la corrélaton en foncton de la talle de l'échantllon d'autre part, la proporton de la varance explquée par la régresson et celle de la varance résduelle

14 .) Comparason de la pente a à une pente théorque a th Test: H0: a=a th H1: a a th (test blatéral) ou test unlatéral Varable de décson: t a = ( ) S n 1). S e a a th /( Sut une lo de Student à n- ddl s H0 vrae H0 refusée s ta > tα /, n pour un test blatéral ou ta > tα, n pour un test unlatéral.3) Comparason de l ordonnée à l orgne b à une valeur théorque b th Même prncpe avec: tb et = b bth var( b) var( b) = n Se ( )

15 .4) L axe majeur rédut (régresson non prédctve) Une alternatve au modèle de régresson de en (predctve regresson) est d'utlser une méthode descrptve lorsque les deux varables sont aléatores et qu'l n'y a pas de rason de chosr ou comme varable explcatve (on parle alors de functonal regresson). Une des méthodes possbles est le calculer l'axe majeur (ou prncpal) rédut encore appelée drote de Tesser (geometrc mean regresson). Il correspond à la bssectrce des régressons de en et de en. On dspose alors d'une équaton unque pour décrre (et non prévor) une relaton bunvoque et la pente est alors ndépendante du coeffcent de corrélaton lnéare : a = Sy/Sx Remarque : lorsque r tend vers 1, les deux régressons prédctves ( en et en ) tendent à se "redresser" pour se confondre avec la bssectrce, l'angle formé par ces deux drotes tend alors vers 0.

16 .5) Régresson forcée à l orgne Il peut arrver que deux varables soent lées par une relaton passant par défnton par l'orgne, c'està-dre mplquant que, lorsque l'une est nulle, l'autre l'est auss (par exemple, la relaton entre la longueur et la largeur d'un organsme). Il est alors possble de forcer la régresson à passer par l'orgne après s'être assuré que l'ordonnée estmée b n'est pas sgnfcatvement dfférente de 0 (ben que dans ce cas, le rsque de ème espèce β ne sot pas connu). On mposera alors la relaton : Ŷ = a., drote passant à la fos par l'orgne et le pont moyen [m(),m()], de pente égale à : a = m()/m() = Σ/Σ

17