Ajustement sttstque Dns l prte conscree l sttstque descrptve, nous vons exmne le len entre deux vrbles en utlsnt un grphque en forme de nuge de ponts et en clculnt le coecent de correlton. Nous voulons mntennt ller plus lon et essyer de representer le len en utlsnt une forme lgebrque. On peut ns fre des prevsons sur les vleurs qu'une vrble peut prendre lorsqu'on conn^t celles de l'utre. Dns les scences nturelles, on etude souvent un phenomene en modnt une vrble que l'expermentteur contr^ole et en regrdnt l'eet sur l'utre vrble. r exemple, on ugmente l temperture d'un gz et on etude l'eet sur s presson. Dns une stton grcole, on ugmente l quntte d'engrs et on regrde l'eet sur l producton de ble. L vrble contr^olee pr l'expermentteur est ppelee l vrble ndependnte (X) et l'utre l vrble dependnte (Y ). On exprme cette relton en ecrvnt: Y = f(x) L producton de ble depend uss d'utres vrbles: l temperture, l'ensolellement, etc. M^eme s l'expermentteur essye de grder \toute utre chose egle pr lleurs", l est mpossble d'obtenr une relton excte entre X et Y. Il fut jouter un fcteur letore (u) etecrre: Y = f(x;u) L vrble letore u trnsforme le modele determnste [Y = f(x)] en un modele probblste. Dns les scences humnes, tous les modeles sont des modeles probblstes. r exemple, on utlse souvent un modele qu le les depenses de consommton u revenu dsponble. M^eme s l'on prend des menges de l m^eme tlle, l y d'utres fcteurs qu nuencent les depenses de consommton. On reunt tous ces utres eets dns une vrble letore u vec une moyenne nulle et une certne vrnce u. L regresson lnere L premere relton qu ser estmee est une relton lnere. On ecrt lors: Y = + bx + u ou X est le revenu et Y les depenses de consommton. L'Oce federl de l sttstque puble chque nnee le revenu dsponble des menges et les depenses de consommton. On ns derentes vleurs de X et de Y. Ces vleurs peuvent ^etre consderees comme un echntllon de toutes les reltons possbles entre X et Y. S l'on veut exprmer l relton lnere entre X et Y, l fut estmer les deux prmetres et b. Les methodes de regresson etudent comment estmer ces prmetres. Le nom vent de l'etude eectuee pr Glton sur l tlle des peres et des ls. Il observe une \regresson" cr un pere tres grnd n' ps un ls uss grnd. Il y une \regresson" vers l moyenne ou, selon Glton, vers l medocrte. En prennt un echntllon de 1078 peres et ls, erson et Lee obtennent en 1903 l relton suvnte: Y =33:73+0:516X ou X et l stture du pere (en pouces) et Y celle de son ls. renons un exemple tres smple pour presenter l methode de l regresson. Sot les 8 reltons suvntes entre X et Y : 1

X Y x = X 0 X y = Y 0 Y xy 10 0-40 -5 1000 0 10-30 -35 1050 30 30-0 -15 3000 40 30-10 -15 1500 30 60-0 15-3000 60 30 10-15 -1500 90 90 40 45 1800 10 90 70 45 3150 400 360 0 0 7000 On obtent le nuge des ponts (X ;Y ) du grphque 9.1. Le coecent de correlton entre ces deux vrbles est de 0.849. Nous desrons estmer le len suvnt: Y = + bx L drote estmee ser: ^Y =^ + ^bx Comment estmer ce len lnere entre les deux vrbles? Desgnons pr e l derence entre l vleur de Y et celle donnee pr l drote estmee ^Y ( =1; ;:::;8): e = Y 0 ^Y L methode des mondres crres propose de chosr ^ et ^b de mnere mnmser l somme des crres des erreurs e. Supposons que nous vons n vleurs de X et Y. Il s'gt lors d'eglser zero l dervee de ^ et ^b de l somme: n =1 e = (Y 0 ^Y ) = (Y 0 ^ 0 ^bx ) On obtent: 0 (Y 0 ^ 0 ^bx )=0 0 (Y 0 ^ 0 ^bx )X =0 En dvsnt l premere equton pr n on trouve: Y =^ + ^b X En d'utres termes, l drote estmee psse pr le pont moyen ( X; Y ). On peut uss ecrre: ^Y 0 Y = ^b(x 0 X) S l'on prend les derences pr rpport l moyenne: x = X 0 X ; y = Y 0 Y ; ^y = ^Y 0 Y l somme des resdus u crre devent: e = (y 0 ^y ) = (y 0 ^bx ) L vleur de ^b qu mnmse cette expresson est: x y ^b = Dns notre exemple on trouve: Y =45; X =50 x y = 7000 ; = 10000 ; ^b =0:7 ^ = Y 0 ^b X =450 0:7 50 = 10 On urt pu chosr des estmteurs qu mnmsent l somme des vleurs bsolues des resdus. On obtent une vleur de 10.054 pour ^ et 0.6663 pour ^b. Dns le grphque 9.1 on trce en trtlle l drote obtenue en prennt les erreurs bsolues. Cette methode est plus robuste pr

rpport ux vleurs excentrques ms est rrement utlsee cr l n'est ps fcle de trvller vec des vleurs bsolues. ropretes des estmteurs Nous vons exmne dns le chptre VI les propretes desrees des estmteurs. Nous llons pplquer ces propretes ux estmteurs des mondres crres. On peut representer grphquement le modele probblste dns un grphque tros dmensons (vor grphque 9.). Lorsque X vre, Y prendr une vleur qu depend uss du terme letore (u): Y = + bx + u =1; ;:::;n L'hypothese concernnt le terme letore est: E(u )=0; E(u )= u E(u u j )=0pour 6= j (; j =1; ;:::;n) En d'utres termes, les erreurs sont ndependntes et dstrbuees selon une lo ynt une moyenne nulle et une vrnce de u. Les X sont des vleurs constntes que l'expermentteur peut grder nchngees lorsqu'on prend pluseurs echntllons. On peut uss determner les propretes des estmteurs sous l condton que les vleurs de X sont donnees: E(Y=X)= + bx L'estmteur ^b peut ^etre ecrt comme une somme ponderee des vleurs Y. En eet: x (Y 0Y = ) x Y Y = 0 x = x x x w Y (cr x =0) x y ^b = vec: w = x D'utre prt: ^b = w ( + bx + u )=b + w u cr: w =0; w X = w x =1 On lors: E(^b) =b + w E(u )=b L'estmteur ^b est centre (sns bs). Le m^eme resultt est vlble pour ^ cr: ^ = Y 0 ^b X = ( 0 Xw 1 n )Y = ( 0 Xw 1 n )( + bx + u ) = 0 X w + bx 0 bx w X + ( 0 Xw 1 n )u = + ( 0 Xw 1 n )u ( w =0; w X =1) On obtent lors: E(^) = On peut montrer que, sous des condtons normlement stsftes de l vrble exogene, les estmteurs des mondres crres sont des estmteurs convergents. L vrnce de l'estmteur ^b est: Vr(^b) =E[(^b 0 b) ]=E[ w u ) ]= w E(u )= cr w =1= L vrnce de l'estmteur ^ est: 3 u

Vr(^) =E[(^ 0 ) ]=u ( 0 1 Xw ) = n u( + 1 n X w 0 X n w )= u our clculer ces vrnces, on dot conn^tre u. Les erreurs consderees pr les mondres crres sont: e = y 0 ^bx D'utre prt on obtent, en prennt les moyennes: Y = + bx +u et lors: y = bx +(u 0 u) r consequent, on peut ecrre: e = [bx +(u 0 u) 0 ^bx ] = [0(^b 0 b)x +(u 0 u)] =(^b 0 b) + (u 0 u) 0 (^b 0 b) x (u 0 u) E( e )= u +(n 0 1) u 0 u =(n 0 ) u cr: E[(^b 0 b) ]= u E[ (u 0 u) ]=E[ u 0 ( u 1 n ) ]=(n 0 1)u E[(^b 0 b) x (u 0 u)] = E[ Un estmteur centre de u e n0 s u =^ u = r consequent: r X s = s u n ; s b = s up u x est lors: ( u x 0 u x )] = E[ ( u x ) ]= u Dns notre exemple, on dej clcule les estmteurs de (10) et de b (0.7). On peut lors clculer ^Y. On trouve: X Y ^Y e e 10 0 17 3 9 0 10 4-14 196 30 30 31-1 1 40 30 38-8 64 30 60 31 9 841 60 30 5-484 90 90 73 17 99 10 90 94-4 16 400 360 360 0 1900 On : s u = 1900 = 316:666:: 6 Vr(^b) = 316:666 316:66630000 ; Vr(^) = 10000 810000 Les ecrts-types sont lors: s u =17:795 ; s^b =0:17795 ; s^ =10:897 On peut montrer que les estmteurs des mondres crres sont des estmteurs BLUE (Best Lner Unbsed Estmtors). Sot ~ b l'estmteur lnere suvnt: ~ b = c Y 4 n X

our que cet estmteur sot sns bs l fut que: E( ~ b)= c + b c X + c u = b r consequent: c =0; c X =1 L vrnce est: Vr( ~ b)=u c On obtent le melleur estmteur lnere centre en mnmsnt cette expresson sous les contrntes donnees c-dessus. Le lgrngen est: L = c + 1 c + ( c X 0 1) Des condtons de premer ordre on tre le resultt suvnt: c = x = w Les pods sont ceux des mondres crres et pr consequent les estmteurs des mondres crres sont des estmteurs BLUE. Ce resultt est connu sous le nom de theoreme de Guss-Mrko. S les erreurs suvent une lo normle, on peut obtenr les estmteurs du mxmum de vrsemblnce. L vrsemblnce est: 1 L = exp[0 1 ( u )n= (Y 0 0 bx ) ] u On trouve les m^emes estmteurs pour et b. Ces estmteurs sont dstrbues selon une lo normle. On peut montrer que: t b = (^b0b) s b et t = (^0) s suvent une lo de Student vec n 0 degres de lberte. On peut lors tester l'hypothese H o : b = 0 contre l'hypothese H 1 : b 6= 0. Lem^eme test s'pplque. Dns ce cs, l vleur t est smplement le rpport entre le coecent et son ecrt-type (t b = ^b=s b ; t =^=s ). Dns notre exemple, on trouve t b =3:93 et t =0:918. Les vleurs p, selon l lo de Student et vec 6 degres de lberte sont 0.008 et 0.39. En prennt un seul de sgncton de 5%, on rejette l'hypothese b = 0 et on ccepte l'hypothese = 0. Le coecent n'est ps sgnctvement derent de 0. Souvent, lors d'une premere vercton, on regrde s les vleurs de t sont supereures. On peut uss construre des ntervlles de connce: 6 t = s b 6 t = s b ou est le seul de sgncton. TI-83 Introdusons X dns l lste L1 et Y dns L vec l commnde STAT / EDIT. resser ensute STAT et ller dns TESTS. Chosr E:LnRegTTest et presser ENTER. Introdure L1,L et presser ENTER. Vous obtenez les estmteurs de et b et l vleur t pour b. EXCEL Introdure X dns l colonne A et Y dns l colonne B. Chosr Outls / Utltre d'nlyse / Regresson lnere. Introdure B1:B8 pour plge de l vrble Y et A1:A8 pour plge de l vrble X. Clquer sur OK. Vous obtenez l regresson lnere. L colonne \probblte" donne l vleur p du test t des prmetres. L vleur p correspond l probblte d'obtenr 5

un resultt d'echntllon plus mprobble que celu observe. On rejette l'hypothese H o : b =0 s l vleur p est nfereure. MINITAB Introdusez les vleurs de X dns C1 et celles de Y dns C. Allez ensute dns Stt / Regresson / Regresson. Selectonner C pour Reponse et C1 pour redcteurs. En clqunt sur OK, vous obtenez l regresson. Vous pouvez uss utlser l fen^etre Sesson, tpez REGRESS C 1 C1; CONSTANT; BRIEF. et pressez -. S vous voulez le grphque de l drote de regresson et des vleurs de Y, chosssez Stt / Regresson / Drote d'justement. Le coecent de correlton Le coecent de correlton entre X et Y est: x y R = p x y tnds que l'estmteur de b est: x y ^b = On peut lors ecrre: ^b = cov(x; Y )= X = R Y = X r consequent, s l correlton est nulle on ur une pente nulle de l drote de regresson. D'utre prt, en prennt les erreurs des mondres crres: e = y 0 ^bx on peut ecrre: y =^y + e et lors: y = ^y + e + ^y e Le derner terme drote est nul pusque: ^y e = (^bx )e = ^b x e = ^b x (y 0 ^bx )=^b x y 0 ^b = ^b 0 ^b =0 cr ^b = x y =. On peut lors dre que l vrton totle de Y utour de l moyenne est composee de deux prtes: l premere est l vrton de ^Y utour de s moyenne et l deuxeme l vrton de Y utour de l drote de regresson. L premere est l somme des crres \explquee" pr l drote de regresson. L deuxeme represente le resdu ou l prte non explquee de l vrton de Y. S l'on prend le rpport de l prte explquee et de l somme totle des crres on obtent: ^y (^bx ) = = ^b = y y y R D'utre prt: ^y 1= e + y y et lors: R e =10 y 6

Le crre du coecent de correlton est ppele le coecent de determnton. Il donne l proporton de l vrnce de Y explquee pr l drote de regresson. L vleur mxmle est egle 1 lorsque les erreurs sont nulles. Dns notre exemple on obtent: R =0:84887 ; R =0:706 r consequent, l drote de regresson explque le 7% de l vrton de Y. On peut exprmer l decomposton de l vrnce totle en utlsnt l'nlyse de l vrnce. Il y l prte explquee pr X (l regresson): BSS = ^y et l prte nexplquee (les erreurs): ESS = e On lors le tbleu suvnt: Source de Degres Somme Moyenne vrton lberte crres qudrtque X 1 BSS BSS erreurs n- ESS ESS/(n-) Totl n-1 TSS Dns l'exemple c-dessus on trouve: Source de Degres Somme Moyenne vrton lberte crres qudrtque X 1 4900.00 4900 erreurs 6 1900 316.66 Totl 7 6800 Comme TSS = y = BSS + ESS, le coecent de determnton est: R = BSS ESS =10 TSS TSS Le coecent F est le crre de l vleur t du coecent de X. En eet: t b = ^b = ^b x s BSS = = F b e =n0 ESS=n0 C'est ns que dns notre exemple l vleur de F est 15:47 = 3:93. 7

q L prevson L drote de regresson peut ^etre utlsee pour prevor l vleur de Y lorsqu'on conn^t celle de X. Sot X o l vleur donnee de X. Lprevson de l vleur ttendue ou moyenne de Y est obtenue en ntrodusnt cette vleur dns l'equton de l drote estmee. L'ntervlle de connce u seul de sgncton est: r ^ + ^bx o 6 t = ^ + (X 1 u o0x) n Dns l pluprt des cs, l prevson concerne une vleur ndvduelle et non ps une vleur moyenne. Dns ces cs, l prevson ponctuelle est l m^eme ms l'ntervlle de connce est plus lrge: r ^ + ^bx o 6 t = ^ u 1+ + (X o0x) 1 n L'ntervlle devent plus lrge lorsque X o s'elogne de X. S l'on reprend l'exemple c-dessus, on obtent l'ntervlle suvnt: p 10+0:7X o 6 t = 316:666 1+ 1 + (X o050) 8 10000 Les dgnostcs de l regresson Apres vor estme les prmetres de l drote de regresson, l fut exmner s les hypotheses utlsees pour cette estmton sont stsftes. L'nlyse des resdus permet de repondre cette queston. ) Homoscedstcte des erreurs Nous vons suppose que le terme letore suvt une dstrbuton vec une vrble donnee (u ). On prle d'homoscedstcte (m^eme dsperson). On peut verer s cette hypothese est stsfte en fsnt un grphque des resdus pr rpport X. S l'ecrt ugmente vec X lors l'hypothese n'est ps stsfte (vor grphque). On prle d'heteroscedstcte (dsperson derente). Les estmteurs des mondres crres ne sont plus BLUE ms ls restent sns bs. Il exste des methodes qu permettent une estmton sous l'hypothese d'heteroscedstcte. Normlte des erreurs Les formules des tests des prmetres ont ete obtenues en supposnt que les erreurs suvent une lo normle. On peut verer s cette hypothese est stsfte en fsnt un hstogrmme des erreurs. On peut uss pplquer les tests que nous vons vus lorsqu'on exmne l dstrbuton normle (scores normux, drote d'henry). Independnce des erreurs Il rrve souvent vec des seres temporelles que les erreurs ne soent ps ndependntes. Les erreurs lperode t sont correlees vec celles des perodes precedentes (t 0 1;t0, etc.). On prle d'utocorrelton des erreurs. En fsnt un grphque des resdus pr rpport u temps on peut detecter l'utocorrelton (vor grphque). Il exste uss l sttstque de Durbn-Wtson qu permet de tester cette hypothese. Les estmteurs restent sns bs ms leurs ecrts-type sont sous-estmes. Vleurs excentrques Les vleurs excentrques sont detectees vec le grphque en forme de nuge de ponts (sctterdgrm) ou en exmnnt les resdus. S on trouve des vleurs excentrques on peut les elmner ou utlser des methodes robustes. EXCEL 8

Introdure X dns l colonne A et Y dns l colonne B. Chosr Outls / Utltre d'nlyse / Regresson lnere. Introdure B1:B8 pour plge de l vrble Y et A1:A8 pour plge de l vrble X. Dns Anlyse des resdus, cocher Courbe des resdus. Clquer sur OK. Vous obtenez le grphque des resdus. MINITAB Introdusez les vleurs de X dns C1 et celles de Y dns C. Allez ensute dns Stt / Regresson / Regresson. Selectonner C pour Reponse et C1 pour redcteurs. Clquer sur Grphques et cocher Vleurs resduelles en foncton des vleurs justees. En clqunt sur OK deux fos, vous obtenez le grphque des resdus. 9

Regressons multple et polynomle On peut eectuer une regresson lnere vec pluseurs vrbles explctves. Il s'gt d'une smple generlston du modele une vrble ndependnte. L'nterpretton des resultts obtenus vec les derents logcels sttstques (EXCEL, MINITAB, etc.) est smlre celle vue c-dessus. Les derences prncples sont les suvntes. Le coecent de determnton est toujours clcule en utlsnt l formule: R e =10 y ms l n'est plus le crre du coecent de correlton entre l vrble dependnte (Y )etl vrble ndependnte (X). En eet, dns le cs de deux vrbles ndependntes (X 1 ;X ), l y tros coecents de correlton (entre Y et X 1, Y et X, X 1 et X ). R est ppele le coecent de correlton multple et l peut ^etre exprme en utlsnt ces tros coecents de correlton prtels. Lorsqu'l y pluseurs vrbles ndependntes: Y = o + 1 X 1 + X + :::+ k X k on peut uss tester l'hypothese que tous les coecents ssoces ces vrbles soent nuls: H o : 1 = = :::= k =0 contre l'hypothese qu'ls soent derents de zero. Il fut utlser l sttstque F qu est: F = BSS=k = ESS=(n0k01) R =(k01) (10R )=(n0k01) Cette sttstque est celle obtenue vec l'nlyse de l vrnce. Le tbleu est: Source de Degres Somme Moyenne vrton lberte crres qudrtque X 1 ;:::;X k k BSS BSS / k erreurs n-k-1 ESS ESS/(n-k-1) Totl n-1 TSS On peut montrer que le rpport de deux vrbles ndependntes qu suvent une dstrbuton vec, respectvement, m et s degres de lberte est dstrbue selon une lo de F vec m et s degres de lberte. Dns le test c-dessus, on m = k et s = n 0 k 0 1. Le coecent de determnton ne peut ps dmnuer lorsqu'on joute de nouvelles vrbles dns l regresson. On corrge lors ce coecent n de tenr compte de l perte des degres de lberte: R 0juste= 1 0 e =n0k01) y =(n01) ou k est le nombre de vrbles ndependntes. Nous voulons mntennt exmner l'estmton du polyn^ome de deuxeme degre: Y = o + 1 X + X On peut ns tenr compte de lens non lneres entre X et Y. S l'on pplque le prncpe des mondres crres, on obtent c une regresson qudrtque. S le coecent n'est ps sgnctf, lors le len est lnere. TI-83 Introdusons X dns l lste L1 et Y dns L vec l commnde STAT / EDIT. resser Ctlog et vlder vec ENTER (deux fos) DgnostcOn. resser ensute STAT et ller dns CALC. Chosr 5:QudReg et presser ENTER. Introdure L1,L et presser ENTER. Vous obtenez les estmteurs de o (c), 1 (b), () et l vleur de R. 10

our une regresson cubque, chosr 6:CubcReg. our un polyn^ome de qutreme degre, chosr 7:QurtReg. L TI-83 permet uss d'estmer un modele exponentel (y = b x ), un modele pussnce et un modele logstque (y = c=(1 + e 0bx ). MINITAB Introdusez les vleurs de X dns C1 et celles de Y dns C. Allez ensute dns Stt / Regresson / Drote d'justement. Selectonner C pour Reponse et C1 pour redcteurs. Cocher Qudrtque. En clqunt sur OK, vous obtenez l regresson. Vous pouvez uss utlser l fen^etre Sesson, tpez %Ftlne C C1; oly. et pressez -. our une regresson cubque, cocher Cubque ou tper %Ftlne C C1; oly 3. our une regresson multple, ntrodusez les vleurs de X 1 dns C1, celles de X dns C et celles de Y dns C3. Allez ensute dns Stt / Regresson / Regresson. Selectonner C3 pour Reponse; C1 et C pour redcteurs. En clqunt sur OK, vous obtenez l regresson multple. Vous pouvez uss utlser l fen^etre Sesson, tpez REGRESS C3 C1 C; CONSTANT; BRIEF. et pressez -. S vous voulez le grphque de l drote de regresson et des vleurs de Y, chosssez Stt / Regresson / Drote d'justement. Len entre vrbles qulttves On peut eectuer des regressons uss vec des vrbles qulttves ms l fut tenr compte des specctes de ces donnees. renons tout d'bord le cs le plus smple d'une vrble ndependnte muette (dummy en ngls). r exemple, lorsqu'on estme l demnde pour les voyges on peut utlser une vrble muette qu prend l vleur de 1 s l personne trvlle et 0 s elle ne trvlle ps. On urt lors le modele suvnt: Y t = + br t + cx t ou Y t sont les depenses pour les voyges, R t le revenu et X t l vrble muette suvnte: 1 s l personne trvlle X t = 0 s elle ne trvlle ps On lors: E(Y t )= + be(r t )+c s l personne trvlle E(Y t )= + be(r t ) s l personne ne trvlle ps. On peut uss prendre une vrble muette pour l couleur de l voture ms l sert fux de prendre une vrble dont l vleur est 1 s l voture est rouge, s elle est bleu et ns de sute. Il fut prendre pluseurs vrbles muettes pour chque couleur ou pour les prncples couleurs. S l demnde depend du trmestre, on peut prendre une vrble muette pour le trmestre qu nuence l demnde ms l ne fut ps utlser qutre vrbles muettes cr leur somme donne le vecteur unte qu est celu de l constnte. S l vrble dependnte est de type qulttf, lors le probleme devent plus dcle. r exemple, s on veut estmer le len entre ceux qu votent ou un certn projet et leur revenu, on un modele de type bnre. On peut uss supposer que jusqu' un certn revenu l'ndvdu vote ou et prtr de ce seul l vote non. Tous ces modeles sont etudes dns des cours vnces. 11