Introduction to Econometrics

Transcription

1 MPRA Muich Persoal RePEc Archive Itroductio to Ecoometrics Moussa Keita September 015 Olie at MPRA Paper No , posted. September :1 UTC

2 INTRODUCTION A L ECONOMETRIE Par Moussa Keita, PhD* Septembre 015 (Versio 1) *Ecole d Ecoomie, Uiversité d Auverge clermot Ferrad 1 Cotact ifo: keitam09@ymail.com Codes JEL: C1, C Mots clés: Ecoométrie, Modèle liéaire, Variable qualitative, logit, probit, MCO, Maximum de vraisemblace

3 AVANT-PROPOS Ce mauscrit propose ue itroductio à l aalyse écoométrique. Il est articulé autour de deux grades parties structurées sur six chapitres. La première partie, cosacrée à l étude du modèle liéaire, est costituée de quatre chapitres. Le premier présete quelques cocepts statistiques utiles e Ecoométrie alors que le secod et le troisième chapitre sot cosacrés à l étude du modèle liéaire simple et du modèle liéaire multiple. Quat au quatrième chapitre, il se focalise sur l étude du modèle liéaire gééralisé (utilisé e cas de violatio de certaies hypothèses stadards du modèle liéaire). Das cette première partie, u accet particulier est mis sur les méthodes d estimatio telles que la méthode des moidres carrés ordiaires et la méthode de maximum de vraisemblace. Ue large discussio est égalemet meée sur les techiques d iférece et sur les approches de tests d hypothèses. La secode partie du travail est cosacrée à l étude des modèles à variable dépedate qualitative. Das cette partie, deux classes de modèles sot étudiées : celles des modèles à variable dépedate dichotomique (probit et logit stadard) et celle des modèles à variables dépedate polytomique (probit et logit multiomiaux ordoés et o ordoés). Le mauscrit état toujours e cours de progressio, ous restos réceptifs à toutes critiques et suggestios de ature à améliorer le coteu du travail.

4 CHAPITRE 1. CONCEPTS STATISTIQUES DE BASE EN ECONOMETRIE Notios de série statistique Tedace cetrale et de dispersio d ue série La moyee La variace: L écart-type Covariace (de deux séries) Le coefficiet de corrélatio liéaire (etre deux séries) Le coefficiet de détermiatio Quelques rappels sur l opérateur d espérace E(.) Défiitio et propriétés de l opérateur d espérace Quelques utilisatios de l opérateur d espérace Rappel sur les lois statistiques usuelles La loi ormale et le théorème cetral limite La loi de khi-deux La loi de Studet La loi de Fisher Rappel sur les tests d hypothèses Forme géérale d u test d hypothèse Test bilatéral Test uilatéral (à droite) Test uilatéral (à gauche) Les règles d utilisatio des tables statistiques usuelles Utilisatio de la table de la loi ormale cetrée réduite Utilisatio de la table de Studet Utilisatio de la table de khi-deux... 7 CHAPITRE : LE MODELE LINEAIRE SIMPLE Estimatio par les moidres carrés ordiaires Les valeurs ajustées (ou valeurs prédites) du modèle Les hypothèses de base sur les résidus de régressio

5 .1.3. Décompositio de la somme des carrés Equatio de décompositio de la variace Le coefficiet de détermiatio : R et R ajusté Calcul de la variace estimée des résidus Propriétés des estimateurs : biais et covergece Le biais d estimatio Covergece d u estimateur Iférece statistique Les lois de distributios des paramètres estimés Test de sigificativité des coefficiets estimés Itervalle de cofiace des paramètres estimés Prédictio à l itérieur de l échatillo et itervalle de cofiace de la droite de régressio Prédictio hors-échatillo et erreur de prédictio Liéarisatio des modèles o-liéaires Estimateur du maximum de vraisemblace CHAPITRE 3. LE MODELE LINEAIRE MULTIPLE Estimatio par Moidre Carrés ordiaires Résolutio du système par substitutio Représetatio matricielle des doées Correspodace etre la méthode de substitutio et la méthode matricielle Calcul des valeurs prédites Calcul des valeurs résiduelles Calcul de la variace totale, expliquée et résiduelle Matrice de variace-covariace La matrice de corrélatio Propriétés des estimateurs Esperace et Biais d estimatio Variace et Covergece Distributio de probabilité des estimateurs Tests d hypothèses sur les coefficiets estimés

6 Test sur les coefficiets idividuels Test sur ue combiaiso liéaire de coefficiets (Test de Wald) Estimateur des moidres carrés cotraits Propriété de l estimateur des moidres carrés cotraits Le test de Fisher (sur la validité des cotraites) La statistique de Fisher das le cadre du test de Chow (ou test de chagemet de régime) Estimatio par maximum de vraisemblace CHAPITRE 4. LE MODELE LINEAIRE GENERALISE Test de ormalité des résidus Test d hétéroscédasticité Le test Goldfeld-Quadt Le test Breush-Paga Le test de White Correctio de l hétéroscédasticité Test d autocorrélatio des erreurs Le test d autocorrélatio de Durbi-Watso Le test d autocorrélatio de Box-Pierce Le test d autocorrélatio de Ljug-Box Correctio de l autocorrélatio Autres cas de violatio des hypothèses de base du modèle liéaire CHAPITRE 5. MODELES A VARIABLE DEPENDANTE DICHOTOMIQUE Présetatio Choix de la foctio F. et ature du modèle Le modèle probit Le modèle logit Défiitio du modèle dichotomique à partir d ue variable latete

7 5.4. Estimatio du modèle dichotomique Méthode de maximum de vraisemblace (MV) Propriétés des estimateurs MV Le modèle de probabilité liéaire Les effets margiaux das le modèle dichotomique Les Odds ratio das le modèle logit Passage du modèle probit au modèle logit Diagostics sur la qualité de l estimatio des modèles logit et probit Le R de McFadde Le pouvoir de prédictio du modèle et le pseudo R Test d hypothèses das le cadre du modèle dichotomique Test sur u coefficiet Test de Wald sur ue cotraite liéaire de coefficiets Test du rapport de vraisemblaces Le test du multiplicateur de Lagrage CHAPITRE 6. MODELES A VARIABLE DEPENDANTE POLYTOMIQUE Présetatio Modèles multiomiaux ordoés : logit et probit ordoés Les modèles multiomiaux o ordoés : cas du logit o ordoé Les extesio des modèles multiomiaux : logit coditioel, logit emboité et modèles séquetiels Le modèle logit coditioel Le modèles multiomiaux séquetiels Bibliographie

8 CHAPITRE 1. CONCEPTS STATISTIQUES DE BASE EN ECONOMETRIE 1.1. Notios de série statistique O s itéresse à deux variables x et y mesurées sur uités d observatio. Pour chaque uité, o obtiet alors doc deux mesures. La série statistique est alors ue suite de couples des valeurs prises par les deux variables sur chaque idividu. Cela peut se préseter comme suit : X x 1 x x 3 x Y y 1 y y 3 y Chacue des deux variables peut être soit quatitative, soit qualitative. Par exemple lorsqu o mesure le poids (X) et la taille (Y) de 0 idividus, les iformatios obteues peuvet être présetées sous forme de séries statistiques comme suit : i X Y Tedace cetrale et de dispersio d ue série La moyee x = 1 x i (1.1) 1... La variace: S x = 1 (x i x ) (1.a) L écart-type S x = 1 (x i x ) = S (1.b) 7

9 1..4. Covariace (de deux séries) S xy = 1 (x i x )(y i y ) (1.c) Notos qu e développat cette expressio, o retrouve ue ouvelle expressio de la covariace : S xy = 1 (x iy i ) x y (1.d) A travers cette expressio, o peut doer l expressio développée de la variace S x. E effet : S x = S xx = 1 (x ix i ) x x S x = 1 x i x (1.e) Le coefficiet de corrélatio liéaire (etre deux séries) Le coefficiet de corrélatio liéaire mesure le degré de dépedace liéaire etre deux variables. Il est égal à la covariace des deux variables divisée par le produit leur écart-type : r xy = S xy S x S y (1.3) Le coefficiet est compris etre -1 et 1. Pour le cas de deux variables idépedates la corrélatio est égale à Le coefficiet de détermiatio Le coefficiet de détermiatio est le carré du coefficiet de corrélatio. C est le carré de la covariace divisée par le produit des variaces R xy = S xy S x S (1.4) y Le coefficiet de détermiatio est compris etre 0 et 1. 8

10 1.3. Quelques rappels sur l opérateur d espérace E(.) Défiitio et propriétés de l opérateur d espérace De faço simple, l espérace d ue variable correspod à la moyee de cette variable lorsque est grad. Elle se calcule par la formule suivate : E(X) = x = 1 x i (1.5) Das certais cas, au lieu d utiliser x, o utilise E(X). Par exemple, pour calculer la variace, o écrit : VAR(X) = 1 (x i E(X)) De plus, sachat que VAR(X) = 1 x i comme suit : x, o peut réécrire cette expressio VAR(X) = E(X ) (E(X)) (1.6) Avec E(X ) = 1 x i Cette formulatio de la variace s avère d ue importace capitale das beaucoup de démostratios. Elle peut se gééraliser quelle que soit la variable cosidérée. Soit ue variable Z telle que Z = XY, o a : Or o sait que : Par coséquet : E(Z) = E(XY) = 1 x i y i VAR(Z) = 1 (x iy i E(Z)) VAR(Z) = 1 (x iy i ) (E(Z)) Aisi de faço explicite, o peut écrire : VAR(Z) = E(Z ) (E(Z)) 9

11 VAR(XY) = E(X Y ) (E(XY)) Et lorsque les deux variables X et Y sot idépedates alors E(XY) = E(X) E(Y). Aisi, o a : VAR(XY) = E(X Y ) (E(X)E(Y)) (1.7) O peut élargir ce type de raisoemet au cas de la covariace etre X et Y. E effet, COV(X, Y) = 1 (x i E(X))(y i E(Y)) = 1 (x iy i ) E(X)E(Y) COV(X, Y) = E(XY) E(X)E(Y) (1.8) Si les deux variables sot idépedates E(XY) = E(X)E(Y), Par coséquet COV(X, Y) = 0 Aussi, la formule de la covariace peut être gééralisée quelle que soit la puissace de X et de Y. O a : COV(X r, Y r ) = E(X r Y r ) E(X r )E(Y r ) (1.9) Exemple : COV(X, Y ) = E(X Y ) E(X )E(Y ) Quelques utilisatios de l opérateur d espérace E(. ) Calcul de l espérace das le cas de la somme ou du produit de deux variables aléatoires - Espérace d ue somme E(X + Y): - Espérace d u produit E(XY): O sait que : E(X + Y) = E(X) + E(Y) (1.10) COV(X, Y) = E(XY) E(Y)E(Y) E(XY) + COV(X, Y) + E(Y)E(Y) (1.11a) Si les deux variables sot idépedates COV(X, Y) = 0. Aisi, o a : E(XY) = E(X)E(Y) (1.11b) 10

12 L'espérace du produit de variables aléatoires idépedates est le produit des espéraces Calcul de la variace das le cas de la somme ou du produit de deux variables aléatoires - Variace d ue somme VAR(X + Y): VAR(X + Y) = E((X + Y) ) [E(X + Y)] = E(X + Y + XY) [E(X) + E(Y)] = E(X ) + E(Y ) + E(XY) [E(X)] [E(Y)] E(X)E(Y) = E(X ) [E(X)] + E(Y ) [E(Y)] + [E(XY) E(X)E(Y)] VAR(X) + VAR(Y) + COV(X, Y) VAR(X + Y) = VAR(X) + VAR(Y) + COV(X, Y) (1.1) Si les deux variables sot idépedates, o a COV(X, Y) = 0 aisi o a: VAR(X + Y) = VAR(X) + VAR(Y) - Variace d u produit VAR(XY): VAR(XY) = E(X Y ) [E(XY)] Or COV(X, Y) = E(XY) E(X)E(Y) E(XY) = COV(X, Y) + E(X)E(Y) COV(X, Y ) = E(X Y ) E(X )E(Y ) E(X Y ) = COV(X, Y ) + E(X )E(Y ) Aisi, o a : VAR(XY) = COV(X, Y ) + E(X )E(Y ) [COV(X, Y) + E(X)[E(Y)]] O sait que : E(X ) = VAR(X) + [E(X)] et E(Y ) = VAR(Y) + [E(Y)] Aisi : VAR(XY) = COV(X, Y ) + [ VAR(X) + [E(X)] ]. [ VAR(Y)+[E(Y)] ] [COV(X, Y) + E(X)[E(Y)]] (1.13a) A oter que das le cas de l idépedace: COV(X, Y ) = COV(X, Y) = 0 Ce qui permet doc de réduire la formule à: VAR(XY) = [ VAR(X) + [E(X)] ]. [ VAR(Y)+[E(Y)] ] [E(X)[E(Y)]] 11

13 Aisi, e développat cette expressio, o retrouve la formule iitiale VAR(XY) = VAR(X)VAR(Y) + VAR(X)[E(Y)] + VAR(Y)[E(X)] (1.13b) Autres formules particulières VAR(aX + b) = a²var(x) COV(aX; Y) = acov(x; Y) 1.4. Rappel sur les lois statistiques usuelles La loi ormale et le théorème cetral limite Soit X ue variable aléatoire suivat ue loi ormale de moyee μ et de variace σ. E cosidérat la variable aléatoire X telle que X = 1 X i, cette la variable suit égalemet ue loi ormale de moyee μ mais de variace σ. Aisi e cetrat cette variable par μ et réduisat par la racie carrée de σ, o obtiet ue variable aléatoire Z suivat ue loi ormale de moyee zéro et de variace égale à 1. Ce qui se présete comme suit : Z = X μ σ N(0,1) (1.14) Cette propriété déommée théorème cetrale limite se résume alors comme suit : X N(μ, σ ) X = 1 X i N (μ, σ ) Z = X μ σ N(0,1) La loi de khi-deux Soit X 1,, X p ue suite de variables aléatoires idépedates ormales, cetrées réduites (c est à dire de moyee ulle et de variace égale à 1), alors la variable aléatoire :χ p est défiie comme la somme des carrées de la variable X. Aisi, o a : p χ p = X i (1.15) suit ue loi de khi- à p degrés de liberté. Aisi avec cette variable, o peut motrer que : E(χ p ) = p 1

14 VAR(χ p ) = p La loi de Studet La loi de Studet est défiie à partir du rapport etre ue variable ormale cetrée réduite et ue loi de khi-deux à p degrés de liberté. Elle est traduite comme suit : La loi de Fisher t p = X χ (1.16) p p La loi de Fisher est défiie à partir du rapport etre deux variables idépedates suivat chacue ue loi de khi-deux respectivemet à p et q degrés de liberté. Elle est traduite comme suit : F p,q = χ p p χ q q (1.17) NB : Il est facile de motrer que le carré d ue variable de Studet à q degrés de liberté est ue variable de Fisher à 1 et q degrés de liberté Rappel sur les tests d hypothèses Forme géérale d u test d hypothèse Tests d hypothèses simples Le test d hypothèse cosiste à éocer deux hypothèses sur u paramètre θ, dot ue seule est vraie. Par exemple, o peut tester -l hypothèse ulle H0 que θ = θ 0, -l hypothèse alterative H1 que θ = θ 1. L objectif est de predre ue décisio sur H0 qui cosistera à rejeter H0 ou à e pas rejeter H0. La décisio est prise sur base des doées observées, et peut doc coduire à deux types d erreurs : Rejeter H0 alors que H0 est vraie, cette erreur est appelée erreur de première espèce. Elle est otée α. A oter que 1- α représete le seuil de cofiace. 13

15 Ne pas rejeter H0 alors que H0 est fausse, cette erreur est appelée erreur de deuxième espèce. Elle est otée β avec 1- β qui représete alors la puissace du test. H0 est vraie H0 est fausse Rejeter H0 α 1- β Ne pas rejeter H0 1 α β Tests d hypothèses composites Das la pratique, les tests sot gééralemet des tests composites. E effet, les hypothèses sot gééralemet du type Le paramètre θ est-il strictemet plus grad qu ue certaie valeur θ 0? Ce type d hypothèse composite amèe à la costructio de test du type : 1 { H 0 θ = θ 0 H 1 θ θ 0 { H 0 θ = θ 0 H 1 θ < θ 0 3 { H 0 θ = θ 0 H 1 θ > θ 0 4 { H 0 θ θ 0 H 1 θ < θ 0 5 { H 0 θ θ 0 H 1 θ > θ 0 L égalité doit toujours apparaître das l hypothèse ulle. Si la questio est : θ est-il strictemet plus grad que θ 0? O posera l hypothèse alterative : H1 : θ θ 0 et doc H0 : θ θ Test de comparaiso à ue valeur théorique Soit X ue variable aléatoire suivat ue loi ormale de moyee m et de variace σ. O motre d abord que si X N(m, σ ) alors : X = 1 X i N (m, σ ) Aisi avec le théorème cetral limite, o a Z = X m σ N(0,1). Cepedat lorsque la variace σ est pas coue, o utilise l expressio de la variace estimée telle que : σ = 1 (X 1 i X ). Mais sachat que la variace estimée est la somme des carrés d ue loi ormale, alors elle est distribuée selo ue loi de χ à -1 degrés de libertés. Aisi e appliquat le théorème cetral limite, o trouve : 14

16 T = X m σ 1 t( 1) (1.18) Cette propriété motre bie que la coaissace de la variace a doc ue implicatio importate das la coduite des tests d hypothèse Détermiatio de la P-value d u test La P-value est la probabilité correspodat à la statistique Z, T, χ p ou F obteue das la costructio du test. E preat le cas d ue statistique qui suit ue loi ormale, la pvalue correspod à la probabilité à Z lue das la table de la loi ormale. Elle se défiit comme la probabilité d obteir ue statistique z qui soit supérieure à la statistique calculée Z : Pvalue = P(z Z) Pvalue = 1 P(z < Z) Aisi pour obteir la pvalue, o lit d abord das la table de la loi ormale la probabilité P(z < Z). Esuite, o calcule la pvalue. La pvalue fourit aussi ue règle décisio das le test. E effet, lorsque la pvalue est iférieure au seuil α, o rejette H0. Mais lorsque la pvalue est supérieure au seuil α o e peut pas rejeter H Test bilatéral Soit X ue variable aléatoire suivat ue loi ormale de moyee m et de variace σ. O souhaite tester l hypothèse suivate : { H 0 μ = m H 1 μ m Cas où la variace σ est coue : Lorsque σ est coue, avec le théorème cetral limite, o peut poser : Z = X m σ N(0,1) E fixat le seuil de première espèce α, la statistique de ce test se présete comme suit (compte teu du caractère bilatéral) : 15

17 P ( X m σ < Z 1 α ) + P ( X m σ > Z α 1 ) = α P (Z < Z α 1 ) + P (Z > Z α 1 ) = α Mais sachat que P (Z < Z α 1 ) = P (Z > Z α 1 ) (propriété d ue loi symétrique), o a : P (Z > Z α 1 ) = α Où Z est la statistique du test calculée et Z α 1 le quatile d ordre 1 α de la loi ormale cetrée réduite (lue das la table de loi ormale cetrée réduite). Par ailleurs sachat que P (Z < Z α 1 ) + P (Z > Z α 1 ) = α, cela sigifie que : P ( Z α 1 < Z < Z α 1 ) = 1 α P ( Z < Z α 1 ) = 1 α Dès lors o peut utiliser l ue des deux expressios pour predre la décisio du test : soit P (Z > Z α 1 ) = α qui exprime le seuil d erreur ou P ( Z < Z α 1 ) = 1 α qui exprime le seuil de cofiace. Das l u ou l autre des cas, o compare la valeur Z calculée à la valeur de Z α 1 lue das la table de la loi ormale. Aisi lorsque Z > Z α 1, o rejette l hypothèse H0. E revache lorsque Z < Z 1 α, o e peut pas rejeter H0. La régio critique de ce test (ecore appelée régio de rejet de H0) se défiit telle que : RC = { X m σ > Z α 1 } soit Ou X m σ [ Z α 1 ; Z α 1 ] RC = { X m > Z α 1 σ } soit X ]m Z 1 α σ ; m + Z 1 α σ ] 16

18 Coaissat doc la régio critique, o peut défiir la régio d acceptatio de H0 sachat que ( X m σ < Z α 1 ) = 1 α. Dès lors, la régio d acceptatio se défiit comme suit. RA = { Z 1 α < X m σ < Z α 1 } RA = {m Z α 1 σ Ou < X < m + Z 1 α σ } Aisi coaissat la régio de rejet ou la régio d acceptatio, o peut doer ue autre règle de décisio par rapport au test. E effet après avoir calculée la moyee X sur l échatillo, o regarde si sa valeur appartiet ou pas à la régio d acceptio. Aisi si X appartiet à l itervalle RA, o e peut pas rejeter H0. Par cotre si X appartiet de RC, o rejette H Cas où la variace σ est pas coue Lorsque la variace σ est pas coue, o utilise la variace estimée telle que : σ = 1 (X 1 i X ). Dès lors, e appliquat le théorème cetral limite o trouve ue loi de Studet qui se présete comme suit : X m σ 1 t( 1) Das cette cofiguratio, e fixat le seuil de première espèce α, la statistique du test se présete comme suit (compte teu au du caractère bilatéral) : P ( X m σ 1 < T 1 α ) + P ( X m σ 1 P (T < T α 1 ) + P (T > T α 1 ) = α > T α 1 ) = α Mais sachat que P (T < T α 1 ) = P (T > T α 1 ) (propriété d ue loi symétrique), o a : P (T > T α 1 ) = α 17

19 Où T est la statistique du test calculée et T α 1 le quatile d ordre 1 α de la loi ormale cetrée réduite (lue das la table de loi ormale cetrée réduite). Par ailleurs sachat que P (T < T α 1 ) + P (T > T α 1 ) = α, cela sigifie que : P ( T α 1 < T < T α 1 ) = 1 α P ( T < T α 1 ) = 1 α Dès lors o peut utiliser l ue des deux expressios pour predre la décisio du test : soit P (T > T α 1 ) = α qui exprime le seuil d erreur ou P ( T < T α 1 ) = 1 α qui exprime le seuil de cofiace. Das l u ou l autre des cas, o compare la valeur T calculée à la valeur de T α 1 lue das la table de la loi ormale. Aisi lorsque T > T α 1, o rejette l hypothèse H0. E revache lorsque T < T 1 α, o e peut pas rejeter H0. La régio critique de ce test (ecore appelée régio de rejet de H0) se défiit telle que : RC = { X m > T α σ 1 } soit 1 X m σ 1 [ T α 1 ; T α 1 ] RC = { X m > T α 1 σ Ou 1 } soit X ]m T 1 α σ 1 ; m + T 1 α σ 1 ] Coaissat doc la régio critique, o peut défiir la régio d acceptatio de H0 sachat que ( X m σ < T α 1 ) = 1 α. Dès lors, la régio d acceptatio se défiit 1 comme suit. RA = { T 1 α < X m σ 1 Ou < T α 1 } 18

20 RA = {m T α Test uilatéral (à droite) σ 1 < X < m + T 1 α { H 0 μ = m H 1 μ > m Cas où la variace σ est coue σ 1 } Lorsque la variace est coue la statistique du test sous H 0 suit ue loi ormale N(0,1). Aisi coaissat le seuil d erreur α o défiit la régio critique telle que : P ( X m σ > Z 1 α ) = α P(Z > Z 1 α ) = α Où Z est la statistique du test calculée et Z 1 α le quatile d ordre 1 α de la loi ormale cetrée réduite (lue das la table de loi ormale cetrée réduite). Aisi lorsque Z > Z 1 α, o rejette l hypothèse H0. E revache lorsque Z < Z 1 α, o e peut pas rejeter H0. La régio critique de ce test (ecore appelée régio de rejet de H0) se défiit alors comme suit : RC = { X m σ > Z 1 α } Ou RC = {X > m + Z 1 α σ } Coaissat doc la régio critique, o peut défiir la régio d acceptatio de H0 sachat que ( X m σ comme suit. < Z 1 α ) = 1 α. Dès lors, la régio d acceptatio se défiit RA = { X m σ < Z 1 α } soit X m σ ] ; Z 1 α ] 19

21 RA = {X < m + Z 1 α Détermiatio de la P-value du test : σ Ou } soit X ] ; m + Z 1 α σ ] La pvalue de ce test se détermie e calculat la probabilité 1 P(z < Z) où P(z < Z) est la probabilité correspodat à Z das la table de la loi ormale Cas où la variace σ est pas coue : Lorsque σ est pas coue, o a : X m σ 1 T( 1) Aisi coaissat le seuil d erreur α o défiit la régio critique du test telle que : P ( X m σ 1 > T 1 α ) = α P(T > T 1 α ) = α Où T est la statistique du test calculée et T 1 α le quatile d ordre 1 α de la loi de la loi de Studet. Aisi lorsque T > T 1 α, o rejette l hypothèse H0. Et lorsque T < T 1 α, o e peut pas rejeter H0. La régio critique du test se défiit comme suit : RC = { X m σ 1 Ou RC = {X > m + T 1 α > T 1 α } σ 1 } Coaissat doc la régio critique, o peut défiir la régio d acceptatio de H0 sachat que ( X m σ 1 comme suit. < T 1 α ) = 1 α. Dès lors, la régio d acceptatio se défiit 0

22 RA = { X m σ 1 < T 1 α } soit Ou X m σ 1 ] ; T 1 α ] RA = {X < m + T 1 α Détermiatio de la P-value du test : σ 1 } soit X ] ; m + T 1 α σ 1 ] La pvalue de ce test se détermie e calculat la probabilité 1 P(t < T) où P(t < T) est la probabilité correspodat à t das la table de la loi ormale Test uilatéral (à gauche) { H 0 μ = m H 1 μ < m Cas où la variace σ est coue Lorsque la variace est coue la statistique du test sous H 0 suit ue loi ormale N(0,1). Aisi coaissat le seuil d erreur α o défiit la régio critique telle que : P ( X m σ < Z 1 α ) = α P(Z < Z 1 α ) = α Où Z est la statistique du test calculée et Z 1 α le quatile d ordre 1 α de la loi ormale cetrée réduite. Aisi lorsque Z < Z 1 α, o rejette l hypothèse H0. Et lorsque Z > Z 1 α, o e peut pas rejeter H0. La régio critique du test se défiit alors comme suit : RC = { X m σ < Z 1 α } Ou RC = {X < m Z 1 α σ } 1

23 Sachat que ( X m σ H0 comme suit. > Z 1 α ) = 1 α, o peut défiir la régio d acceptatio de RA = { X m σ > Z 1 α } soit X m σ ] Z 1 α ; + ] Ou RA = {X > m Z 1 α Détermiatio de la P-value du test : σ } soit X ]m Z 1 α σ ; + ] La pvalue de ce test se détermie e calculat la probabilité 1 P(z < Z) où P(z < Z) est la probabilité correspodat à Z das la table de la loi ormale Cas où la variace σ est pas coue Lorsque σ est pas coue, sachat que X m σ T( 1) et coaissat le 1 seuil d erreur α o défiit la régio critique du test telle que : P ( X m σ 1 < T 1 α ) = α P(T < T 1 α ) = α Où T est la statistique du test calculée et T 1 α le quatile d ordre 1 α de la loi de la loi de Studet. Aisi lorsque T < T 1 α, o rejette l hypothèse H0. Et lorsque T > T 1 α, o e peut pas rejeter H0. La régio critique du test se défiit comme suit : RC = { X m σ 1 Ou RC = {X < m T 1 α < T 1 α } σ 1 }

24 Coaissat doc la régio critique, o peut défiir la régio d acceptatio de H0 sachat que ( X m σ 1 comme suit. > T 1 α ) = 1 α. Dès lors, la régio d acceptatio se défiit RA = { X m σ 1 > T 1 α } soit Ou X m σ 1 ] T 1 α ; + ] RA = {X > m T 1 α Détermiatio de la P-value du test : σ 1 } soit X ]m T 1 α σ 1 ; + ] La pvalue de ce test se détermie e calculat la probabilité 1 P(t < T) où P(t < T) est la probabilité correspodat à t das la table de la loi ormale Les règles d utilisatio des tables statistiques usuelles Utilisatio de la table de la loi ormale cetrée réduite La table de la loi ormale cetrée réduite présete sur la première lige et la première coloe les valeurs des fractiles Z (ecore appelés quatiles). Das la première coloe, o lit la valeur du quatile Z à u décimal près. Et sur la première lige, o lit le ombre de décimaux restats à 10- près. Aisi c est e faisat la somme d u élémet e coloe et d u élémet e lige qu o obtiet la valeur de Z. Par exemple Z = 1.96 s obtiet e faisat 1,9+0,06 où 1,9 proviet de la première coloe alors que 0,06 proviet de la première lige. Aisi pour trouver la valeur de importe quel fractile, o procède à cette décompositio. Par exemple Z = 3.37 se lit e décomposat 3.3 (e coloe) et 0,07 (e lige). E plus de la première coloe extérieure et la première lige extérieure (qui permettet de coaitre la valeur de Z), o se réfère aux cellules itérieures pour lire les probabilités associées aux fractiles. La probabilité associée à ue fractile correspod à la valeur coteue das la cellule qui se trouve au croisemet des deux membres qui formet la valeur de la fractile. Par exemple, sachat que,47 est formée par,4(e lige) et 0,07 (e coloe), alors, la probabilité correspodat à,47 se trouve au croisemet etre,4 et 0,07. Cette valeur est égale à 0,993. Cette compréhesio de la structure de la table de loi ormale est extrêmemet importate car elle servira à détermier les fractiles (lorsque l o coait les 3

25 probabilités) ou à l iverse détermier les probabilités (lorsque l o coait les fractiles) Lecture des fractiles coaissat les probabilités α Das ue optique de détermiatio de la statistique d u test suivat ue loi ormale et dot le seuil d erreur est α, o lit le fractile correspodat à α. Pour cela, o calcule d abord(1 α) + α c'est-à-dire 1 α.. Esuite, o recherche cette valeur das les cellules itérieures de la table. Ue fois cette valeur idetifiée, o fait la somme des deux cellules extérieures (e lige et e coloe) dot le croisemet correspod à cette valeur 1 α lue das la table. Par exemple, pour le trouver la statistique (le fractile) correspodat à α =5 %, o calcule d abord 1 α (soit 0,975). Esuite, e recherchat 0,975 das les cellules itérieures de la table, o costate que cette valeur se trouve au croisemet etre 1,9 et Par coséquet le fractile correspodat à 5% est 1,96. Notos aussi que cette valeur peut être obteue avec la plus part des logiciels statistiques et écoométriques plus ou mois spécialisés. Par exemple, certaies foctios de Microsoft TM Excel fourisset les valeurs coteues das les tables statistiques usuelles. Pour obteir le fractile correspodat à au seuil α, o utilise la formule suivate : = loi. ormale. stadard. iverse(1 α ) Où α représete la probabilité (et correspod gééralemet au seuil d erreur). Remarque : Puisque la loi ormale est ue loi symétrique, si l o veut détermier la valeur opposée du fractile (e vue par exemple de la détermiatio d u itervalle de cofiace (ou autre), o cosidère juste l opposé de ce fractile pour trouver la bore iférieure de l ecadremet Lecture des probabilités α coaissat les fractiles Lorsque l o coait le fractile, pour détermier la probabilité correspodate par lecture d ue table de la loi ormale cetrée et réduite, o décompose d abord ce fractile e deux élémets (selo la méthode précédemmet discutée). Esuite, o recherche la cellule itérieure de la table se trouvat au croisemet (de la lige et de la coloe extérieure) des deux valeurs. Aisi, après avoir détermié cette valeur otée P, o calcule α telle que 1 α = P soit α = (1 P). Cette valeur α correspod doc à la probabilité recherchée. Par exemple, pour trouver la probabilité correspodat à 1,53, o décompose d abord cette valeur etre 1,5 et 0,03. E recherchat das les cellules itérieures de la table la probabilité se 4

26 trouvat au croisemet de ces deux valeurs, o trouve 0,937. Aisi puisque cette valeur équivaut à 1 α, o peut alors e déduire α comme α = (1 0,937). Soit α = 0,16 = 1,6% Notos aussi que valeur de la probabilité peut s obteir e utilisat égalemet les foctios de Microsoft Excel. Pour cela, o peut utiliser la formule suivate : = loi. ormale. stadard. (q; VRAI) Où q représete la valeur du fractile dot o cherche à détermier la probabilité. Remarque : Das ue démarche de test, la valeur de la probabilité aisi calculée correspod gééralemet à la p.value lorsque la détermiatio de la probabilité porte sur ue statistique de test. E effet das u test, o coaît à priori le seuil théorique α. Ce seuil est utilisé pour lire la statistique théorique (ou seuil critique) du test. O a alors le couple (α ; S ). Esuite e costruisat le test et e calculat la statistique du test sous l hypothèse ulle, o obtiet S. Ce qui maque alors c est la probabilité associée à cette statistique calculée. Elle est déommée la p.value p 0. Dès lors, pour détermier la p.value afi de former le couple (p 0 ; S), o lit la probabilité correspodat à S das la table. C est doc après avoir défiie cette probabilité qu o forme la règle de décisio du test : Si S > S p 0 < α alors o rejette H0. Si S < S p 0 > α alors o e peut pas rejeter H Lecture de la table de la loi ormale das le cas d u ecadremet de la fractile - Cas d u ecadremet de type : P ( b < Z < b) Lorsque le fractile Z est ue valeur ecadrée par ue bore supérieure b et ue bore iférieure -b, pour lire la probabilité pour que Z soit compris etre -b et b, o procède d abord à u développemet comme suit : P ( b < Z < b) = P(Z < b) P(Z < b) Or, sachat les propriété d ue loi symétrique, o a: P(Z < b) = P(Z > b). Mais o sait aussi que P(Z > b) = 1 P(Z < b). Dès lors, o a : P ( b < Z < b) = P(Z < b) [ 1 P(Z < b)]. Au fial, après développemet, o trouve : P ( b < Z < b) = P(Z < b) 1. 5

27 Cela motre doc que das ue loi symétrique, pour trouver la probabilité d u ecadremet symétrique (qui correspod e gééral au seuil de cofiace), il faut simplemet multiplier par la probabilité obteue e cosidérat uiquemet la bore supérieure (e suivat les méthodes de lectures précédemmet présetées). Esuite retracher 1 pour trouver la probabilité de l ecadremet (au seuil de cofiace). Par exemple, quad o demade de calculer la probabilité pour que Z soit comprise etre -,7 et,7. O lit d abord la probabilité associée à,7 (soit 0,9967). Esuite, o multiplie cette valeur par et o retrache 1. O trouve alors 0,9934. Aisi le seuil d erreur α s obtiet simplemet comme est 1-0,9934 soit 0,66%. Il faut oter que das u ecadremet α est pas calculée telle que 1 α = P mais comme 1 α = P. - Cas d u ecadremet de type P ( Z < b) ou de type P ( Z > b) Lorsqu il s agit d u ecadremet de type P ( Z < b), o garde sas aucue trasformatio la valeur lue das la table (ou obteue par la foctio : = loi. ormale. stadard. (q; VRAI). Aisi, le seuil d erreur α s obtiet e utilisat la relatio 1 α = P. Mais quad il s agit d u ecadremet de type P( U b), o lit d abord P( U b), esuite o calcule P( U b) 1 P( U b). Aisi, le seuil d erreur α s obtiet e utilisat la relatio 1 α = P Utilisatio de la table de Studet Lecture des fractiles coaissat les probabilités α E gééral la table de Studet se présete de telle sorte que les liges correspodet aux degrés de liberté et les coloes correspodet aux valeurs des probabilités. Pour utiliser ue table se présetat sous ce format, o retrouve d abord le degré de liberté, puis o lit sur la lige correspodate (de gauche à droite) jusqu à trouver la première valeur de t * supérieure au t calculé. Et o retiet e haut de la coloe la valeur P correspodate à cette valeur. NB : Néamois, il faut oter que das la table de Studet, le quatile 1 α se lit das la coloe P = α alors que le quatile 1 α se lit das la coloe P = α. Cette distictio est importate car, elle permet de différecier la lecture de la table selo qu il s agit d u test bilatéral (1 α ) ou d u test uilatéral (1 α). Notos aussi que pour détermier le fractile d ordre 1 α Studet, o peut aussi utiliser la foctio Excel : ou 1 α de la loi 6

28 = loi. studet. iverse(α ; ddl) pour le cas d u test bilatéral et = loi. studet. iverse(α ; ddl) pour le cas d u test uilatéral Aussi lorsque l o veut détermier la valeur symétrique (opposée) d u fractile e vue, par exemple, de la détermiatio d u itervalle de cofiace, etc, o pred juste l opposé du fractile calculée puisque la loi de Studet est ue loi symétrique. Par ailleurs, il faut aussi oter que lorsque est grad (>30), o peut approximer la loi de Studet par la loi ormale. Dès lors, o peut utiliser la table de la loi ormale comme décrite précédemmet Lecture des probabilités coaissat les fractiles Pour détermier la probabilité α das ue table de la loi de Studet, o se sert uiquemet du fractile et du ombre de degré de liberté e preat le chemi iverse qui coduit à la détermiatio du fractile. Das la table de Studet, o se place sur la lige correspodat au ombre de degrés de liberté et o se déplace de gauche vers la droite e essayat d idetifier la valeur la plus proche possible du fractile recherché. Ue fois la valeur du fractile idetifiée, o retrouve la valeur de la probabilité e lisat das le libellé de la coloe correspodat e haut de la table. Cette procédure peut aussi être mise e œuvre e utilisat les foctios d Excel spécifiée comme suit : = loi. studet(q; ddl; ) Où q représete le fractile dot o cherche la probabilité ; ddl représete le ombre de degrés de liberté. L optio sigifie que le logiciel doit fourir directemet la valeur α. E effet, e mettat l optio 1, o obtiet α falloir esuite multiplier par pour retrouver α Utilisatio de la table de khi-deux Lecture des fractiles coaissat les probabilités α qu il va La lecture d ue table de khi-deux se fait de la même maière que la lecture de la table de Studet discutée précédemmet otammet pour ce qui cocere la recherche la recherche du fractile correspodat à u seuil doé. Cepedat la procédure diffère sigificativemet lorsqu il s agit des ecadremets car la loi de khi-deux est pas ue loi symétrique. E effet, à la différece des précédetes lois, la loi de khi-deux est pas symétriquemet distribuée autour de 0. Par coséquet lorsqu o veut procéder, par exemple, à 7

29 u ecadremet, o doit d abord défiir la probabilité associée chaque fractile costituat les bores. Par exemple pour ecadrer ue valeur U das la perspective de la détermiatio d u itervalle de cofiace etc.., o calcule d abord deux probabilités : p1 = α et p = α + (1 α). Esuite, o lit les fractiles correspodat à chaque probabilité (e utilisat les degrés de liberté). Esuite, o ecadre U telle que q1 < U < q où q1 et q représetet respectivemet les fractiles correspodats à p1 et p. Cet ecadremet se fait doc de telle sorte que P(q1 < U < q) = 1 α. Où 1 α est le seuil de cofiace. Pour executer cette prodcéure sous excel, o procède comme suit : = loi. khideux. iverse(p1; ddl) et = loi. khideux. iverse(p; ddl). Les valeurs obteues servet doc à costruire l itervalle de cofiace Lecture des probabilités coaissat les fractiles Là égalemet, il y pas de différece etre la procédure de lecture d ue loi de khi-deux et ue loi de Studet pour ce qui cocere la recherche d ue probabilité simple. Par coséquet, o peut se référer à la méthode discutée pour la loi de Studet. E revache lorsqu il s agit de détermier la probabilité lorsque le fractile est fouri sous forme d ecadremet, la procédure est u peu particulière. E effet, Puisque, ous avos deux bores, pour obteir la probabilité correspodat à la fractile iférieure (c'est-à-dire pour obteir α ), o recherche juste cette valeur das la coloe où l o idetifié le fractile. Esuite, o multiplie par pour obteir α. De la même maière, o peut se servir de la fractile supérieure pour détermier la probabilité correspodat à α + (1 α) qui permet esuite d obteir α. Toutes ces procédure peuvet être mis e œuvre sous excel, e utilisat l ue des formules suivates : = loi. khideux(q1; ddl) = loi. khideux(q; ddl L ue ou l autre de ces deux valeurs obteues permettra alors de calculer et par coséquet 1-. 8

30 CHAPITRE : LE MODELE LINEAIRE SIMPLE Nous cherchos à étudier la relatio etre deux variables Y et X. Y est la variable que o cherche à expliquer ( ou à prédire), o parle de variable edogèe (dépedate) ; X est la variable explicative (prédictive), o parle de variable exogèe (idépedate). L équatio mathématique qui permet de relier Y à X est appelée modèle. Ce modèle est dit simple lorsqu il existe qu ue seule variable explicative. La forme géérale du modèle liéaire simple est la suivate : y i = β 0 + β 1 x i + ε i (.1) y i représete la variable expliquée (ecore appelée variable dépedate). x i représetet la variable explicative (ecore appelée variable idépedate). ε i représete les perturbatios aléatoires ou les résidus. Les coefficiets β 0 et β 1 sot les paramètres à estimer. Ils représetet les effets des variables explicatives sur la variable expliquée. Par exemple, β 1 mesure l impact de la variable x i sur la variable y i. Il faut simplemet remarquer que das l équatio (.1), les variables y et x sot observées alors que les paramètres β 0, β 1 et les perturbatios aléatoires sot iobservés. Le terme aléatoire ε i, que l'o appelle l'erreur du modèle permet de résumer toute l'iformatio qui 'est pas prise e compte das la relatio liéaire que l'o cherche à établir etre Y et X c.-à-d. les problèmes de spécificatios, l'approximatio par la liéarité, etc. Les paramètres β 0, β 1 sot estimés das ue procédure appelée régressio. La régressio liéaire cosiste à trouver ue droite qui ajuste au mieux u uage de poits formé par les couples (X, Y). Pour cela plusieurs techiques peuvet être utilisées dot otammet la méthode des moidres carrés ordiaires et la méthode de maximum de vraisemblace..1. Estimatio par les moidres carrés ordiaires L estimatio du modèle liéaire simple par les Moidres Carrés Ordiaires MCO cosiste à chercher la droite qui miimise la somme des carrés des résidus : l(β 0, β 1 ) = Mi β 0,β 1 ε = Mi (y i β 0 β 1 x i ) β 0,β 1 (.) Le miimum de cette foctio s obtiet e aulat les dérivées partielles par rapport à β 0 et β 1. 9

31 l(β 0, β 1 ) = (y β i β 0 β 1 x i ) = 0 (.3a) 0 l(β 0, β 1 ) = (y { β i β 0 β 1 x i )x i = 0 (.3b) 1 Par simplificatio, o a : (y i β 0 β 1 x i ) = 0 (y i β 0 β 1 x i )x i = 0 { Ces deux équatios sot appelées «équatio ormales». O peut simplemet oter que comme y i β 0 β 1 x i = ε i, alors les équatio ormales peuvet aussi s écrire sous la ouvelle forme suivate : ε i = 0 x i ε i = 0 { Ces deux propriétés sot extrêmemet importates. Elles motret d ue part que la somme des résidus est ulle et d autre part que le produit croisé etre les résidus et la variable explicative est aussi ulle. Mais comme o le verra u peu plus loi, la première propriété est plus vérifiée lorsqu il y pas de costate das le modèle. Ce qui a aussi quelques implicatios. E reveat à la forme explicite des équatio ormales, o a u système de deux équatios à deux icoues, qui peuvet égalemet s écrire : y i β 0 β 1 x i = 0 x i y i { β 0 x i β 1 x i = 0 30

32 E divisat la première équatio par, o retrouve : y β 0 β 1 x = 0 x i y i { β 0 x i β 1 x i = 0 La première équatio motre que la droite passe par le poit moye (x, y ). Ce qui permet doc de poser que : β 0 = y β 1 x (.4a) E remplaçat β 0 par sa valeur das la secode équatio divisée par, o a : 1 x iy i 1 (y β 1 x )x β 1 x i = 0 1 x iy i x y β 1 ( 1 x i x ) = 0 S xy β 1 S x = 0 (.4b) Aisi la solutio au problème de miimisatio de la somme des carrés de résidus se présete comme suit : β 1 = S xy S x (.5a) β 0 = y S xy { S x x (.5b) β 1 = COV(x, y) VAR(x) (.6a) { β 0 = y β 1x (.6b) La droite de régressio s écrit alors comme : y i = β 0 + β 1x i + ε i (.7) 31

33 Avec β 1 = S xy S et β 0 = y S xy x S x x.1.1. Les valeurs ajustées (ou valeurs prédites) du modèle Les valeurs ajustées otées y i sot obteues au moye de la droite de régressio : y i = β 0 + β 1x i (.8).1.. Les hypothèses de base sur les résidus de régressio Le résidu est la partie iexpliquée de y i par la droite de régressio. C est la différece etre la valeur observée y i de la variable dépedate et sa valeur ajustée y. i Ils sot calculés comme suit : Propriétés des résidus ε i = y i y i (.9) La première hypothèse qui coditioe la validité de l estimateur des moidres carrés ordiaires est que l espérace des résidus soit ulle. Cette propriété se traduit par l expressio suivate : E(ε i ) = 1 ε i = 1 (y i y ) i = 0 E(ε i ) = 0 (.10) Cette propriété est l ue des hypothèses fodametales das l estimatio par les moidres carrés ordiaires. La secode hypothèse cocerat les résidus est celle d homocédasticité qui sigifie que la variace des résidus est costate. Elle est otée comme suit : VAR(ε i ) = E(ε i ) [E(ε i )] = E(ε i ) = σ ε (.11) Ue troisième hypothèse est la o-corrélatio etre les résidus et les variables explicatives du modèle. O dit alors qu il y a orthogoalité (ou idépedace) etre les résidus et les variables explicatives. Cette idépedace se traduit par ue covariace ulle etre la série des résidus ε i et la série des x i. Ce qui se traduit comme suit : COV(x i, ε i ) = E(x i ε i ) E(x i )E(ε i ) = E(x i ε i ) = 1 x iε i = 0 3

34 COV(x i, ε i ) = 1 x iε i = 0 (.1a) La quatrième hypothèse stipule que les résidus sot o corrélés etre eux, e d autres termes la covariace etre deux résidus i et j est toujours égale à 0. COV(ε i, ε j ) = E(ε i ε j ) E(ε i )E(ε j ) = E(ε i ε j ) = 0 i j (.1b) Le o-respect de l ue des quatre hypothèses etraîe l ivalidité de l estimatio par les moidres carrés ordiaires. Dès lors, il apparaît importat de s assurer que ces hypothèses soiet vérifiées avat d utiliser cette méthode d estimatio. Par ailleurs, il existe ue hypothèse supplémetaire sur la distributio des résidus. C est l hypothèse de ormalité des résidus. O suppose que les résidus suivet ue loi ormale de moyee ulle et de variace σ ε. ε i N(0, σ ε ) Il faut oter que cette hypothèse est pas ue coditio écessaire de la validité de l estimateur des MCO. Celui-ci cherche simplemet à miimiser la somme des carrés des résidus. Peu importe doc la loi suivie la série des résidus das cette méthode d estimatio. Il faut juste que les résidus soiet idépedats et idetiquemet distribués. E plus de ces ciq hypothèses sur la série des résidus, il existe aussi des hypothèses sur la série des variables explicatives. E effet, o suppose que la série de X est pas stochastique c'est-à-dire que X est o aléatoire. Cette hypothèse sigifie que so espérace et sa variace sot costates. E revache la variable Y est u variable stochastique car sa valeur est ifluecée par les perturbatios proveat des ε i.1.3. Décompositio de la somme des carrés Somme des carrés expliquée (SCE) La SCE est la somme des écarts à la moyee des valeurs ajustées (prédites) SCE = (y i y ) (.13) La SCE idique la variabilité expliquée par le modèle c.-à-d. la variatio de Y expliquée par X. 33

35 Somme des carrés résiduelle (SCR) La SCR est la somme des carrés des écarts aléatoires: SCR = ε i (.14) La SCR idique la variabilité o-expliquée (résiduelle) par le modèle c.-à-d. l'écart etre les valeurs observées de Y et celles prédites par le modèle Somme des carrés totale (SCT) La SCT idique la variabilité totale de Y c.-à-d. l'iformatio dispoible das les doées. Elle est la somme de la SCE et de la SCR : Démostratio O sait que : y i = y i + ε i Ajoutos de part et d autre de l équatio la moyee de y. O a : Aisi, o a : y i y = y i y + ε i (y i y ) = (y i y ) + ε i Elevos les deux membres d équatio au carré o a : (y i y ) = [(y i y ) + ε i ] E développat le membre de droite, o a : E passat l opérateur somme, o a : (y i y ) (y i y ) = (y i y ) + ε i + (y i y )ε i = (y i y ) + ε i + (y i y )ε i Or d après les équatios ormales, (y i y )ε i est ulle car, o a : (y i y )ε i = y ε i i y ε i = (β 0 + β 1x i )ε i y ε i 34

36 (y i y )ε i = β 0 ε i + β 1 x i ε i y ε i O sait d après les équatios ormales que : ε i = 0 Par coséquet : (y i y )ε i Ce qui, au fial permet d écrire que : (y i y ) = 0 = (y i y ) + ε i D où : SCT = SCE + SCR (.15) Aisi, o a bie la somme des carrés totale égale à la somme des carrés expliquées et la somme des carrés résiduelle. Nb : Cette propriété tiet uiquemet lorsqu il existe ue costate das la régressio. Mais lorsqu il y a pas de costate das l équatio estimée, la propriété sur la somme des carrés totale est plus vérifiée car ε i 0. Il faut aussi savoir que lorsque cette propriété est pas vérifiée, le test de sigificativité globale ou le calcul du R² e sot plus valables Equatio de décompositio de la variace L équatio d aalyse de la variace se déduit de l équatio de la somme des carrés. Aisi, e foctio de la SCT, la SCE et la SCR, o obtiet la variace totale (VT), variace expliquée (VE) et variace résiduelle(vr) e divisat les sommes des carrés correspodates par le ombre d observatios. VE = 1 (y i y ) (.16) VR = 1 ε i (.17) 35

37 VT = VE + VR = 1 (y i y ) + 1 ε i (.18) Sachat par ailleurs que la variace totale de y est S y = 1 (y i y ) alors : VT = S y = 1 (y i y ) = 1 (y i y ) + 1 ε i La VE idique la variabilité expliquée par le modèle c.-à-d. la variatio de Y expliquée par X. La VR idique la variabilité o-expliquée (résiduelle) par le modèle c.-à-d. l'écart etre les valeurs observées de Y et celles prédites par le modèle. La VT idique la variabilité totale de Y c.-à-d. l'iformatio dispoible das les doées Le coefficiet de détermiatio : R et R ajusté A partir de l'équatio de décompositio de la variace, o peut déduire u idicateur sythétique capable d idiquer la proportio de variace de la variable Y expliquée par le modèle. C'est le coefficiet de détermiatio R². E effet, e repreat l expressio de la variace totale (ou de la somme des carrés totale), o pose : VT = VE + VR E divisat chaque membre de l équatio par VT, o trouve : 1 = VE VT + VR VT Le coefficiet de détermiatio de y par x oté R xy se défiit comme la part de la variace de y expliquée par x. Cette défiitio correspod à l expressio VE qui idique le rapport etre la variace totale et la variace expliquée. Das ce cas, o a : VT R xy = VR VT = 1 VR VT (.19a) E remplaçat VR et VT par leur valeur et e simplifiat par, o obtiet : = 1 ( R xy R xy ε i (y i y ) + ε i ε i = 1 ( (y i y ) ) ) 36

38 R xy = 1 ( SCR SCT ) (.19b) Le R xy est u idicateur de la qualité de l ajustemet. Il est compris etre 0 et 1. Quad il est proche de 1, le modèle sera cosidéré de boe qualité. Même si le R² reste u bo idicateur de la qualité de l ajustemet, so pricipal icovéiet proviet du fait qu il augmete mécaiquemet lorsque l o ajoute des variables explicatives supplémetaires. Ce qui sigifie qu il suffit d ajouter arbitrairemet les variables explicatives pour que le R² augmete. Ce qui affaiblit la parcimoie du modèle, c est-à-dire sa capacité à décrire la réalité avec u ombre restreit de variables. C est pour cette raiso qu o itroduit la otio de R² ajusté calculé comme suit : R ajusté = 1 ( 1 k 1 ) SCR SCT (.0) Où k 1 est le ombre de degrés de liberté avec k le ombre de variables du modèle (costate exclue). Propriétés : Lie etre le coefficiet de détermiatio R² et le coefficiet de corrélatio r xy. Le coefficiet de détermiatio est le carré du coefficiet de corrélatio. Démostratio : R = SCE SCT = VE 1 VT = (y i y ) 1 (y i y ) Das u premier temps, remplaços y i par so expressio y i = β 0 + β 1x i, o a : R = 1 (β 0 + β 1x i y ) 1 (y i y ) Esuite β 0 par so expressio β 0 = y β 1x, o obtiet R = = 1 (β 1(x i x )) 1 (y i y ) COV(X, Y) ( ) V(X) V(Y) V(X) = β 1 1 ( ) (β 1(x i x )) 1 (y i y ) = (COV(X, Y)) V(X) (V(X)) V(Y) = = β 1 V(X) V(Y) (COV(X, Y)) V(X)V(Y) 37

39 R COV(X, Y) = ( V(X) V(Y) ) = (r xy ) R = (r xy ) (.1) Par ailleurs, coaissat cette propriété, o peut le coefficiet de corrélatio liéaire multiple tel que R = R² mais aussi le coefficiet de corrélatio simple. Mais das ce cas, o utilise le sige du coefficiet de régressio simple comme suit : r xy = sige(β 0) R (.).1.6. Calcul de la variace estimée des résidus La variace des résidus otée σ ε est e pratique iobservée. O doit alors proposer ue valeur estimée de ce paramètre. Pour cela, o part de la formule de la variace résiduelle précédemmet présetée e y apportat quelques ajustemets. E effet : σ ε = Avec VR = 1 ε i VR (.3) (k + 1) = 1 (y i y ) i Où VR est la variace résiduelle calculée sur la série des résidus estimés, est le ombre d observatios, k est le ombre de variables explicatives (ici égal à 1). Aisi (k + 1) est le ombre total de paramètres à estimer, égalemet appelé ombre de degré de liberté. σ ε = (y i y ) i (k + 1) (.4) Cette ormalisatio par (k + 1) a pour but d obteir u estimateur sas biais de de la variace des résidus car la VR = 1 (y i y ) i est biaisé... Propriétés des estimateurs : biais et covergece Deux propriétés sot importates das l'évaluatio d'u estimateur. (1) Est-ce qu'il est sas biais c.-à-d. est-ce qu'e moyee ous obteos la vraie valeur du paramètre? () Est-ce qu'il est coverget c.-à-d. est-ce que l'estimatio deviet de plus e plus précise lorsque que la taille de l'échatillo ted vers l ifii? Le biais d estimatio est évalué e foctio de l espérace tadis que la précisio est évaluée e foctio de la variace de l estimateur. 38

40 ..1. Le biais d estimatio O dit que qu u estimateur est sas biais si so espérace est égale à la vraie valeur du paramètre estimé. Par exemple, o dit qu u estimateur θ est sas biais si : Où θ est la vraie valeur du paramètre. E(θ ) = θ Pour vérifier cette propriété sur les estimateurs des MCO de β 0 β 1 et σ ε, o calcule leur espérace respective. Aisi, o a : E(β k) = β k k = 0; 1 (.5) E(σ ε ) = σ ε (.6) Pour arriver à ces résultats, il y a deux étapes pricipales. Das u premier temps, o exprime le paramètre estimé e foctio de sa vraie valeur; Et das u deuxième temps, o passe cette expressio à l opérateur d espérace mathématique. D ue maière géérale, e se basat sur les hypothèses de base éocées sur le modèle liéaire, l expressio de simplifie gééralemet et se réduit à la vraie valeur si l estimateur est o biaisé. Démostratios : Démotros que l estimateur β 1 de β 1 est sas biais. O sait que : β 1 = COV(X,Y) VAR(X) = (x i x )(y i y ) (x i x ) Faisos apparaître β 1 das cette expressio e remplaçat (y i y ). Pour cela, o part du modèle iitial : y i = β 0 + β 1 x i + ε i Passos d abord cette équatio à l opérateur somme et divisos par pour calculer y. O a : 1 y i = 1 β β 1 x i + 1 ε i O obtiet aisi : y = β 0 + β 1 x + ε Formos la différece de cette équatio avec l équatio iitiale pour trouver (y i y ). O a : 39