Inspiré du cours de Bruno Crepon

Transcription

1 Économétrie Inspiré du cours de Bruno Crepon 21 février

2 2 1 INTRODUCTION : LE MODÈLE LINÉAIRE 1 Introduction : le modèle linéaire On considère le modèle : y = b 0 + x 1 b x k b k + u Où y = variable dépendante x = variables explicatives u = terme d erreur b = inconnue du problème Le but de l économétrie est d estimer ce modèle, c est-à-dire de trouver une fonction ˆb = by, X qui satisfasse les conditions suivantes : sans biais : Eˆb = b ; obéissance à un principe, comme le maximum de vraisemblance : si la loi des résidus est connue, on connaît la loi conditionnelle Y X et on choisit ˆb ; optimisation d un critère, comme min y xb 2 ; minimisation de Var b. On travaille sur des données appartenant à trois grands types : Données temporelles, par observation du même phénomène dans le temps, c est-à-dire des variables y t, x t, u t, t [1,..., T ]. T doit alors être moyennement grand, de l ordre de 50 périodes. Exemple Consommation et revenu. C t = α + βr t + α t + u Données en coupe :y i, x i, u i, i = 1,..., N. N peut être grand, voire très grand plusieurs milliers d observations. L ajustement est en général beaucoup moins bon que dans le cas des données temporelles. Exemple Enquête-emploi. On a plus de personnes enquêtées, avec un grand nombre de questions. ω i = α 0 + α 1 sco i + β 1 exp i + β 2 exp 2 i + u i C est le type de données le plus adapté au calibrage macro-économique. Données de panel, doublement indicées : y i,t, x i,t, i = 1,..., Ngrand> 100, t = 1,..., T petit< 10. Exemple Fonctions de production d entreprises. Y it = A it K α itl β it y it = a it + αk it + βl it Le résidu, dit résidu de Solow, est alors a it, et l observation unitaire, ou unité statistique le T -uplet y i1,..., y it. 1.1 À quoi sert l estimation? Il s agit de vérifier qu une variable X a bien un effet sur la variable Y, et de quantifier cet effet. L estimation peut aussi avoir un but de simulation. Si la consommation des bien modélisée par C t = α 0 + α 1 R t + α 2 T t + u t, quel est l effet de prélèvements fiscaux T sur la consommation, autrement dit, quel est le signe de α 2? La théorie de l équivalence ricardienne dit que α 2 = 0. On peut enfin vouloir faire de la prévision : si Y t = bx t, alors il y a une probabilité, à déterminer, pour que Y t+1 = bx t+1.

3 1.2 D où vient le modèle? D où vient le modèle? Le modèle vient de la théorie économique ; Exemple. Fonction de production Y = F X, la théorie donnant une idée de la modélisation, comme Y = K k=1 Xα k k. fonction translog : log C = log Q + α log P X + log P X Ω log P X. Pour pouvoir évaluer le modèle, il faut souvent imposer une restriction stochastique. Exemple. On spécifie la loi de u X en général une loi Normale, ce qui permet d estimer le modèle, puisque cela donne la loi de Y X. Comme Eu X = 0 est une hypothèse forte, on préfère en général faire des hypothèses moins fortes. Exemple. Y d = αp + X d β d + u d, Y 0 = γ p + X 0 β 0 + u 0. On observe Y, P, X, et on s intéresse principalement à la première équation avec un choc u d = 0. Si p = fu, la connaissance du prix donne une information sur le résidu, donc Eu X 0. On doit donc faire la réduction sctochastique Eu d X d, X 0 = 0. On peut également essayer de spécifier la loi des observations. Cependant, spécifier la loi de u i X i ne suffit pas. Il faut une hypothèse supplémentaire pour passer à Ly 1,..., y N x 1,..., x N. On peut par exemple supposer que les y i, x i sont iid.

4 4 TABLE DES MATIÈRES Table des matières 1 Introduction : le modèle linéaire À quoi sert l estimation? D où vient le modèle? Le Modèle linéaire standard Hypothèses L Estimateur des MCO Définition Interprétation géométrique Propriétés algébriques de l estimateur des MCO Propriétés statistiques de l estimateur MCO Optimalité de b MCO Estimation de σ Application à la prévision Analyse de la variance Le Modèle linéaire statistique Intervalles de confiance Test d hypothèses MCO et EMV Estimation sous contraintes linéaires Introduction Questions : Formulation : Exemple Réécriture sous forme matricielle : Formulation générale L Estimateur des Moindres Carrés Contraints MCC Expression de l estimateur des MCC Propriétés Statistiques de ˆb mcc Interprétation Estimateur de la Variance des résidus σ Estimation par intégration des contraintes Test d un Ensemble de Contraintes Expression simplifiée de la statistique Mise en oeuvre du test Application : Test de l égalité à une valeur donnée de plusieurs coefficicents : Test de la significativité globale des coefficients d une régression Le Test de Chow Formalisme Principe d application du test de Chow sous hypothèse d homosc édasticité et non-corrélation des résidus Propriétés asymptotiques de l estimateur des MCO Rappel sur les convergences Convergence en loi Convergence en probabilité Différents résultats

5 TABLE DES MATIÈRES Théorème central limite Lindeberg-Levy Propriétés asymptotiques de l estimateur des MCO Estimation de la variance de l estimateur Tests asymptotiques p-value Test d hypothèses linéaires Cas d une seule contrainte, p = 1 : test de Student Cas de plusieurs contraintes, p K : test de Wald Test d hypothèses non linéaires Le modèle linéaire sans l hypothèse IID Présentation Exemples : Conclusion des exemples Le modèle linéaire hétéroscédastique Définition et hypothèses Estimation par les MCO La méthode des Moindres Carrés Généralisés MCG Propriétés statistiques de l espérance et de la variance conditionnelle des MCG L estimateur des MCQG Cas où Ω = Σ θ et θ de dimension finie Application Retour sur les régressions SUR Cas où Ω = Σ θ, X et θ de dimension finie Application : Cas où Ω = Σ θ et θ de dimension quelconque Application Tests d hétéroscédasticité Test de Goldfeld-Quandt Test de Breusch-Pagan Autocorrelation des résidus Les diverses formes d autocorrélation des perturbations Perturbations suivant un processus autorégressif d ordre 1 AR Stationnarité au premier et au second ordre d un processus AR Covariance entre deux perturbations d un processus AR Matrice de variances-covariances des perturbations Perturbations suivant un processus ARp Perturbations suivant un processus de moyenne mobile d ordre q MAq Perturbation suivant un processus ARMAp,q Détection de l autocorrélation : le test de Durbin et Watson 1950, Estimateurs des MCO, des MCG et des MCQG dans un modèle dont les perturbations sont autocorrélées

6 6 TABLE DES MATIÈRES Estimation de la matrice de variance Introduction aux variables instrumentales Erreur de mesure sur les variables Omission de régresseur, hétérogénéité inobservée La simultanéité La méthode des variables instrumentales Instruments Identification Moindres carrés indirects Propriété asymptotiques des estimateurs des MCI Estimation robuste de la matrice de variance Estimateur à variables instrumentales optimal ou estimateur des doubles moindres carrés Expression de l estimateur optimal Cas des résidus hétéroscédastiques Interprétation de la condition range z i x i = K Test de suridentification Test d exogénéité des variables explicatives La Méthode des moments généralisée Modèle structurel et contrainte identifiante : restriction sur les moments La méthode des moments généralisée Principe de la méthode : Convergence et propriétés asymptotiques Estimateur optimal Mise en oeuvre : deux étapes Application : instruments dans un système d équations Régressions à variables instrumentales dans un système homoscédastique Estimateur à variables instrumentales optimal dans le cas univarié et hétéroscédastique Test de spécification Application test de suridentification pour un estimateur à variables instrumentales dans le cas univarié et hétéroscédastique Variables dépendantes limitées Modèle dichotomique Modèle à probabilités linéaires Les modèles probit et logit Variables latentes Estimation des modèles dichotomiques Modèles de choix discrets : le Modèle Logit Multinomial Estimation du modèle logit multinomial : Sélectivité, le modèle Tobit Rappels sur les lois normales conditionnelles Pourquoi ne pas estimer un modèle Tobit par les MCO? Estimation par le maximum de vraisemblance

7 7 2 Le Modèle linéaire standard Modèle : y i = b 0 + b 1 x 1i + + b K x ki + u i 2.1 Hypothèses Hypothèse H 1. Eu i = 0 Hypothèse H 2. Varu i = σ 2 Hypothèse H 3. i i Covu i, u i = 0 Ces hypothèses reviennent à dire que les observations sont indépendantes les unes des autres. Hypothèse H 4. La matrice des observations X est connue. Cette hypothèse est étrange : tout se passe comme si on pouvait modifier X à sa guise. Elle n est cependant pas indispensable sous sa forme forte. On peut en effet l assouplir en formulant les autres hypothèses paramétrées par la connaissance de X, comme Eu i X = 0. Hypothèse H 5. Les vecteurs d observation X i sont non colinéaires. Matriciellement, on écrit ce modèle : y 1 1 x x K1 y =.. X =... y N 1 x 1N... x KN u = u 1.. u N Avec les hypothèses : Hypothèse H 1. Eu = 0 Y = Xb + u Hypothèse H 2 et H 3. Varu = σ 2 I N Hypothèse H 4. La matrice des observations X est connue. Hypothèse H 5. RangX = K + 1, ce qui revient à dire que X X est inversible. Démonstration. Supposons X X non inversible. Alors, λ 0/X Xλ = 0 λ X Xλ = 0 Xλ 2 = 0 Xλ = 0 Il existe donc une combinaison linéaire nulle des X i, ce qui est contraire à notre hypothèse. 2.2 L Estimateur des moindres carrés ordinaires Définition Définition 2.1 Estimateur MCO. On définit l estimateur des moindres carrées ordinaires comme : N N bmco = Arg min y i x i b 2 = Arg min u i b 2 b i=1 i=1

8 8 2 LE MODÈLE LINÉAIRE STANDARD Comme u i b = y i x i b, on a bmco = Arg min Y Xb Y Xb b On dit que l estimateur mco minimise le critère c = Y Xb Y Xb. Démonstration. dc db = 2Y Xb X = 0 On optimise le critère : dc e = 2c dc dxb = λdb dy Xb = Xdb b tel que 2Y X bmco X = 0 : K + 1 équations et K + 1 inconnues Y Xb x = 0 Y b X X = 0 Y X = b X X X X b = X Y H 5 b = X X 1 X Y NB : Y X b X = 0 les résidus sont orthogonaux à X Interprétation géométrique Définition 2.2 Valeurs prédites. Soit ŷ = bx la valeur prédite par le modèle ; û = y ŷ les résidus estimés par le modèle. Proposition 2.1. Étant données ces définitions, ŷ est la projection orthogonale de y sur VectX ; matriciellement, Ŷ = X b = XX X 1 X Y. Proposition 2.2. On a alors : 1. On pose : P X = XX X 1 X la matrice de projection orthogonale sur VectX. Elle vérifie : P X = P X ; P 2 X = P X. 2. On a alors, en notant M X la matrice de projection orthogonale sur l orthogonal de VectX, avec Û = Y P XY = I P X Y = M X Y. Elle vérifie : M X = M X ; M 2 X = M X. Proposition 2.3. Il s ensuit : 1. P X M X = 0 ; 2. Û X = 0 ; 3. Ŷ û = 0 : valeur prédite et résidus estimés sont orthogonaux. Démonstration. 1. VectX et VectX sont orthogonaux et supplémentaires ; 2. idem ;

9 2.3 Propriétés algébriques de l estimateur des MCO 9 3. Ŷ Û = Y P X M XY. Proposition 2.4. Dans le cas d un modèle avec terme constant, soit : Y = 1 N Ŷ = 1 N N i=1 N i=1 Y i Ŷ i. On a alors : Y = Ŷ De plus, Û = 1 N N û i = 0 i=1 Démonstration. Soit e = 1,..., 1, e M N,1 Y = 1 N e Y Ŷ = 1 N e Ŷ Ŷ = P X Y, donc Ŷ = 1 N e P X Y, puisque P X e = e, donc Ŷ = 1 N P Xe Y = 1 N e Y = Y De plus, Y = Ŷ + Û 2.3 Propriétés algébriques de l estimateur des MCO Théorème 2.5 Théorème de Frish et Waught. Soit Y = Xb + u le modèle. On pose X = [X 1 X 2 ] X M N,K+1 X 1 M N,K1 X 2 M N,K2 On écrit donc le modèle : Y = X 1 b 1 + X 2 b 2 + u On a alors : { b1 = X 1M X2 X 1 1 X 1M X2 Y b2 = X 2X 2 1 X 2Y X 1 b1 D où : b1 = X 1M X 2 M X2 X 1 X 1M X 2 Y = [M X2 X 1 M X2 X 1 ] 1 M X2 X 1 M X2 Y Donc b 1 est l estimateur mco de la régression de M X2 Y, résidu de la régression de Y sur X 2, sur M X2 X 1, matrice des résidus de la régression de X 1 sur X 2.

10 10 2 LE MODÈLE LINÉAIRE STANDARD En d autres termes, l estimateur b 1 peut être obtenu comme la régression du résidu de la régression de Y sur X 2 sur les résidus des régressions des variables présentes dans X 1 sur X 2. Exemple. Soit le modèle : Y it = X it b + u i + u it données de panel, où u i est un paramètre propre à chaque entreprise. Pour le modèle complet, bc = b u 1.. u N M N+K,1 X c = [X, I N e T ] Le théorème de Frish-Waught dit qui si on régresse Y sur I N e T ; on régresse chacun des x k sur I N e T et on récupère les différents résidus, qui sont orthogonaux à I N e T, On a alors, en notant x i = 1 N T t=1 x it, on peut sans perte d information considérer y it ȳ i = x it x i b + u it + u i, les écarts à la moyenne temporelle pour chaque individu. Autrement dit, le théorème indique que quand on a une foultitude d indicateurs, on peut se simplifier la vie en régressant d abord les variables explicatives sur les indicatrices. D où Démonstration. On part des équations normales pour ce modèle : On considère d abord 2 : X Y Xb = 0 X 1 X 2 Y X 1 b1 X 2 b2 = 0 X 1Y X 1 b1 X 2 b2 = 0 1 X 2Y X 1 b1 X 2 b2 = 0 2 X 2Y X 1 b1 X 2X 2 b 2 = 0 b 2 = X 2X 2 1 X 2Y X 1 b1 X b 2 = X 2 X 2X 2 1 X 2Y X 1 b1 X b 2 = P X2 Y X 1 b1 On réintègre cela dans 1 : X 1Y X 1 b1 P X2 Y X 1 b1 = 0 X 1I P X2 Y X 1 b1 = 0 X 1M X2 Y X 1 b1 = 0 b 1 = X 1M X2 X 1 1 X 1M X2 Y b 1 = [M X2 x 1 M X2 X 1 ] 1 M X2 X 1 M X2 Y On purge ainsi X 1 des variables de X 2 corrélées avec X 1. Remarque. Soient les modèles : Y = X 1 b1 + X 2 b2 + u et Y = X 1 b1 + v L estimateur b 1 issu du seul second modèle est non biaisé M X2 X 1 = X 1, c est-à-dire X 1 X 2. C est pourquoi on commence par régresser X 1 sur X 2 et qu on prend le résidu.

11 2.4 Propriétés statistiques de l estimateur MCO Propriétés statistiques de l estimateur MCO Proposition 2.6. b MCO est sans biais. Démonstration. Si X est connu : bmco = X X 1 X Y = X X 1 X Xb + X u = b + X X 1 X u Donc : E b MCO = E X X 1 X u H = 1 Eb Si X est inconnu, on a par le même calcul, E b MCO X = b. Proposition 2.7. Var b MCO = σ 2 X X 1 Démonstration. ] Var b = E [ b b b b Comme b = X X 1 X Y, b b = X X 1 X u. Donc Var b X = E [ X X 1 X uu XX X 1 X ]. Or, d après H 2 et H 3, Euu = σ 2 I. Si X est aléatoire, on a : Var b = σ 2 E X X X 1. Exemple Le modèle linéaire simple y = xb + u. Supposons les variables centrées : Ey = Ex = 0. On a alors : x x = x 2 i = 1 x 2 i N N = Nσ2 x Donc, Var b = σ2 Nσ, donc quand x 2 N augmente, Var b décroît au rythme de 1/N, ce qui signifie que σ décroît en 1/ N, qui est la vitesse standard de convergence des estimateurs. En outre, σx 2 joue un rôle essentiel. Si σx 2 = 0, b MCO n a pas de sens : il faut que la variable explicative soit suffisemment dispersée. Exemple Modèle à deux variables explicatives. On a x 1 et x 2, avec σx 2 1 = σx 2 2 et Covx 1, x 2 = ρσ 2. X X ρ = Nσ 2 1 ρ 2 ρ 1 Si ρ est proche de 1, les estimateurs sont très imprécis. 2.5 Optimalité de b MCO Définition 2.3 Critère d optimalité. On prend comme critère d optimalité la minimisation de la variance. Soit b un estimateur de b. On dit que b est optimal ssi λ, Varλ b est minimale, c est-à-dire que la variance de toute compostion linéaire des composantes est minimale. Théorème 2.8 Théorème de Gauss-Markov. Sous les hypothèses H 1 à H 5, dans la classe des estimateurs de b linéaires dans les variables à expliquer et sans biais, b MCO est optimal au sens du critère de minimisation de la variance.

12 12 2 LE MODÈLE LINÉAIRE STANDARD Démonstration. b linéaire en Y b = AY b sans biais EAXb + Au = b Comme Eu = 0, AXb = b, b, AX = I. En outre, b b = AY b = AXb + Au b = Au, donc Var b = E b b b b = EAuu A = AEuu A. Or, on a supposé que Euu = σ 2 I, donc Var b = σ 2 AIA. Écrivons I = P X + M X { PX = X X X 1 X M X = I P X Or, σ 2 AP X A = σ 2 AXX X 1 X A. Var b = σ 2 AP X A + AM X A Comme b est sans biais, AX = I = X A, donc σ 2 AP X A = σ 2 X X 1, et donc : Var b = σ 2 X X 1 +AM X A } {{ } Var b MCO Comme, AM X A est symétrique définie positive, on a : λ, Varλ b = Varλ bmco + σ 2 A λ M X A λ Donc Varλ b Var b MCO. Il faut noter que cette démonstration repose très fortement sur l homoscédasticité de u. 2.6 Estimation de σ 2 Il est important de bien estimer ce paramètre, car Var b MCO = σ 2 X X 1 en dépend. On va avoir : Var b = σ 2 X X 1 D autre part, σ 2 = Varu, et donc constitue une mesure de la qualité de l ajustement. Définition 2.4. σ 2 MCO = û2 i N K 1 = û û N K 1 Proposition 2.9 Propriétés de σ 2 MCO. σ 2 MCO vérifie : 1. E σ 2 MCO = σ 2 : σ 2 MCO est sans biais ; 2. û et b MCO sont non corrélés. Démonstration.

13 2.7 Application à la prévision Sans biais : σ 2 MCO = û û N K 1 = u M X u N K 1 Or, u M X u est un scalaire, donc u M X u = Tru M X u = TrM X uu. Donc, E X σ 2 MCO = ETrM Xu u N K 1 = TrM XEuu X N K 1 Or, Euu X = σ 2 I, donc E X σ 2 MCO = σ2 TrM X N K 1. Comme M X est la matrice de projection sur un espace de dimension N K 1, TrM X = N K 1, donc E X σ 2 MCO = σ Non-corrélation : E X û b b } {{ } = E X M X uu XX X 1 on centre = M X E X u uxx X 1 = σ 2 M X XX X 1 Comme M X X = 0, E X = u b b = 0. Les paramètres du premier et du second ordre sont donc indépendants. 2.7 Application à la prévision Y i = bx i + u i Modèle : H 1 à H 5 N observations On suppose que pour une observation N + 1, le modèle reste vrai : { H 1 àh 5 : Y N+1 = bx N+1 + u N+1 EU n+1 = 0 Covu N+1, u i = 0 i = 1... N On connaît donc X N+1, et on veut prévoir Y N+1. Définition 2.5. La prévision mco de Y est : Y p N+1 = X N+1 b MCO Proposition Y p N+1 = X N+1 b MCO est le meilleur prédicteur linéaire en Y sans biais de Y N+1. Démonstration. Sans biais : EY p N+1 Y N+1 = EX N+1 bmco X N+1 b u N+1 = X N+1 E b MCO b Eu N+1 = 0

14 14 2 LE MODÈLE LINÉAIRE STANDARD Soit ỸN+1 prédicteur linéaire sans biais de Y N+1. E ỸN+1 Y N+1 2 = E ỸN+1 X N+1 b + u i Comme ỸN+1 est une combinaison linéaire des y 1,..., y N, c en est une des u 1,..., u N, donc ỸN+1 X N+1 b et u N+1 ne sont pas corrélés, d où E ỸN+1 Y N+1 2 = E ỸN+1 X N+1 b 2 + E u N+1 2 En raison du théorème de Gauss-Markov 2.8, le meilleur estimateur ỸN+1 de X N+1 b est X N+1 bmco. On peut calculer la variance de la prévision : VarY N+1 X N+1 bmco = VarX N+1 b b MCO + u N+I = Var X N+1 b MCO b + Varu N+1 = σ 2 X N+1 X X 1 X N+1 + σ2 Le second terme est l erreur standard du modèle, le premier représente l erreur due à l estimation de b sur les seuls x 1,..., x N. 2.8 Analyse de la variance Hypothèse. On suppose que la constante est incluse dans les variables explicatives Théorème 2.11 Décomposition de la variance. Si la constante est incluse dans les variables explicatives, la variance se décompose comme : 1 yi ȳ 2 = 1 ŷi ŷ u 2 } N {{ } } N {{ } N i } {{ } Variance totale Variance expliquée Variance résiduelle Démonstration. On a : y = ŷ + û. Comme la constante est incluse dans la régression, ȳ = ŷ, et û = 0. D où : y ȳe = ŷ ŷe + û N y ȳe y ȳe = yi ȳ 2 ŷ ŷe + û ŷ ŷe + û = ŷ ŷe ŷ ŷe + û ŷ ŷe + û û Or, û = M X u, ŷ = P X y et e X û ŷ ŷ = u M X P X y e ŷ Or, M X P X = 0, d où le résulat. Cette équation permet de définir une mesure synthétique de l ajustement du modèle : Définition 2.6 R 2. R 2 = Variance expliquée Variance totale i=1 ŷi ŷ 2 = yi ȳ 2

15 2.9 Le Modèle linéaire statistique 15 Du fait du théorème de décomposition, R 2 [0, 1], et R 2 = 1 û2 i yi ȳ 2 Comme R 2 fait intervenir la variance de Y, il est sensible à la forme de la modélisation. Ainsi, si on compare les deux modèles : y = α logl + β logk + u 3 y l = α 1 = log L + β log K + u 4 Le modèle 3 aura une variance beaucoup plus importante que le modèle 4, alors que les deux modélisations en production ou en productivité par tête sont équivalentes en termes de théorie économique. En outre, on a le problème que le R 2 augmente mécaniquement quand la liste des variables explicatives augmentent. On peut cependant essayer de l améliorer : R 2 = 1 û 2 y ȳe 2 û 2 = û i 2 = σ 2 MCON K 1 Donc : R 2 = 1 σ 2 MCON K 1 σ 2 yn 1 Où : σ 2 y = y ȳe 2 N 1 est un estimateur non biaisé de VarY. En conséquence : Définition 2.7 R 2 ajusté. R 2 ajsuté = 1 σ 2 σ 2 y On se débarasse ainsi de l influence des degrés de liberté. 2.9 Le Modèle linéaire statistique On part du modèle et du jey d hypothèses de la section précédente. On suppose en outre : Hypothèse H 6. u N 0, σ 2 Proposition 2.12 Propriétés. Sous H 6, les estimateurs mco vérifient les propriétés suivantes : 1. b MCO N b, σ 2 X X 1 2. Loi de σ 2 : u = M X u û N.,., d où : b û = X X 1 X Y M X u = b 0 X + X 1 X M X u u

16 16 2 LE MODÈLE LINÉAIRE STANDARD La loi jointe de b, û est une loi normale, or b et û ne sont pas corrélés, donc b est indépendant de û. Or, σ 2 = û 2 N K 1 et û b, donc σ 2 est indépendant de b. Alors, N K 1 σ 2 Démonstration de la loi de σ 2. σ 2 χ2 N K 1 Lemme. Si Z N 0, I L Z Z L 2 χ 2 L. Soit P un projecteur sur un espace de dimensionl 1, alors : Z P Z χ 2 L 1 Démonstration. P est diagonalisable dans le groupe orthogonal : D diagonale et Q orthogonale lettes que P = Q DQ, avec : IL1 0 D = 0 0 D où : Z P Z = Z Q DQZ. On pose : Z = QZ, et donc Z P Z = Z DZ. VarZ = EZ Z = QEZZ Q = QQ = I Z N 0, I Donc Z DZ = Z Z L 1 χ 2 L 1. N K 1 σ 2 MCO σ 2 = N K 1û û σ 2 = N K 1u M X u σ 2 u N 0, σ 2 I v = u σ N 0, 1 N K 1 σ 2 MCO v M X v σ 2 = N K 1 N K 1 = v M X v Le lemme donne le résultat voulu Intervalles de confiance Définition 2.8 Intervalle de confiance. Un intervalle de confiance au seuil 1 α pour un paramètre b k est la données d un intervalle [a 1, a 2 ] tel que : P b k [a 1, a 2 ] = 1 α. Proposition Soit v k x le k ième élément de la diagonale de X X 1. bk b k ˆσ v k x StN K 1 bk b k σ v k x Démonstration. On sait que b N b, σ 2 X X 1, donc b k N b k, σ 2 v k x et N 0, 1.

17 2.10 Test d hypothèses 17 Seulement, σ est un paramètre inconnu, mais on sait que :. Or, Donc, σ 2 σ 2 N K 1 χ2 N K 1 X N 0, 1 Y χ 2 L X, Y indépendantes bk b k σ v k x N K 1 σ 2 N K 1σ 2 StN K 1. X V/L StL Donc si on cherche un intervalle de confiance au seuil 1 α, on va charcher des bornes [ t 1 α/2, t 1 α/2 ] telles que l intégrale hors de ces bornes soit égale à α. Si S StL, P s [ t 1 α/2, t 1 α/2 ] = 1 α. Donc, on connaît [ t 1 α/2, t 1 α/2 ] par la lecture d une table des quantiles de St. P P t 1 α/2 < b k b k σ < t 1 α/2 = 1 α vx k bk σ vxt k 1 α/2 < b k < b k + σ v kxt 1 α/2 = 1 α On peut se demander quelle est l influence du nombre de degrés de liberté. Graphiquement, on voit que moins il y a de degrés de liberté, plus la courbe est étalée. Au contraire, quand le nombre de degrés de liberté est très grand, elle tend vers une N 0, 1. De même, si on considère une combinaison linéaire des paramètres, λ b, λ b N λ b, σ 2 λ X X 1 λ, donc : 2.10 Test d hypothèses λ b λ b σ 2 StN K 1 λ X X 1 λ On a une hypothèse H 0 : b k = b 0 k avec b0 k une valeur donnée, et H 1 = H 0. On définit une region critique W à un seuil 1 α donné telle que : bk W on rejette H 0 et P b k W b k = b 0 k = α α représente donc le risque de rejeter à tort H 0.

18 18 2 LE MODÈLE LINÉAIRE STANDARD On utilise le résultat précedent : sous H 0, bk b 0 k ˆσ v k x StN K 1 D où la région critique : bk b 0 k W telle que : ˆσ bk b 0 k > δavec δ tel que : P vx k ˆσ vx k > δ = α δ est le quantile d ordre 1 α/2 = t 1 α/2 d une StN K 1. D où : W = { bk > b 0 k + ˆσ v k xt 1 α/2 N K 1 bk < b 0 k ˆσ v k xt 1 α/2 N K Estimateurs MCO et estimateurs du maximum de vraisemblance On sait que : Par indépendance des observations, y i x i b 2 Ly i x i ; b = e 2σ 2 2πσ Ly x, b = i ly i x i, b yi x i b 2 Ly x, b = e 2πσ N ln Ly x, b = N 2 logσ2 1 yi 2σ 2 x i b 2 N ln 2π L estimateur du maximum de vraisemblance de b réalise donc le programme : { 1 } max yi b 2σ 2 x i b 2 Il s agit donc de l estimateur mco. L estimateur de σ 2 est obtenu par : max σ 2 2σ 2 y i x 2 i b N 2 ln σ2 2σ 2 D où : σ 2 MV = y i x i b 2 N = N K 1 σ N 2 MCO

19 19 3 Estimation sous contraintes linéaires 3.1 Introduction On souhaite estimer un modèle économétrique linéaire en incorporant une information a priori sur les paramètres prenant la forme de contraintes linéaires. Exemple. Fonction de production Cobb-Douglas à k facteurs, et à rendements d échelle constants : log y = log α + β 1 log x β k log x k + u c.a.d un modèle linéaire standard mais avec k j=1 β j = Questions : 1. Comment tenir compte de cette information a priori dans la procédure d estimation des paramètres du modèle? On va introduire un nouvel estimateur : l estimateur des moindres carrés contraints : b c 2. Quelles sont les conséquences de cette prise en compte pour les estimations obtenues? Les estimations sont-elles biaisées, sont elles plus précises? On va voir qu il y a un arbitrage entre robustesse et efficacité 3. Peut-on tester l information a priori? On va introduire un test très courant : Le test de Fisher Formulation : Exemple Supposons qu on souhaite estimer le modèle : y n = b 0 + b 1 x 1n + b 2 x 2n + b 3 x 3n + b 4 x 4n + b 5 x 5n + b 6 x 6n + u n, avec les hypothèses habituelles H 1 : E u n X = 0, H 2 : V u n X = σ 2, n, H 3 : Eu n u n X = 0, n n, H 4 : X de plein rang avec des contraintes linéaires sur les paramètres : C 1 : b 1 + b 2 + b 3 = 1 C 2 : b 4 = b 5 soit b 4 b 5 = Réécriture sous forme matricielle : b 0 b b b 3 b 4 b 5 b 6 soit = 1 0

20 20 3 ESTIMATION SOUS CONTRAINTES LINÉAIRES R b = r avec R une matrice et r un vecteur Formulation générale On considère le modèle linéaire : sous les contraintes y = X b + u R b = r p, k + 1 k + 1, p p, 1 Le nombre de contraintes p doit être au maximum égal à k Si on en a k + 1 ou plus, on en sélectionne k + 1 et on peut alors calculer le paramètre b = R 1 r 3.2 L Estimateur des Moindres Carrés Contraints MCC L estimateur ˆb mcc de b est défini comme celui minimisant la somme des carrés des résidus sous les contraintes : Lagrangien : min b y Xb Y Xb Sous les contraintes Rb = r min b,λ L = Y Xb Y Xb + 2Rb r λ λ multiplicateur de Lagrange : vecteur de dimension p Expression de l estimateur des MCC L estimateur des MCC a pour expresssion ˆbmcc = X X 1 X Y X X 1 R [ RX X 1 R ] 1 [ RX X 1 X Y r ] Il s exprime simplement à partir de ˆb mco ˆbmcc = ˆb mco X X 1 R [ RX X 1 R ] [ 1 R ˆb ] mco r

21 3.2 L Estimateur des Moindres Carrés Contraints MCC 21 L estimateur des MCC apporte une correction à l estimateur ˆb mco d autant plus importante que Rˆb mco r 0. Si Rˆb mco = r, les deux estimateurs sont identiques. Démonstration. L b = 2 X Y + 2 X X ˆb mcc + 2 R ˆλ = 0 mcc L λ = Rˆb mcc r = 0 mcc De la première condition on tire : ˆb mcc = X X 1 X Y R ˆλ Introduit dans la deuxième condition il vient l expression R X X 1 X Y R ˆλ = r soit R X X 1 R ˆλ = R X X 1 X Y r dont on tire ˆλ ] 1 [ ] = [R X X 1 R R X X 1 X Y r réintroduit dans on trouve l expression de b mcc ˆbmcc = X X 1 X Y X X 1 R [ RX X 1 R ] 1 [ RX X 1 X Y r ] Propriétés Statistiques de ˆb mcc. Proposition 3.1 Expression de l espérance de ˆb mcc. E ˆbmcc X = b X X 1 R [ RX X 1 R ] 1 [Rb r] Si les contraintes Rb = r sont valides, l estimateur ˆb mcc est sans biais E ˆbmcc X = b Si ces contraintes sont imposés à tort i.e. si Rb r, l estimateur des MCC est biaisé : E ˆbmcc X = b X X 1 R [ RX X 1 R ] [Rb r] = b + B avec B = X X 1 R [ RX X 1 R ] [Rb r] Proposition 3.2 Expression de la variance de ˆb mcc. Que l estimateur soit biaisé ou non sa variance est donnée par : V ˆbmcc X = σ 2 [ X X 1 X X 1 R [ R X X 1 R ] 1 R X X 1] V soit : ˆbmcc X = V ˆbmco X σ 2 X X 1 R [ RX X 1 R ] 1 RX X 1

22 22 3 ESTIMATION SOUS CONTRAINTES LINÉAIRES Comme X X 1 R [ RX X 1 R ] 1 RX X 1 est une matrice symétrique et positive on en conclut que V ˆbmco X V ˆbmcc X Interprétation L estimateur des mcc ˆb mcc est potentiellement biaisé E ˆbmcc X = b + B mais est toujours plus efficace que l estimateur des mco V ˆbmcc X V ˆbmcc X Il y a donc un arbitrage entre robustesse et efficacité. Introduire plus de contraintes améliorent la précision des estimations mais risque de conduire à des estimateurs biaisé. A l inverse, moins de contrainte produit des estimateurs plus robustes mais moins précis. Démonstration. En remplaçant Y par Xb + U, dans l expression de ˆb mcc on peut ré-écrire l estimateur des MCC comme : ˆbmcc = b+x X 1 X U X X 1 R [ RX X 1 R ] 1 [ RX X 1 X u + Rb p ] soit ˆbmcc = b X X 1 R [ RX X 1 R ] 1 [Rb p] [ + X X 1 X X X 1 R [ RX X 1 R ] 1 RX X 1 X ] U = b + B + X X 1 [ I R [ RX X 1 R ] 1 RX X 1] X U = b + B + X X 1 [ I C] X U où B = X X 1 R [ RX X 1 R ] 1 [Rb p] et C = R [ RX X 1 R ] 1 RX X 1 Expression de l espérance de ˆb mcc Compte tenu de H 1 E U X = 0 E ˆbmcc X = b X X 1 R [ RX X 1 R ] 1 [Rb r] = b + B Expression de la variance de ˆb mcc ˆbmcc E ˆbmcc X = X X 1 [ I C] X U Par conséquent comme E [UU X ] = σ 2 I : V [ ˆbmcc X = E ˆbmcc E ˆbmcc X ˆbmcc E ˆbmcc X X ]

23 3.3 Estimateur de la Variance des résidus σ 2 23 = E [ X X 1 [ I C] X UU X [ I C ] X X 1 X ] = σ 2 X X 1 [ I C] X X [ I C ] X X 1 = σ 2 X X 1 [ X X CX X X XC + CX XC ] X X 1 Compte tenu de l expression de C = R [ RX X 1 R ] 1 RX X 1 on a CX X = R [ RX X 1 R ] 1 RX X 1 X X = R [ RX X 1 R ] 1 R = CX X CX XC = CR [ RX X 1 R ] 1 R = R [ RX X 1 R ] 1 RX X 1 R [ RX X 1 R ] 1 R = X XC = CX X Il en résulte que V ˆbmcc X = σ 2 X X 1 [ X X CX XC ] X X 1 = σ 2 X X 1 [ X X R [ RX X 1 R ] 1 R ] X X 1 = σ 2 [ X X 1 X X 1 R [ RX X 1 R ] 1 RX X 1] 3.3 Estimateur de la Variance des résidus σ 2 L estimateur de la variance des résidus est donné par : ˆσ 2 c = Û cûc N k p = n û ncû nc N k p C est un estimateur sans biais de σ 2 si les contraintes Rb = r sont satisfaites par le vrai modèle. Démonstration. A partir de l expression de ˆb mcc = b + B + X X 1 [ I C] X U où C = R [ RX X 1 R ] 1 RX X 1, on exprime le residu estimé Û c = Y X ˆb mcc = Xb + U X b + B + X X 1 [ I C] X U = XB + [ I XX X 1 [ I C] X ] U = XB + M + XX X 1 CX U = XB + M + P c U avec M = I X X X 1 X et P c = XX X 1 CX = XX X 1 R [ RX X 1 R ] 1 RX X 1 X Les matrices M et P c satisfont les propriétés suivantes :

24 24 3 ESTIMATION SOUS CONTRAINTES LINÉAIRES M = M P C = P C M 2 = M PC 2 = P C T r M = N K + 1 T r P C = p MP C = P C M = 0 On vérifie facilement P C = P C et P C 2 = P C. En outre T r P C = T r XX X 1 R [ RX X 1 R ] 1 RX X 1 X [RX X 1 R ] 1 RX X 1 X XX X 1 R = T r = T r I dimrx X 1 R d où T r P C = p enfin comme P C = XZ on a aussi donc P C M = 0 On en déduit que E Û c Û c X = E B X + U M + P c XB + M + P c U X = E B X XB U M + P c XB B X M + P c U + U M + P c 2 U X = E B X XB + U M + P c U X Finalement E U M + P c U X = T re U M + P c U X = T re M + P c UU X = σ 2 T rm + P c = σ 2 N K p 3.4 Estimation par intégration des contraintes Le problème d estimation sous contrainte peut se ramener au résultat classique d estimation par la méthode des moindres carrés en intégrant directement les contraintes dans le modèle. On utilise les p contraintes pour exprimer p paramètres parmi les k + 1 à estimer en fonction des k + 1 p autres paramètres. On ré-écrit les contraintes Rb = r de la façon suivante : r1 b1 r = = [R 1, R 2 ] R 1 : p p, R 2 : p K + 1 p, r 1 et b 1 : p 1, r 2 et b 2 : K + 1 p 1 R 1 est supposée régulière. On peut alors écrire : r 2 r 1 = R 1 b 1 + R 2 b 2 soit encore b 1 = R 1 1 [r 1 R 2 b 2 ] Par conséquent, en partageant le modèle de façon analogue, on obtient : Y = X 1 b 1 + X 2 b 2 + U = X 1 [ R 1 1 r 1 R 2 b 2 ] + X 2 b 2 + U b 2

25 3.5 Test d un Ensemble de Contraintes 25 Ceci revient à estimer : Y X 1 R 1 1 r 1 = [ X 2 X 1 R 1 1 R 2 ] b2 + U Le modèle ainsi écrit ne dépend plus alors que de k + 1 p paramètres à estimer sans contraintes. Les p autres paramètres se déduisent de ceux-ci par la relation : b 1 = R 1 1 r R 2 b Test d un Ensemble de Contraintes On souhaite tester la validité des contraintes imposées, soit H 0 : = Rb r = 0 On fait l hypothèse de normalité des résidus : U N 0, σ 2 I Sous l hypothèse H 0 on a F = 1 [ RX X 1 R ] 1 p σ 2 = Û CÛC Û Û N K + 1 Û Û p = SCR c SCR N k + 1 Fp,N-k+1 SCR p où = Rˆb mco r et SCR C = Û CÛC et SCR = Û Û sont la somme des carrés des résidus du modèle contraint et non contraint. Démonstration. Le principe du test est d examiner si l estimateur des mco ˆb mco est proche de satisfaire les contraintes, c.a.d il concerne la quantité = Rˆb mco r, en utilisant le fait que l on connait la loi de : N, σ 2 RX X 1 R puisque ˆb mco N b, σ 2 X X 1 à cause de l hypothèse de normalité des résidus. Rappel : 1. Si Z vecteur de dimension h suit une loi normale N0, V avec V inversible alors Z V 1 Z χ h 2. Si Q 1 χ q 1 et Q 2 χ q 2 et Q 1 Q 2 alors Z = Q1/q1 Q 2/q 2 de Fisher à q 1 et q 2 degrés de liberté. Sous H 0, = 0,on a donc : F q 1, q 2 loi Q = [ σ 2 RX X 1 R ] 1 = [ RX X 1 R ] 1 σ 2 σ 2 est inconnue, on la remplace par ˆσ 2 = On sait qu en outre Û Û σ 2 d où Û Û Q σ 2 sous H 0 : Rb = r, la statistique : = N K + 1 ˆσ2 σ 2 Û Û N K+1 χ p χ 2 N K+1 et que ˆσ2 ˆb mco

26 26 3 ESTIMATION SOUS CONTRAINTES LINÉAIRES F = Q /p N K + 1 σ2 σ / N K + 1 = 1 [ RX X 1 R ] 1 p σ 2 2 F p, N k Expression simplifiée de la statistique La statistique précédente, fonction de ˆb mco et ˆσ 2 peut être réécrite sous une forme plus simple à partir de ˆb mco et ˆσ 2 et ˆb mcc et ˆσ 2 mcc. En effet : ˆb = X X 1 X Y = b + X X 1 X U donc sous H 0, on a : = Rˆb r = RX X 1 X U, d où [ RX X 1 R ] 1 = U XX X 1 R [ RX X 1 R ] 1 RX X 1 X U On reconnait P C = XX X 1 R [ RX X 1 R ] 1 RX X 1 X On a donc [ RX X 1 R ] 1 = U P C U. Comme sous H 0 Û C = M + P C U, et Û = MU et M + P C 2 = M + P C,on a Û CÛC = U M + P C U = U MU + U P C U = Û Û + U P C U Soit [ RX X 1 R ] 1 = U P C U = Û CÛC Û Û D où l expression de la statistique communément utilisée : F = SCR c SCR SCR Fp,N-k+1 N k + 1 p SCR est la somme des carrés des résidus estimés sans contraintes et SCR c est la somme des carrés des résidus estimés sous contrainte Mise en oeuvre du test 1. On estime le modèle avec et sans contraintes, et on déduit Û CÛC et Û Û i.e. SCR c et SCR. 2. On calcule F et on la compare au fractile d ordre 1 α de la loi F p, N k + 1, noté F 1 α. 3. Si Q c > F 1 α ; on rejette H 0 : la somme des carrés des résidus estimés sous contraintes diffère trop de celle des carrés des résidus estimés sous contrainte pour admettre que H 0 est vraie. 4. Si Q c F 1 α, on accepte l hypothèse H 0.

27 3.6 Test de la significativité globale des coefficients d une régression Application : Test de l égalité à une valeur donnée de plusieurs coefficicents : b 1 = b 0 1 b 2 = b 0 2 On veut tester H 0 :. b J = b 0 J contre H 1 : H0 c C est à dire un test d égalité de J coefficients à des valeurs données. La différence avec le test de Student standard est qu on souhaite faire un test global, sur l identité simultannée des coefficients Avec le test de Fisher il suffit d estimer le modèle non contraint Y = Xb + U de calculer la somme SCR des carrés des résidus estimés, d estimer le modèle contraint k=j Y X k b 0 k = b 0 e + k=1 k=k k=j+1 X k b k + U de calculer la somme SCR C des carrés des résidus estimés et de former la statistique F = N K + 1 SCR C SCR F J, N K + 1 J SCR 3.6 Test de la significativité globale des coefficients d une régression H 0 : b 1 = b 2 = b 3 =... = b K = 0 Sous H 0, le modèle s écrit : Y = b 0 e + U, d où ˆb 0 = ȳ et Ûc = Y ȳ e. La SCR c est donc donnée par : SCR c = Σ n y n ȳ 2. Sous H 1, SCR = Û Û. Par conséquent, sous H 0, Σnyn ȳ2 Û Û F K, N K + 1. Or R 2 = 1 Û Û Û Û Σ ny n ȳ 2, on obtient donc : N K+1 K F = R2 N K + 1 F K, N K R2 K Si F est supérieure au Fractile d ordre 1 α de la loi de Fisher à K, N K + 1 ddl, on refuse l hypothèse H Le Test de Chow Question : le modèle est-il homogène entre deux groupes d observation? Exemple, dans le domaine de la consommation, on peut se demander si les comportements de ménages appartenant à divers groupes socio-professionnels sont similaires ou bien si, au contraire, des différences marquées peuvent être constatées. C est par la mise en oeuvre du test de Chow que l on peut tenter d apporter une réponse à ces questions.

28 28 3 ESTIMATION SOUS CONTRAINTES LINÉAIRES Formalisme Supposons que l on dispose de deux échantillons Y 1, X 1 et Y 2, X 2 de tailles respectives N 1 et N 2, relatifs à deux groupes d observations différents i.e. deux périodes, deux catégories de ménages, Modèle relatif au 1er groupe :Y 1 = X 1 b 1 + U 1 Y 1 vecteur N 1 1 des observations pour le premier groupe X 1 matricen 1 K + 1 des variables explicatives 1, x 1,..., x K pour le premier groupe 2. Modèle relatif au 2ème groupe :Y 2 = X 2 b 2 + U 2 avec U 1 N0, σ 2 I N1, U 2 N0, σ 2 I N2 et U 1 U 2 = 0 La question posée est de savoir si le comportement modélisé est identique pour les deux groupes d observations. i.e. H 0 : b 1 = b 2 contre H 1 : b 1 b 2 On empile les deux régressions définies ci-dessus. Ceci nous amène à écrire : Y1 X1 0 b1 U1 = + 0 X 2 Y 2 Le test de Chow est donc un cas particulier du test de Fisher : on test ici l égalité de deux groupes de coefficients. Par conséquent, on refuse H 0 si b 2 U 2 SCR c SCR SCR N 1 + N 2 2K + 1 K + 1 > f 1 α K + 1, N 1 + N 2 K + 1 où SCR C est la somme des carrés des résidus associées à la régresion sous l hyptothèse H 0 : b 1 = b 2, SCR est la somme des carrés des résidus associées à la régression sous l hypothèse H 1 = b 1 b 2. Si cette inégalité est vérifiée, on rejette l hypothèse d homogénéité des comportements. Simplification du calcul des SCR et SCR c Sous l hypothèse H 0 : b 1 = b 2 = b 0, on peut écrire : Y1 X1 U1 = b Y 2 X U 2 On estime donc un seul modèle à partir des deux échantillons pris ensemble et on calcule la somme des carrés des résidus SCR c Sous l hypothèse H 1 on retrouve le modèle défini plus haut : Y1 Y 2 = X1 0 = Xb + U 0 X 2 b1 b 2 U1 + U 2 On vérifie aisément que M X = I X 1 X X X MX1 0 = 0 M X2

29 3.7 Le Test de Chow 29 Donc SCR = Y M XY = Y 1M X1 Y 1 + Y 2M X2 Y 2 = SCR 1 + SCR 2 où SCR 1 est la somme des carrés des résidus associée à la régression sur le premier groupe et idem pour SCR 2. La SCR sous H 1 peut s obtenir comme sommation des SCR associées aux régressions sur chacun des sous-échantillons Principe d application du test de Chow sous hypothèse d homosc édasticité et non-corrélation des résidus. 1. Calculer SCR c en estimant un seul modèle pour les N 1 +N 2 observations. 2. Calculer SCR en estimant le modèle sur chaque échantillon et additionnant les SCR associées à chacune de ces régressions. 3. Comparer la quantité SCRc SCR SCR 1, N 1 + N 2 2K + 1 N1+N2 2K+1 K+1 au seuil théorique fk+

30 30 4 PROPRIÉTÉS ASYMPTOTIQUES DE L ESTIMATEUR DES MCO 4 Propriétés asymptotiques de l estimateur des MCO 4.1 Rappel sur les convergences Soit X n une suite de va. Soit F n la fonction de répartition de X n. Soit X une va de fonction de répartition F. Toutes ces va sont définies sur le même espace probabilisé, c est-à-dire qu un même événement ω détermine une valeur de X n ω, Xω Convergence en loi Définition 4.1. On dit que X n converge en loi vers X X n de fonctions F n converge, point par point, vers F : L X si la suite Convergence en probabilité x, F n x F x. Définition 4.2. On dit que X n converge en probabilité vers X X n plim n X n = X si P X où ε > 0, Pr { X n X > ε} n 0. NB : Pr { X n X > ε} = Pr {ω, X n ω Xω > ε} Différents résultats X n P X Xn L X. a constant, X n P a Xn L a. X n L X et Yn L Y Xn + Y n L X + Y et Xn Y n L XY. Pour toute fonction g continue, X n L X gxn L gx et X n P a gx n P ga. Théorème 4.1 Théorème de Slutsky. L P L X n X et Yn a Xn Y n Xa L X n + Y n X + a. L X n /Y n X/a si a 0 Théorème 4.2 Loi des grands nombres Chebichev. Soit X i une suite de va indépendantes telles que EX i = m et VX i = Σ existent, 1 N N P X i m qd N. i=1 Démonstration. Pour toute va positive X on a le résultat Pr X > a < E X a

31 4.1 Rappel sur les convergences 31 en effet On a donc Comme E X = 1 Pr N E > a a Xf X dx a N X i m > ε i=1 1 N + a Xf X dx > f X dx = a Pr X > a = Pr < 1 N + a Xf X dx 2 N X i m > ε 2 i=1 [ ] 2 1 N E N i=1 X i m 2 N X i m = 1 N 2 N 2 E X i m = Σ N i=1 i=1 ε 2 On voit que 1 Pr N N X i m > ε i=1 < Σ Nε Théorème central limite Lindeberg-Levy Théorème 4.3 Théorème central-limite. Soit X i une suite de va iid telles que EX i = m et VX i = Σ existent, 1 N L N X i m N 0, Σ. N i=1 Démonstration. La demonstration se fait à partir des fonctions caractéristiques. On appelle fonction caracté ristique d une variable aléatoire Z la fonction φ Z t = E exp it Z Proposition 4.4 Propriété d injectivité. Si φ Z1 t = φ Z2 t alors F Z1 = F Z2, soit Z 1 d = Z2 On peut calculer la fonction de caractéristique d une loi normale z N 0, Σ φ z t = exp t Σt 2 On a alors directement avec φ n t = E exp it N i=1 N Xi N m

32 32 4 PROPRIÉTÉS ASYMPTOTIQUES DE L ESTIMATEUR DES MCO φ n t = E = i=n i=1 exp N i=1 it i=n X i m = E exp it X i m N N E exp it X i m = N [ E i=1 exp it X i m N ] N φ n t = [ E 1 + it X i m 1 N [ 1 1 2N t Σt ] N 2N t X i m ] N exp t Σt 2 Théorème 4.5 Méthode delta. Pour toute fonction g continue, differentiable, si L n Xn m N 0, Σ, alors n gxn gm L N Démonstration. On a d abord X n P m puisque gm 0, m Σ gm m. Pr X n m > ε < E X n m 2 ε 2 = V n Xn m nε 2 Σ nε 2 On applique le théorème de la valeur moyenne : θ n [0, 1] tq gx n = gm + g m m + θ n X n m X n m. n gxn gm = g m m + θ n X n m n X n m m + θ n X n m P m donc Z n = g m m + θ n X n m P g m m. Comme L P n X n m N 0, Σ, et Z n g m m, L gm gm n gxn gm = Z n n Xn m N 0, m Σ m. 4.2 Propriétés asymptotiques de l estimateur des MCO On considère le modèle y i = x i b + u i avec les hypothèses Hypothèse H 1. E u i x i = 0

33 4.2 Propriétés asymptotiques de l estimateur des MCO 33 Hypothèse H 2. V u i x i = V u i = σ 2 Les observationsy i, x i R R K+1, i = 1,..., N, sont iid Hypothèse H 3. N, X X est non singulière Hypothèse H 4. Ex i x i est inversible Hypothèse H 5. Les moments de y i, x i existent au moins jusqu à l ordre 4. Théorème 4.6. Sous les hypothèses H 1 à H 5, L estimateur des MCO bmco = X X 1 1 X Y = x i i x x i y i 1. b = X X 1 X Y P b, 2. L N b b N 0, σ 2 [Ex i x i ] 1, 3. σ 2 1 P = N K 1 Y X b Y X b σ 2, qd N. On dit que b est convergent et asymptotiquement normal. Démonstration. 1. Convergence de l estimateur L estimateur des mco s écrit bmco = X X 1 X Y = x i x 1 i x i y i On remplace y i par sa valeur : y i = x i b + u i. On a donc bmco = x i x 1 i x i x i b + u i = x i x 1 i x i x ib + x i u i = b + x i x i 1 x i u i La loi des grands nombre appliquée à x i x i et x i u i montre que x i x i = 1 N N x P ix i Exi x i, et x i u i = 1 N i=1 N x P iu i Ex i u i. Remarque : Importance de l hypothèse d existence des moments d ordre 4. On en déduit que x i x 1 P i Exi x i 1 i=1 x i x i 1 x i u i P Exi x i 1 Ex iu i bmco = b + x i x i 1 x i u i P b + Exi x i 1 Ex iu i puisque Ex i x i et Ex i u i sont constants, que l application A A 1 est continue et que le produit et la somme de suites de va convergent en probabilité vers des constantes converge en probabilité. Comme Ex i u i = E [x i Eu i x i ] = 0 On a bien b P b

34 34 4 PROPRIÉTÉS ASYMPTOTIQUES DE L ESTIMATEUR DES MCO 2. Normalité asymptotique De b mco = b + x i x i 1 x i u i on déduit N bmco b = Nx i x i 1 x i u i = x i x i 1 Nx i u i On applique le Théorème Central Limite à Nx i u i. On sait que E x iu i = 0 V x iu i = V E x iu i x i + E V x iu i x i = E x iv u i x i x i = σ 2 E x ix i Les moments d ordre 1 et 2 de x i u i existent donc. Le TCL permet alors d affirmer Nx i u i L N 0, σ 2 Ex i x i Comme x i x i 1 P Exi x i 1. qui est une matrice constante, on peut donc appliquer le théorème de Slutsky à x i x i 1 et Nx i u i : x i x 1 i Nx L i u i Exi x i 1 N 0, σ 2 Ex i x i = N 0, Ex i x i 1 σ 2 Ex i x iex i x i 1 = N 0, σ 2 Ex i x i 1 on a donc bien N b b L N 0, σ 2 [Ex i x i] 1 3. Estimation de la variance L estimateur de la variance des résidus σ 2 = s écrit compte tenu de Y = Xb + U σ 2 = = = = 1 N K 1 N N K 1 N b N K 1 b x N N K 1 puisque b P bx i x i 1 Y X b Y X b N K 1 X b b + U X b b + U x i b b + u i x i b b + u i i x i [ b b x i x i P E x i x i, x i u i b b + b b xi u i + u i x i b b ] b b + 2 b b x i u i + u 2 i P E x i u i, u 2 i P E u 2 i = σ 2 P σ 2 + u i u i

35 4.3 Estimation de la variance de l estimateur Estimation de la variance de l estimateur La matrice de variance-covariance asymptotique de l estimateur dilaté N b est V as N b = σ 2 [Ex ix i ] 1. Cette matrice peut être estimée de façon convergente par V 1 1 as N b = σ 2 x i x i = σ 2 1 N X X. La matrice de variance-covariance de b est approxiamtivement V b 1 N σ2 0 [Ex ix i ] 1. Cette matrice peut être estimée de façon convergente par V b N σ2 x i x 1 1 i = N σ2 N X X = σ 2 X X 1. 5 Tests asymptotiques On définit une région critique RC pour une statistique Ŝ telle que Ŝ RC on rejette H 0 contre H 1 Définition 5.1. On dit que le test de région critique RC est asymptotique si ses propriétés sont valables pour N grand ; qu il est de niveau asymptotique α si lim Ŝ Pr RC H0 = α ; et qu il est convergent si sa puissance tend vers N un lim Ŝ Pr RC Ha = 1. N Pr Ŝ RC H0 est le risque de première espèce : la probabilité de rejeter H 0 à tort. α est choisi petit : 5%, 1%. Pr Ŝ RC Ha est le risque de deuxième espèce : la probabilité d accepter H 0 à tort c est à dire la puissance du test p-value La statistique Ŝ est choisie de telle sorte que sous H 0 Ŝ S 0 et la loi de S 0 est connue et positive valeur absolue d une loi normale, loi du khi deux. La région critique est définit comme RC = {S S > q 1 α, S 0 } où q 1 α, S 0 est le quantile d ordre 1 α de S 0. Pr S 0 > q 1 α, S 0 = α Définition 5.2 p-value. On définit la p-value p Ŝ i.e. { } p Ŝ = Pr S 0 > Ŝ. comme Ŝ = q 1 p Ŝ, S 0

36 36 5 TESTS ASYMPTOTIQUES Pour tout seuil α, on rejette H 0 au seuil α ssi α p Ŝ. En effet, si α p Ŝ c est que { } } α = Pr {S 0 > q 1 α, S 0 } Pr S 0 > Ŝ {Ŝ > q 1 α, S0 5.1 Test d hypothèses linéaires On teste un système de contraintes linéaires. Pour R R p K+1, une matrice dont les lignes sont linéairement indépendantes, et r R p, on teste H 0 : Rb = r contre H a : Rb r. L estimateur des MCO étant asymptotiquement normal, L N b b N 0, V as N b = σ 2 [Ex ix i ] 1 on a sous H 0 L N R b r N 0, V as NR b = σ 2 R [Ex ix i ] 1 R Cas d une seule contrainte, p = 1 : test de Student. On écrit R = c R K+1 et r R. Sous l hypothèse nulle H 0 : c b = r On a donc N c b L r N 0, c V as N b c ou encore c b r L N N 0, 1. c V as N b c V as N b = σ 2 [Ex i x i] 1 est inconnue mais on en a un estimateur convergent 1 V as N b = σ x 2 i i x = σ 2 1 N X X 1. On applique le théorème de Slutsky. On en déduit que la statistique de Student : T = c b r N c V = c b r L as N b c c V N 0, 1. b c Test bilateral.h 0 : c b r = 0 contre H 1 : c b r 0 critique comme { W = T T > q 1 α } 2 On définit la région où q 1 α 2 est le quantile 1 α 2 de la loi normale N 0, 1 Sous H 0 on a { } { Pr T W H0 Pr N 0, 1 > q 1 α } = α 2

37 5.1 Test d hypothèses linéaires 37 Sous H 1 on a c b r c b r = m 0 donc T / N = c b / r c V / as N b c m c V as N b c d où T { } + Pr T W H1 1 Test unilatéral H 0 : c b r = 0 contre H 1 : c b r > 0 critique comme W = {T T > q 1 α} où q 1 α est le quantile 1 α de la loi normale N 0, 1 Sous H 0 on a { } Pr T W H0 Pr {N 0, 1 > q 1 α} = α On définit la région Sous H 1 on a c b r c b r = m > 0 donc / T N = c b / r c V / as N b c m c V as N b c d où T { } + Pr T W H Cas de plusieurs contraintes, p K : test de Wald. Rappel Z N 0, Σ, Σ inversible = Z Σ 1 Z χ 2 K. D où N R b r RV as N b R 1 L R b r χ 2 p. On peut remplacer V as N b par un estimateur convergent et appliquer Slutsky. D où, sous l hypothèse nulle, H 0 : Rb 0 = r, et après simplification des N, [ Ŵ = N R b r R V as N b R ] 1 R b r [ = R b r R V b R ] 1 R b r ] 1 R b r [R X X 1 R R b r = σ 2 = p F L χ 2 p, sous H 0 Région critique et p-value On rejettera H 0 au seuil α si la statistique de Wald, Ŵ, est supérieure au quantile 1 α de la loi du χ2 à p le nombre de contraintes degrés de liberté : Sous H 0 on a Ŵ > q 1 α, χ 2 p Pr Ŵ > q 1 α, χ 2 p Pr χ 2 p > q 1 α, χ 2 p = α