Chapter 13. Les Tests d Hypothèses Classiques

Transcription

1 Chapter 13 Les Tests d Hypothèses Classiques 131 Introduction Nous avons rencontré pour la première fois au Chapitre 3 les tests d hypothèses basés sur les principes de LM, Wald, et LR Cependant, les trois statistiques de test classiques elles-mêmes, souvent rattachées irrévérencieusement à la Sainte Trinité, n ont pas été introduits jusqu à la Section 89 parce que, si les tests doivent être appelés classiques, ils doivent être exécutés dans le contexte de l estimation (ML) par maximum de vraisemblance Comme nous le soulignions au Chapitre 8, l estimation ML nous impose un dispositif plus restictif que pour l estimation NLS ou IV, parce que les DGP du modèle estimés doivent être complètement caractérisés par les paramètres du modèle Ceci implique que nous devons poser de fortes hypothèses de distribution si nous désirons utiliser l estimation ML En retour, ML nous permet d estimer une variété beaucuop plus large de modèles que ne le permet NLS De plus, comme nous le verrons dans ce Chapitre, les tests basés sur les estimations ML sont beaucoup plus largement applicbles que ceux utilisés dans le contexte NLS Ceci signifie que nous serons capables de construire des tests dans des directions autres que celles des régressions étudiées en détail dans le dernier chapitre Heureusement, l utilisation de ML ne nous oblige pas à abandonner l utilisation des régressions artificielles Bien que la régression de Gauss- Newton, que nous avons beaucoup utilisée dans le contexte de l estimation par moindres carrés et IV, n est généralement pas applicable aux modèles estimés par ML, nous introduisons une autre régression artificielle à la Section 137 qui est la suivante Il s agit de la régression du produit extérieur au gradient, ou régresion OPG La régression OPG peut être utilisée pour l estimation de la matrice de covariance, test d hypothèses, estimation efficace en une étape, et ainsi de suite, dans le contexte ML, exactement de la même manière que la GNR peut être utilisée dans le contexte ML et IV Plus loin dans le livre, nous rencontrerons d autres régressions artificielles, qui se conduisent habituellement mieux mais qui sont largement moins applicables que la régression OPG Ce chapitre est organisé comme suit La prochaine section fournit une discussion géométrique des trois statistiques de test classiques La Section 435

2 436 Les Tests d Hypothèses Classiques 133 démontrera aussi qu ils sont équivalents asymptotiquement sous certaines conditions La Section 134 traite du cas spécial des modèles de régression linéaire et montre comment les statistiques de test classiques sont reliés aux statistiques familières t et F La Section 135 discute des moyens variés à partie desquels la matrice d information peut être estimatée, et comment celleci affecte les statistiques LM et Wald qui utilisent ces estimations La Section 136 porte sur un résultat important de raparamétrisation et sur comment celui-ci afecte les statistiques de test classiques Il introduit également le concept d hypothèses alternatives localement équivalentes La Section 137 introduit la régression OPG et discute brièvement des tests C(α) Enfin, certaines suggestions sont fournies pour une lecture ultérieur à la Section La Géométrie des Statistiques de Test classiques Nous commençons, comme à la Section 89, avec un modèle de reparamétrisation que nous appelons le modèle non contraint et considérons les restrictions sur ses paramètres, qui définissent implicitement le modèle contraint L hypothèse nulle alternative ou maintenue correspond modèle non contraint qui est vrai Ces deux modèles sont caractérisés par une fonction de logvraisemblance de la forme (810), qui est, une somme des contributions des observations dans l échantillon Ainsi, pour le modèle non contraint, nous avons une fonction de logvraisemblance pour un échantillon de taille n: n l(y n, θ) = l t (y t, θ) (1301) t=1 Souvenons-nous que y t désigne un échantillon de taille t, qui est, un vecteur d éléments y s, s = 1,, t; ces éléments des vecteurs plutôt que des scalaires, mais nous les traiterons comme des scalaires pour notre notation Notons que l t dépend de y t plutôt que de y t simplement, parce qu il peut exister des variables dépendantes retardées ou d autres formes de dépendances parmi les y t Nous supposerons sans plus de commentaire que n importe quel modèle de la forme (1301) satisfait les conditions de régularité fournie au Chapitre 8 pour assurer l existense, la convergence, la normalité asymptotique, et l efficacité asymptotique de l estimateur MLpour le modèle L invariance de ces estimateurs sous des reparamétrisations du modèle implique, que nous pouvons, utiliser des reparamétrisations arrangeantes afin d obtenir certains résultats La série des DGP générée comme le vecteur paramétrique θ varie sur un espace paramétrique Θ 1 R k que constitute le modèle non contraint, wque nous désignerons par M 1 L hypothèse alternative est satisfaite par une certaine série de données si les données sont en fait générées par un DGP appartenant à M 1 Le modèle contraint,ou hypothèse nulle, M 0, représente une sous-série du modèle non contraint M 1 Il est généré à partir du (1301) par l imposition de restrictions de la forme r(θ) = 0, où r : Θ 1 R r, r < k (1302)

3 132 La Géométrie des Statistiques de Test classiques 437 Nous supposons que les fonctions r(θ) qui expriment les restrictions sont arrangeantes en θ et auusi que l espace paramétrique Θ 0 associé avec M 0 est un sous-espace Θ 1 arrangeant de dimention (k r)-- L hypothèse nulle est satisfaite par une série particulière de données si les données sont générées par un vecteur paramétrique dans le sous-espace Θ 0 Comme au Chapitre 8, nous désignerons les estimations contraintes par θ et les estimations non contraintes par ˆθ Le premier test classique est le test LM, qui est basé exclusivement sur les estimations contraintes θ Comme nous l avons vu à la Section 89, il peut être réalsé soit sur les multiplicateurs de Lagrange d un problème de maximisation contraint, soit sur le vecteur gradient (ou vecteur score) de la fonction de logvraisemblance Dans sa forme score, il était donné dans l équation (877): LM n 1 g Ĩ 1 g (1303) Rappelons de (813) que le vecteur gradient g(θ) est défini comme le vecteur colonne des dérivées partielles de la fonction de logvraisemblance à θ, que la matrice d information I(θ) est définie dans (820), (821), et (822), et que g et Ĩ désignent ces quantités évaluées en θ Pour une notation aisée dans ce qui suit, nous écrirons I à la place de ni, car cela nous évitera d écrire une grande quantité de certaines puissances explicites de n Dans la prochaine section, cependant, certaines des puissaances de n auront besoin d être restorées lorsque nous nous embarquerons dans une certaine théorie asymptotique En utilisant la notation I, (1303) peut être réécrite comme LM g Ĩ 1 g (1304) Le second test classique, le test de Wald, est basé exclusivement sur les estimations non contraintes ˆθ Comme l hypothèse nulle nécessite que r(θ) = 0, cela peut être tester en voyant si r( ˆθ) est ou n est pas significativement différent de zéro Nous avons vu à l équation (878) que qu une statistique de test convenable est W = n ˆr ( ˆR Î 1 ˆR ) 1 ˆr = ˆr ( ˆRÎ 1 ˆR ) 1 ˆr, (1305) où R(θ) D θ r(θ), et les chapeaux sur r et R signifient, comme d habitude, que ces quantités doivent être évaluées en ˆθ La troisième et dernière statistique de test classique est la tsatistique du ratio de vraisemblance Elle a été définie dans (868): où encore ˆl l( ˆθ) et l l( θ) LR = 2(ˆl l), (1306) Afin d examiner les relations parmi les statistiques de test classiques, nous réalisons tout d abord une une approximation simplificatrice Il s agit que le

4 438 Les Tests d Hypothèses Classiques Hessien de la fonction de vraisemblance soit constant dans le voisinage entier de son maximum Cette approximation est équivalente à supposer que la fonction de logvraisemblance est une fonction quadratique Si l approximation était exactement vraie, alors la fonction de logvraisemblance pourrait être écrite comme l(θ) = ˆl + 1 (θ ˆθ) nh(θ ˆθ), 2 où la matrice H, que désigne le Hessien divisé par n, est constante, définie positive, indépendante de θ, et O(1) Comme le Hessien est constant, il doit être égale au minimum de la matrice d information pour toutes les tailles d échantillon et pas just asymptotiquement Ainsi, nous devons remplacer nh par I: l(θ) = ˆl 1 (θ ˆθ) I(θ ˆθ) (1307) 2 En évaluant cette expression en θ et en la subdivisant dans la définition de la statistique LR, (1306), nous voyons que, lorsque la fonction de logvraisemblance est quadratique, la statistique LR peut être réécrite comme LR = ( θ ˆθ) I( θ ˆθ) (1308) Considérons maintenat la statistique LM De (1307), il est facile de voir que le gradient g est juste I( θ ˆθ) Alors, de (1304), il s en suit que LM est égale à ( θ ˆθ) I( θ ˆθ), qui est simplement l expression (1308) Ainsi, nous voyons que les tsatistiques LM et LR sont numériquement égales quand la fonction de logvraisemblance est quadratique Prouver que ces deux statistiques sont égales à la statistique de Wald dans ce cas spécial est un tout petit peu plus difficile Nous commençons par poser une autre hypothèse, une qui, comme nous le verrons plus tard, n occasionne pas en fait une quelconque perte de généralité Ainsi, les restrictions associées à l hypothèse nulle prennent la forme θ 2 = 0 (1309) Ici nous avons partitionné le vecteur paramétrique comme θ = [θ 1 θ 2 ], avec θ 2 un vecteur r-- et θ 1 par conséquent un vecteur (k r)-- Nous pouvons aussi partitionner la matrice d information de façon à la conformer à la partition de θ: [ ] I11 I 12 I = I 21 I 22 Avec θ et I partitionnés de cette manière,l expression (1307) pour la fonction de logvraisemblance devient [ l(θ 1, θ 2 ) = ˆl 1 θ1 ˆθ ] [ ] 1 I11 I [ 12 θ 1 ˆθ ] 1 2 θ 2 ˆθ 2 I 21 I 22 θ 2 ˆθ (1310) 2

5 132 La Géométrie des Statistiques de Test classiques 439 Au niveau du MLE contraint, ( θ 1, 0), la condition du premier ordre pour un maximum contraint doit être satisfaite En différenciant (1310) par rapport à θ 1 et en évaluant le résultat à θ 2 = 0, nous trouvons que cette condition du premier ordre est De ceci il s en suit que 0 = D 1 l( θ 1, 0) = ( I 11 ( θ 1 ˆθ 1 ) I 12 ˆθ2 ) I 11 ( θ 1 ˆθ 1 ) = I 12 ˆθ2 (1311) Si nous écrivons la statistique LR (1308) sous la forme partitionnée, nous obtenons LR = ( θ ˆθ) I( θ ˆθ) [ θ1 ˆθ ] [ ] 1 I11 I [ 12 θ1 ˆθ ] 1 = θ 2 ˆθ 2 I 21 I 22 θ 2 ˆθ 2 = ( θ 1 ˆθ 1 ) I 11 ( θ 1 ˆθ 1 ) 2( θ 1 ˆθ 1 ) I 12 ˆθ2 + ˆθ 2 I 22 ˆθ2 où la dernière ligne utilise le fait que θ 2 = 0 En utilisant le résultat (1311), la statistique LR peut être réécrite comme LR = ( θ 1 ˆθ 1 ) I 11 ( θ 1 ˆθ 1 ) 2( θ 1 ˆθ 1 ) I 11 ( θ 1 ˆθ 1 ) + ˆθ 2 I 22 ˆθ2 = ˆθ 2 I 22 ˆθ2 ( θ 1 ˆθ 1 ) I 11 ( θ 1 ˆθ 1 ) (1312) Nous montrons à présent que la statistique de Wald est égale à (1312) Comme les restrictions prennent la forme (1309), nous voyons que r(θ) = θ 2 and ˆr = ˆθ 2 Ceci implique que la matrice R peut être écrite comme R(θ) = [0 I], où la matrice 0 est r (k r), et la matrice identité I est r r Alors l expression ˆRI 1 ˆR qui apparaît dans la statistique de Wald (1305) est juste le bloc (2, 2) de la matrice inverse partitionnée I 1 Au moyen des résultats de l Annexe A sur les matrices partitionnées, nous obtenons ( ˆRI 1 ˆR ) 1 = ( (I 1 ) 22 ) 1 = I22 I 21 I 1 11 I 12 (1313) Ce résultat nous permet de mettre (1305) sous la forme W = ˆθ 2 ( I 22 I 21 I 1 11 I 12) ˆθ2 Par (1311), cette dernière expression est égale à ˆθ 2 I 22 ˆθ2 ( θ1 ˆθ 1 ) I 11 ( θ1 ˆθ 1 ),

6 440 Les Tests d Hypothèses Classiques Z K L A F E B Y O G H X C D Figure 131 Maximisation de la fonction de vraisemblance qui est la même que (1312) La preuve de l égalité des trois statistiques classiques pour la fonction de logvraisemblance quadratique (1307) est par conséquent complète Il est intéressant de voir comment les trois statistiques de test classiques sont reliées géométriquement La Figure 131 dépeint le graphe d une fonction logvraisemblance l(y, θ 1, θ 2 ) Ceci est dessiné pour un vecteur échantillon donné y et par conséquent pour une taille d échantillon donnée n Pour faire simple, l espace paramétrique est supposé être à deux dimensions Il existe seulement une restriction, qui est que le second élément du vecteur paramétrique, θ 2, est égal à zéro Ainsi, la fonction l peut être traitée comme une fonction de deux variables θ 1 et θ 2 seulement, et son graphe représenté dans un espace tridimensionnel Comme d habitude, la Figure 131 est seulement une projection bi-dimensionnellet de cette rreprésentation Le plan (θ 1, θ 2 ) devrait être visualisé à l horizontal, et l axe vertical, OZ, mesure ainsi les valeurs de la fonction l La fonction de vraisemblance l réalise son maximum ˆl au point A de la figure Nous pouvons dire que A possède les coordonnées (ˆθ 1, ˆθ 2, ˆl) dans le système de coordonnées défini par les trois axes OX, OY, et OZ En général, ˆθ 2 ne sera pas zéro Si la restriction que θ 2 est zéro est imposée, alors à la place du maximum l sur le plan entier (θ 1, θ 2 ), nous sommes contraints à l axe θ 1 et par conséquent àla courbe marquée CBD Le maximum contrint, l, est

7 132 La Géométrie des Statistiques de Test classiques 441 réalisé au point B, auquel θ 1 = θ 1 et, naturellement, θ 2 = 0 Les coordonnées de B sont alors ( θ 1, 0, l) Essayons maintenant de trouver des équivalents géométriques dans la Figure 131 pour les quantités qui apparaîssent dans les trois statistiques de test classiques Premièrement, pour LM, notons que g est le vecteur gradient de l en B, représenté géométriquement par l inclinaison de la tangente en B à la courbe EBF, qui est, la courbe dans le graphe de l qui augmente le plus à pic loin de B Pour W, comme la restriction peut être écrite simplement comme θ 2 = 0, nous pouvons mettre r = θ 2, et aussi ˆr = ˆθ 2 Géométriquement, ˆθ 2 est juste une des coordonnées du maximum global de l en A, et un manière de le définir (parmi d autres possibilités) c est par la longueur du segment horizontal GH G est le point (ˆθ 1, ˆθ 2, 0), directement au-dessous du point A, et H est la projection de G sur l axe θ 1, c est à dire, le point (ˆθ 1, 0, 0) En dernier lieu, pour LR, comme ˆl et l sont des coordonnées des points A et B, respectivement, la différence ˆl l est représentée simplement par la longueur du segment vertical KL sur l axe OZ L équivalence des trois statistiques de test classiques peut maintenant être comprise en termes de la géométrie des sommets des collines Retenons pour le moment l hypothèse que la fonction de logvraisemblance est exactement quadratique dans le voisinage de son maximum Afin de simplifier l algèbre dont nous avons besoin pour exprimer la géométrie, nous posons le changement de variables suivant dans l espace paramétrique: 1 ψ 1 = I 1/2 ( 11 θ1 ˆθ ) 1/2 ( 1 + I 11 I 12 θ2 ˆθ ) 2 ; ψ 2 = ( I 22 I 21 I 1 11 I 12 ) 1/2 ( θ2 ˆθ 2 ) (1314) La forme particulière de ce changements de variables est motivée par le fait que la fonction de logvraisemblance, lorsqu elle est exprimée en termes des ψ, prend un forme très simple Premièrement, notons que [ θ1 ψ1 2 + ψ2 2 ˆθ ] [ ] 1 I11 I [ 12 θ 1 ˆθ ] 1 = θ 2 ˆθ 2 I 21 I 22 θ 2 ˆθ, 2 peut être facilement enrayée Alors il s en suit de (1310) que la fonction de logvraisemblance en termes des ψ est l(ψ 1, ψ 2 ) = ˆl 1 2 ( ψ ψ 2 2) (1315) Par un léger abus de notation, nous continuons à écrire l pour la fonction de logvraisemblance en termes des nouvelles variables 1 Nous ne pouvons pas ici parler de reparamétrisation, car le changement de variables est aléatoire en raison de sa dépendance sur les estimations paramétriques contraintes

8 442 Les Tests d Hypothèses Classiques V Y Contour où l = l O U O M X Figure 132 Les systèmes de coordonnées θ et ψ Evidemment, l effet du changement de variables a été localisé au maximum non contraints de la fonction de logvraisemblance à l origine des coordonnées ψ et pour rendre le sommet parfaitement symétrique concernant cette origine Pour trouver les coordonnées ψ du maximum contraint, nous pouvons substituer θ 1 et 0 pour θ 1 et θ 2 dans (1314) Nous trouvons de ψ 1 que I 1/2 11 ψ 1 = I 11 ( θ1 ˆθ 1 ) I12 ˆθ2 = 0, (1316) par (1311), qui implique que la coordonnée ψ 1 du maximum contraint est zéro Ce fait peut être exprimé de façon plus géométrique en disant que le maximum contraint est atteint à un point sur l axe ψ 2 Pour la coordonnée ψ 2, le résultat est ψ 2 = ( I 22 I 21 I 1 11 I 12) 1/2 ˆθ2 (1317) La restriction θ 2 = 0 est satisfaite en un point dans l espace paramétrique si et seulement si (1317) est satisfait par la coordonnée ψ 2 du point Ceci signifie que, en termes des ψ, non seulement le maximum contraint mais aussi la série entère des vecteurs paramétriques correspond aux DGP qui satisfont l hypothèse nulle qui s établit sur la ligne directe, parallèle à l axe ψ 1, avec l équation (1317) Comme nous l avons remarqué plus tôt, (1315) montre que le sommet de la colline réalisé par la fonction de logvraisemblance est parfaitement symétrique concernant l origine dans les coordonnées ψ Redessinons la Figure 131 en utilisant ψ à la place de θ Dans la Figure 132, seul l espace paramétrique a été dessiné Deux séries des axes ont été superposés Les axes ψ sont dessinés de façon orthogonale les uns aux autres de manière habituelle,

9 132 La Géométrie des Statistiques de Test classiques 443 Z K B L Y V O M O X U Figure 133 La logvraisemblance en fonction de ψ 1 et ψ 2 mais ce fait implique que les axes θ ne peuvent pas en général être mutuellement orthogonaux (Les axes ψ reçoivent ce traitement privilégié parce qu ils rendent seulement la fonction de logvraisemblance symétrique par rapport à l origine) Ensuite, la Figure 133 montre l image complète en trois dimension La nouvelle origine, O, est localisée à l ancien (ˆθ 1, ˆθ 2 ), au-dessous du maximum de l ψ 1 axis, dessiné comme la ligne O U, est prallèle à l ancien axe θ 1, OX Ceci provient du fait que l axe θ 1 est la série des vecteurs paramétriques satisfaisant l hypothèse nulle et de notre observation précédente que cette série coïncide avec la ligne (1317) parallèle à l axe ψ 1? revoir cette dernière phrase? L axe ψ 2, O V, est perpendiculaire à O U mais pas parallèle en général à l axe θ 2 OY Une conséquence de la forme symétrique de (1315) est que les courbes de niveau de la fonction l sont devenues des cercles centrés sur l origine ψ dans les nouvelles figures Nous avons vu de (1316) que le maximum contraint de l est réalisé sur l axe θ 1 OX u pour pour lequel ψ 1 = 0, qui est, au point M où il croise l axe ψ 2 Par un raisonnement standard, nous pouvons voir que la courbe de niveau de l sur laquelle repose le maximum contraint, pour laquelle l = l, doit être tangente à l axe θ 1 et ainsi aussi à l axe ψ 1 au maximum; voir la Figure 132 Le rayon O M de la courbe de niveau circulaire l = l qui joins l origine ψ au point de tangence est perpendiculaire à la tangente, qui explique géométriquement pourquoi le maximum contraint repose sur l axe ψ 2 La longueur du rayon O M est, naturellement, juste la valeur de ψ 2 donné par (1317), que nous désignerons par ρ Rappelons maintenat que la statistique LR était représentée géométriquement par le segment de ligne vertical KL dans les Figures 131 et 133 Nous

10 444 Les Tests d Hypothèses Classiques pouvons utiliser (1306) et (1315) directement pour obtenir la longueur de ce segment: LR = 2 (ˆl l(0, ρ) ) = ρ 2 Pour la statistique LM, il est clair que le gradient de l, par rapport aux coordonnées ψ, en n importe quel point (ψ 1, ψ 2 ) est le vecteur (ψ 1, ψ 2 ) En M il est par conséquent juste (0, ρ) Plus loin, le Hessien de l par rapport aux coordonnées ψ en n importe quel point (ψ 1, ψ 2 ) est simplement moins la matrice identité 2 2 Ainsi, si nous utilisons le gradient par rapport à ψ dans (1304), le long de la négative du Hessien par rapport au ψ en place dans la matrice d information, nous obtenons une statistique LM égale au 2 [ 0 ρ ] [ ] [ ] = ρ ρ Rappelons maintenant que le test de Wald correspond géométriquement au segment de ligne GH dans la Figure 131, qui est devenue le rayon O M dans la Figure 133, de longueur ρ Avant le changement de variables des θ en ψ, la statistique de Wald devait avoir été calculée comme le carré de la longueur de GH divisé par une estimation appropriée de la variance de ˆθ 2 Comme dans la Figure 133 les axes ψ sont mutuellement orthogonaux plutôt que les axes θ, la longueur de O M dans cette figure est différente de la longueur de GH dans la Figure 131 Ainsi nous devrions utiliser une mesure de variance différente lorsque nous travaillons en termes des ψ Juste comme nous l avons fait pour la statistique LM, nous pouvons pouvons utiliser la matrice identité 2 2 à la place de la matrice d information Ceci signifie que la mesure de variance appropriée est juste l unité, et comme la longueur de O M est ρ, la statistique de Wald est juste ρ 2 Notre preuve précédante de l égalité des trois statistiques de test classiques fournit une justification des arguments heuristiques d avan Cependant, nous pouvons vérifier directement que la quantité de ρ 2 est que nous avons obtenu en travaillant avec les θ? revoir la phrase? Il s en suit directement de (1317) que ρ 2 = ( I 22 I 21 I 1 11 I 12)ˆθ2 2 Par (1311) appliqué au cas présent à deux paramètres, ceci devient ρ 2 = I 22 ˆθ2 2 I 11 ( θ1 ˆθ 1 ) 2 C est que l expression (1312) pour les réductions des trois statistiques de test classiques quant θ 1 et θ 2 sont scalaires 2 Cet argument est heuristique, car, à strictement parlé, nous ne serions pas en train de traiter les ψ comme s ils constituaient des paramètres ordinaires Cependant, nous procèderons comme s ilétait possible de faire ainsi

11 133 L Equivalence Asymptotique des Tests Classiques 445 Ce que l utilisation des ψ nous permet de voir clairement, en termes du sommet symétrique généré par (1315), est juste pourquoi les trois tests sont équivalents dans le cas présent simple Tous les trois mesurent, en un certain sens, de combien le MLE non contraint est loin du MLE contraint Le test de Wald est basé directement sur la distance entre ces deux points dans l espace paramétrique Géométriquement, c est la longueur de ρ du rayon O M de la courbe de niveau circulaire de la fonction de logvraisemblance pour la valeur l La distance entre les deux estimations, pour les objectifs du test de Wald, est par conséquent, * mesurée par la ditanc e Euclidienne au carré en termes de ψ entre les vecteurs paramétriques auxquels les maxima contraints et non contraints sont réalisés Cela ne serait ps vrai avec les θ, naturllement, car cela demande que le sommet soit symétrique Pour le test du ratio de vraisemblance, la mesure de ditance est en termes de la réelle différence entre les deux maxima Ainsi, gométriquement, la statistique LR est reliée à la longueur d un segment vertical, KL dans les figures, tandis que la statistique est reliée à la longueur du degment de ligne horizontal Pour finir, la statistique LM est basée sur l inclinaison du chemin le plus pentu de la colline en l estimation contrainte Pour un sommet parfaitement symétrique, ce que nous avons montré dans cette section est que toutes les mesures des trois distances sont fonction de la longueur ρ du rayon de la courbe de niveau passant à travers le maximum contraint seulement et aussi sont exactement équivalentes Ce que nous verrons plus tard dans ce chapitre est que ce résultat agréable est exactement vrai seulement lorsque le sommet de la logvraisemblance est exactement quadratique, c est, lorsque le Hessien de la fonction de logvraisemblance est en effet exactement constante dans le voisinage entier de son maximum Mais tous les cillines sont rudement quadratiques en leurs sommets, et dans la prochaine section nous serons capables d exploiter ce fait pour démontrer que toutes ces trois statistiques de test classiques sont asymptotiquement équivalentes sous des conditions de régularité étroites 133 L Equivalence Asymptotique des Tests Classiques Dans cette section, nous établissons deux séries de résultats concernant l équivalence asymptotique des trois tests classiques La première, et plus faible, série est dérivée sous l hypothèse que les restrictions sur les tests sont en fait vrai Plus formellement, nous supposons que les données sont générées par un DGP caractérisé par un vecteur paramétrique θ 0 qui satisfait r(θ 0 ) = 0, dans la notation de (1302) Notons que nous supposons peu de temps que les restrictions prennent la forme spéciale (1309) L équivalence des trois statistiques de test classiques dans ce cas est maintenant absolument simple à démontrer, car les ingrédients principaux ont déjà été établis au Chapitre 8 Notre travail consiste ici principalement à assembler les pièces ensemble et à vérifier que l intuition du cas exactement quadratique traité dans cette

12 446 Les Tests d Hypothèses Classiques dernière section s étend en effet à un résultat asymptotiquement valide en général La seconde, et plus forte, séries de résultats ne sera pas établie en détail dans ce livre Ces résultats s étendent à ceux de la première série au cas dans lequel les données sont générées par par un DGP en mouvement qui ne satisfait pas l hypothèse nulle mais tend vers une limite contenue en lui Ainsi, cette seconde série de résultats est analogue au cas de l estimation ML pour les résultats obtenus au Chapitre 12 pour l estimation par NLS Bien que nous ne fournirons pas de preuves entières, nous prendrons un peu de temps pour établir les résultats et expliquer ce que nous voulons dire par DGP en mouvement dans ce nouveau contexte Pour la première série de résultats, alors, nous supposons que le véritable vecteur paramétrique θ 0 obéit à (1302) dans ce cas, à la fois le MLE non contraint ˆθ et le MLE contraint θ diffèrent de θ 0 par une quantité aléatoire de l ordre de n 1/2 Pour le MLE non contraint, n 1/2 ( ˆθ θ 0 ) a = I 1 0 n 1/2 g 0, (1318) un résultat qui suit immédiatement de (838) et de l égalité de la matrice d information que I 0 = H 0 Comme nous sommes encore dans le contexte de la théorie asymptotique, nous utilisons maintenant la notation avec les puissances explicites de la taille d échantillon n Sinon, la notation habituelle est: I 0 et g 0 désignent I(θ 0 ) et g(θ 0 ), respectivement Pour les MLE contraints, nous utilisons l égalité de la matrice d information et un résultat suivant immédiatement (874) pour obtenir n 1/2 ( θ θ 0 ) = a I 1 ( 0 I R0 (R 0 I 1 0 R 0 ) 1 R 0 I 1 ) 0 n 1/2 g 0 (1319) La matrice d information I(θ) est de l ordre de l unité et lisse en θ, suivant nos hypothèses standards pour les modèles qui doivent être estimés par maximum de vraisemblance, hypothèses qui ont été déployées dans les énoncés des Théorèmes 81, 82, et 83 Il s en suit que Ï = I 0 + O(n 1/2 ), (1320) où Ï I( θ) Ceci demeure vrai pour n importe quel estimateur convergent au taux n 1/2 θ, mais nous adopterons la convention que θ désigne, soit ˆθ,soit θ De façon similaire, comme les fonctions r(θ) qui définissent les restrictions sont supposées être lisses, nous avons R = R 0 + O(n 1/2 ), (1321) où la relation d ordre doit être comprise élément par élément dans les deux équations précédentes

13 133 L Equivalence Asymptotique des Tests Classiques 447 Considérons premièrement la statistique de test LM (1303) Elle peut être écrite comme LM = ( n 1/2 g ) Ĩ 1( n 1/2 g ), (1322) où les parenthèses mettent en relief le fait qu il s agit d une forme quadratique dans le vecteur O(1) n 1/2 g Nous pouvons développer ce vecteur par le Théorème de Taylor pour obtenir n 1/2 g = n 1/2 g 0 + ( n 1 H( θ) ) n 1/2 ( θ θ 0 ); consulter (835) La loi des grands nombres appliquée à la matrice Hessienne H et à l égalité de la matrice d information nous permet d écrire ceci comme n 1/2 g a = n 1/2 g 0 I 0 n 1/2 ( θ θ 0 ) Nous sommes en mesur à présent d employer le résultat (1319) pour trouver que n 1/2 g = a R ( 0 R 0 I 1 0 R ) 1 0 R0 I 1 0 n 1/2 g 0 La substitution de ceci dans (1322) donne alors LM a = (n 1/2 g 0 ) I 1 0 R 0 ( R 0 I 1 0 R 0 ) 1 R0 I 1 0 (n 1/2 g 0 ) (1323) Notons que cette expression se compose seulement de quantités évaluées au véritable vecteur paramétrique θ 0 et que, de celles-ci, seule g 0 est stochastique Pour la statistique du ratio de vraisemblance (1306), un autre développement de Taylor est nécessaire Cette fois, en développant autour de θ = ˆθ et en utilisant les équations de vraisemblance ĝ = 0, nous obtenons LR = 2(ˆl l) a = n( θ ˆθ) Î( θ ˆθ); (1324) consulter aussi (870) En combinant (1318) et (1319), nous obtenons n 1/2 ( ˆθ θ) a = I 1 0 R 0 ( R 0 I 1 0 R 0 ) 1 R0 I 1 0 (n 1/2 g 0 ) En substituant cette dernière relation dans (1324) et en remplaçant Î par I 0, comme (1320) nous permet de le faire, nous trouvons que LR a = (n 1/2 g 0 ) I 1 0 R 0 ( R 0 I 1 0 R 0 ) 1 R0 I 1 0 (n 1/2 g 0 ) (1325) Comme ceci est identique à l expression (1323), nous avons établi l équivalence asymptotique de LM et LR Finalement, nous considérons la statistique de Wald (1305) Le développement de Taylor des restrictions r( ˆθ) = 0, l utilisation de l hypothèse que r(θ 0 ) = 0, et la multiplication par n 1/2, nous permettent d obtenir n 1/2 ˆr a = R 0 n 1/2 ( ˆθ θ 0 ) a = R 0 I 1 0 n 1/2 g 0,

14 448 Les Tests d Hypothèses Classiques où l égalité finale provient de (1318) Ce dernier résultat, le long de (1320) et (1321), nous permet de réécrire (1305) asyptotiquement comme W a = (n 1/2 g 0 ) I 1 0 R 0 ( R 0 I 1 0 R 0 ) 1 R0 I 1 0 (n 1/2 g 0 ) (1326) L équivalence asymptotique des trois tests classiques sous les hypothèses nulles des tests, est maintenant établie à travers l égalité de (1323), (1325), et (1326) A ce point, il est facile de dériver la distribution asymptotique commune des trois statistiques de test classiques Rappelons de (841) que la distribution asymptotique de n 1/2 g 0 est N(0, I 0 ) De ceci, nous calculons que la distribution asymptotique du vecteur R 0 I 1 0 (n 1/2 g 0 ) de dimension r-- est N(0, R 0 I 1 0 R 0 ) Les trois statistiques de test sont, comme nous venons juste de le voir, égale asymptotiquement égales à la forme quadratique (1326) dans le vecteur R 0 I 1 0 (n 1/2 g 0 ) et la matrice (R 0 I 1 0 R 0 ) 1 Il s en suit immédiatement que la distribution asymptotique des statistiques de test classiques une chi-deux centrale à r degrés de liberté Notre discussion du premier cas, dans lequel les restrictions sous test sont en fait réelles, est à présent complète Nous tournons par conséquent notre attention sur le second cas, dans lequel les données sont générées par une mise en marche du DGP qui tend à la limite vers un DGP qui satisfait l hypothèse nulle Nous commençons par la discussion du concept de mise en marche des DGP dans le contexte des modèles qui doivent être estimés par la méthode du maximum de vraisemblance Dans le contexte des modèles estimés par NLS, nous avons obtenu une mise en marche d un DGP en ajoutant une quantité proportionnelle au taux to n 1/2 à la fonction de régression x(β 0 ); rapellons (1206) Ainsi, comme n, le DGP a évolué à un taux convenable vers un spécifié par le vecteur paramétrique β 0, supposé satisfaire les restrictions des hypothèses nulles Tout comme les modèles NLS sont définis au moyen de leurs fonctions de régression, les modèles qui doivent être estimés par maximum de vraisemblance sont définis au moyen de leurs fonctions de logvraisemblance, comme dans (1301) Dans le contexte des modèles ML, il semble par conséquent approprié d additionner une quantité appropriée au taux n 1/2 à la contribution pour la fonction de logvraisemblance de chaque observation Ainsi nous écrivons de l observation t l t = l t (y t, θ 0 ) + n 1/2 a t (y t ) (1327) Nous pouvons voir de ceci que le log de la densité de la t ième observation est pris pour être comme donné par un modèl paramétrique pour un vecteur paramétrique θ 0 satisfaisant les restrictions de l hypothèse nulle, plus un terme qui disparaît avec n 1/2 quand n Le fait que n importe quelle fonction de densité est normalisée pour intégrer l unité signifie que les fonctions a t dans

15 133 L Equivalence Asymptotique des Tests Classiques 449 (1327) doivent être choisie de façon à obéir à la condition de normalisation exp ( l t + n 1/2 a t ) dyt = 1 il peut être facilement montré que ceci implique que E 0 ( at (y t ) ) = O(n 1/2 ), (1328) où E 0 désigne une espérence calculée en utilisant l t (y t, θ 0 ) comme densité de log Alors, afin de conduire l odre asymptotiquement, les variables aléatoires a t ont une moyenne nulle Le fait que l t est écrit dans (1327) comme la somme de deux termes ne contraint pas du tout l application de l analyse analysis, parce que l on peut penser (1327) comme la résultante d une approximation des séries de Taylor pour une quelconque mise en marche d un DGP Un exemple serait séquence des alternatives locales l t ( y t, θ 0 + n 1/2 δ ) Par des arguments similaires à ceux de la Section 123, nous pouvons montrer qu une approximation des séries de Taylor comme ceci peut être écrite sous la forme de (1327) Nous établissons maintenant sans preuve les résultats qui correspondent aux équations (1211), (1212), et (1213) dans le contexte NLS Ils sont discutés et prouvés dans Davidson et MacKinnon (1987), une étude que certains lecteurs peuvent, cependant, trouver quelque peu difficile en raison de la nature des mathématiques employées Ces résultats fournissent des expresions valides asymptotiquement pour les éléments variés des statistiques de test classiques sous la mise en marche d un DGP spécifié par (1327) Le premier résultat est que les estimateurs ˆθ et θ sont encore convergents au taux n 1/2 pour θ 0 : θ = θ 0 + O(n 1/2 ), duquel nous pouvons conclure que Ï et R sont convergents pour I 0 et R 0, tout comme ils le sont sous l hypothèse nulle: Ï = I 0 + O(n 1/2 ); and R = R0 + O(n 1/2 ) Nous pouvons également conclure de la convergence de θ que tous les développements de Taylor expansions dans les équations de développement (1323), (1325), et (1326) sont encore valides, tout comme le sont ces équations elles-mêmes Comme cela peut être vu des équations (1323), (1325), et (1326), la partie stochastique de toutes les statistiques de test classiques, asymptotiquement, est la quantité n 1/2 g 0 Son comportement n est pas le même sous la mise en marche d un DGP qu il ne l est sous l hypothèse nulle; rappellons-nous

16 450 Les Tests d Hypothèses Classiques (1213) pour le cas NLS Nous trouvons que la distribution asymptotique de n 1/2 g 0 est encore normale mais n a plus de moyenne nulle Si nous définissons le vecteur c O(1) de dimension k-- par c lim n cov 0 ( n 1/2 n t=1 a t (y t ), n 1/2 g 0 ), (1329) où cov 0 signifie une covariance calculée sous le DGP limite caractérisé par θ 0, alors il peut être prouvé que, asymptotiquemnt, n 1/2 g 0 N(c, I 0 ) Par conséquent, la distribution asymptotique du vecteur de dimension r-- R 0 I 1 0 (n 1/2 g 0 ) est maintenant N(R 0 I 1 0 c, R 0 I 1 0 R 0 ), et la distribution asymptotique des statistiques de test classiques est une chi-deux non centrale à r degrés de liberté et à paramètre non central Λ = c I0 1 R ( 0 R 0 I 1 0 R ) 1 0 R0 I 1 0 c (1330) Jusqu ici, nos résultats sont très similaires à ceux du dernier chapitre pour la mise en marche des DGP dans le contexte d un modèle de régression En fait, les similitudes sont même plus profondes que ce qui a été vu j usqu ici Presque toute notre discussion de la géométrie de la puissance de test donnée dans la Section 125 peut être remplacée, avec seulement quelques légères modifications, pour le cas présent Une différence qui en premier lieu pourrait apparaître présenter un obstacle insurmontable mais qui en fait très anodin, est que la mise en marche des DGP comme (1327) doit être placée dans un espace de dimension infini plutôt que dans l espace de dimension n-- utilié auparavant Ceci est ainsi parce que chaque a t est une fonction de l observation y t, et parce que les séries de fonctions sont de dimension de type infini Mais pour notre objectif ceci signifie simplement que les possibilités pour construire les DGP qui tendent vers un DGP qui satisfait l hypothèse nulle sont infinies En particulier, tout comme dans le contexte présent nous ne sommes ni contraints aux tests dans des directions de régression,, ni contraints de considérer la mse en route des DGP dans des directions de régression La géométrie de ce que nous avons réalisé peut être illustrée en trois dimensions, tout comme dans la Figure 123 Supposons pour faire simple que nous travaillons sur une reparamétrisation dans laquelle la matrice d information I 0 est une matrice identité ix 3 Plus loin, supposons qu il existe seulement deux paramètres, θ 1 et θ 2, et que la restriction correspondant à l hypothèse nulle est que θ 2 = 0 Ainsi [ ] 1 0 I 0 = and R 0 = [0 1] Par exemple, nous pourrions utiliser pour une reparamétrisation (1314) avec des quantités aléatoires ˆθ 1 et ˆθ 2 remplacées par les véritables valeurs qui correspondent au DGP limite, et I remplacée par I évaluée en ces valeurss

17 133 L Equivalence Asymptotique des Tests Classiques 451 Dans ce cas simple, la matrice de covariance R 0 I 1 0 R 0 se réduit au scalaire 1, le vecteur R 0 I 1 0 c devient simplement c 2, le second élément du vecteur c de dimension 2--, et de (1330) le paramètre non central Λ qui devient c 2 2 L espace à trois dimension que nous construirons est engendré par trois variables aléatoires, interprétées comme des vecteurs dans cet espace Ces variables aléatoires sont précisément celles qui apparaîssent dans la définition (1329) de c Elles sont s 1 n 1/2 s 2 n 1/2 a n 1/2 t=1 n t=1 n t=1 n t=1 l t θ 1 (y t, θ 0 ), l t θ 2 (y t, θ 0 ), and a t (y t ) Afin de traiter ces variables aléatoires comme des vecteurs dans un espace Euclidien à trois dimensions qu elles engendrent, il est suffisant de s assurer que les opérations algébriques définies sur des espaces Euclidiens peuvent être proprement définies pour ces variables aléatoires Les opérations d addition et de multiplication par un scalaire sont définies de manière évidente La somme d espace-euclidien, ou de façon plus concise somme vectorielle, de deux variables aléatoires est simplement leur somme ordinaire: n ( ) s 1 + s 2 = n 1/2 lt ( y t ) l t (, θ 0 + y t, θ 0 (1331) θ 1 θ 2 De manière similaire, la multiplication par un scalaire α R n est pas différente dans le contexte de l espace-euclidien de la multiplication par un scalaire: n αs 1 = αn 1/2 l t ( y t ), θ 0 (1332) θ 1 t=1 Ces deux définitions (1331) et (1332) suffisent à placer la structure de l espace linéaire R 3 sur la série de toutes les combinaisons linéaires de s 1, s 2, et a Pour un espace Euclidien, une autre opération doit être définie, à savoir, le produit intérieur de deux vecteurs Ainsi, nous espérons être capables de dire que ce que nous signifions par produit intérieur de n importe quelle combinaison linéaire de s 1, s 2, et a avec n importe quelle autre combinaison linéaire Ceci est réalisé très simplement: le produit interieur de deux variables aléatoires sera leur covariance sous le DGP limite Nous désignerons les produits intérieurs par une notation entre crochets d angles dans laquelle, par exemple, s 1, s 2 désigne le produit intérieur de s 1 avec s 2 Comme la matrice de covariance de s 1 et de s 2, I 0, sont des matrice identité, nous avons s 1, s 2 = 0 and s i, s i s i 2 = 1, i = 1, 2

18 452 Les Tests d Hypothèses Classiques M 1 a a s2 φ O s 1 Figure 134 Le paramètre de non centralité des tests classiques Il s en suit que s 1 et s 2 forment une paire de vecteurs unitaires mutuellement orthogonaux Notons que la norme au carré d un élément de notre espace Euclidien de variables aléatoires, définie, comme d habitude, comme le produit intérieur de l élément avec lui-même, est juste le second moment de l élément considéré comme une variable aléatoire Comme les variables s 1 et s 2 ont une espérence nulle sous le DGP limite, la norme au carré autre de la leur est juste la variance Asymptotiquement, la même chose est vraie pour a, car par (1328) l espérence de a disparaît quand n En général, le vecteur représenté par la variable aléatoire a ne tiendra pas dans le plan engendré par s 1 et s 2 ; c est pourquoi une troisième dimension est nécessaire afin d accomoder cela Considérons maintenant la Figure 134, dans laquelle les vecteurs s 1 et s 2 engendrent le plan horizontal En suivant l intuition du dernier chapitre, nous laissons M 1 a être la projection de a sur le complément orthogonal l espace à une dimension engendré par s 1 Il s en suit que M 1 a repose verticalement au-dessus ou au-dessous de la direction de s 2 (nous l avons dessiné au-dessus) L angle désigné φ dans la figure est l angle compris entre le vecteur M 1 a et le plan horizontal, qui est, l angle compris entre M 1 a et s 2 La définition habituelle du cosinus d un angle nous dit alors que s 2, M 1 a, le produit intérieur de s 2 et M 1 a, est s 2, M 1 a = s 2 M 1 a cos φ (1333) Si nous écrivons a = M 1 a+p 1 a, nous voyons que s 2, M 1 a = s 2, a, parce que s 1 est orthogonal à s 2 Par (1329), s 2, a = c 2 Si nous rappelons plus loin que s 2 est un vecteur unitaire, tel que s 2 = 1, (1333) deviennent c 2 = M 1 a cos φ Il s en suit que le paramètre de non centralité Λ, que nous avons vu était égal à c 2 2 dans le cas simple présent, est donné par une formule qui rappelle fortement

19 134 Tests Classiques et Régressions Linéaires 453 l expression (1223) pour le cas des tests dans des directions de régressions: Λ = M 1 a 2 cos 2 φ (1334) Les arguments présentés au-dessous ne réclament pas de rigueur En particulir, nous avons ignoré les distinctions entre les quantités calculées pour les échantillons de taille finie et les limites vers lesquelles ils tendent quand la taille de l échantillon vers l infini En dépit de ces imperfections, notre discussion contient le coeur du sujet La formule (1334), bien que dérivée seulement pour un cas spécial, est en fait généralement valide, par laquelle nous signifions que non seulement que la formule correcte en général est la forme algébrique, mais aussi qu il est propre de replacer les variables aléatoires utilisées en construisant la représentation géométrique dans un espace Euclidien par leurs limites en probabilité Ainsi, le puissance des tests classiques est est gouvernée par les même cosidérations que les tests dans les directions de régression traitées dans le dernier chapitre Cela dépend de de deux choses: la distance entre le DGP et l hypothèse nulle, lorsque mesuré par M 1 a, et l angle compris entre le vecteur M 1 a, mesurant le degré d incorrection de l hypothèse nulle, et le sous-espace s 2 engendré par les directions correspondant aux variations des paramètres de l hypothèse (alternative) L intuition est identique à ce qui fut présenté dans le dernier chapitre Un traitement entièrement mathématique est, cependant, au-delà de la portée de ce livre Les lecteurs intéressés sont rapportés à Davidson et MacKinnon (1987) et à certaines références apparentées citées à lasection Tests Classiques et Régressions Linéaires Nous avons vu à la Section 810 que les estimations des paramètres de la fonction de régression dans le modèle de régression linéaire sont identiques aux estimations NLS si on fait l hypothèse que les aléas sont distribués normalements A fortiori, ce résultat est aussi vrai pour les modèles de régression linéaire Il est par conséquent intéressant de comparer les statistiques de test t et F pour tester les restrictions linéaires sur les modèles de régression linéaire, pour lesquels sous les conditions classiques les distributions exactes d échantillon fini sont connues, avec les trois statistiques de test classiques, pour lesquels en général seule la distribution asymptotique est connue Il en sort que nous pouvons en dire beaucoup plus concernant les relations parmi les trois tests classiques lorsque nous restraignons notre attention aux restrictions linéaires sur des modèles linéaires Les modèles contraints et non contraints, rencontrés en premier comme (318) et (319), sont y = X 1 β 1 + u and (1335) y = X 1 β 1 + X 2 β 2 + u, (1336)

20 454 Les Tests d Hypothèses Classiques où X 1 est n (k r) et X 2 est n r Comme nous nous intéressons à l estimation ML, nous supposons maintenant que u N(0, σ 2 I) L hypothèse maintenue est que (1336) est vraie, et l hypothèse nulle est que β 2 = 0 Le test standard F, ou le test t dans le cas où r = 1, était discuté à la Section 35 et il sera utilisé comme comparaison de base avec les trois statistiques de test classiques Dans la notation du Chapitre 3, la statistique F peut être écrite comme F = n k r y P M1 X 2 y y M X y, (1337) où nous avons utilisé (321), (330), et (332) pour obtenir cette expression Nous comparons maintenant les statistiques LM, LR, et Wald statistics avec cette statistique F Asymptotiquement, r fois la statistique F (1337) est distribuée comme une χ 2 (r) sous l hypothèse nulle En fait, comme nous le motrerons bientôt, elle tend vers la même variable aléatoire comme les trois statistiques de test classiques Ceci est entièrement du à la présence du paramètre σ dans le modèle de régression linéaire qui n est pas l égalité parfaite de rf et des trois tests classiques Supposons que σ, à la place d être un paramètre connu devant être estimé, soit en fait connu Alors, pour le cas dans lequel σ = 1 (une restriction sans importance, car si nous connaissons σ nous pourrions toujours renormaliser les données), la fonction de logvraisemblance pour le modèle (1336) serait l(y, β) = n 2 log 2π 1 2 (y Xβ) (y Xβ) Pour des données d échantillon fournies y et X, ceci correspond exactement à la fonction quadratique du vecteur β Les résultats de la Section 132 sont alors directement applicables, et il est facile de calculer les trois statistiques et de montrer qu elles sont toutes égales à rf Nous retournons maintenant au cas plus intéressant dans lequel σ doit être estimé Commençons par la statistique LR Il est commode d exprimer cette statistique en termes de la fonction de logvraisemblance concentrée (882) Pour le modèle non contraint (1336), cette fonction de logvraisemblance concentrée est ˆl n 2 log ( (y Xˆβ) (y Xˆβ) ) = n 2 log(y M X y), à partun terme constant qui est le même pour l estimation à la fois de (1335) et (1336) et qui disparaît donc de la différence des fonctions de logvraisemnlnce utilisées dans le test LR Ici X [X 1 X 2 ] et M X désigne la matrice qui projette orthogonalement sur S (X) Pour le modèle (1335), la fonction de logvraisemblance concentrée est l n 2 log ( (y X 1 β1 ) (y X 1 β1 ) ) = n 2 log(y M 1 y),

21 134 Tests Classiques et Régressions Linéaires 455 où M 1 désigne la matrice qui projette orthogonalement sur S (X 1 ) Ainsi, la statistique LR est ( LR = 2(ˆl l) y ) M 1 y = n log y (1338) M X y Il est facile de montrer que y M 1 y = y M X y + y P M1 X 2 y Cette décomposition, qui a été expliquée dans la figure Figure 17, dit que la SSR d une régression de y sur X 1 est égale à la SSR d une régression de y sur X 1 et X 2, plus la somme expliquée des carrés d une régression de y (ou, de manière équivalente, M 1 y) sur M 1 X 2 En conséquence, nous obtenons de (1338) que ( ) LR = n log 1 + y P M1 X 2 y y (1339) M X y La relation entre la statistique F (1337) et la statistique LR (1339) est alors ( LR = n log 1 + rf ) (1340) n k Pour n grand, pourvu que F = O(1), nous étendre Taylor au logarithme Il s agit clairement du cas de l hypothèse nulle (1335) et aussi, en fait, de celui des DGP qui se mettent en marche pour l hypothèse nulle à un taux proportionnel à n 1/2 La dernière assertion est facilement démontrée dans le cas d un DGP qui se met en marche dans une direction de régression, comme (1206), et peut avec quelque effort être montré comme étant vrai pour des courants des mises en marche de DGP, telles que (1327) Le résultat du développement de Taylor est ( ) n LR = rf + O(n 1 ) = rf + O(n 1 ), n k qui démontre que LR et rf constituent la même variable aléatoire asymptotiquement Nous considérons ensuite la statistique de Wald, W Pour les modèles (1335) et (1336) c est, par (1305) et (1313), W = ˆβ 2 ( Î 1) 1 22 ˆβ 2 (1341) Pour le modèle de régression linéaire (1336), nous avons de (885) qui le bloc (β, β) de I, qui est tout nous avons besoin donné par la propriété bloquediagonale de (887), est donné par? à revoir? (I ββ ) 1 = σ 2( X X ) 1

22 456 Les Tests d Hypothèses Classiques Naturellement, σ 2 doit être estimée; comme nous sommes dans le contexte du maximum de vraisemblance, l utilisation de l estimateur ML est sensée Par le théorème FWL, ˆσ 2 = 1 n y M X y ˆβ 2 = ( X 2 M 1 X 2 ) 1X2 M 1 y ( (X X) 1) 22 = ( X 2 M 1 X 2 ) 1 and Ainsi, (1341) devient ( y M 1 X 2 (X 2 M 1 X 2 ) 1 X ) ( 2 M 1 y y ) P M1 X W = n y = n 2 y M X y y M X y de (1337) et (1339), nous obtenons W = ( ) rn F ; n k ( LR = n log 1 + W ) (1342) n Comme W est égale à n/(n k) fois rf, il est évident que W = rf + O(n 1 ) Pour terminer, nous nous tournons vers la statistique LM Nous observons tout d abord de (883) que le gradient par rapport aux paramètres de régression β de la fonction de vraisemblance pour un modèle de régression linéaire à erreurs normales est g(y, β, σ) = 1 σ 2 n t=1 X t (y t X t β) = σ 2 X (y Xβ) Ainsi, de (1303), la statistique LM est LM = g 2 ( Ĩ 1) 22 g 2 = σ 4 (y X β) X 2 ( σ 2 (X 2 M 1 X 2 ) 1) X 2 (y X β) (1343) Comme le test LM est basé sur le modèle contraint (1335), nous utilisons l estimation ML de σ provenant de ce modèle: σ 2 = 1 n y M 1 y

23 134 Tests Classiques et Régressions Linéaires 457 En substituant ceci dans (1343), nous voyons que ( y M 1 X 2 (X 2 M 1 X 2 ) 1 X ) 2 M 1 y LM = n y M 1 y ( y P M1 X = n 2 y/y ) M X y 1 + y P M1 X 2 y/y M X y ( ) rf = n n k + rf Pour n grand, le développement de Taylor donne (1344) LM = rf + O(n 1 ) La conclusion la plus importante de cette analyse est que toutes ces statistiques de test classiques sont seulement des fonctions de la statistique standard F et des entiers n, k, et r Ainsi, si l on calcule F, les statistiques LM, W, et LR peuvent être obtenues directement de (1344), (1342), et (1340) Si les conditions de régularité tiennent, telles que l hypothèse nulle F ait exactement sa distribution de même nom, les distributions d échantillon fini exactes de LM, W, et LR peuvent être calculées par l utilisation de ces formules Cependant, ces distributions exactes ne sont pas les mêmes que la distribution asymptotique, qui est chi-carré (centrale) à r degrés de liberté Pour les modèles de régression linéaire, avec ou sans erreurs nomales, il existe naturellement aucune nécessité de regarder LM, W, et LR, car l information qui est obtrenues en procédant ainsi en plus, est déjà contenue dans F Néanmoins, comme les travailleurs appliqués trouvent souvent commode d utiliser une de ces statistiques classiques de test, cela vaut la peine de discuter d un problème qui peut survenir lorsqu elles sont utilisées Chacune des statistiques de test classiques sera typiquement comparée, pour les cas d inférence, avec la distribution asymptotique chi-deux Comme les trois sont numériquement différentes entre elles, différentes inférences peuvent bien être dessinées lorsque différents tests classiques sont employés Cette difficulté, souvent rattachée à un conflit parmi les différents critères de test, est fréquement composé par des manières diverses de calculer même juste une des statistiques classiques, comme nous en discuterons dans la prochaine section Le résultat des conflits parmi les différents critères de test a bien été discuté dans la littérature économétriques Le propos semble avoir été évoqué par Savin (1976) et Berndt et Savin (1977); il fut exposé et étendu par Breusch (1979) Consulter aussi Evans et Savin (1982) et Vandaele (1981) Pour le cas des modèles de régression linéaire (incluant la GNR et les régressions artificielles pour ML que nous introduirons bientôt), et en de manière quelque peu générale, existent des relations d inégalité qui tiennent parmi LM, W, et LR Ces inégalités sont comme suit: W > LR > LM