Les modèles de choix binaire

Transcription

1 Chapitre 4 Les modèles de choix binaire Les modèles de régression linéaire développés ci-dessus concernent une variable dépendante continue (comme par exemple le salaire ou le taux de chômage). Ce chapitre considère des modèles de régression pour une variable dépendante discrète, c est-à-dire prenant un nombre fini de valeurs possibles. Nous commencerons par la situation la plus simple dans laquelle la variable dépendante prend deux valeurs possibles. 4.1 Exemples et définitions De nombreux phénomènes économiques peuvent être modélisés comme un choix entre plusieurs alternatives possibles. Commençons par quelques exemples. 1. Supposons que l on s intéresse aux modes de transport utilisés par les travailleurs en Belgique. Plus spécifiquement, on s intéresse au choix des travailleurs entre le transport en commun ou le transport privé. La variable dépendante que nous souhaitons étudier prend ici deux valeurs possibles : «transport public» ou «transport privé». Si Y i représente le mode de transport choisi par l individu i, on écrit par exemple { 0 Si l individu i utilise un transport privé Y i = 1 Si l individu i utilise un transport public Dans cet exemple, il serait intéressant de pouvoir expliquer le choix du mode de transport en fonction de variables explicatives (par exemple le revenu, la composition familiale, la région d habitation, les avantages fiscaux à utiliser le transport en commun, etc.). Une telle variable Y i prenant deux valeurs possibles est une variable de choix binaire. 2. Les universités peuvent s intéresser au choix des étudiants pour leur établissement d enseignement supérieur. Ce choix est en effet déterminant pour son

2 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 166 financement. Si Y i représente l université choisie par l étudiant i, on écrit par exemple 1 Si l étudiant i choisit l UCL 2 Si l étudiant i choisit l ULB 3 Si l étudiant i choisit l ULg Y i = 4 Si l étudiant i choisit une autre université de la Communauté française 5 Si l étudiant i choisit une autre université que les précitées Il serait intéressant d étudier le choix de l université en fonction de variables explicatives telles que la distance entre le domicile et l université, le réseau de l établissement d enseignement secondaire de l étudiant, les caractéristiques socio-économiques de la famille, etc. Une telle variable Y i prenant plus de deux valeurs possibles est une variable de choix multiple. 3. Lorsqu on s intéresse aux salaires dans une population donnée, il n est pas toujours nécessaire d expliquer cette variable dépendante à l euro près. On est parfois amené à considérer des catégories de salaire, comme par exemple : 1 Si le revenu annuel du ménage i est en dessous 20k Y i = 2 Si le revenu annuel du ménage i est entre 20k et 25k.. Dans cet exemple, une variables discrète multiple a été construire à partir de la variable continue de salaire. La variable Y i ainsi définie s appelle une variable catégorielle. 4. On peut également faire une distinction dans les variables de choix multiple. Dans l exemple précédent, la variable dépendante présente un ordre logique pour présenter les catégories : Y = 1 représente les plus bas revenus, Y = 2 représente la catégorie de revenu juste supérieure etc. Dans certaines situations, il n y a pas d ordre logique dans l encodage de la variable Y. À titre d exemple, considérons à nouveau le choix du mode de transport et affinons notre analyse en précisant si un individu qui choisit le transport en commun utilise le bus ou le train. Dans ce cas, on peut encoder la variable dépendante comme suit : 1 Si l individu i utilise la voiture Y i = 2 Si l individu i utilise le bus 3 Si l individu i utilise le train

3 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 167 Remarquons que cet encodage est arbitraire puisqu on aurait pu encoder par "1" les individus prenant le train. Lorsque, comme dans cet exemple, la variable dépendante n indique aucun ordre naturel dans la variable discrète, on parle de variable discrète non ordonnée. Les différentes situations énumérées ci-dessus sont importantes car elles vont dicter la stratégie de modélisation du choix des individus. Comme nous l avons fait dans les chapitres précédents, nous développons ci-dessous des modèles pour l espérance conditionnelle E(Y X 1,X 2,...,X K ) (4.1) c est-à-dire pour la valeur attendue du choix Y conditionnellement à un vecteur de variables explicatives. Ce que nous souhaitons surtout analyser, c est l impact de chacune des variables explicatives sur le choix Y. A titre d exemple, on peut se poser la question : Quel est l impact d un accroissement des avantages fiscaux sur le choix du mode de transport d un individu? Le présent chapitre se concentre sur les variables dépendantes binaires. 4.2 Le modèle de probabilité linéaire (LPM) Soit Y une variable binaire prenant les valeurs 0 et 1, et X = (X 1,...,X K ) un ensemble de variables explicatives. Pour se fixer les idées, nous allons travailler sur l exemple concret suivant. Exemple La Grande-Bretagne tient à jour une base de données sur les ménages britanniques 1 que nous souhaitons utiliser pour expliquer l emploi. Nous nous concentrons sur un échantillon de familles monoparentales étudié notamment par Duncan (2005). Nous nous intéressons à la variable dépendante binaire Y = 1 si le parent travaille, Y = 0 s il ne travaille pas. Nous avons à disposition une series de variables explicatives : X 1 = AGE = âge du parent X 2 = TEA = nombre d années d éducation du parent X 3 = MARITAL = statut civil (prenant quatre valeurs : célibataire, veuf, divorcé ou séparé) X 4 = TOTKIDS= nombre d enfants dans le ménage X 5 = YOUNGCH= âge du plus jeune enfant X 6 = WHITE = indique si l individu est blanc (=1) ou non En élaborant un modèle pour (4.1), on s intéresse à l influence de chacune de ces variables explicatives sur l emploi, c est-à-dire sur la valeur attendue de la variable binaire Y. 1. Disponible à la page

4 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 168 Comme la variable Y est binaire, nous calculons directement : E(Y X) = P(Y = 1 X). En d autres termes, l espérance conditionnelle s interprète simplement comme une probabilité conditionnelle. En analogie avec le modèle de régression linéaire, nous modéliserons cette probabilité comme une fonction linéaire des variables explicatives : E(Y X) = β 1 X 1 +β 2 X β K X K = X β. (4.2) Comme l espérance conditionnelle coïncide ici avec une probabilité conditionnelle, ce modèle s appelle le modèle de probabilité linéaire (LPM 2 ). Comme dans le cas de la régression linéaire, on introduit la variable aléatoire d erreur ǫ := Y E(Y X) et le modèle LPM se définit de façon équivalente Y = X β +ǫ. (4.3) En dépit de sa ressemblance formelle avec le modèle de régression linéaire, le modèle LPM comporte de sérieux inconvénients. Tout d abord, observons que la variable d erreur ǫ est hétéroscédastique et dépend du paramètre inconnu β. Puisque X β+ǫ doit être égal à 0 ou 1 avec la probabilité P(Y = 0 X) ou P(Y = 1 X) respectivement, l erreur ǫ doit valoir ( X β) ou (1 X β) avec les probabilités correspondantes. La variance conditionnelle de l erreur ǫ est donc égale à Var(ǫ X) = ( X β) 2 P(Y = 0 X)+(1 X β) 2 P(Y = 1 X) en utilisant P(Y = 0 X) = 1 P(Y = 1 X) pour la variable binaire Y, on obtient immédiatement Var(ǫ X) = X β(1 X β). Cette dernière expression montre que la variable d erreur dans le modèle (4.3) est hétéroscédastique. De plus, cette hétéroscédasticité n est pas connue en pratique car elle dépend des paramètres β à estimer. Pour remédier au problème d hétéroscédasticité, nous pouvons éventuellement utiliser l estimateur OLS robuste (Section 3.3.4). Cependant, même si nous utilisons cet estimateur, un problème plus sérieux subsiste en ce qui concerne la prédiction. En effet, à supposer que nous obtenions un estimateur ˆβ, le prédicteur dans le modèle linéaire (4.3) s écrira Ŷ 0 = X 0ˆβ 2. Linear Probability Model.

5 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 169 et rien n assure que Ŷ0 soit bien une probabilité comprise entre 0 et 1. Pour voir ce phénomène autrement, rien n assure dans le modèle (4.2) que la droite de régression X β soit bien comprise entre 0 et 1, donc modélise valablement la probabilité conditionnelle P(Y = 1 X). Pour ces raisons, le modèle linéaire LPM n est pas souvent utilisé dans les modèles de choix discrets Les modèles probit et logit L approche par transformation L idée des modèles probit et logit est de modifier le modèle linéaire (4.2) en imposant que l espérance E(Y X) soit comprise entre 0 et 1. Pour ce faire, on remplace le modèle (4.2) par le modèle E(Y X) = G(β 1 X 1 +β 2 X β K X K ) = G ( X β ) (4.4) où G est une fonction choisie par l économètre et comprise entre 0 et 1 (donc telle que 0 G(z) 1 pour tout z). Le rôle de la fonction G est de transformer le modèle linéaire X β pouvant prendre des valeurs sur (, ), en un modèle G(X β) satisfaisant la contrainte de rester sur l intervalle [0,1]. Quelle fonction G choisir? Il y a traditionnellement deux choix possibles pour cette fonction. Ces choix, que nous allons à présent définir, portent le nom de modèle probit et modèle logit Le modèle probit Dans le cas du modèle probit, on choisit comme fonction G la fonction de distribution de la variable aléatoire Normale standardisée. Rappelons que la fonction de densité de la loi Normale standardisée est φ(u) = 1 2π e u2 /2, u R. Cette fonction est représentée à la Figure 4.1(a). La fonction de distribution correspondante est Φ(z) = z φ(u)du, z R et est représentée à la Figure 4.1(b). 3. Des auteurs ont proposé certaines corrections afin de solutionner les problèmes du modèle LPM. Voir Judge, Griffiths, Hill, and Lee (1985) pour une discussion plus détaillée.

6 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) (a) Fonction de densité φ (b) Fonction de distribution Φ. Figure 4.1: Fonctions de distribution et fonction de densité de la loi Normale standardisée N(0,1). Comme toute fonction de distribution, la fonction Φ(z) est comprise entre 0 et 1. Elle constitue donc une fonction possible pour jouer le rôle de la fonction G dans le modèle (4.4). Le modèle probit s écrit donc : E(Y X) = P(Y = 1 X) = Φ ( X β ). (4.5) Le modèle logit Un autre choix populaire pour la fonction G est la fonction logistique Λ(z) = ez 1+e z qui est, elle aussi, comprise entre 0 et 1. Cette fonction est représentée à la figure 4.2. Le modèle logit (ou logistique) s écrit alors E(Y X) = P(Y = 1 X) = Λ ( X β ). (4.6) Interprétation et comparaison des modèles Nous résumons les trois modèles développés ci-dessus : Le Modèle LPM : P(Y = 1 X) = X β, Le Modèle Probit : P(Y = 1 X) = Φ(X β), Le Modèle Logit : P(Y = 1 X) = Λ(X β).

7 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) Figure 4.2: Fonctions logistique Λ(z). Dans ces trois modèles, la probabilité est modélisée par une fonction monotone des variables exogènes X. Nous avons donc la première interprétation intuitive suivante : si le paramètre β j associé à la variable explicative X j est positif (resp. négatif), alors, ceteris paribus, la probabilité conditionnelle P(Y = 1 X) augmentera (resp. diminuera) si la variable X j augmente. Que pouvons-nous dire de la magnitude de cette variation, c est-à-dire de l effet marginal de la variable X k? Pour répondre à cette question, nous calculons la dérivée partielle 4 P(Y = 1 X) X j dans chacun des trois modèles. Nous trouvons : 5 Dans le modèle LPM : P(Y = 1 X) X j = β j Dans le modèle Probit : P(Y = 1 X) X j Dans le modèle Logit : P(Y = 1 X) X j = 4. Voir la section 2.3 ci-dessus 5. Exercice utile = φ(x β)β j exp(x β) {1+exp(X β)} 2β j

8 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 172 L effet marginal est modélisé très différement dans les trois modèles. On constate tout de suite que les paramètres β j des trois modèles ne sont absolument pas comparables entre eux. De plus, le coefficient β j ne représente l effet marginal de la variable X j que dans le modèle LPM. Dans les modèles probit et logit, l effet marginal varie en fonction de toutes les variables exogènes X 1,...,X K. Exemple Reprenons l exemple du mode de transport où Y = 0 si l individu utilise un transport privé, et Y = 1 si l individu utilise les transports publics. Imaginons que nous analysions ce choix par rapport à un ensemble de variables explicatives X parmi lesquelles se trouve la variable tps représentant le temps de parcours domicile-travail. 1. Si le termex β est élevé, disons égal à 3, alors, dans les modèles logit ou probit, la probabilité que l individu utilise le transport en commun est proche de 1 (car Φ(3) et Λ(3) sont proches de 1). Dans ce cas, quel est exp(3) {1+exp(3)} 2 l effet marginal de la variable tps? On observe que φ(3) et sont proches de 0, donc l effet marginal sera lui-même pratiquement nul. Cela signifie qu un changement dans la variable «temps de parcours» aura peu d impact sur le choix du transport de l individu. Cet effet est naturel car l individu possédant une combinaison linéaire X β élevée est prédisposé à utiliser les transports en commun et son comportement sera assez robuste face à un petit changement dans une variable explicative particulière, comme tps. 2. Au contraire, si le terme X β est proche de zéro, Φ(X β) et Λ(X β) sera proche de 1/2. Nous sommes ici dans la situation où l individu opte pour un mode de transport avec une probabilité 1/2. Cet individu est donc indécis. Qu en est-il de l effet marginal? Ici l effet marginal sera maximal, ce qui signifie que le choix de l individu sera très influencé par un changement dans une des variables explicatives, comme par exemple le temps de parcours domicile-travail. 4.4 Modélisation par variable latente Nous developpons une autre interprétation usuelle des modèles de choix discret. Il ne s agit pas vraiment d un nouveau modèle, mais plutôt d un autre point de vue sur les modèles introduits ci-dessus. Dans cette approche, on suppose qu il existe une variable continue Y qui n est pas observée, mais qui mesure la propension d un individu à faire son choix. Bien que nous n observions pas cette propension Y directement, nous constatons le choix qui en résulte, modélisée par la variable binaire Y que nous relions à Y par

9 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 173 l équation : { Y = 1 si Y > 0 0 si Y 0 (4.7) Exemple Dans l exemple ci-dessus du marché du travail pour les familles monoparentales, Y pourrait modéliser l intensité avec laquelle un individu souhaite travailler (il s agit d un exemple simpliste du phénomène, mais qui illustre la notion de propension). Plus élevée est cette intensité, plus il est probable d observer un individu qui travaille. Une variable comme Y qui est inobservée mais qui explique le phénomène analysé est appelée une variable latente. Dans cette stratégie de modélisation, il faut alors imposer des conditions sur la variable latente elle-même. La condition la plus simple consite à modéliser Y comme un modèle de régression linéaire des variables exogènes : Y = β 1 X β K X K +ǫ (4.8) = X β +ǫ. Avec ce modèle, on dérive immédiatement la structure de l espérance conditionnelle E(Y X) : E(Y X) = P(Y = 1 X) (car Y {0,1}) = P(Y > 0 X) (par équation (4.7)) = P(β 1 X β K X K +ǫ > 0 X) (par équation (4.8)) = P(ǫ > X β X). (manipulation de l inégalité) Si la distribution conditionnelle de l erreur ǫ est symétrique autour de zéro, on peut simplifier cette dernière expression : E(Y X) = P(ǫ < X β X) (par symétrie de la densité conditionnelle de ǫ) = F ǫ X (X β). où la fonction F ǫ X représente la distribution conditionnelle de la variable ǫ (conditionnellement à X). On retrouve bien l approche par transformation précédente, en considérant G(X β) = F ǫ X (X β). Interprétation par les modèles d utilité stochastique Une justification de l approche par variable latente peut se trouver dans la théorie économique des comportements basée sur les fonctions d utilité. Supposons que Y représente comme dans un exemple ci-dessus le statut professionnel (Y = 1 si l individu travaille, Y = 0 si l individu ne travaille pas) et supposons que les deux

10 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 174 issues possibles (travailler ou ne pas travailler) soient décrites par les fonctions d utilité UY=0 et U Y=1 supposées linéaires : U Y=1 = X β 1 +ǫ 1 U Y=0 = X β 0 +ǫ 0. Avec cette caractérisation, un individu choisira de travailler si l utilité dont il bénéficie en travaillant (notée UY=1 ) excède l utilité obtenue en demeurant sans emploi (notée UY=0 ). Le choix de travailler est donc réalisé si U Y=1 > U Y=0. En d autres termes, la variable binaire Y représentant la participation au marché du travail est telle que { 1 si UY=1 Y = > U Y=0 0 sinon et donc, en utilisant la linéarité des fonctions d utilité, E(Y X) = P(U Y=1 > U Y=0 X) = P(X (β 1 β 0 )+ǫ 1 ǫ 0 > 0 X). Dans ce modèle, les paramètres β 0 et β 1 ne sont clairement pas identifiables, mais on peut identifier leur différence. En notant β = β 1 β 0 et ǫ = ǫ 1 ǫ 0, on obtient comme ci-dessus E(Y X) = P(X β +ǫ > 0 X). 4.5 Estimation À l exception du modèle LPM, la relation entre entre l espérance conditionnelle E(Y X) et les paramètres β n est pas linéaire car elle fait intervenir la fonction de tranformation G. L estimation dans un tel modèle non linéaire est plus souvent fondée sur le principe du maximum de vraisemblance que sur le principe des moindres carrés. Nous allons tout d abord rappeler quelques résultats importants du principe du maximum de vraisemblance Rappel : le principe du maximum de vraisemblance Dans le cadre de ce rappel sur le principe du maximum de vraisemblance, nous allons travailler dans un modèle simple. Considérons les 10 observations indépen- 6. Cette technique d estimation a déjà été étudiée au cours de statistique de 2ème année.

11 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 175 dantes suivantes provenant d une distribution Bernoulli : 7 Z 1 = 1,Z 2 = 0,Z 3 = 0,Z 4 = 0,Z 5 = 0, Z 6 = 0,Z 7 = 1,Z 8 = 0,Z 9 = 1,Z 10 = 0. (4.9) Nous souhaitons estimer le paramètre π de la variable Bernoulli ayant généré ces données. La distribution de probabilité de chaque observation Z i est déterminée par { π si z i = 1 P(Z i = z i ) = 1 π si z i = 0 = π z i (1 π) 1 z i Puisque les observations Z i sont indépendantes, la probabilité jointe est égale au produit des probabilités : P(Z 1 = 1,Z 2 = 0,,Z 10 = 0) = P(Z 1 = 1) P(Z 2 = 0) P(Z 10 = 0) = π 1 (1 π) 0 π 0 (1 π) 1 π 0 (1 π) 1 = π 3 (1 π) 7. Cette dernière probabilité s interprète comme suit : en supposant que les données ont été générées par une loi de Bernoulli de paramètre π, la probabilité d observer l échantillon (4.9) est égale à π 3 (1 π) 7. Le principe du maximum de vraisemblance consiste à choisir la valeur de π qui rende l observation de cet échantillon la plus probable. La figure 4.3 représente la probabilité π 3 (1 π) 7 en fonction des différentes valeurs possibles de π. Cette fonction possède un mode, et son maximum est atteint en 3/10. L idée est que la valeur π = 3/10 correspond au paramètre le plus vraisemblable étant donné l échantillon observé. La fonction de la figure 4.3 est la fonction de vraisemblance. Cette fonction est définie dans notre exemple par L(π Z 1,Z 2,...,Z 10 ) := P(Z 1 = 1,Z 2 = 0,,Z 10 = 0) = π 3 (1 π) 7. Notez qu il s agit d une fonction du paramètre π conditionnellement à l échantillon observé. En pratique, on remplace souvent cette fonction par la fonction de logvraisemblance l(π Z 1,Z 2,...,Z 10 ) := lnl(π Z 1,Z 2,...,Z 10 ). 7. Rappelons qu une variable aléatoire discrète Z suit une loi de Bernoulli de paramètre π si Z prend les deux valeurs 0 et 1 avec les probabilités repectives 1 π et π (0 π 1). Sa fonction de distribution est donc P(Z = z) = π z (1 π) z où le nombre z ne prend que les valeurs 0 ou 1. Il s agit d un cas particulier de la variable Binomiale (Voir cours de probabilité de 1ère année).

12 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) Figure 4.3: La fonction π π 3 (1 π) 7 atteint son maximum en π = 3/10. qui est simplement le logarithme de la fonction de vraisemblance. La valeur du paramètre qui minimise l est bien entendu la même valeur du paramètre qui minimise L. On peut donc baser l inférence sur la maximisation de l, qui est souvent plus facile à traiter en pratique. Dans notre exemple, la fonction de log-vraisemblance est l(π Z 1,Z 2,...,Z 10 ) = 3lnπ +7ln(1 π). Ce principe d estimation se généralise à toutes les situations où un ou plusieurs paramètres doivent être estimés. Dans bien des situations, l expression de la fonction de vraisemblance est compliquée, et son maximum est impossible à trouver analytiquement. On a alors recours à des méthodes numériques comme par exemple la méthode de Newton. Terminons ce rappel en énonçant quelques propriétés importantes de l estimateur de maximum de vraisemblance. Tout d abord, ce principe se généralise naturellement à l estimation d un vecteur de plusieurs paramètres θ = (θ 1,...,θ K ). De plus, sous des conditions de régularité assez générales 8 1. L estimateur par maximum de vraisemblance est consistant. En d autres termes, si θ représente l estimateur par maximum de vraisemblance du vecteur de paramètres θ, alors θ P θ. 2. L estimateur par maximum de vraisemblance est asymptotiquement normal, c est-à-dire : n( θ θ) L N (0,S). (4.10) 8. Pour un exposé rigoureux de ces conditions, on pourra consulter par exemple Monfort (1997).

13 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 177 La matrice de variance asymptotique S est déterminée par la forme de la fonction de vraisemblance. On montre que cette matrice est limite pour n tendant vers l infini de la matrice {I n (θ)} 1 où I n (θ) = E [ 1 n 2 lnl(θ) θ θ ] c est-à-dire l opposé de l espérance (calculée en utilisant le modèle θ) de la matrice Hessienne de lnl(θ). 3. On montre également que l estimateur de maximum de vraisemblance est efficace dans la classe des estimateurs consistants et asymptotiquement normaux (Théorème de Cramér-Rao) Estimation par maximum de vraisemblance dans le modèle de choix discret et La variable aléatoire Y est une variable binaire telle que P(Y = 1 X) = G(X β) P(Y = 0 X) = 1 P(Y = 1 X) = 1 G(X β) où, rappelons-le, G est la fonction Φ dans le cas du modèle probit, ou Λ dans le cas du modèle logit. La variable aléatoire Y X peut donc être modélisée comme une variable Bernoulli de paramètre π = G(X β). En particulier, la distribution de probabilité de Y X s écrit P(Y = y X) = π y {1 π} 1 y pour y = 0 ou 1, = G(X β) y{ 1 G(X β) } 1 y pour y = 0 ou 1. Supposons à présent que l on observe un échantillon iid des variables (Y, X) de taille n. Notons cet échantillon X n = {(Y 1,X 1 ),(Y 2,X 2 ),...,(Y n,x n )}. En utilisant que chaque variable Y i X i possède la distribution Bernoulli rappelée ci-dessus, et en notant que ces variables sont indépendantes, la fonction de vraisemblance de l échantillon X n est alors donnée par L(β X n ) = G(X 1β) Y { 1 1 G(X 1β) } 1 Y 1 G(X 2β) Y { 2 1 G(X 2β) } 1 Y 2 G(X nβ) { Yn 1 G(X nβ) } 1 Y n n = G(X iβ) Y { i 1 G(X iβ) } 1 Y i. i=1

14 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 178 Par le principe du maximum de vraisemblance, nous cherchons à calculer la valeur du paramètre β qui maximise la fonction L(β X n ). Il est équivalent de chercher le paramètre qui maximise la log-vraisemblance l(β X n ) := lnl(β X n ) n [ = Yi lng(x i β)+(1 Y i)ln { 1 G(X i β)}]. i=1 Pour trouver le maximum de cette fonction, il faut résoudre les équations de log-vraisemblance β l(β X n ) = 0 dont il n existe pas de solution analytique en général. La résolution de ce système d équations est réalisée par les logiciels en utilisant des procédures itératives pour trouver des maxima de fonctions réelles.

15 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 179 Exemple Reprenons l exemple de la participation d un parent isolé au marché du travail. Un logiciel utilise une procédure itérative pour trouver les paramètres maximisant la vraisemblance. Dans notre exemple, le logiciel R précise le nombre d itérations nécessaires afin de trouver une solution : Number of Fisher Scoring iterations: 4 Le logiciel a calculé les valeurs suivantes des paramètres : Estimate Std. Error z value Pr(> z ) (Intercept) ** AGE ** TEA TOTKIDS e-10 *** YOUNGCH e-13 *** WHITETRUE * MARITALSeparated MARITALSingle ** MARITALWidowed * Comment interprétez-vous les coefficients estimés? Comme dans le cas de la régression linéaire avec variables dépendantes continues, le logiciel fournit également une estimation de l écart-type pour l estimation des coefficients, et donne le résultat d un test de significativité de ces coefficients estimés. Nous allons voir dans la suite comment ces valeurs sont calculées Estimation de la variance des estimateurs Estimer la matrice de covariance de l estimateur par maximum de vraisemblance est une tâche plus délicate que pour l estimateur OLS dans le modèle linéaire. Si on considère la matrice donnée par le théorème central limite (4.10), la matrice de covariance asymptotique est donnée par { I(β) } 1 = { E [ ]} 2 1 l(β) β β. Cette variance dépend du paramètre inconnu β. On pourrait imaginer remplacer le paramètre par son estimateur β, mais il résultera à calculer l espérance d une expression nonlinéaire très difficile à manipuler. Pour cette raison, deux autres solutions sont en général considérées en pratique.

16 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 180 Méthode itérative Le premier estimateur consiste à calculer 1 {I(β)} 1 = 2 l(β) β β. β= β Cet estimateur calcule la matrice Hessienne en l estimateur θ (et non plus l espérance de la matrice). Cet estimateur nécessite de calculer des dérives secondes. C est pourquoi dans la pratique, on a à nouveau recourt à des méthodes itératives pour calculer cette matrice. L estimateur BHHH Cet estimateur tient son nom des travaux de Berndt, Hall, Hall, and Hausman (1974). Ces auteurs se basent sur le fait que l espérance des dérivées secondes de la matrice est égale à la covariance du vecteur des premières dérivées 9. L estimateur proposé est donné par { n 1 {I(β)} 1 = ĝ i ĝ i}. i=1 où ĝ i est le vecteur des premières dérivées ĝ i := lng(x i β) β. Cet estimateur a l avantage d être très simple à calculer, car il n utilise que les premières dérivées déjà calculées dans le travail de maximisation de la logvraisemblance. De plus, la matrice ainsi estimée a l avantage d être automatiquement non-définie négative, comme doit l être une matrice de covariance. En utilisant la forme particulière des modèles probit et logit, ces deux estimateurs se simplifient en des formules pouvant être consultées, par exemple, dans Amemiya (1985). 4.6 Tests Tests de restriction linéaire Le test de restriction linéaire, dont le test de significativité est un cas particulier, peut être construit à partir des estimateurs de maximum de vraisemblance des 9. Ce résultat n est pas trivial. Pour un approfondissement sur la méthode du maximum de vraisemblance, voir Monfort (1997) ou le cours ECON2651 (Advanced Econometrics)

17 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 181 paramètres du modèle non linéaire. L ingrédient de base de cette construction est le théorème central limite (4.10). Cette propriété permet de trouver la distribution asymptotique des estimateurs β et de toute combinaison linéaire R β, où la R est la matrice exprimant la restriction à tester, cf section 2.6 ci-dessus. À titre d exemple, supposons que nous souhaitions éprouver l hypothèse H 0 : β 1 = 0 contre H 1 : β 1 0 Le théorème central limite (4.10) permet de conclure que l estimateur du maximum de vraisemblance de β 1 est tel que n(ˆβ1 β 1 ) suit approximativement une loi normale N(0,S 11 ) où S 1 1 est l élément (1,1) de la matrice d information I(β). Cette matrice étant inconnue en pratique, elle est estimée comme expliqué à la section Notons Ŝ11 l estimateur de la variance ainsi obtenu. La statistique de test est donc nˆβ 1 / Ŝ1 1 qui, sous H 0, suit approximativement une loi de student t n K. Exemple Dans la sortie de l exemple de la page 179, la statistique de test t est automatiquement fournie pour le test de significativité (c est-à-dire H 0 : β j = 0). La p-valeur est également donnée Test du rapport de vraisemblances Le calcul de la vraisemblance permet de construire d autres tests de restriction souvent utiles. Supposons que nous souhaitions tester une série de contraintes sur les paramètres β du modèle. A titre d exemple, considérons le test suivant : H 0 : tous les coefficients sauf celui de l éventuelle constante sont nuls. (Le résultat de ce test est en réalité fourni par défaut dans la sortie de nombreux logiciels.) L idée du test basé sur la vraisemblance est la suivante : Si la restriction proposée par l hypothèse H 0 est vraie, alors en recalculant la vraisemblance sous la contrainte que les coefficients considérés sont nuls, nous ne devrions pas observer une grande différence avec la vraisemblance calculée sans cette restriction. La construction du test se base donc sur une comparaison entre la vraisemblance maximisée dans le modèle complet L U = L ((ˆβ 1, ˆβ 2,..., ˆβ ) K ) X n = max β 1,...,β K L ( (β 1,...,β K ) X n )

18 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 182 et la vraisemblance maximisée sous H 0, c est-à-dire en ignorant tous les paramètres sauf β 1 (nous supposons ici que la première variable explicative modélise la constante, donc X 1 = 1) : L R = max β 1 L ( (β 1,0,...,0) X n ). Afin de comparer ces deux valeurs, nous constuisons le rapport de vraisemblances 10 LR = L R L U. Si ce rapport est proche de 1, alors les deux vraisemblances sont similaires, et cette situation est donc compatible avec l hypothèse H 0. Au contraire, lorsque le rapport de vraisemblance n est pas proche de 1, les deux vraisemblances diffèrent et l hypothèse H 0 sera remise en question. Le test du rapport de vraisemblances se base sur la distribution suivante : 2lnLR = 2(ln L U ln L R ) χ 2 r sous H 0 où r est le nombre de restrictions (dans notre exemple, r = K 1). Exemple 1. Dans l exemple de la page 179 : LR (zero slopes) = [.000] Quelle est votre conclusion? 2. Dans le même exemple, on teste la significativité jointe des paramètres de EDU et LOC (test de restriction, avec 2 restrictions). Les résultats du test sont CHISQ(2) = ; P-value = Quelle est votre conclusion? Il existe d autres tests basés sur la vraisemblance que nous ne voyons pas dans le cadre de ce cours. Une étude plus approfondie des tests basés sur la vraisemblance est en général comprise dans un second cours d économétrie 11. Un bon point de départ dans la littérature sur le sujet est l ouvrage de Godfrey (1988). 10. LR est l abbréviation de l anglais Likelihood Ratio signifiant «Rapport de vraisemblances». 11. Par exemple l actuel ECON3503 (Advanced Econometrics).

19 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) Mesures d ajustement Dans le but de juger de la précision d un modèle calibré aux données, un certain nombre de mesures ont été proposées suivant le principe du coefficient de détermination R 2 étudié au chapitre Pseudos R 2 Une possibilité pour construire un indice d ajustement est de comparer la valeur de la vraisemblance avec la valeur de la vraisemblance si le modèle est seulement estimé avec un coefficient constant β 1 sans aucune variable explicative. En utilisant les notations de la section 4.6.2, il s agit de comparer L U et L R, où L U représente le maximum de la fonction de vraisemblance sans contrainte, et L R est le maximum de la fonction de vraisemblance calculée avec un seul paramètre β 1. Une mesure d ajustement proposée par McFadden (1974) est définie par Pseudo-R 2 de McFadden = 1 ln L U ln L R. La justification mathématique de cette mesure d ajustement n est pas identique à la définition du R 2, c est pourquoi on parle de pseudo-r 2. L idée de cette mesure est la suivante. Par construction de la vraisemblance dans le modèle binaire, la vraisemblance est toujours plus petite ou égale à 1. Pour un modèle bien ajusté, la vraisemblance non restreinte L U doit être proche de 1, donc ln L U est proche de 0, et le pseudo-r 2 est proche de 1. Au contraire, pour un modèle mal ajusté, L U sera proche de L R et le pseudo-r 2 est proche de zéro. D autres mesures ont été proposées dans la littérature. Une mesure récente régulièrement utilisée a été proposée par Estrella (1998) et est définie comme suit : [ Pseudo-R 2 ln d Estrella = 1 L ] 2 n ln ˆL R U ln L. R Mesure de prévision Une autre façon de mesurer la qualité de l ajustement est d examiner la capacité prédictive du modèle estimé. L idée ici est de calculer la proportion de prédictions correctes du modèle. Afin de construire cette mesure, il faut tout d abord construire une règle à partir de laquelle la prévision des probabilités P(Y = 1 X) peut conduire à un prédicteur discret de l état Y = 0 ou Y = 1. L approche la plus simple est la suivante : définissons le prédicteur P i = G(X i β) pour tout i

20 ULB 2014 STATS308 Économétrie (Dehon-Van Bellegem) 184 où G est la transformation probit ou logit, et β est l estimateur par maximum de vraisemblance. Le prédicteur P i représente notre estimateur de la probabilité que l individu i choisisse Y i = 1. Comme règle de prévision du choix Y i, on considère { 1 si Ŷ i := P i > si P i 0.5 On peut à présent comparer notre prédiction du choix de chaque individu (Ŷi) avec le choix réellement observé (Y i ). Cette comparaison peut prendre la forme d une table de contingence : Valeurs prédites 0 1 Valeurs 0 n 00 n 01 Observées 1 n 10 n 11 Dans cette table n 00 représente le nombre d individus choisissant Y = 0 pour lequel notre modèle a bien prédit Y = 0. De même n 11 représente le nombre d individus choisissant Y = 1 pour lequel nous avons prédit Y = 1. Au contraire, les nombres n 01 et n 10 mesurent les erreurs de classification. Un modèle bien ajusté aura donc des valeurs n 00 et n 11 maximales. Dans les sorties de logiciels, cette mesure d ajustement est donnée par la proportion de prédictions correctes : n 00 +n 11 n où n est la taille de l échantillon. Un rapport proche de 1 signifie que le modèle a une capacité de prévision presque parfaite. Si ce rapport est proche de 0, alors le modèle a une mauvaise qualité prédictive. Exemple Dans l exemple de la page 179, : Scaled R-squared = Fraction of Correct Predictions = Dans l échantillon, le modèle a donc prédit correctement le choix de 67,7 % individus. 4.8 Exercices sur le chapitre 4 Modèles de choix binaire Exercice 47. On cherche à expliquer par un modèle à réponse binaire la probabilité de vote pour le candidat démocrate Jimmy Carter aux éléctions présidentielles