Atelier d économétrie

Transcription

1 Atelier d économétrie Chapitre 4 : Le problème de la multicolinéarité : application sous SAS Vincent Bouvatier Université de Paris Ouest - Nanterre La Défense Bâtiment G, bureau 308A vbouvatier@u-paris10.fr

2 1 Introduction 2 Bref rappel théorique Conséquences de la multicolinéarité presque parfaite Impact sur la précision des paramètres estimés 3 Diagnostic et identi cation Diagnostic : le facteur d in uence de la variance Diagnostic : les statistiques de conditionnement Identi cation des variables colinéaires 4 Application sous SAS 5 Les solutions

3 Introduction Dans le modèle de régression linéaire multiple y = X + u; (1) l estimation du vecteur de paramètres par la méthode des moindres carrés ordinaires requiert que la matrice des variables explicatives soit de plein rang, c est-à-dire qu il n existe pas de relations linéaires exactes entre ses colonnes. La violation de cette hypothèse renvoie à une situation de multicolinéarité parfaite, facile à résoudre dans la pratique car résultant le plus souvent d un mauvais traitement des données. Une situation plus dommageable du point de vue statistique est celle de la multicolinéarité presque parfaite, où les variables explicatives se trouvent liées par une relation linéaire non stricte mais forte.

4 1. Bref rappel théorique 1.1 Conséquences de la multicolinéarité presque parfaite Dans les applications empiriques, une situation de multicolinéarité presque parfaite induit principalement de l imprécision dans l inversion de la matrice X 0 X avec pour conséquence : une instabilité des paramètres estimés ; une mauvaise estimation de la matrice de variance-covariance des paramètres estimés qui fausse tout exercice d inférence statistique sur les paramètres.

5 1. Bref rappel théorique 1.2 Impact sur la précision des paramètres estimés Pour le modèle de régression linéaire multiple, on a : Var b = 2 u X 0 X 1 : (2) On peut montrer que : Var bj 2 u = nvar (X j ) 1 1 Rj 2 ; j 2 f1; :::; kg ; (3) où X j désigne la j ieme variable explicative et Rj 2 le coe cient de détermination de la régression de X j sur une constante et les autres variables explicatives du modèle. Conséquence : si X j est liée aux autres variables par une relation linéaire non exacte mais forte, Rj 2! 1 et Var bj! +1. ) le paramètre j est estimé avec peu de précision, ce qui donne peu de crédit à tout exercice d inférence statistique l impliquant.

6 2.1 Diagnostic : le facteur d in uence de la variance De l équation (3), il vient naturellement qu une statistique d intérêt pour évaluer la présence de la multicolinéarité presque parfaite est égale à : 1 VIF j = 1 Rj 2 ; j = 1; :::; k. (4) Cette statistique est appelée facteur d in uence de la variance (Variance In ation Factor). Des valeurs élevées pour cette statistique (>5 ou 10) pour une variable explicative donnée est le signe d un éventuel problème de multicolinéarité presque parfaite. Il n existe cependant pas une règle établissant un seuil pour cette statistique au-delà duquel on peut prendre une décision. La statistique est néanmoins utile car donnant des indications sur les paramètres j pouvant être estimés avec peu de précision.

7 2.1 Diagnostic : le facteur d in uence de la variance La Proc REG de SAS permet de calculer pour chaque variable explicative, la statistique VIF. La syntaxe est la suivante : proc reg data = nom_table_sas ; model variable_dépendante = variables_explicatives / vif ; run ; quit ;

8 2.2 Diagnostic : les statistiques de conditionnement Les statistiques dites de conditionnement sont également utiles pour la détection de la multicolinéarité. Désignons par R la matrice X 0 X normalisée de telle sorte que les éléments diagonaux sont respectivement égaux à 1. Soient 1 2 :::: k les k valeurs propres de R. On appelle indices de conditionnement (Condition Index), les k quantités suivantes : s 1 CI j = ; 8j = 1; :::; k: (5) j On dé nit également le nombre de conditionnement (Condition Number) comme étant égal à l indice de conditionnement d ordre k, soit : s 1 CN = CI k = : (6) k

9 2.2 Diagnostic : les statistiques de conditionnement Les valeurs de ces statistiques de conditionnement sont utiles pour identi er la présence éventuelle d une situation de multicolinéarité presque parfaite. En e et, dans le cas idéal où il n existe aucune liaison linéaire entre les variables explicatives, toutes les valeurs propres de R sont égales et on a alors CI j = 1 8j. Dans l autre cas limite où la matrice X n est pas de plein rang (R singulière), les valeurs de j, pour j! k sont très faibles voire nulles et on a pour ces valeurs propres, CI j! 1. Des valeurs élévées pour les statistiques de conditionnement doivent correspondre alors à un fort soupçon de la présence de multicolinéarité.

10 2.2 Diagnostic : les statistiques de conditionnement Belsley, Kuh et Welsch (1980) proposent la règle de décision suivante pour l identi cation de la multicolinéarité à partir des statistiques de conditionnement : de faibles liaisons entre les régresseurs conduisent à des valeurs pour la statistique CN de l ordre de 5 à 10 ; des liaisons modérées ou fortes à des valeurs supérieures à 30 ; les valeurs intermédiaires entre 10 et 30 peuvent parfois mais pas toujours correspondre à des situations de multicolinéarité.

11 2.3 Identi cation des variables colinéaires Si les deux éléments de diagnostic présentés ci-dessus permettent de détecter la multicolinéarité presque parfaite, ils ne permettent pas d identi er les variables à l origine de cette situation. De ce point de vue, la proportion de variance est un outil qui va au-delà de ces simples statistiques. Rappelons que la décomposition spectrale de la matrice R permet d écrire : B R = C. A V T ; (7) 0 k avec V la matrice des vecteurs propres.

12 2.3 Identi cation des variables colinéaires On peut établir le résultat suivant : Var bj = 2 u kx j x j 1k 2 kp s=1 v 2 js s ; s = 1; :::; k (8) avec 1 le vecteur de dimension k rempli de 1. De l équation (8), on note que la variance de l estimateur du paramètre j est une somme de k composantes, chacune associée à une valeur propre s de la matrice R. Chaque valeur propre s contribue à la variance du paramètre j dans la proportion sj avec :. vjs 2 sj = P k s=1 v 2 js s. s (9)

13 2.3 Identi cation des variables colinéaires Les paramètres sj sont connus sous le nom de proportions de variance et sont des éléments utiles à l identi cation des variables induisant la multicolinéarité. La règle pour l identi cation est la suivante : pour une valeur propre s correspondant à un indice de conditionnement (CI s ) élevé, s il existe deux (ou plus de deux) variables pour lesquelles les proportions de variance sont supérieures à 0:5, ces variables sont à l origine d une situation de multicolinéarité.

14 2.3 Identi cation des variables colinéaires La syntaxe sous SAS pour le calcul des proportions de variance est la suivante : proc reg data = nom_table_sas ; model variable_dépendante = variables_explicatives / collin ; run ; quit ; Dans le cas d un modèle sans constante, la syntaxe devient : proc reg data = nom_table_sas ; model variable_dépendante = variables_explicatives / collinoint ; run ; quit ;

15 3. Applications Pour la base de données performance.txt, existe t il un problème de colinéarité dans la relation qui lie la performance aux variables explicatives? Répondez à la question en calculant les statistiques VIF, les indices de conditionnement, et les proportions de variance.

16 4. Solutions à la multicollinéarité Des solutions existent pour résoudre le problème de la multicolinéarité une fois détecté sur un jeu de données. On peut citer entre autres : l ajout d informations supplémentaires dans la base de données (nombre d individus ou de variables) qui permet de modi er la structure de la matrice R et donc celle des valeurs propres ; l introduction de contraintes d exclusion de certaines variables impliquées dans la relation de multicolinéarité ; l application des MCO non pas sur les variables explicatives elles-même, mais sur les facteurs ou axes (les plus importants) issus d une analyse en composantes principales (ACP) ; la mise en oeuvre de la régression ridge qui permet d obtenir des estimateurs biaisés, mais de variance plus faible que ceux estimés par MCO. Chacune de ces solutions peut être facilement implémentée sous SAS.