Méthodes statistiques M /

Transcription

1 Méthodes statistiques M /

2 Tableaux, population, échantillon On rassemble les données dans des tableaux = individus * variables Une ligne = un «individu statistique» (un interviewé, un abonné, un contrat d assurance, etc) Les colonnes = les variables Population = l ensemble des individus visés VS échantillon = une partie représentative de cette population cible Exemple: Population : les consommateurs français, échantillon : les interviewés Plusieurs techniques d échantillonnage: aléatoirement (c est la clé de l échantillonnage). D autres méthodes : calage sur marges (respect de certaines proportions en fonction de variable comme l âge, le sexe, les tranches de revenus, etc) Caractère = aspect particulier des individus. Qualitatif (non mesurable) ou quantitatif (mesurable : discret ou continu) Modalités = différentes rubriques associés à un caractère qualitatif. Le sexe comporte deux modalités Nomenclature = ensemble des modalités précédées d un code de numéro

3 Type de données Données qualitatives Données ne faisant pas l objet d une mesure Exemples: sexe, état matrimonial (célibataire, marié, veuf, divorcé) Données nominales Nombre de cas dénombrables, codés pour distinguer les modalités, aucune relation d ordre entre les codes, opérateurs arithmétiques/mathématiques inapplicables Exemples : CSP, région, civilité ou code produit des nomenclatures. Données ordinales Nombre de cas dénombrables, codées pour distinguer les modalités, il existe une relation d ordre entre les modalités, mais les écart ne sont pas quantifiables, on peut appliquer des calculs Exemple: satisfaction de 1 à 5, tranches de revenus Données numériques ou continues quantitatives Nombre de cas théoriquement infini, il existe une relation d ordre entre les valeurs, les écarts sont quantifiables, calculs algébrique autorisés

4 Transformation des données Chaque type de données possède des méthodes statistiques adaptée d où la nécessité de faire des transformations préalables Discrètes -> numériques: codage disjonction complet une nouvelle variable binaire 0/1 par modalité on perd toute notion d ordre Numériques -> discrètes : découpage ou discrétisation Numériques -> numériques Obtenir des distributions plus «normales», correction des effets d échelles Standardisation = X moyennes / écart type Log (), racine ()

5 Transformation des données Fonction de répartition: F(x) = proportion d individus dont la valeur du caractère est inférieure à x. Transformation log Transformation racine carrée

6 SAS : premiers pas Le journal (log), l explorateur (explorer) et les résultats (output) Les bibliothèques SAS La bibliothèque «work» est la bibliothèque par défaut de SAS, les tableaux n y sont enregistrés que de façon temporaire et disparaissent à la fermeture de la session Créer un tableau de données Etape Data A partir d informations «papiers» À partir d une autre table Données manquantes, commentaires, majuscules, renommer des variables Fusionner deux tables SAS Plusieurs méthodes

7 Mesures de position, de dispersion et de forme, distributions, représentations graphiques M /

8 Mesures de position Ils s expriment dans la même unité que les observations Moyenne et moyenne pondérée Quantiles Exemple : on dispose du nombre moyen d enfants par femme des 27 régions de France (outre-mer inclus) et on souhaite calculer le nombre moyen d enfants par femme au niveau national. Ne pas oublier de pondérer par le nombre de femmes de chaque région. La quantile d ordre α % est la valeur x du caractère telle que α % des valeurs observées soient inférieures strictement à x Médiane : quantile d ordre 50%, elle partage la série des valeurs observées en deux séries de même taille Les trois quartiles partagent la série en 4 séries de même taille: 25% des observations sont inférieures au 1 er quartile, 50%, 75%. Déciles, centiles, etc Modes : La ou les valeurs observée d effectif maximum Sous SAS : proc freq et proc mean

9 Statistiques descriptives Qualités Mode Médiane Moyenne Dépendre du nombre de termes de la série Robustesse (faible sensibilité aux valeurs extrêmes) non oui oui oui oui non Se prêter aux calculs algébriques non non oui

10 Fonctions de répartition Distribution ou loi de probabilité. Elles peuvent être discrètes, continues ou hybrides. Densité d une loi normale standard

11 Distributions Fonction de répartition empirique Soit {Yi} un échantillon. La fonction de répartition empirique de cet échantillon est la fonction : Donne la proportion de l échantillon sur laquelle la valeur de la variable Y est inférieure à une valeur y.

12 Exemple: Construction d une fonction de répartition empirique

13 Fonctions de répartition et quantiles

14 Mesures de dispersion Moments et moments centrés Les moments centrés d ordre pair renseignent sur la dispersion des observations autour de la moyenne et les moments centrés d ordre impair sur la dissymétrie de la distribution. Variance Ecart-type

15 SAS Quelques procédures SAS importantes à connaître Proc sort Proc format Proc surveyselect : extraire un échantillon aléatoire d une table d observations

16 Mesures de forme Ce sont des nombres sans dimension Ils renseignent sur la forme des distributions statistiques : symétrie et aplatissement Coefficient d asymétrie de Fisher - Coefficient d aplatissement de Pearson Skewness Kurtosis Où μ i désigne le moment d ordre i et σ l écart-type Exemple Asymétrie Aplatissement

17 Mesures de forme - Propriétés Coefficient de skewness/asymétrie γ = 0 <=> distribution est symétrique <=> moy = med = mode γ < 0 <=> distribution étalée vers la gauche <=> moy < med < mode γ = 0 <=> distribution étalée vers la droite <=> moy > med > mode => distribution étalée vers la gauche Coefficient de kurtosis Si F = 0 la distribution est «normale» Si F < 0, la distribution est plus aplatie que la normale Si F > 0, la distribution est moins aplatie que la normale

18 Différents paramètres pour la loi normale

19 Représentations graphiques Synthèse Boîte à moustache (box plots) Représentation graphique d un caractère numérique résumé par la valeur minimal le premier quartile la médiane le dernier quartile la valeur maximale

20 Représentations graphiques Caractères qualitatifs: diagramme à bandes ou à secteurs Caractères quantitatifs: histogrammes avec regroupement en classes d amplitudes égales ou inégales Préférer toujours Excel à SAS

21 Implémentation des procédures statistiques Introduction aux régressions linéaires M /

22 Compléments en statistiques Covariance Coefficient de corrélation linéaire On décrit un lien. Corrélation n est pas cause.

23 Les données utilisées Cross section data (transversales): observation des caractéristiques (âge, salaires, nombre d années d étude) de plusieurs individus statistiques (pays, entreprises, personnes) à un instant t. Pooled cross section data : on combine plusieurs données transversales observées sur des individus différents à des instants différents. Time series data (séries temporelles): observation de l évolution dans le temps des caractéristiques des individus. Ex : le PIB, le taux de chômage, l indice des prix. Panel data (longitudinales): on observe les caractéristiques des mêmes individus sur plusieurs périodes.

24 Econométrie Exemple. On s intéresse à l effet de l éducation, de l expérience professionnelle et de la formation continue sur les salaires Modèle : Salaires = β0 + β1 educ + β2 exp + β3 form +υ υ représente tous les autres facteurs inobservés qui déterminent le salaire -> on l appelle le terme d erreur On mesure un effet causal. L effet de l éducation sur le salaire est étudié toute chose égale par ailleurs (ceteris paribus). Importance du choix des variables explicatives. Littérature économique. Biais de sélection.

25 Régressions linéaires On s intéresse à la liaison entre les deux variables. Deux variables numériques (continues quantitatives). On effectue une régression de Y en X, ie on cherche à expliquer Y par X. La régression fournit une expression de cette liaison sous forme d une fonction. La régression linéaire est un cas particulier où la liaison est représentée par une fonction linéaire. Exemple : cas où la covariance est nulle car la liaison est non linéaire (parabolique, hyperbolique, etc). La corrélation renseigne sur l intensité de la liaison linéaire Généralisation à une variable expliquée et plusieurs variables explicatives

26 Régression linéaire simple & méthode des moindres carrés On cherche la relation entre y et x. La RLS suppose qu il existe une relation de la forme, Le terme d erreur u capture tous les facteurs inobservés! MCO On peut généraliser au modèle Interprétation du modèle

27 Régression linéaire multiple : hypothèses & interprétation M /

28 Régression linéaire multiple Comparaison SLR / MLR Le terme d erreur u représente tous les autres facteurs inobservés qui déterminent y Le terme d erreur d une SLR contient les variables explicatives d une MLR. Le modèle MLR est donc plus riche et conduit à une meilleur estimation du modèle. Interprétation en termes d effet marginal Variantes du modèles logarithme de la variable expliquée Non linéarité de l effet des variables explicatives (problème de spécification du modèle)

29 Régression linéaire multiple: Modèles et interprétation Forme du modèle Interprétation Modèle 1 Forme du modèle Interprétation Modèle 2 Forme du modèle Interprétation Modèle 3

30 Régression linéaire multiple Forme fonctionnelle Terme d erreur : définition et propriétés

31 Goodness of fit Objectif : Mesurer la précision de la régression: à quel point les variables dépendantes expliquent la variable indépendante. On utilise le R 2 (en %) : ratio de la variation expliquée sur la variation totale, ie proportion de la variation de y expliquée par les x s, ou encore la part de la variation de yi qui est capturée par la variation de y^i. Rappel Interprétation graphique : ajustement de la droite OLS. Un R 2 faible (proche de zéro) implique que le pouvoir prédictif est faible. Il n indique pas que le pourvoir descriptif est faible, mais qu il faut utiliser d autres variables explicatives. Un R 2 élevé (proche de 1) implique que le modèle est bon pour la description et la prédiction.

32 Tests de significativité Test d hypothèse simple Hypothèse nulle contre hypothèse alternative Seuils de significativité : 1% 5 % 10% Statistique de Student (t-statistic) : on rejette le test si elle supérieure en valeur absolue au seuil de rejet égal au quantile d ordre 97.5% Test d hypothèse multiple Hypothèse nulle contre hypothèse alternative Seuils de significativité: 1% 5 % 10% Statistique de Fisher (F-statistic) : on rejette le test si elle supérieure au seuil de rejet égal au quantile d ordre 95% NB: faire attention au nombre de degrés de liberté relatif à chaque statistique! Intervalles de confiance : un autre moyen de tester des hypothèses

33 Distributions et tests

34 Exemple

35 Méthodologie de l étude économétrique On s intéresse aux déterminants du niveau de salaire. Étape 1 : le salaire est la variable expliquée y, en l occurrence le salaire. Etude préalable à l aide des statistiques descriptives classiques : boîte à moustache (moyenne, médiane, quartiles, mode, min, max) taux de non renseignés, histogramme et distribution des salaires. Étape 2 : choix des variables explicatives, les x_i, en l occurrence le plus haut niveau d étude, expérience professionnelle et formation continue. Utiliser la littérature économique en s appuyant sur un ou plusieurs articles de référence (revue de littérature). Etude préalable des variables explicatives à l aide des statistiques descriptives à nouveau. Tracer les courbes de la variable expliquée y en fonction de chacune des variables explicatives x_i pour connaître la forme du modèle (modèle 1, 2 ou 3). Étape 3 : On pose le modèle. Exemple : log(salaire) = β0 + β1 educ + β2 exp + β3 form +υ Étape 4 : On estime les coefficients B_j et on interprète les coefficients conformément au modèle choisi. Étape 5 : étude du pouvoir descriptif du modèle. On analyse la qualité de la modélisation en utilisant le R^2, les tests et les intervalles de confiance. Etape 6 : étude du pouvoir prédictif du modèle. On applique les coefficients estimés sur des individus qui n ont pas servis de base à l étude (qui ne font pas partie de l échantillon qui a permis d estimer le modèle). On compare ainsi la valeur observée du salaire avec la valeur estimé du salaire.