ENQUETE «BUDGET DE FAMILLE» «L après collecte» : redressements et imputations dans l enquête Budget de Famille 2006

Transcription

1 ENQUETE «BUDGET DE FAMILLE» «L après collecte» : redressements et imputations dans l enquête Budget de Famille 2006 Vanessa Bellamy Septembre 2008

2 Sommaire INTRODUCTION... 4 PREMIÈRE PARTIE : ARCHITECTURE GÉNÉRALE Architecture des tables reçues Schéma général des traitements Conversion en euros, annualisation et apurement Traitement de la non-réponse Constitution d une table dépense complète Schéma général des traitements DEUXIÈME PARTIE : PRÉSENTATION DES DIFFÉRENTES TECHNIQUES D IMPUTATION méthodes simples Méthode par déduction ou logique Imputation par la moyenne ou la médiane méthodes «économétriques» méthodes de type «hot-deck» Hot-deck aléatoire Hot-deck séquentiel ou itératif? Hot-deck métrique ou «plus proche voisin» Utilisation de ces méthodes dans l enquête Budget de Famille TROISIÈME PARTIE : REDRESSEMENT ET IMPUTATION DES REVENUS Des apurements plus poussés qu en : L itération Revenus individualisables : imputation : Les salaires : Les revenus des indépendants : Les activités secondaires : Les retraites : L allocation chômage : Les autres allocations individuelles : Les revenus de l épargne : Les programmes SAS Revenus des ménages Agrégation QUATRIÈME PARTIE : IMPUTATION DES DÉPENSES DANS LES QUESTIONNAIRES Questionnaire Questionnaire Questionnaire Version du 19/10/

3 CINQUIÈME PARTIE: TRAITEMENT DES CARNETS (DÉPENSES, MAGASINS ETC ) Une méthode de collecte innovante par rapport aux enquêtes Budget antérieures : L historique : Les améliorations Des techniques d imputation plus précises qu en SIXIÈME PARTIE: CONSTRUCTION DES BASES ET PONDÉRATION DÉFINITIVE Fusion carnets - questionnaires Pondération par calage Tables définitives SEPTIÈME PARTIE: ANNEXES Bibliographie : redressements et études réalisées à partir des enquêtes budget nomenclature des revenus Les programmes de traitement des données Version du 19/10/

4 INTRODUCTION L enquête Budget de Famille est réalisée auprès d un échantillon de ménages, tous les cinq ans environ (1979, 1984, 1989, 1995, 2000/2001, 2005/2006). Elle vise à reconstituer toute la comptabilité des ménages : dépenses, consommations et ressources. Les données collectées étaient, jusqu en 1995, essentiellement monétaires ; depuis l édition 2001, les quantités de produits consommés sont aussi collectées. L enquête utilise deux instruments de collecte : un questionnaire sous CAPI, qui enregistre les revenus et les dépenses importantes ou régulières sur les derniers mois, ainsi que des informations socio-démographiques et les caractéristiques du logement ; un carnet auto-administré dans lequel les ménages notent toutes leurs dépenses durant 14 jours. Ainsi, on a, pour chaque ménage enquêté, la nature des dépenses, leur montant, et le cas échéant la quantité achetée ainsi que le lieu d achat. Les dépenses sont codées dans une nomenclature (compatible avec la nomenclature européenne COICOP) de plus de 900 postes. Dans l enquête Budget de Famille française, toutes les dépenses sont couvertes, y compris celles ne relevant pas de la consommation de biens et services au sens des Comptes nationaux comme les impôts, les taxes, les remboursements de crédits etc. Les magasins des carnets sont codés selon la nomenclature de l EAE commerce interne à l Insee. Le champ de collecte est celui des ménages résidant en France, métropolitaine et dans les Dom. Chacun des Doms bénéficie de la même enquête sur un échantillon représentatif. On ne traitera ici que de l enquête métropolitaine, sachant que des traitements similaires sont appliqués aux fichiers des Doms. La collecte est effectuée quasiment toute l année, en 6 vagues de 8 semaines chacune. La première vague a débuté le premier mars 2005 et la dernière s est terminée en mars Au final, ménages ont été interrogés, ce qui correspond à individus. L enquête dans les DOM a porté sur ménages et individus. Nous présentons ici le processus de redressement et de traitement des bases de l enquête BdF 2006 pour la France métropolitaine. Après une rapide description générale de l architecture des bases et du processus général de redressement, nous présenterons les méthodes utilisées pour corriger la nonréponse partielle dans les questionnaires et les carnets, la non-réponse totale étant corrigée par repondération des ménages répondants afin d obtenir les poids finaux. Version du 19/10/

5 PREMIÈRE PARTIE : ARCHITECTURE GÉNÉRALE Architecture des tables reçues Les bases reçues peuvent être regroupées en 4 pôles, correspondant aux questionnaires de l enquête : 1. POLE QUESTIONNAIRE 1 et TCM : les variables de la fiche adresse, du tronc commun et du questionnaire POLE QUESTIONNAIRE 2 : les variables du questionnaire POLE QUESTIONNAIRE 3 : les variables du questionnaire POLE CARNET : les variables issues des carnets de compte, plus les variables des questionnaires QCARNET et QQUALITE. Chacun de ces pôles comporte plusieurs tables SAS qui peuvent être de 3 types selon la clé utilisée pour identifier un enregistrement : Clé ménage : la clé unique est l identifiant ménage (unité de vie). On a donc un enregistrement par ménage. Clé individu : la clé unique est la combinaison de l identifiant ménage (unité de vie) et du numéro d ordre de l individu dans le ménage. On a donc un enregistrement par individu. Clé dépense : la clé unique est la combinaison de l identifiant ménage (unité de vie), du numéro d ordre de l individu lorsque la dépense est individualisable, et du numéro d ordre de la dépense. On a donc un enregistrement par dépense. Les tables comportent toutes un identifiant logement (ident_log) et un identifiant ménage (ident_men). En effet, depuis l enquête BdF 2006, plusieurs unités de vie peuvent vivre dans un même logement. Les premières questions du TCM (tronc commun des enquêtes ménages) permettent de déterminer si les personnes d un même logement ont un budget séparé ou non. Si tel est effectivement le cas, ces individus forment un autre «ménage - Unité de vie». Les enquêtes Budget précédentes gardent l ancienne définition du ménage, avec un lien univoque entre logement et ménage. Aussi, pour comparer 2006 aux éditions antérieures, il importerait en toute rigueur de travailler avec l identifant logement et non l identifiant ménage, en sommant les dépenses de Cela étant, dans l enquête BdF 2006, 99,5 % des logements abritent un seul «ménage - unité de vie». En outre, en 2001, lorsque se présentait une situation de budgets séparés au sein d un logement, certains enquêteurs ont, par commodité, considéré qu il s agissait de ménages distincts, et donc effectué directement des entretiens séparés. Comparer les «ménages - unités de vie» de 2006 aux «ménages - logement» des éditions antérieures conduit donc certes à un biais, mais très très limité. Version du 19/10/

6 Le pôle questionnaire n 1 Il est constitué de 10 tables SAS (schéma 1) : SOCIOIND Clé individu SOCIODEM Clé ménage ENFHORS Clé individu TRAVAUX Clé ménage QUEST1 Clé ménage AUTVEHIC Clé dépense AUTOMOBILE Clé dépense AUTLOG Clé dépense GARAGE Clé dépense PRETS Clé dépense Le pôle questionnaire n 2 : 8 tables SAS Schéma 2 SERVIND Clé individu SERVMEN Clé ménage BIENSDUR Clé dépense VETEMENTS Clé individu QUEST2 Clé ménage DEPVET Clé dépense SANTE Clé individu SEJOURS Clé dépense Version du 19/10/

7 Le pôle questionnaire n 3 : 10 tables SAS Schéma 3 SERFIN Clé individu VERSEMENT Clé dépense CADRECUS clé ménage DEPHORS Clé individu RESS_IND Clé individu QUEST3 Clé ménage CADOFFER Clé ménage RESS_MEN Clé ménage EPARGNE Clé individu PATRIMOINE Clé ménage Le pôle carnet : 6 tables SAS Schéma 4 ACTDOM Clé individu QQUALITE Clé individu QCARNET Clé individu AUTOCONSO Clé ménage CARNET Clé dépense PRODAUTO Clé dépense Les tables brutes, réceptionnées par la division «Conditions de vie des ménages», après contrôles, concaténation des différentes vagues et «labellisation» sont stockées sous le répertoire N:BDF2005\TABLES\BRUT 1. Les fichiers traités seront progressivement stockés sur l espace N:BDF2005\TABLES\DEFINITIF. 1 Six tables supplémentaires ont été reçues (qui proviennent plus directement du déchargement des données du Data Model): Version du 19/10/

8 1.2 - Schéma général des traitements Remarque préliminaire quant à la cohérence des dépenses entre les unités de vie d un même logement L introduction du nouveau tronc commun dans l enquête BDF 2006 conduit à la possibilité de dépenses partagées entre les différentes unités de vie du logement. De fait, peu de logements (une soixantaine) présentent plusieurs unités de vie. Dans ce cas, la cohérence des dépenses a été contrôlée au cas par cas, de façon à éviter toute omission, comme tout double compte. Dans la grande majorité des cas, les déclarations des répondants sur le partage des dépenses est suffisant. Il subsiste quelques rares questionnaires où les co-habitants ne sont pas d accord sur le partage de telle ou telle dépense. Dans ces cas, le montant de la dépense est laissé tel que, et les règles de partage ne sont pas modifiées. Dans les fichiers Dom est apparue une situation particulière pour 7 logements : seule une unité de vie du logement répond, et déclare payer 50% du loyer, etc. Ne rien faire conduirait à sous estimer les différentes dépenses. Les multiplier par 2 rétablirait la cohérence macro-économique, mais détruit l équilibre ressources/dépenses des ménages concernés. Il a donc été décidé, en concertation avec l UMS, d imputer une unité de vie complète à ces logements, tirée par hot deck stratifié dans l ensemble des logements comportant plus d une unité de vie répondentes. Pour la cohérence d ensemble des fichiers, ces unités de vie manquantes dans les Dom ont été ajoutées à l ensemble des tables lors de leur construction Conversion en euros, annualisation et apurement Contrairement à 2001 où toute la collecte a été effectuée en francs (et la diffusion en euros), le ménage enquêté en 2005/2006 avait le choix des francs ou des euros (hors carnets). Il importe donc, préalablement à tout traitement, de convertir tous les montants relevés dans les questionnaires, ressources et dépenses, en euros. A ce niveau, on peut alors effectuer un certain nombre d apurements. Par exemple certains montants manifestement trop élevés sont liés à des erreurs dans les fréquences des dépenses ou des revenus (par exemple 12 mois au lieu de 1). Par rapport à 2001, c est un gros travail qui a été réalisé à partir de plusieurs méthodes/sources : - les fichiers de remarques des enquêteurs qui n avaient jamais été utilisés dans les précédentes enquêtes budget, - des méthodes de détection des valeurs abbérentes avec des méthodes de régression robuste, - visuellement... Au final, à ce stade, on dispose des ressources et des dépenses des ménages annuels en euros avant correction de la non-réponse Traitement de la non-réponse On appelle «non-réponse» le fait que, dans une enquête donnée, certaines variables n ont pu être observées pour toutes les unités enquêtées. On distingue la non-réponse «totale», qui affecte les - REG_LOG, REG_MEN et REG_IND (tables registre) proviennent de la Base Brute Opérationnelle - BBO ; - TCM_LOG, TCM_MEN et TCM_IND proviennent de la Base d Exploitation. Pour l enquête BdF 2006, les informations contenues dans ces bases sont reprises quasi entièrement dans les bases «SOCIOIND» et «SOCIODEM». Version du 19/10/

9 unités pour lesquelles aucune variable n est disponible (il s agit en général d unités refusant d être enquêtées ou n ayant pu être contactées), et la non-réponse «partielle» qui correspond à une absence d information limitée à certaines variables de l unité interrogée. Habituellement, on pallie la non-réponse partielle en «imputant» les valeurs manquantes. Ce sera l objet des parties 2 à 5. Les revenus ont tout d abord été redressés (partie 3), car ils constituent le principal déterminant des dépenses, qui sont redressées dans un deuxième temps (partie 4 et 5). Celles-ci se trouvent à la fois dans les questionnaires et les carnets. Parallèlement, un certain nombre de redressements sont effectués dans les carnets sur les codes des magasins, les codes produits, les quantités déclarées et les montants (partie 5). La non-réponse totale est généralement traitée par repondération. Ce point sera traité dans la sixième partie ; au final, chaque ménage aura un poids à utiliser lors des traitements statistiques Constitution d une table dépense complète Après avoir effectué les redressements nécessaires dans chacun des fichiers concernés, toutes les informations concernant les dépenses sont rassemblées dans un unique fichier, issus à la fois des questionnaires et des carnets. Cette fusion entre carnets et questionnaires implique une gestion particilière des éventuels doubles comptes (par exemple un achat de machine à laver est déclaré à la fois dans le questionnaire et dans le carnet) C est lors de cette fusion qu un code de la nomenclature COICOP est attribué à chaque dépense des questionnaires, à partir d un fichier Excel préparé à cet effet par l expert variable. Cette façon de procéder, initiée en 2001, permet plus de souplesse lors des changements de nomenclature, puisque le codage intervient assez tard dans les traitements. Les carnets, eux, sont codés dans la nomenclature COICOP dès le passage de sycore, c est à dire très tôt dans le traitement des fichiers. Où se place sicore dans le schéma? Version du 19/10/

10 1.2.4 Schéma général des traitements Schéma 5 : Vue générale des traitements effectués Fichiers reçus du CNI de Lille Concaténation, labellisation, et vérifications Fichiers bruts de travail Passage à l euro, annualisation et apurement + codification des dépenses en clair Corrections, imputations + Sycore? Fichiers revenus redréssés Fichiers dépenses redréssées (questionnaires) Fichier carnets redressés Fusion carnets questionnaires Fichiers revenus et dépenses total Fichiers de diffusion Version du 19/10/

11 DEUXIÈME PARTIE : PRÉSENTATION DES DIFFÉRENTES TECHNIQUES D IMPUTATION La non-réponse totale est souvent due à l impossibilité d interroger l unité sélectionnée (ici le ménage), soit parce qu elle est impossible à joindre, soit qu elle refuse de répondre. La non-réponse partielle correspond au cas où le ménage a accepté de répondre, mais certaines de ses réponses sont incomplètes. Il peut refuser de répondre à certaines questions ou répondre de manière imparfaite (donner une tranche de revenu plutôt qu un montant exact par exemple). Dans certains cas, la nonréponse partielle est tellement importante (non-réponse pour un très grand nombre de variables), que l on pourra alors ignorer ce trop peu d information et considérer l unité correspondante comme affectée de non-réponse totale. On présente ici les techniques générales qui seront utilisées non seulement pour le redressement des revenus, mais aussi des dépenses. Dans l enquête budget de famille 2006, on pallie donc la non-réponse partielle en imputant les valeurs manquantes, c est à dire en leur affectant des valeurs «admissibles» au vu de l information disponible sur l unité concernée, les autres unités renseignées, et la variable manquante, et dans un sens qui reste à définir. Dans la suite, la variable d intérêt affectée de non-réponse sera notée Y, les variables complètement observées seront notées X, et l indicatrice de non-réponse sera notée R (R=1 si variable correctement enregistrée, 0 sinon) méthodes simples Méthode par déduction ou logique Il est parfois possible de déduire la réponse manquante à une question à partir des réponses aux autres questions. La valeur manquante à imputer est déduite de règles de vérification. Par exemple, en théorie, on peut déduire, grâce aux informations que l on possède sur le ménage (nombre d enfants, situation matrimoniale, âge, type de logement etc ) un montant de prestations sociales. C est une imputation déterministe, sur barême, facile à mettre en œuvre si l on possède toutes les informations nécessaires Imputation par la moyenne ou la médiane On alloue la moyenne ou la médiane des observations renseignées à l observation manquante. Il est préféré la médiane à la moyenne lorsque cette dernière est trop dépendante des valeurs extrêmes de la distribution. On peut effectuer ce remplacement strate par strate, et ainsi imputer par exemple la réponse moyenne des observations ayant les mêmes caractéristiques sur un certain nombre de variables. Cela revient à modéliser Y comme une variable indépendante des autres variables. Cette procédure n est pas sans défaut : la variance de la variable imputée est sous estimée, les mécanismes de corrélations entre variables sont ignorés et l histogramme de Y connaîtra un pic artificiel en sa moyenne (distorsion de la distribution). C est pourquoi cette technique n est utilisée que lorsque très peu d observations sont à imputer. Version du 19/10/

12 2.2 - méthodes «économétriques» On appelle méthode d imputation économétrique une méthode reposant sur une modélisation paramétrique de type régression linéaire : Y = Xβ + σu (1) dans le cas continu, voire de type régression linéaire généralisée lorsque la variable s y prête (régression logistique si Y est dichotomique). Dans l équation précédente, X β représente le produit scalaire entre les vecteurs X et β, U est une variable gaussienne centrée réduite, etσ est l écart type des résidus. (rmque : Pas forcément gaussienne : Dans les MCO standards, aucune hypothèse n est nécessaire quant à la loi du résidus????) L avantage d une telle approche est que l on modélise, de manière simple, les corrélations entre les variables X et la variable Y. La valeur imputée respectera de cette manière une certaine cohérence avec les valeurs prises par variables auxiliaires X, pour une unité donnée. Dans la pratique, l imputation se fait en deux étapes : 1. Estimation du modèle : on estime les paramètres β etσ selon les moindres carrés ordinaires dans le cas le plus simple. βˆ et σˆ sont les estimateurs obtenus. 2. Imputation : on remplace la valeur manquante Yi pour le ménage i, soit par la moyenne conditionnelle estimée X i βˆ. On parle alors d imputation par la moyenne conditionnelle; soit par la valeur simulée X ˆ i β + ˆ σu i, où U i est un tirage aléatoire dans une loi normale centrée réduite. C est la méthode des résidus simulés. Notons que la mise en œuvre d une méthode économétrique peut s avérer fastidieuse puisque différents types de modélisations doivent être comparés. Par ailleurs, il est souhaitable de s assurer que les résultats de la régression restent stables lorsque celle-ci est appliquée à des sous populations. En cas de trop forte instabilité, on préférera construire un modèle de régression distinct pour chaque sous population, afin d obtenir des régressions plus robustes. On ne cherchera pas ici à limiter le nombre de régresseurs (principe de parcimonie), ni à s assurer de leur exogénéité, comme dans les cas d analyse économétrique à des fins explicatives, car le but est d obtenir le plus grand pouvoir prédictif (soit la plus petite variance du résidu), de manière à tirer le plus d information possible des variables X. Il est très important de valider le modèle avant l imputation. La seconde méthode (résidus simulés) est en général préférable à la première (moyenne conditionnelle), car elle permet une meilleure estimation de la variance de Y (prise en compte de l aléa individuel). Cela étant, on peut malgré tout préférer l imputation par la moyenne conditionnelle dans certains cas particuliers. Ainsi, si le nombre d unités à imputer est faible, cette méthode aura un impact négligeable sur l estimation de la variance de Y, et sera plus simple à mettre en œuvre. Par ailleurs, la méthode des «résidus simulés» peut générer des valeurs extrêmes ou aberrantes, lorsque le pouvoir explicatif du modèle est trop faible. L imputation de la moyenne conditionnelle sera alors plus robuste. Ce point sera détaillé au cas par cas dans les applications suivantes méthodes de type «hot-deck» Le hot-deck consiste à imputer chaque valeur manquante par un tirage aléatoire (avec remise) parmi les valeurs observées. Le hot-deck est très simple à mettre en œuvre, et ne génère pas de valeurs aberrantes, au sens où toute valeur imputée a bien été observée (mais pour une autre unité). La Version du 19/10/

13 structure globale de Y est respectée, sous l hypothèse d indépendance de Y et de R. c est MCAR ou MAR ou autre chose? Afin de tenir compte des corrélations entre la variable imputée Y et les variables renseignées X, et par exemple éviter d imputer l achat d un bien onéreux à une personne disposant d un revenu faible, on peut partitionner l échantillon en un certain nombre de strates «homogènes» (au sens où la variabilité des variables X est faible au sein de chaque strate), et appliquer le hot-deck strate par strate (la valeur imputée ne peut être tirée que dans les répondants appartenant à la même strate que celle de l unité étudiée). On parle alors de hot-deck stratifié. Cette stratification permet d améliorer sensiblement la cohérence entre les variables X et Y. Il existe différentes méthodes de hot-deck, dont trois sont présentées ci-dessous. On pourra éventuellement employer chaque méthode à l intérieur de strates Hot-deck aléatoire Afin de tenir compte des relations éventuelles entre les variables à imputer, le même donneur est utilisé pour imputer en même temps, toutes les variables non renseignées du receveur. Le donneur est choisi au hasard, éventuellement à l intérieur d une strate (hot-deck aléatoire stratifié). Les donneurs utilisés pour imputer les observations ne devront pas avoir de valeurs manquantes sur les variables susceptibles d être imputées. L imputation par hot-deck aléatoire peut être vue comme l imputation par la moyenne avec une composante aléatoire ajoutée. Si l on choisit de stratifier, il faut faire attention de choisir des variables de stratification corrélées avec les variables à imputer. En effet, les classes ainsi formées seront les mêmes pour toutes les variables à imputer (puisque l imputation se fait simultanément). Cela laisse présager une «qualité» inégale d imputation selon la variable à imputer. Il faut aussi vérifier que le nombre de donneurs potentiels dans chaque strate soit suffisant par rapport au nombre de receveurs. On effectue un tirage aléatoire sans remise, ou avec remise mais en fixant un nombre maximal de tirage d un donneur Hot-deck séquentiel ou itératif? Cette méthode, relativement simple à mettre en œuvre, comporte trois étapes : 1) on détermine les variables les plus corrélées à la variable à imputer, à partir des observations des répondants ; 2) on trie le fichier (répondants et non répondants) selon ces variables ; 3) pour chaque valeur manquante, on impute la modalité/valeur de la variable prise par le répondant précédent. Le choix des variables de tri se fait grâce à la statistique descriptive et la modélisation ; cette étape peut aussi servir pour choisir des strates à l intérieur desquelles on pourra réaliser un hot deck séquentiel. Il faut vérifier au préalable que les variables sélectionnées pour réaliser l imputation ne sont pas ou peu corrélées à la non-réponse, ce qui aurait pour conséquence possible la duplication massive des mêmes valeurs 2. Pour chaque variable, l imputation est réalisée à partir de la même table triée dans un ordre différent à chaque fois. Ainsi, le lien éventuel entre deux variables n est ici pas pris en compte. 2 Un groupe important de non répondants se retrouverait alors en bloc «les uns en dessous des autres» dans le fichier trié, et prendraient tous la valeur du premier répondant «au-dessus» d eux. Version du 19/10/

14 Hot-deck métrique ou «plus proche voisin» Il s agit d une méthode qui consiste à remplacer les valeurs manquantes pour un receveur par les valeurs observées pour le donneur le plus proche, au sens d une distance. Cette distance est calculée à partir des variables auxiliaires renseignées pour les répondants et les non-répondants. On préserve ainsi les liens entre les variables tout en utilisant au mieux l information auxiliaire (ce qui n est pas le cas dans le hot-deck aléatoire). C est une méthode d imputation déterministe : une fois la distance choisie, le donneur sera toujours le même et donc les valeurs imputées toujours identiques. RQ : on pourrait utiliser aussi un hot-deck métrique avec une part d aléa : on peut choisir aléatoirement un donneur parmi les x (x à fixer) plus proches du receveur. On peut aussi utiliser le hot-deck métrique en prenant la moyenne des x (x à fixer) plus proches voisins du receveur. Cette imputation n est alors plus une imputation par donneur. Cette méthode peut être assez coûteuse en temps. Ce temps de calcul dépend en effet de la taille des tables des donneurs et des receveurs Utilisation de ces méthodes dans l enquête Budget de Famille Dans l enquête Budget de Famille de 2006, le hot-deck métrique a été utilisé principalement pour les dépenses dans les carnets. Quant à l imputation des ressources, le hot-deck stratifié a été utilisé principalement comme une alternative simple et robuste aux méthodes économétriques, lorsque celles-ci atteignent leurs limites (trop faible nombre de données pour une estimation fiable, mauvais ajustement du modèle ou trop faible pouvoir prédictif, nombreux points aberrants, etc...). Au final, on a utilisé, dans l enquête Budget de Famille, les méthodes d imputation suivantes : à revoir à la toute fin par rapport à ce qui a réellement été fait Imputation par la moyenne ou la médiane Imputation par déduction (partie loyers et charges du questionnaire 1) Imputation économétrique : Par la moyenne conditionnelle (par exemple source d énergie secondaire) Par les résidus simulés Imputation par hot-deck stratifié (par exemple facture de téléphone fixe) Hot-deck séquentiel Hot-deck aléatoire non? Hot-deck métrique ou par «plus proche voisin» (par exemple les carnets ) Version du 19/10/

15 TROISIÈME PARTIE : REDRESSEMENT ET IMPUTATION DES REVENUS Les variables dites de revenus enregistrent les montants exacts des ressources, pour chaque catégorie retenue (salaire, retraite, épargne, prestations familiales voir annexe7.2 pour la nomenclature précise). La plupart des variables de revenus sont affectées de non-réponse partielle. Parfois, à défaut d un montant exact, certains ménages ont accepté d indiquer dans quelle tranche se situait ce montant. Cette information va être prise en compte dans le traitement des valeurs manquantes pour les montants. Dans l enquête BdF 2006, les personnes interrogées avaient le choix de donner le montant demandé en francs ou en euros 3 (et ce, pour chaque montant demandé dans les questionnaires ). Afin de simplifier la manipulation des données, une normalisation des variables est nécessaire. Pour chaque montant de ressource, on a créé les variables suivantes : «NomMontant_c» correspond à la valeur calculée à partir des données recueillies. A partir du montant, de la monnaie et la périodicité, on calcule un montant annualisé et en euros ; «NomMontant_d» correspond au même montant, après apurement / redressement / imputation ; «I_NomMontant» est une indicatrice qui dit, pour chaque observation, si le montant a été imputé ou pas (0/1). On a traité séparément les revenus individualisables des revenus des ménages. Le traitement s est fait en 2 étapes (voir schéma 6): constitution d une table individu complète et corrections de valeurs abérentes, apurement du fichier, imputation des non-réponses. Enfin, on agrége les revenus individualisables par ménage, afin de pouvoir constituer une table ménage par la suite. 3 Ainsi, le choix de la monnaie est une source supplémentaire d erreurs possibles. Version du 19/10/

16 Schéma 6 : traitement des revenus Tables : socioind, ress_ind et épargne Tables : sociodem, ress_men, patrimoine, automobile, versement, cadrecus Apurement Revenus relevés au niveau de l individu Revenus relevés au niveau du ménage Imputation Table définitive des revenus individuels apurés, redressés Revenus relevés au niveau du ménage apurés, redressés Revenus individuels aggrégés au niveau ménage Table définitive des revenus des ménages apurés, redressés Des apurements plus poussés qu en 2001 On effectue un certain nombre de redressements sur les variables socio démographiques ou concernant le logement. On s intéresse principalement à l apurement des variables qui vont, par la suite, servir au redressement des revenus et des dépenses (le fait d être à temps plein ou partiel, le nombre d heures travaillées dans la semaine, le logement??? ) L apurement des données a constitué un travail relativement lourd dans le traitement des données de BdF Il consiste à détecter les valeurs aberrantes, éventuellement à les traiter, dans un processus itératif (lorsque l on a traité certaines valeurs, on refait une détection). La détection des V aberrantes, comme il ne s agissait que de montants, a été réalisée : robustreg, minimum, maximum, âge pour la retraite par exemple, nombre d enfants pour les allocations etc Pour le traitement, nous sommes souvent revenus aux remarques des enquêteurs. En effet, au fur et à mesure du déroulement de l interrogation, ceux-ci ont la possibilité d ouvrir des fenêtres sous CAPI Version du 19/10/

17 et d y intégrer des remarques en clair. Nous avons utilisé le plus possible ce fichier de remarques qui fait quand même xxx lignes Exple du fichier BDF.bdf3.banque.ServFIn.ServFInÔ4Ò.MFin7 MONTANT DEJA MENTIONNE POUR CARTE BDF.bdf3.sitfin.opinion.Aise N A AUCUNE IDEE BDF.bdf3.assura.MuassuÔ1Ò BENEFICIE DE LA CMU BDF.bdf3.banque.Cartes.CarteÔ1Ò.NbCb LA BANQUE NE VEUT PLUS LUI DELIVRER DE CARTE A RAISON SURENDETTEMENT BDF.bdf3.credit.Cred.CrediÔ2Ò.Ancred LE REMBOUREMENT SERA BLOQUE PUISQUE LE DOSSIER DE SURENDETTEMENT DU COUPLE EST EN COURS BDF.bdf3.depexc.MonJust DONT 40 EUROS DE FRAIS D AVOCAT BDF.bdf3.depexc.NatjustÔ1Ò AMENDE POUR TRAFIC DE DROGUE BDF.bdf3.montant.Mautrev.PersonneÔ2Ò.Reve LE RMI EST VERSE POUR LE COUPLE UNE FOIS. COMPRIS DANS n.revenuô14ò.mopt2 LA PRESTATION RECU PAR PIERRETTE BDF.bdf3.montant.Mautrev.PersonneÔ2Ò.Reve MONTANT GLOBAL DECLARE SOIT POUR RETRAITE DE n.revenuô4ò.mopt2 BASE + RETRAITE COMPLEMENTAIRE BDF.bdf3.montant.Mautrev.PersonneÔ4Ò.Reve n.revenuô13ò.mopt3 PRELEVEMENT DE CANTINE DIRECTEMENT SUR LA BOURSE + visualisation de l ensemble de la situation du ménage et des individus qui le compose, A titre d exemple, on détaille ici l apurement du salaire individuel, la méthode étant à peu de choses près la même pour les autres types de revenus. Nous avons donc calculé un salaire (variable salaire_c), annuel, en euros. Ce salaire correspond au montant des salaires reçus par un individu durant une année, mais cela ne signifie pas que cet individu a effectivement reçu un salaire toute l année. Le salaire est celui reçu sur les douze derniers mois, mais pas forcément pendant les 12 mois en continu ; c est pourquoi on dispose d une variable supplémentaire : le nombre de mois de perception du salaire sur les douze derniers mois. Nous disposons ainsi d un certain nombre de renseignements sur la nature du salariat : sa durée au cours des 12 derniers mois, la CS de la personne, le type d emploi occupé éventuellement au moment de l enquête, le fait d être à temps partiel etc Nous disposons bien sûr aussi des caractéristiques sociodémographiques de l individu : sexe, âge autant de variables mises à contribution dans l estimation d un modèle de régression pour les salaires. On souhaite tout d abord apurer le fichier en repérant les individus atypiques 4. On effectue pour cela une regression robuste sur les individus qui n ont pas de valeur manquante pour le montant de leur salaire en euros (10 077). La régression robuste (PROC ROBUSTREG de SAS) donne une liste d individus atypiques («outliers»). Une partie des valeurs atypiques sont relativement flagrantes et proviennent d une confusion entre euros et francs, ou d une confusion entre salaire mensuel ou annuel. On a effectué environ une centaine de modification de variables «à la main», soit du montant (rarement), soit de la monnaie, de la périodicité (si la somme correspond à 1 mois ou à 12),ou du nombre de mois de salariat dans l année. 4 Détecter les individus atypiques ne veut pas dire les éliminer, mais étudier la nature et les causes du point «anormal», afin de décider de son statut ultérieurement, ici de modifier certaines variables. Version du 19/10/

18 Par ailleurs, on a regardé systématiquement les remarques en clair des enquêteurs lorsque les individus avaient des valeurs atypiques pour les salaires. Cela a permis de redresser «à la main», encore un certain nombre d informations : L itération 3) on boucle : on recalcule des montants et on itère jusqu à ce sque l on soit satisfait Revenus individualisables : imputation : Les salaires On a détailler, là encore à titre d exemple, l imputation des salaires individuels personnes ont déclaré avoir reçu un salaire. Parmi celles-ci : 366 n ont pas déclaré de montant en clair (soit 3,5%) ; - 46 ont donné la tranche dans laquelle se situe ce montant (0,4%) ; n ont ni montant en clair ni en tranche (3,1%) ; ont déclaré un montant de salaire (96,5%). Ces chiffres concernant les salaires sont relativement satisfaisants au regard d autres enquêtes. Pour l imputation de la non-réponse, on privilégie ici les méthodes économétriques, avec la méthode des résidus simulés. On a effectué deux régressions robustes, une pour les hommes et une pour les femmes. Pour la simulation, on a utilisé la macro SAS %simul, fournie par l UMS. Cette dernière permet, en particulier, de faire de la simulation par résidus simulés, en tenant compte de l information en tranches donné par les personnes qui n ont pas répondu en clair (par acceptation/rejet de la valeur simulée par rapport à la tranche fournie). La variable à expliquer est le «montant annuel des salaires perçus en euros» 5. Les variables introduites dans les deux modèles sont les suivantes : - variables sur la situation de la personne au moment de l enquête : l âge, le fait d être étranger ou non, la catégorie socioprofessionnelle (7 postes), le niveau de diplôme (7 postes), la classification dans l emploi (issue du TCM), le fait d être en CDI, CDD ou autre, la ZEAT d habitation, le nombre d enfants du ménage, le statut matrimonial de la personne au moment de l enquête ; - variables relevées sur les 12 derniers mois : le fait d avoir eu une prime de participation ou d interressement, le nombre d heures travaillées dans la semaine (en tranches), le fait d avoir des prélèvements employeurs sur son salaire, le nombre de mois de perception du salaire sur l année, le fait d avoir eu, au cours des 12 derniers mois, des revenus liés à une activité indépendante ou secondaire, ou des allocations chômage. Etant donné le faible nombre de revenus fournis uniquement en tranches, on a préféré privilégier la régression robuste plutôt que l utilisation de la PROC LIFREG pour le calcul des estimateurs. L information en tranche reste utilisée lors de la simulation (acceptation/rejet de la valeur selon l appartenance à la tranche) avec la macro %simul. Pour chaque personne ayant déclaré un revenu salarié au cours des 12 derniers mois, une variable indicatrice indique si la valeur a été imputée (1) ou non (0). Les primes et autres rémunérations du même type ont été redressées de la même manière personnes ont déclaré avoir reçu une prime de participation ou d interressement au cours des 12 derniers mois. Parmi celles-ci : 5 On modélise en réalité le log de cette variable. Version du 19/10/

19 - 311 n ont pas déclaré de montant en clair (soit 17,6%) ; o 208 ont donné la tranche dans laquelle se situe ce montant (11,8%) ; o 103 n ont ni montant en clair ni en tranche (5,8%) ; ont déclaré un montant de prime(s) (79,4%). Les variables introduites dans le modèle de régression pour les primes sont les mêmes que pour le salaire, avec en plus les variables de sexe et le salaire annuel en euros. Pour les «autres revenus du même type», 211 personnes ont déclaré en avoir perçu. Parmi celles-ci, 18 n ont pas déclaré de montant en clair (soit 8,5%). Il n y avait pas de montant en tranches. On a aussi utilisé la régression robuste pour le calcul des estimateurs, puis les résidus similés pour la simulation des valeurs manquantes.??? sûr? La variable REV200_d, «salaire et autres rémunérations du même type» est constituée par la somme du salaire de base, des primes éventuelles et des «autres revenus du même type» : Les revenus des indépendants En fonction de la nomenclature des revenus et du questionnement, on a séparé les indépendants en deux catégories : ceux qui déclarent un salaire autoversé (1) et les autres (2). xxxpersonnes ont déclaré un salaire autoversé. Parmi celles-ci, xxx n ont pas déclaré de montant en clair (soit x%), et la tranche éventuelle n était pas demandée. Un modèle de régression satisfaisant est très difficile à trouver pour ce type de revenus : pourquoi auto hot deck et autres revindépendants par régression? Aux personnes n ayant pas déclaré de salaire autoversé (2) était posée la question suivante : «Quel montant annuel vous procure cette activité pour vos dépenses familiales ou votre épargne?». Cette question permet approcher., 747 indépendants n ont pas déclaré de salaire autoversé, mais doivent tout de même avoir un montant de revenus annuel. Parmi celles-ci : n ont pas déclaré de montant annuel en clair (soit 45,2 %) ; o 162 ont donné la tranche dans laquelle se situe ce montant (21,7 %) ; o 176 n ont ni montant en clair ni en tranche (23,5 %) ; ont déclaré un montant (54,8 %). On a estimé ici un modèle de régression robuste, avec, comme covariables : l âge, le sexe, un regroupement particulier de la CS 6, le niveau de diplôme le plus élevé, la ZEAT d habitation, le nombre d enfants, le fait d avoir eu, au cours des 12 derniers mois, une activité salariée, secondaire, ou des revenus d allocation chômage, l âge de fin des études ainsi que le fait que d autres personnes travaillent avec la personne interrogée à cette activité indépendante. Au final, la variable REV101_d contient les "Montants des salaires autoversés annuels redressés en euros", et REV100_d les "Montants des revenus d activité indépendante (hors salaires autoversés) annuels redressés définitifs en euros" (et les indicatrices d imputation correspondantes) Agriculteurs sur petite exploitation, 2 - sur moyenne exploitation, 3 - sur grande exploitation, 4 - Artisans, 5 - Commerçants et assimilés, 6 - Chefs d entreprise de 10 salariés ou plus, 7 - Professions libérales, 8 - Cadres et professions intellectuelles supérieures hors professions libérales, 9 - Professions intermédiaires, 10 - Employés, 11 - Ouvriers, 12 - Retraités et autres personnes sans activité professionnelle. Version du 19/10/

20 3.2.3 : Les activités secondaires Les revenus d activité(s) secondaire(s) ont fait l objet d apurements d après le fichier des remarques des enquêteurs, mais aussi d après les doublons que l on a pu repérer avec, d une part, les salaires, et d autre part les revenus d activité indépendantes. Dans le cas de doublons, on a supprimé l activité secondaire. Les activités secondaires recouvrent un champ très vaste d activité : jobs d été, activités saisonnières, droits d auteur ou heures de ménages ou d enseignement Aussi il est assez difficile d avoir un modèle économétrique valable. C est pourquoi nous avons choisi d utiliser la méthode du hot deck, stratifié par sexe, en prenant en compte l information éventuellement fournie en tranche quand la personne n a pas répondu en clair. 631 personnes ont déclaré avoir reçu un revenu d une activité secondaire au cours des 12 derniers mois. Parmi celles-ci : - 42 n ont pas déclaré de montant en clair (soit 6,6%) ; o 32 ont donné la tranche dans laquelle se situe ce montant ; o 10 n ont ni montant en clair ni en tranche ; ont déclaré un montant : Les retraites Le «bloc retraite» comprend les montants demandés pour : la retraite de base, les retraites complémentaires, les pensions de reversion, les préretraites, le minimum vieillesse, et la majoration pour tierce personne. Les retraites, ainsi que les diverses allocations individuelles ont fait l objet d un apurement particulièrement minutieux. Deux problèmes importants coexistent : 1) de nombreux doublons existent entre les différents types de retraites (de base, complémentaire, de reversion ), les personnes interrogées déclarant exactement le même montant par exemple pour leur retraite de base et leur penseion de reversion (alors qu il ne le touchent qu une fois). On est parfois revenu au fichier des remarques des enquêteurs pour plus de précisions ; 2) certaines personnes ne sont pas en mesure de séparer ce qui est de la retraite de base de la complémentaire, du minimum vieillesse etc, et agrégent tout dans leur retraite de base. Pour les problèmes de type 1), on a, pour chaque individu, comparé tous les montants des différents types de retraite, afin d éliminer au maximum les vrais doublons parfaits (sur le montant et le nombre de mois de perception durant les 12 derniers mois). Pour les problèmes de type 2), on s est aperçu que les enquêteurs avaient parfois fourni des précisions dans le fichier des remarques. Dans ce cas, on a séparé ce qui relève de la base de la complémentaire au cas par cas (exple? ) : L allocation chômage Après apurement, il s avère que la proportion de valeurs manquantes pour cette allocation n est pas très élevée personnes ont déclaré avoir perçu l allocation chômage au cours des 12 derniers mois. Parmi celles-ci : - 67 n ont pas déclaré de montant en clair (soit 5,2%) ; o 50 ont donné la tranche dans laquelle se situe ce montant ; Version du 19/10/

21 o 17 n ont ni montant en clair ni en tranche ; ont déclaré un montant. Les valeurs manquantes ont été simulées avec la macro %simul, par résidus simulés, en prenant en compte l information relative à la tranche, après une estimation par régression robuste. Donner les variables du modèle et quelques résultats : Les autres allocations individuelles : Les revenus de l épargne Quelles variables ont été traitées avec quelle méthode? Agrégation de ces ressources au niveau ménage. Tableau récapitulatif des méthodes en fonction du type de revenu (et apurement aussi? ) : Les programmes SAS Voir annexe Revenus des ménages Comme pour les individus, le traitement s est fait en deux étapes : lors de la première étape on constitue une table ménage complète, apurée, et ensuite on redresse des non-réponses. Nous avons créé une table ménage brute comportant les informations des tables «patrimoine», «sociodem» en différenciant la personne de référence de son conjoint (pr et cj) sur les enfants qui se trouvent à l extérieur du ménage («enfhors»), et sur les différentes ressources et revenus du ménage telles que les allocations familiales et les aides au logement («quest1»), la revente de biens, les cadeaux et sommes d argent reçus «cadrecus», les revenus de l épargne («epargne»), les ressources exceptionnelles (table??), et enfin les revenus individuels sommés sur la dimension ménage. Version du 19/10/

22 3.4 - Agrégation On a deux tables de ressources au niveau ménage (une provenant des ressources indiv et l autres des ressources ménages), que l on va agréger afin d avoir une unique table de ressources des ménages. Version du 19/10/

23 QUATRIÈME PARTIE : IMPUTATION DES DÉPENSES DANS LES QUESTIONNAIRES Avant toute chose, les montants déclarés sont annualisés et transformés en euros le cas échéant, grâce aux questions sur la périodicité et le montant de l achat. Dans un second temps, tous les libellés des variables en clair sont codés manuellement de façon à pouvoir leur associer facilement un code COICOP ultérieurement. Les postes de dépenses étant nombreux, les traitements approfondis des valeurs aberrantes ne concerneront pas tous les montants ou toutes les obervations, seulement les montants extrèmes (trop faibles ou trop élevés dans la distribution du poste de nomenclature considéré). Les variables concernant les dépenses se trouvent dans les tables suivantes : Les variables ont été traitées différemment selon les cas : Imputation économétrique; Imputation par Hot-deck; Imputation par la moyenne ou la médiane Autres achat d automobiles selon le prix de l argus Questionnaire Questionnaire 2 Grands types de dépenses Biens durables et meubles Objets d art de valeur Vetements et chaussures Séjours hors domicile Services individuels Frais scolaires ou universitaires Garde d enfants Méthodes d imputation Hot deck stratifié selon les revenus, le type de bien et le fait d être propriétaire ou non de son logement «Eclatement» du montant total selon le nombre et le type d objets Hot deck selon le revenu du ménage, le type de vêtement (11 postes) Lifreg + résidus simulés pour dépenses du dernier séjour Hot deck stratifié (pays de séjour, durée et nombre de personnes participantes, revenus du ménage) pour imputer les dépenses à chacun des séjours. Hot deck par âge et revenu du ménage Hot deck Version du 19/10/

24 Repas pris sur le lieu de travail ou scolaire Transports hors véhicules personnels Hot deck Hot deck selon différentes variables : age ou zeat ou sexe Loisirs et culture Audiovisuel Santé et soins Hot deck non stratifié et stratifié + 2 imputations par la moyenne (lit médicalisé et appareil respiratoire) Les dépenses de séjours hors domicile font l objet d un questionnement particulier qui induit un traitement un peu plus complexe que pour d autres parties du questionnaire. En effet, le questionnement est le suivant : 1. on demande au ménage s il a eu des frais pour des séjours hors domicile de plus de 4 nuits ; 2. on lui demande tout une série de renseignements sur ces séjours : lieux, durée, mais aussi le montant global estimé de chaque séjour (avec éventuellement une tranche). On peut boucler jusqu à 10 séjours pour l année écoulée ; 3. en se limitant au dernier séjour (le plus récent), on pose toute une série de questions visant à essayer d isoler les dépenses relevant de tel ou tel type de poste : forfait, alimentation, transport etc On a ainsi une table «séjours» de la forme suivante : Version du 19/10/

25 Variables communes à l ensemble des séjours déclarés Variables communes à l ensemble des «derniers» séjours Identifiant ménage N de séjour Durée Etc Montant global du séjour Montant du forfait Montant du transport Montant de l héberge ment Etc Dernier ménage Questionnaire 3 Version du 19/10/

26 CINQUIÈME PARTIE: TRAITEMENT DES CARNETS (DÉPENSES, MAGASINS ETC ) Partie traitée par Gérard Forgeot puis Maël Theulière, Division Condition de Vie des Ménages Les carnets de compte ont toujours été la partie la plus délicate à gérer dans une enquête Budget, tant au niveau de la collecte (acceptation par les ménages, suivi) que des traitements (codifications sur des gros volumes). Après avoir rappelé les innovations introduites en 2006 sur les carnets, on s attachera à décrire les traitements post-collecte qui s y appliquent Une méthode de collecte innovante par rapport aux enquêtes Budget antérieures : L historique La principale innovation introduite dans la gestion des carnets de l enquête Budget 2006 concerne leur saisie/codification par les enquêteurs. Jusqu en 2001, ces tâches étaient confiés aux ateliers de saisie de l INSEE (les GSAS). Leur disparition programmée a conduit à l étude de plusieurs solutions de repli. L appel à des faconniers extérieurs envisagée en premier lieu aurait été coûteuse et complexe, du fait de la nécessité de lancer un appel d offre sur un volume de saisie inconnu ex ante, et qu il aurait donc fallu majorer pour se couvrir. En outre, le problème de la codification restait entier. Ces problèmes se sont posés à chaque édition de l enquête Budget. En 1995, les carnets étaient contrôlés manuellement, et chaque libellé de dépense validé se voyait attribuer un code dans la nomenclature de l époque. Seul ce code était saisi de façon à économiser la ressource humaine. Ce mode de fonctionnement présente deux inconvénients majeurs : en premier lieu, la codification n est pas homogène sur tout le fichier, un même libellé dépense pouvant être interprété différemment d un codeur à l autre, et plusieurs centaines de personnes avaient été affectées à cette tâche! En second lieu, il n est plus possible de revenir ultérieurement sur la codification, le libellé en clair de la dépense n étant pas saisi. C est pourquoi il n est actuellement plus possible de rétropoler simplement la nouvelle nomenclature des dépenses COICOP sur les anciennes enquêtes Budget. Ce second problème a été levé lors de l édition 2001 : les GSAS ont saisi la totalité du libellé dépense, qui était alors codifié automatiquement sous SICORE. L inconvénient de cette méthode est que les libellés non reconnus automatiquement doivent faire l objet d un traitement manuel de la part de l expert variable. Cela a représenté plusieurs mois de travail. Toutefois, cette expérience cumulée sur 2001 a été mise à profit pour 2006 afin d apporter quelques substancielles améliorations : Les améliorations Tout d abord, le fichier d apprentissage qui permet la codification automatique sous SICORE a été drastiquement simplifié. Il en existait en effet plusieurs : 1 pour les dépenses issus des tickets de caisse, 1 pour celles issues des tableaux de dépenses. Le CPOI envisageait en outre de séparer la métropole des Doms. Il aurait été très délicat de mettre à jour et de déployer simultanément 4 fichiers d apprentissage en phase production. Une analyse rapide de ces fichiers a montré que plus de 80% de leur information était commune. La décision a donc été prise de les fusionner en un unique fichier. Ensuite, ce fichier a été enrichi, par l expert variable, des libellés non reconnus en 2001, et qui donc ont fait l objet d un traitement manuel. C est un aspect important du fichier d apprentissage, il importe de le mettre à jour à chaque édition de l enquête, les industriels modifiant sans cesse l offre de biens, les marques, et le conditionnement associé. Version du 19/10/