CHAPITRE 10 LE TRAITEMENT DES ERREURS ET DES NON-REPONSES

Transcription

1 CHAPITRE 10 LE TRAITEMENT DES ERREURS ET DES NON-REPONSES

2 PLAN DU CHAPITRE Les erreurs dans une enquête 10.2 Les non-réponses 10.3 L imputation 10.4 La méthode des réponses aléatoires 2

3 10.1 LES ERREURS DANS UNE ENQUETE Il existe, dans une enquête par sondage aléatoire, 4 sources principales d'erreur. La première est l erreur d échantillonnage. Les trois autres sont appelées «méthodologiques» : l erreur de couverture, l erreur de mesure et l erreur de non-réponse Erreur d'échantillonnage Cette erreur découle du caractère aléatoire du tirage d'un échantillon; elle a été examinée dans les chapitres précédents Erreur de couverture Elle est due au fait que certains individus dans la population ont une probabilité nulle de figurer dans l'échantillon Base de sondage Population 3

4 Erreur de mesure Elle provient des inexactitudes des réponses enregistrées Les principales causes de cette erreur sont: l'effet induit par l'enquêteur sur les réponses des enquêtés (enquête en face à face) l'erreur due aux défauts du questionnaire ou de l'instrument de mesure (enquête par questionnaire) l'erreur due au répondant (incapacité de répondre aux questions, désir de valorisation,...) Erreur due à la non-réponse Nous étudierons cette erreur dans ce chapitre Erreur totale Erreur d échantillonnage Erreur totale Erreur méthodologique N.B. : Il existe d autres erreurs (saisie, traitement ) 4

5 10.2 LES NON-REPONSES Types de non-réponses a) Définition On est en présence de non-réponse lorsque, pour au moins une unité de l'échantillon, au moins une question posée (par un enquêteur, dans un questionnaire ) n'a pas reçu de réponse ou encore que cette dernière n'est pas utilisable Il y a donc de la non-réponse quand il y a au moins une valeur manquante dans l'échantillon pour au moins une variable de l'enquête b) Non-réponse totale Pour une unité donnée de l'échantillon, si toutes les variables mesurées sont manquantes, on est en présence de non-réponse totale N.B. : Ce cas concerne aussi le cas de relevés où le nombre de réponses utilisables est faible par rapport à celui des autres Notation : nrt 5

6 c) Non-réponse partielle Pour une unité donnée de l'échantillon, si certaines des variables mesurées sont manquantes, on est en présence de non-réponse partielle Remarque : on ne qualifie pas de non-réponse partielle celle qui est déjà cataloguée comme non-réponse totale Notation : nrp d) Non-réponse ignorable Si le fait qu'une personne réponde ou non à une question n'est pas relié à la réponse à cette question, on est en présence d'une non-réponse ignorable Exemple : c'est le cas d'une personne qui ne renvoie pas le questionnaire simplement par paresse Notation : nri Si l'on a une non-réponse non ignorable, cette situation tend à biaiser les résultats de l'enquête Exemple : enquête sur la satisfaction des employés où seuls les employés non satisfaits renvoient le questionnaire 6

7 e) Partition de la population Population [N] Echantillon [n] Non-réponses totales [n nrt ] Réponses complètes [n rc ] Non-réponses partielles [n nrp ] Remarque : Si n r est le nombre de réponses : nr = nrc + nnrp 7

8 f) Remarques 1 ) Enquêtes répétées dans le temps Une enquête répétée dans le temps permet d'estimer non seulement des paramètres de la population mais aussi des quantités liées à son évolution Les différentes applications de l'enquête s'appellent des vagues v1 v2 v3 v4 v t Une non-réponse de vague (nrv) est une non-réponse qui se produit lors d'une ou de plusieurs vagues, mais pas de façon permanente Elle crée des «trous» dans la série de vagues 2 ) Raffinements On peut aussi distinguer les personnes qui, dans la population (et aussi dans l'échantillon), sont éligibles à l'enquête (e) et celles qui n'ont pas pu être contactées par les enquêteurs (nc); leurs effectifs sont généralement désignés respectivement par n e et n nc 8

9 Les causes de non-réponses a) Facteurs liés à la non-réponse totale Objectifs de l'enquête irréalistes Type d'enquête (obligatoire versus volontaire) Population (ou sous-population) difficile à joindre Méthode de collecte (interview par la poste, par enquêteur en face à face, téléphonique ) Période de l'année pendant laquelle se fait la collecte Durée de la période de collecte Réputation de l'organisme chargé de l'enquête Formation et expérience des interviewers Déménagement Nature du sujet Refus de répondre Absence de la personne à interviewer Incapacité à répondre (problème de langue...) Importance de l'enquête pour les enquêtés Fardeau de réponse (enquêtes répétées, enquêtes menées par d'autres organismes, durée de l'entrevue) Perte de questionnaires ou problème de transmission des données 9

10 b) Facteurs liés à la non-réponse partielle Objectifs de l'enquête irréalistes Méthode de collecte Formation et expérience de l'interviewer Refus de répondre (question délicate) Questionnaire mal conçu (questionnaire complexe, questions difficiles à comprendre,...) Fardeau de réponse Oubli de l'interviewer Donnée non disponible La personne interviewée ne connait pas la réponse (note: une réponse «ne sait pas» sur une question d'opinion peut effectivement être la vraie valeur) Réponse incohérente ou inutilisable 10

11 c) Le cas des enquêtes longitudinales 1 ) Erosion ou attrition Réduction de la taille du panel causée par la non-réponse totale chronique 2 ) Causes possibles Augmentation des refus catégoriques, difficulté à retracer les unités longitudinales (changements d'adresse, fusion d'entreprises...), pas de rotation au sein de l'échantillon (haut fardeau de réponse au cours du temps...) 3 ) Remarques Les unités non répondantes sont souvent celles qui sont d'intérêt L'érosion peut souvent être réduite en utilisant des incitatifs (cadeaux,...) et en utilisant de la rotation au sein de l'échantillon L'érosion doit être traitée avec soin à cause de biais potentiels si la non-réponse est non ignorable 11

12 Les taux de réponse a) Taux de réponse opérationnel Ces taux servent à fournir de l'information sur le déroulement du processus de collecte 1 ) Taux de réussite de l'enquête T () n + n = n + n + n 1 c nrp c nrp nrt Rappel : n c = effectif des réponses complètes n nrp n nrt = effectif des (non-) réponses partielles = effectif des non-réponses totales N.B.: Ce taux se calcule généralement au niveau des personnes éligibles seulement 2 ) Performance des interviewers T ( ) n = n + n + n 2 c c nrp nrt N.B. : Ce taux mesure la capacité des interviewers à compléter leurs entrevues 12

13 3 ) Rendement des entrevues T ( ) n + n = n + n + n + n 3 c nrp c nrp nrt nc Rappels: Définitions de n c, n nrp et n nr : voir ci-dessus n nc = nombre de personnes non contactées N.B.: Ce rendement est calculé par rapport au nombre de contacts possibles auprès des personnes 4 ) Autre taux T ( ) n = n + n + n + n 4 c c nrp nrt nc Ce taux mesure le rapport entre le nombre d'entrevues complétées et le nombre d'entrevues potentielles 13

14 b) Taux de réponse correcteur Donne aussi de l'information sur le processus de collecte Ramène le sous-échantillon des répondants à l'échantillon initial Sert à corriger les poids de sondage pour tenir compte de la non-réponse (voir plus tard) Spécifiquement relié au rapport des unités répondantes sur le nombre d'unités dans l'échantillon Exemple : T = nombre de répondants taille d'échantillon Les personnes non contactées parce qu'elles sont hors du champ de l'enquête font partie des répondants (et non des non-répondants) mais leurs variables mesurées sont toutes mises à zéro (estimation par domaine) Peuvent être calculés pour des sous-groupes de la population, comme les strates, par exemple; ces sousgroupes peuvent être formés de sorte que la propension à réponse des personnes inclues dans ces ensembles soit relativement homogène Possibilité de séparer les personnes hors-champ des autres unités 14

15 Effet des réponses manquantes Les non-réponses créent généralement un biais qui dépend : Du taux de non-réponse De l'écart entre les comportements des répondants et des non-répondants en ce qui concerne la (les) variable(s) étudiée(s) Pour éviter ces inconvénients, deux approches peuvent généralement être envisagées: La prévention des non-réponses Le traitement des non-réponses 15

16 La prévention de la non-réponse La prévention de la non-réponse peut s'effectuer aux différentes étapes de l'enquête : Planification Construction de la base de sondage Choix du plan de sondage Conception du questionnaire Collecte des données Traitement des données et estimation Autres étapes a) Prévention au niveau de la planification Il est judicieux de : Retenir des objectifs de l'enquête réalistes D'exprimer des définitions claires des concepts à étudier De bien choisir la période de l'année où l'on fait l'enquête De disposer de ressources (humaines et financières) suffisantes pour la collecte De bien planifier chacune des étapes de l'enquête 16

17 b) Prévention au niveau de la base de sondage Disposer d'informations de contact correctes (adresse, téléphone, nom) Posséder des informations de classification correctes (langue, secteur d'activité,...) pour permettre l'envoi des "bons" questionnaires D'éviter des redondances (fardeau de réponse potentiellement élevé) c) Prévention au niveau du plan de sondage 1 ) Cas d'un échantillon commun à plusieurs enquêtes Contrôler le nombre de questionnaires qu'un répondant peut recevoir (fardeau de réponse) 2 ) Choix d'un échantillonnage plus efficace En réduisant la taille d'échantillon, on permet d'allouer plus de ressources à la collecte et de faire un meilleur suivi 3 ) Prendre un sous-échantillon des non-répondants Permet de réduire le biais de non-réponse si le taux de réponse lors du suivi est élevé Nécessite une période de collecte plus longue Coûteux Pourrait éventuellement être utilisé pour déterminer les caractéristiques des non-répondants 17

18 d) Prévention au niveau du questionnaire Un questionnaire bien conçu va permettre de réduire les réponses incohérentes Privilégier des questions simples, faciles à comprendre et courtes Eviter les abréviations Faire de bonnes traductions si recours à plusieurs langues Donner des instructions minimales sur le questionnaire (manuel) Evaluer les enquêtes précédentes Réaliser des tests et enquête pilote Recourir à la recherche cognitive (groupes de discussions,...) Impliquer tous les partis concernés Tenir compte du mode de collecte: la présentation est importante si le questionnaire est envoyé par courrier questionnaire complexe : Interview Assistée par Ordinateur (IAO) Attention aux questions sensibles (voir plus loin) 18

19 e) Prévention au niveau de la collecte des données Choix adéquat du (des) mode(s) de collecte Tests préalables Evaluation des résultats antérieurs éventuels Période de collecte suffisamment souple Bon programme de recrutement des enquêteurs Formation adéquate et continue Etablir un rapport de confiance avec l'enquêté assurer de l'aspect confidentiel des données susciter l'intérêt pour les résultats offrir éventuellement divers modes de collecte donner des incitatifs (si nécessaire cadeau, publication,...) effectuer un suivi de la collecte 19

20 f) Prévention au niveau du traitement et de l'estimation Méthode de traitement de la non-réponse et d'estimation efficace (utilisation d'information auxiliaire) permet de réduire la taille d'échantillon et, par conséquent, permet d'allouer plus de ressources à la collecte et de faire un meilleur suivi Minimiser le nombre de questions en effectuant des appariements pour obtenir l'information g) Prévention au niveau des autres étapes Une bonne évaluation et une analyse approfondie des données de l'enquête peuvent être utiles pour apporter des correctifs et ainsi mieux prévenir la non-réponse lors d'enquêtes ultérieures Etablir une documentation des améliorations à apporter et des études d'évaluation et d'analyse Veiller à la qualité de chaque étape de l'enquête 20

21 Le traitement de la non-réponse totale a) Relance des non-répondants (méthode de Hansen) Dans l'ensemble des non-répondants (de taille n 2 ), on tire de façon équiprobable et sans remise un sous-échantillon ' 2 2 =λ 2 0<λ< 1, et on s'arrange pour obtenir les réponses des n individus ré-enquêtés ' s, de taille n n ( ) ' 2 s U s 1 ' s 2 1 ) Estimateur de Hansen n n μ= yh = y + y n n 1 2 ' 1 2 où y 1 et et s 2 ' y 2 sont les moyennes des valeurs observées dans s 1 N.B. : En désignant par y 2 la moyenne qui résulterait des observations auprès des non-répondants, y 2 peut être estimée par ' y 2 21

22 2 ) Propriétés de y H y H est un estimateur sans biais de μ V y N n 1 N 1 λ = σ + σ Nn n N λ ( ) 3 ) Remarque H 1, corr 2, corr On peut formuler un problème de coût dans ce contexte; soient C 1 le coût unitaire de tirage lors de la première étape et C 2 le coût unitaire de tirage lors de la relance ; on peut admettre, en général, que C1 < C2 Considérons le coût global : C = C n+ C n ' Pour un budget fixé a priori C, on peut chercher les valeurs de n et λ qui minimise V( y H ); on peut ainsi démontrer que: CN n = C N + C λ N C λ= C N N σ 1 2; corr σcorr N2σ2; corr où N 2 est le nombre (à estimer) de non-répondants de la 2 population et σ 2;corr leur variance corrigée 22

23 b) Repondération 1 ) Définition La repondération consiste à: Eliminer les unités comportant des données manquantes Ajuster les poids de sondage des répondants pour compenser ceux qui ont été éliminés 2 ) Rappel où 1 w i = π i τ= ˆ wy i i i s est le poids de sondage 3 ) Poids ajusté Si on dispose du taux de réponse correcteur on remplace nombre de répondants T = taille d'échantillon 1 w i par wi, ajust= wi T T peut être considéré comme un estimateur de la probabilité de réponse p ri d'un individu i de U (supposée dans un premier temps constante) Pour tenir compte de la spécificité de certaines sous-populations, on peut construire un modèle de réponse qui intègre cette situation 23

24 4 ) Caractéristiques de la repondération Il faut choisir un modèle de réponse qui permette d'obtenir une bonne approximation des vraies probabilités de réponse; dans ce cas, le biais sera petit, quelque soit le paramètre d'intérêt (par exemple, les corrélations entre les variables pourront être préservées) Pour obtenir un meilleur ajustement, le taux de réponse correcteur peut se calculer au niveau de strates, ou de quelque autre classification Exemples : Pour les enquêtes auprès des entreprises, les taux de réponse, calculés au niveau des strates suffisent souvent à ajuster les poids de sondage Pour les enquêtes sociales, les probabilités de réponse dépendent souvent de facteurs autres que les seules variables de stratification; ainsi, les personnes qui changent d'adresse sont moins susceptibles d'être retracées et ont donc des probabilités de réponse inférieures aux personnes sédentaires Une solution très intéressante consiste à utiliser de l'information auxiliaire pour modéliser les probabilités de réponse, par exemple à l'aide de la régression logistique Dans ce contexte, une stratégie de calage (au niveau de la population et au niveau de l'échantillon) peut être utilisée pour réduire la variance (et même le biais) 24

25 5 ) Remarques Les techniques de repondération utilisées en pratique sont souvent simples Aucune donnée artificielle n'est créée, ce qui a moins tendance à donner une fausse impression de précision (comparativement à l'imputation) Plusieurs logiciels sont disponibles pour obtenir les estimations désirées Dans le cas de la non-réponse totale, les méthodes de repondération conduisent à un seul ensemble de poids, ce qui est très pratique du point de vue des utilisateurs Si on voulait traiter de la même manière le cas de la non-réponse partielle, un très grand nombre d'ensembles de poids pourrait être requis ce nombre peut devenir rapidement très grand s'il y a un très grand nombre de variables Pour ces raisons, la repondération n'est en pratique utilisée que pour le traitement de la non-réponse totale; l'imputation est préférée à la repondération pour traiter la non-réponse partielle 25

26 c) Imputation L'imputation consiste à assigner une valeur plausible à l'ensemble des variables d'une personne non répondante Il existe plusieurs méthodes d'imputation : le choix de l'une ou l'autre dépend du nombre d'informations extérieures que l'on désire associer à la valeur imputée de sorte qu'elle reflète le mieux possible la vraie valeur manquante Exemple : l'imputation par la moyenne On remplace la valeur manquante par une moyenne calculée à partir des unités répondantes L'imputation est surtout utilisée pour traiter la nonréponse partielle bien qu'elle puisse également être utilisée pour le traitement de la non-réponse totale 26

27 Le traitement de la non-réponse partielle a) Le recours aux répondants Il s'agit d'éliminer toutes les observations comportant au moins une valeur manquante Risques de biais sauf si les non-réponses sont indépendantes des variables Nombre restreint d'individus utilisés dans l'estimateur b) Repondération Principe : voir paragraphe b) Inconvénients : il faut créer un poids ajusté pour chacune des variables mesurées par l'enquête En outre, il faudrait des poids ajustés par des analyses multivariées Exemple : si on a 3 variables, on a besoin en tout de 7 ensembles de poids : 3 ensembles de poids pour faire les analyses univariées 3 ensembles de poids pour faire les analyses bivariées 1 ensemble de poids pour faire les analyses impliquant les 3 variables 27

28 c) Imputation 1 ) Avantages Elle mène à la création d'un fichier de données complet Les résultats issus de différentes analyses seront vraisemblablement cohérents Contrairement aux méthodes de repondération, l'imputation permet l'utilisation d'un poids de sondage unique L'information disponible sur les répondants partiels peut être utilisée comme information auxiliaire pour améliorer la qualité des valeurs imputées 2 ) Risques L'inférence n'est généralement valide que si certaines hypothèses sous-jacentes (concernant le mécanisme de non-réponse et/ou le modèle d'imputation) sont satisfaites Certaines méthodes d'imputation ont tendance à distordre la distribution des variables d'intérêt L'imputation a tendance à distordre les relations entre les variables Le fait de traiter les valeurs imputées comme des valeurs observées peut entraîner une sous-estimation substantielle de la variance de l'estimateur, surtout si le taux de non-réponse n'est pas négligeable 28

29 10.3 L IMPUTATION Rappels L'imputation consiste à assigner une valeur plausible à l'ensemble des variables qui ne peuvent être mesurées du fait de non-réponse (totale ou partielle) d'une ou de plusieurs personnes sélectionnées dans l'échantillon Elle mène à la création d'un fichier de données complet Si y i est manquante, nous désignerons par y * i la valeur imputée qui la remplace L'imputation est surtout utilisée pour traiter la non-réponse partielle bien qu'elle puisse également être utilisée pour le traitement de la non-réponse totale; nous supposerons donc être dans le cas d'une non-réponse partielle, sauf mention contraire 29

30 Estimateur imputé a) Hypothèse de base Soit un plan de sondage ignorable, tel que où ( Z = y ) = ( Z = ) P 1,x P 1 x i Z i 1 sii s = 0 sinon i ( y: variable d'intérêt, x: vecteur de variables auxiliaires) b) Estimateurs de τ et μ 1 ) S'il n'y a pas de non-réponse τ= w y ˆ i i i s où w = 1/ π est le poids de sondage i i 2 ) S'il y a des non-réponses s = sr snr, où s r est composé des répondants et s nr des non-répondants de l'échantillon: où * i τ ˆ = w y + * imp i i i i i s i s r nr w y y est une valeur imputée, à définir N.B.: τˆ imp τ μ ˆ imp = ou ˆ N Nˆ imp, avec Nˆ = 1/ πi i S 30

31 Méthode d estimation a) Types de méthodes On distingue les méthodes d'imputation dites déterministes de celles dites aléatoires Les méthodes déterministes sont celles qui fournissent une valeur fixe étant donnée l'échantillon si le processus d'imputation est répété Les méthodes aléatoires sont celles qui ont une composante aléatoire; elles ne fournissent donc pas nécessairement la même valeur si l'on répète le processus d'imputation pour un échantillon donné 1 ) Modèle de base y ( x ) = f +ε i i i où x est un vecteur de variables auxiliaires, disponible pour i s, et ε i un résidu aléatoire tel que 2 2 E ε = 0, E ε ε = 0 i j, E ε =σ ( ) ( ) ( ) ( ) i i j i i 2 ) Imputation déterministe Soit f ˆr l'estimation de f à partir de s r * y = fˆ x i s ( ) i r i nr y i x i 31

32 3 ) Imputation aléatoire ( x ) y = fˆ +σˆ e i s * * i r i i i nr où σ ˆ j est un estimateur de σ j et e * i un résidu tiré au hasard (PESR) dans l'ensemble des résidus standardisés : 1 e ˆ j = yj fr( x j) σˆ, pour j sr j b) Quelques méthodes simples 1 ) Imputation par la moyenne y = y i s * i r nr où y r est la moyenne des valeurs y i données par les répondants ( i s r ) 2 ) Imputation par le plus proche voisin y = y i s * i j nr où j s est le répondant tel que nr distance ( i, j) x x est minimum N.B. : la distance est à définir en fonction du problème 32

33 c) Classes homogènes d'imputation Il s'agit de subdiviser la population U en classes (sous-population) de manière telle que les individus d'une même classe ont un comportement semblable en termes de nonréponses Les classes peuvent être les strates d'une stratification Les classes peuvent être définies par des individus dont on estime, au vu de variables auxiliaires, qu'ils devraient avoir une probabilité de réponse semblable Il existe des méthodes alternatives permettant de créer ces classes 33

34 d) Imputation par régression linéaire simple 1 ) Imputation par régression linéaire simple On suppose disposer des valeurs d'une seule variable auxiliaire x ( i) 0 1 f x =β +β x et i 2 2 σ i =σ y = bˆ + bˆ x, où * i 0r 1r i et ( )( ) w x x y y bˆ bˆ y bˆ x w x x i i r i r i sr 1r =, 2 0r = r 1r r i s r ( ) i i r 1 1 y = w y, x = w x w w r i i r i i i i sr i i sr i s i s r r 2 ) Imputation par le quotient Cas particulier de l'imputation par régression: ( ) f xi =β xi et σ 2 2 i =σ * y ˆ i = br xi où ˆ yr br = x 3 ) Imputation par la moyenne (rappel) r xi 2 2 * ( ) ( ) x = 1, f x =β, σ =σ y = y i s i i i i r nr 34

35 4 ) Imputation par régression linéaire ' ( x ) x f = β=β +β x +β x + +β x où ( ) i i 0 1 i1 2 i2 m im 1 2 m ' β= β β β est un vecteur de paramètres inconnus 2 2 Posons σ ' i =σ λ x, i où λ est un vecteur de constantes λ ; la valeur imputée vaut alors: y = * ' xbˆ i i r où 1 ' ' ' ˆbr = wi xi x i / λ xi wi x i yi / λ xi i s i s r r N.B. : ˆb r est un estimateur MC de β 5 ) Imputation par régression avec résidus Imputation par régression + résidu aléatoire tiré (PESR) dans l'ensemble des résidus standardisés fournis par s r * où e e ( j s ) y = xbˆ + λ ( x) 1/2 * ' ' * i i r i i * =, tel que P( ei = ej) = wj / wk et i j r e 1/2 ' ' ( x ) ( y x bˆ ) = λ j j j j r e k s r 35

36 e) Autres méthodes 1 ) «Hot deck» Consiste à tirer au hasard un des répondants de l'échantillon que l'on appelle alors un donneur; les valeurs des variables du donneur sont ensuite assignées à un non-répondant donné Particulièrement utile parce qu'elle assigne automatiquement des valeurs cohérentes aux nonrépondants provenant directement des répondants Fonctionne autant pour les variables quantitatives que qualitatives Peut s'employer à l'intérieur de classes d'imputation 2 ) «Cold deck» Elle diffère du «hot deck» du fait qu'elle choisit le donneur parmi une source de données externe (exemple: données administratives ou enquêtes précédentes) 36

37 3 ) Imputation multiple Consiste à imputer, pour un non-répondant donné, différentes valeurs; les estimations sont alors calculées en utilisant un ou plusieurs des ensembles de données produites Exemple : Plusieurs imputations par «hot deck» Permet de mesurer la variabilité introduite par l'utilisation de valeurs imputées Peu employée en pratique, principalement à cause de la multiplication des ensembles de données 37

38 Imputation pour les enquêtes longitudinales a) Spécificité du problème Pour les enquêtes longitudinales, les méthodes d'imputation doivent tenir compte des données des vagues précédentes et suivantes, en plus de la vague courante Utiliser seulement les données de la vague courante peut créer des changements (ou transitions) artificiels Utiliser les données des vagues précédentes et suivantes seulement peut sous-représenter les changements b) Méthodes d'imputation utilisables Imputation par le plus proche voisin (imputation par donneur) en utilisant les données des vagues précédentes, suivantes et actuelle pour aider à trouver le donneur Imputation par modélisation en utilisant des variables auxiliaires provenant des vagues précédentes, suivantes et actuelle Exemple : Valeurs pour j Vague 1 Vague 2 Vague 3 ventes ? profits moyenne des ventes

39 1 ) Imputation par la moyenne Vente imputée = (pas plausible si comparées aux vagues 1 et 3) 2 ) Imputation historique : Vente imputée = (pas plausible si comparées à la moyenne des ventes pour la vague 2 et aussi si les profits sont corrélés avec les ventes) 3 ) Imputation par modélisation Solution utilisant les données des vagues précédentes, suivantes et actuelle : Modèle 1 : VENTES = α + β MOYVENTES = MOYVENTES vente imputée = Modèle 2 : VENTES = α + β PROFITS = PROFITS 39

40 10.4 LA METHODE DES REPONSES ALEATOIRES Introduction Comment peut-on estimer la proportion de personnes qui possèdent une «caractéristique délicate» à partir d un échantillon s (PESR)? Stratégie de base Une urne contient une proportion θ de boules blanches et une proportion ( 1 θ ) de boules noires. L'enquêté tire au hasard une boule de l'urne sans la montrer à l'enquêteur Si la boule est blanche, il répond «oui» ou «non» à une affirmation A Si la boule est noire, il répond «oui» ou «non» à l'affirmation contraire A On cherche à estimer affirmation A p A, la proportion de «oui» à une 40

41 a) Estimation de p A Soit π la probabilité de recevoir une réponse «oui» : A ( 1 )( 1 p ) π=θ p + θ Si ˆπ est la proportion de «oui» obtenue dans s: A ˆp A = πˆ ( 1 θ) 2θ 1 ˆp Aestime sans biais p A. En outre: 1 V p V ( ˆ A ) = ( πˆ 2 ) ( 2θ 1) pa( 1 pa) 1 θ( 1 θ) 2 n n( 2θ 1) + étant donné que V( π ˆ ) = π( 1 π ) n N.B. : les valeurs de θ qui minimisent le second terme de V( ˆp A ) sont θ= 0 etθ = 1. Mais dans ces cas, le secret de la réponse est peu sûr comment se rendre compte du risque de connaître la vérité à partir de la réponse fournie par l enquêté? 41

42 a) Degré de protection Tentons de reconstituer la probabilité de posséder A: ( ) P A oui ( ) P A non θp A = θ + θ = pa ( 1 )( 1 pa) ( 1 θ) pa ( 1 θ ) p +θ( 1 p ) A A Supposons que θ soit plus grand que 1 2, ce qui ne nuit pas à la généralité de la procédure. Dans ce cas, on peut montrer que: ( ) P ( A non) P A oui Or, plus la valeur de Max P( A oui ),P( A non) petite, plus les individus sont protégés est Dès lors, ( ) P A oui peut servir à mesurer le degré de protection de l'individu 42

43 Stratégie de substitution Reprenons le principe de la stratégie de base Si la boule tirée est blanche, l'enquête répond «oui» ou «non» à la proposition A Si la boule tirée est noire, il répond «oui» ou «non» à un énoncé B, indépendant de A Dès lors : A A ( 1 ) p ( 1 θ) π =θ p + θ ˆp = πˆ 2θ 1 B a) Si p B est connu, on a: V ( ˆp ) A = π ( 1 π) nθ 2 b) Si p B n'est pas connu, on l'estimera par une valeur obtenue à partir d une pré-enquête: * p B ( ˆp ) A ( 1 θ) * π ˆ pb ˆp A =, θ V ( 1 π) p ( 1 p )( 1 θ) π = + nθ B B 2 * 2 n θ 2 où * n est la taille de l'échantillon de la pré-enquête N.B. : On peut aussi introduire une mesure de la protection de l'individu 43