NON-RÉPONSE TOTALE DANS LES ENQUÊTES DE SURVEILLANCE ÉPIDÉMIOLOGIQUE

Transcription

1 NON-RÉPONSE TOTALE DANS LES ENQUÊTES DE SURVEILLANCE ÉPIDÉMIOLOGIQUE Gaëlle Santin 26 mars 2015

2 Plan de la présentation Contexte Objectifs La cohorte pilote Coset-MSA Partie 1 : Apport de données supplémentaires dans la prise en compte des biais de non-réponse dans Coset-MSA Partie 1.1 : Apport des bases médico-administratives Partie 1.2 : Apport d une enquête auprès de non-répondants Partie 2 : Difficulté à joindre les personnes, erreur de non-réponse et erreur de mesure dans Coset-MSA Discussion générale - Perspectives 2/66

3 Contexte La surveillance épidémiologique Définition Suivi et analyse épidémiologique systématiques et permanents d un problème de santé et de ses déterminants à l échelle d une population, afin de les contrôler par des interventions au niveau collectif, et d identifier des phénomènes inconnus en termes d effets ou de déterminants (Goldberg, Imbernon 2008) Systèmes de surveillance Remontées d information issues de systèmes existants Informations collectées avec des objectifs épidémiologiques spécifiques : registres ou enquêtes en population 3/66

4 Contexte L erreur totale dans les enquêtes Population cible (population française) Information d intérêt (pathologie) D après Groves (2010) Statistiques (par ex. prévalence d une pathologie dans la population française) 4/66

5 Contexte L erreur totale dans les enquêtes Population cible Information d intérêt Erreur de couverture Erreur de proxy Population source Variable d intérêt Erreur d échantillonnage Erreur de mesure Erreur de non-réponse Echantillon Réponse Erreur de traitement Répondants Donnée disponible Différence entre la population cible et l échantillon disponible D après Groves (2010) Statistiques issues de l enquête Différence entre l information d intérêt et la donnée disponible 5/66

6 Contexte L erreur totale dans les enquêtes 6/66

7 Contexte L erreur totale dans les enquêtes Population cible Information d intérêt Erreur de couverture Biais Biais Variance Erreur de proxy Population source Variable d intérêt Erreur d échantillonnage Variance Biais Variance Erreur de mesure Echantillon Réponse Erreur de non-réponse Biais Variance Biais Variance Erreur de traitement Répondants Donnée disponible Statistiques issues de l enquête 7/66

8 Contexte Erreur de non-réponse Types de non-réponse : Totale : aucune réponse disponible pour un individu Partielle : individu répondant mais certaines variables non recueillies Cadre : Processus de non-réponse aléatoire δ variable aléatoire Impact de la non-réponse sur la variance : Pour un plan de sondage donné, augmentation de la variance (taille de l échantillon de répondants plus petite que celle de l échantillon tiré au sort) 8/66

9 Contexte Biais de non-réponse MCAR : Y δ Missing Completly At Random MAR : MNAR : X Y δ Y δ ou X δ Y U Missing At Random Missing Not At Random 9/66

10 Contexte Biais de non-réponse : comment les minimiser? Augmenter le taux de réponse aux enquêtes Taux de réponse global Taux de réponse par groupe d individus Enquête en deux phases pour non-réponse Déterminer un estimateur qui prend en compte les causes communes X Identifier les causes communes X liées à la fois à la probabilité de réponse et à la variable d intérêt Recueillir les causes communes X chez les répondants et les non-répondants Imputation Repondération X δ Y 10/66

11 Contexte Erreur de mesure Sources d erreur de mesure dans un questionnaire Enquêteur ou questionnaire auto-administré Longueur et complexité du questionnaire Ordre des questions (effet de halo ou de contamination) Personne enquêtée Erreur de mesure et probabilité de réponse Réponse potentiellement moins précise, voire volontairement erronée des personnes ayant une probabilité de réponse faible 11/66

13 Objectifs Objectifs de la thèse Etudier l apport de données supplémentaires pour corriger la non-réponse totale Bases médico-administratives Enquête auprès de non-répondants et ses paradonnées Enquête auprès de non-répondants en présence d informations auxiliaires de qualité (bases médico-administratives) Discuter le lien entre le taux de réponse et deux composantes de l erreur totale : l erreur de non-réponse et l erreur de mesure Analyse des données de la cohorte pilote Coset-MSA 13/66

14 Objectifs Objectifs de la thèse Etudier l apport de données supplémentaires pour corriger la non-réponse totale : Bases médico-administratives Enquête auprès de non-répondants et ses paradonnées Enquête auprès de non-répondants en présence d informations auxiliaires de qualité (bases médico-administratives) Discuter le lien entre le taux de réponse et deux composantes de l erreur totale : l erreur de non-réponse et l erreur de mesure Analyse des données de la cohorte pilote Coset-MSA 14/66

16 La cohorte pilote Coset-MSA : Population et méthodes Echantillonnage Phase pilote Coset-MSA Inclusion Cohorte pour la Surveillance Épidémiologique en lien avec le Travail Chez les travailleurs affiliés à la Mutualité Sociale Agricole (MSA) Population éligible Salariés et non salariés agricoles 18 à 65 ans Ayant travaillé au moins 90 jours en départements pilotes (Bouches-du-Rhône, Pas de Calais, Pyrénées Atlantique, Saône et Loire, Finistère) Base de sondage : Base d'assurance retraite de la MSA 16/66

17 La cohorte pilote Coset-MSA : Population et méthodes Echantillonnage Enquête en deux phases pour non-réponse (Hansen-Hurwitz 1946) (ou enquête en deux phases) Base de sondage : actifs de la MSA N= π EI;i 1 ère phase Enquête initiale n EI = ème phase Répondants EI n EI,r =2363 π 2,1;i =1 Répondants EI n EI,r =2363 Non-répondants EI n EI,nr =7637 π 2,2;i =π EC;i Enquête complémentaire n EC =500 17/66

18 La cohorte pilote Coset-MSA : Population et méthodes Données recueillies (1) Enquête initiale (EI) Enquête complémentaire (EC) Période d enquête Février-mai 2010 Novembre 2010-février 2011 Mode de recueil des données Autoquestionnaire postal Téléphone ou face-à-face Données recueillies par questionnaire. Répondants Santé perçue, échelles de santé (TMS, symptômes dépressifs, asthme), consommation de tabac et d alcool, historique d emplois et d expositions professionnelles. Taux de réponse 24% 63% 70% [Questionnaire court issu de l EI] Santé perçue, consommation de tabac et d alcool, emploi actuel, quelques expositions professionnelles actuelles 18/66

19 La cohorte pilote Coset-MSA : Population et méthodes Données recueillies (2) Données disponibles via les systèmes d information (SI) existants : Informations auxiliaires. Répondants et non-répondants Variables sociodémographiques (2008) Données de santé : Assurance maladie, SNIIR-AM (2008 à 2010) Remboursement de soins Absentéisme pour raison de santé - Indemnités journalières Hospitalisations Données professionnelles : Cotisations professionnelles, MSA Dernier emploi principal en date (2008, 2009 ou 2010) Accidents du Travail et Maladies Professionnelles (ATMP) reconnus (2003 à 2008) 19/66

20 La cohorte pilote Coset-MSA : Description générale Description de l échantillon tiré au sort Parmi les personnes tirées au sort : Salariés : 56,3% Hommes : 67,8% Age médian : 43 ans Parmi les 9307 personnes avec des informations auxiliaires complètes : Entre 2008 et 2010 : 90,0% ont eu remboursement pour acte médical 29,2% ont eu une hospitalisation En 2010 : 89,2% avaient travaillé en tant qu affilié à la MSA 20/66

21 La cohorte pilote Coset-MSA : Méthodologie commune Estimation des prévalences Echantillon complet Enquête initiale Enquête en 2 phases 21/66

22 La cohorte pilote Coset-MSA : Méthodologie commune Estimation des prévalences Base de sondage : actifs de la MSA π EI;i Enquête initiale n EI = Echantillon complet Enquête initiale Enquête en 2 phases 22/66

23 La cohorte pilote Coset-MSA : Méthodologie commune Estimation des prévalences Base de sondage : actifs de la MSA π EI;i Enquête initiale n EI = Echantillon complet Enquête initiale Enquête en 2 phases δ EI;i Répondants EI n EI,r = /66

24 La cohorte pilote Coset-MSA : Méthodologie commune Estimation des prévalences Base de sondage : actifs de la MSA π EI;i Enquête initiale n EI = Echantillon complet Enquête initiale Enquête en 2 phases Répondants EI n EI,r =2363 π 2,1;i =1 Répondants EI n EI,r =2363 π 2,1;i =1 Non-répondants EI n EI,nr =7637 π 2,2;i = π EC;i Enquête complémentaire n EC =500 δ EC;i Répondants EI n EI,r =2363 Répondants EC n EC,r =313 24/66

25 La cohorte pilote Coset-MSA : Méthodologie commune Correction de la non-réponse 25/66

27 Partie 1.1 : Contexte Contexte Taux de réponse aux enquêtes épidémiologiques en baisse (Galea 2007) Correction de la non-réponse nécessaire Difficultés d accès à des informations pertinentes sur l ensemble de l échantillon pour corriger la non-réponse Systèmes d informations (SI) existants Revue de la littérature (Goldberg 2001 ; Nummela 2011 ), non-réponse associée à des : Variables sociodémographiques : âge, sexe, nombre d enfants, statut matrimonial, degré d urbanisation Variables socioprofessionnelles : catégorie d emploi, niveau d études, revenus, absentéisme Variables de santé : recours à un généraliste, à un spécialiste, à un dentiste, à des soins paramédicaux ; dépenses de santé ; médicaments prescrits ; hospitalisations Peu d études épidémiologiques prenant en compte toutes ces variables pour étudier la non-réponse Très peu d études épidémiologiques utilisant ces informations pour corriger la non-réponse 27/66

28 Partie 1.1 : Objectifs Objectifs Etudier les facteurs prédictifs de la non-réponse dans la cohorte pilote Coset-MSA à l inclusion en utilisant des données administratives relatives à la santé (SNIIR-AM) et à l activité professionnelle (MSA) Estimer des prévalences après repondération en prenant en compte les facteurs liés à la non-réponse 28/66

29 Partie 1.1 : Population et méthodes Données étudiées Enquête initiale Population et méthodes Variables d intérêt issues du questionnaire Analyses statistiques Etude des facteurs liés à la réponse Sélection des facteurs par régression logistique Estimation des prévalences Hypothèse MCAR Hypothèse MAR conditionnellement aux variables sociodémographiques (MAR(X)) Hypothèse MAR conditionnellement aux variables sociodémographiques, du SNIIR-AM et de la MSA (MAR(X,V)) 29/66

30 Partie 1.1 : Résultats Participation à l enquête initiale selon les informations auxiliaires Variables sociodémographiques Recours aux soins Hospitalisation Arrêts de travail Dernier emploi exercé 30/66

31 Partie 1.1 : Résultats Construction des groupes homogènes de réponse (méthode des scores) n E f f e c t i f % % % % % 0.6 Probabilité de réponse prédite 100% 80% 60% 40% 20% GHR1 GHR5 GHR10 Nnbnbn b Non répondants Répondants 0% GHR1 GHR2 GHR3 GHR4 GHR5 GHR6 GHR7 GHR8 GHR9 GHR10 Répondants Non-répondants 31/66

32 Partie 1.1 : Résultats Prévalence de quelques variables de l autoquestionnaire 23,7% X : variables sociodémographiques V : variables du SNIIR-AM et de la MSA

33 Partie 1.1 : Résultats Prévalence de quelques variables de l autoquestionnaire 23,7% 24,5% X : variables sociodémographiques V : variables du SNIIR-AM et de la MSA

34 Partie 1.1 : Résultats Prévalence de quelques variables de l autoquestionnaire 23,7% 24,5% 26,1% X : variables sociodémographiques V : variables du SNIIR-AM et de la MSA

35 Partie 1.1 : Discussion Discussion Facteurs d ajustement de la non-réponse Taux de réponses obtenus par la méthode des scores : de 10% à 45% Choix des variables SNIIR-AM et MSA pertinent Enquête de surveillance épidémiologique de risques professionnels Objectifs descriptifs Non-réponse liée à des variables relatives à la santé et au travail Biais de sélection potentiels Intérêt +++ des données SNIIR-AM et MSA Impact sur les estimations de prévalence En général plutôt modéré mais existant, différent selon les variables 35/66

37 Partie 1.2 : Contexte Contexte Taux de participation dans les enquêtes épidémiologiques en baisse depuis quelques années Augmentation du biais de non-réponse? Deux approches possibles : Définir des protocoles permettant d augmenter le taux de réponse Utiliser des informations liées à la fois à la propension à répondre et aux variables d intérêt pour réduire les biais de non-réponse En pratique, combinaison des deux approches 37/66

38 Partie 1.2 : Objectifs Objectifs Comparaison des estimations obtenues : - A l enquête initiale (taux de réponse 24%) - A l enquête en 2 phases (taux de réponse 70%) Après correction de la non-réponse sur des informations auxiliaires directement liées à la thématique de l enquête (SNIIR-AM et MSA) Hypothèse : Gold standard = prévalences issues de l enquête en deux phases après correction de la non-réponse sur les variables sociodémographiques, du SNIIR-AM et de la MSA (MAR(X,V)) 38/66

39 Partie 1.2 : Résultats Participation à l enquête complémentaire selon les informations auxiliaires Variables sociodémographiques Recours aux soins Hospitalisation Accidents du travail et maladie professionnelle (ATMP) Dernier emploi exercé 39/66

40 Partie 1.2 : Résultats Prévalence de quelques variables de l autoquestionnaire 40/66

41 Partie 1.2 : Résultats Prévalence de quelques variables de l autoquestionnaire 41/66

42 Partie 1.2 : Résultats Prévalence de quelques variables de l autoquestionnaire? 42/66

43 Partie 1.2 : Résultats Prévalence de variables issues des systèmes d information 43/66

46 Partie 1.2 : Discussion Discussion Insuffisant d utiliser seulement les variables sociodémographiques pour corriger la non-réponse En général, après correction de la non-réponse sur les variables sociodémographiques, du SNIIR-AM et de la MSA, écarts faibles à modérés entre les prévalences estimées à l enquête initiale et à l enquête en deux phases Variances 2 à 3 fois plus élevées à l enquête en deux phases qu à l enquête initiale (résultats non présentés ici) Lorsque écarts importants, probablement liés à des erreurs de mesure Enquête initiale et informations auxiliaires du SNIIR-AM et de la MSA suffisantes pour prendre en compte la non-réponse 46/66

48 Partie 2 : Contexte Contexte Hypothèses relatives à un taux de réponse élevé : Diminution du biais de non-réponse : mais hypothèse discutée (Groves 2006) Augmentation du biais de mesure : réponse moins précise ou volontairement erronée des personnes auprès de qui on fait beaucoup d efforts pour obtenir une réponse (Stang 2004) Utilité d atteindre un taux de réponse maximal? Peu d études ayant étudié quantitativement ce problème (Peytchev 2010 ; Olson 2006 Kreuter 2012) : Erreur=biais Quantification de l EM et de l ENR selon leur propension à répondre ou la difficulté à joindre les personnes Résultats différents selon les variables étudiées Sans correction de la non-réponse 48/66

49 Partie 2 : Contexte Objectif Etudier le compromis entre erreur de non-réponse et erreur de mesure selon la difficulté à joindre les personnes dans Coset-MSA : sans correction de la non-réponse avec correction de la non-réponse 49/66

50 Partie 2 : Population et méthodes Principe général de la méthode (Olson 2006) Idée : Quantifier les erreurs de mesure et les erreurs de nonréponse selon la difficulté à joindre les personnes Données nécessaires : Variable d intérêt Y Variable gold standard comprenant mesurée pour l ensemble des personnes tirées au sort (issue de systèmes d information existants, notée «si») Même variable mesurée par questionnaire, donc uniquement chez les répondants (notée «qaire») Echantillon Système d information y si Questionnaire y qaire 1 y si,1 y qaire,1.. n r y si,nr y qaire,nr. Répondants. n y si,n 50/66

51 Partie 2 : Population et méthodes Principe général de la méthode Système d information y si Système d information y si Questionnaire y qaire 1.. n r.. n 51/66

52 Partie 2 : Population et méthodes Application au pilote Coset-MSA Quelle définition de la difficulté à joindre les personnes? Faible = répondant à l enquête initiale (EI) Elevée = répondant à l enquête complémentaire (EC) Quelles données utiliser? Disposer de variables identiques dans les données gold standard et dans les données de questionnaire Seulement dans les SI de la MSA : Secteur d activité primaire Pour les salariés : contrat de travail en CDI Statut d emploi : salarié Pour les non-salariés : surface agricole utile en ares Disposer de données gold standard Etude restreinte aux personnes ayant eu un seul emploi affilié à la MSA en 2010 dans les bases de la MSA (n=7484) 52/66

53 Partie 2 : Résultats Sans correction de la non-réponse Résultats Erreur de non-réponse 53/66

54 Partie 2 : Résultats Sans correction de la non-réponse Résultats Erreur de non-réponse 54/66

55 Partie 2 : Résultats Sans correction de la non-réponse Résultats Erreur de mesure 55/66

56 Partie 2 : Résultats Sans correction de la non-réponse Résultats Erreur de mesure 56/66

57 Partie 2 : Résultats Sans correction de la non-réponse Résultats Avec correction de la non-réponse 57/66

58 Partie 2 : Discussion Discussion Comparaison avant/après correction de la NR : Erreur de non-réponse (ENR) nettement diminuée on corrige bien! Erreur de mesure (EM) stable ou plus élevée après correction de la nonréponse Après correction de la non-réponse : Prévalences à l enquête initiale équivalentes à celles d enquête en deux phases Contribution de l EM nettement plus élevée que celle de l ENR (sauf pour secteur primaire) Intérêt d étudier le compromis entre ENR et EM après correction de la nonréponse Travaux complémentaires : Utilisation d autres définitions de difficulté à joindre les personnes 58/66

60 Discussion générale - Perspectives Forces et faiblesses Faiblesses Enquête en deux phases : différents modes de collecte, variance 2 à 3 fois plus grandes qu à l enquête initiale Erreur de mesure / erreur de non-réponse : sur quelques variables relatives à l emploi Forces Données du SNIIR-AM et de la MSA appariées sur l échantillon tiré au sort Correction de la non-réponse, prévalences gold-standard ( ) Protocole original qui a permis d étudier la non-réponse sous plusieurs angles 60/66

61 Discussion générale - Perspectives Leçons à tirer pour Coset-MSA Enquête pilote Informations auxiliaires pour corriger la non-réponse : Variables sociodémographiques associées à la probabilité de réponse mais insuffisantes pour corriger la non-réponse Apport des données du SNIIR-AM et de la MSA Après correction de la non-réponse sur les données du SNIIR-AM et de la MSA : Prévalences issues de l enquête initiale en général équivalentes à celles issues de l enquête en deux phases Erreur totale équivalente à l enquête initiale et à l enquête en deux phases sur les quelques variables étudiées Probables erreurs de mesure résiduelles liées à la place des questions Recommandations pour l extension nationale Enquête initiale avec appariement des données du SNIIR-AM et de la MSA suffisante Intégration dans le questionnaire de variables de santé et de travail disponibles également dans les BMA pour étudier les erreurs de mesure 61/66

62 Discussion générale - Perspectives Perspectives Questions méthodologiques Erreur de non-réponse : A l inclusion : Modélisation Simulations Analyses de sensibilité Non-réponse partielle Au cours du suivi Attrition : Problématique si le motif de non-réponse est causé par l apparition entre deux vagues d enquête d une pathologie d intérêt Information auxiliaire : bases médico-administratives et questionnaires des vagues antérieures Plusieurs types de non-réponse : monotone, intermittente Erreur de mesure : comment les prendre en compte? 62/66

63 Discussion générale - Perspectives Perspectives L avenir des enquêtes en population pour la surveillance épidémiologique Bases médico-administratives seules : Algorithmes pas besoin d enquêter! Mais insuffisant Enquêtes en population indispensables Appariement autant que possible avec des BMA : - Correction de la non-réponse - Erreurs de mesure - Plus généralement erreur totale dans les enquêtes 63/66

64 MERCI POUR VOTRE ATTENTION 64/66