Projet de Renforcement des Capacités Statistiques au Burkina Faso ARCS

Transcription

1 Projet de Renforcement des Capacités Statistiques au Burkina Faso ARCS Mission Santé 5 Appui à l apurement des données de l annuaire statistique de la santé (7 au 14 mai 2006) Rapport final Réalisé par Firmin Monney SEKA Expert en Statistique de la santé

2 Table des matières SIGLES ET ABREVIATIONS... 4 I INTRODUCTION 5 II SYSTEME NATIONAL D INFORMATION SANITAIRE Définition et importance Situation du SNIS au Burkina Faso. 6 III - SITUATION DE LA QUALITE DES DONNEES. 11 IV METHODOLOGIE DE L APUREMENT DES DONNEES PRESENTATION DES PRINCIPALES TECHNIQUES D AJUSTEMENT DES DONNEES Méthode des moyennes mobiles. 16 Encadré 1 : Définition et composante d une série chronologique 16 Encadré 2 : Détermination de la période de référence Encadré 3 : Estimation de la tendance générale. 17 Encadré 4 : Détermination des coefficients saisonniers Encadré 5 : Calcul des données estimées avec la méthode des moyennes mobiles. 19 Encadré 6 : Calcul des données ajustées par la méthode des moyennes.. 20 Encadré 7 : Synthèse des étapes pour l ajustement des données en utilisant la méthode des moyennes mobiles 21 Encadré 8 : Conditions d utilisation de la méthode des moyennes mobiles Méthode des Moyennes Pondérées. 23 Encadré 9 : Détermination des clés de répartition Encadré 10 : Estimation de la tendance générale. 24 Encadré 11 : Estimation par la méthode des moyennes pondérées Encadré 12 : Calcul des données ajustées par la méthode des moyennes pondérées AJUSTEMENET DES DONNEES ETAPE PAR ETAPE Les étapes de l ajustement des données. 26 Etape 1 : Constater des anomalies 26 Encadré 13 : Calcul des taux de complétude.. 27 Etape 2 : Chercher à valider les données auprès des districts et des hôpitaux 28 Etape 3 : Faire le point de la situation des données. 28 Etape 4 : Ajuster les données imparfaites Choix de la méthode d ajustement selon la disponibilité de référence 28 Encadrer 14: Choix de la méthode d ajustement si on ne dispose pas d année de référence 28 Encadré 15 : Choix de la méthode si l on a une seule année de référence.. 28 Encadré 16 : Choix de la méthode si on dispose d au moins 2 années de référence Choix de la méthode d ajustement selon les catégories de données Cas de données sur les états morbides. 29 Encadré 17: Données relevant du système d alerte précoce 29 Encadré 18 : Méthodes pour les données sur les états morbides (maladies endémo épidémiques) Données sur les activités sanitaires 29 Encadré 19 : Méthodes pour les données sur les activités de soins curatifs 29 Encadré 20 : Méthodes pour les données sur les activités de soins préventifs. 29 2

3 4-3 PROGRAMME INFORMATIQUE POUR L AJUSTEMENT DES DONNEES PAR LA METHODE DES MOYENNES MOBILES le principe La présentation générale de l outil 30 Schéma 3 : L organigramme de l outil informatique pour la méthode des moyennes mobiles Comment utiliser le modèle? Exemples PROGRAMME INFORMATIQUE POUR L AJUSTEMENT DES DONNEES PAR LA METHODE DES MOYENNES PONDEREES le principe La présentation générale de l outil.. 34 Schéma 4: L organigramme de l outil informatique pour la méthode des moyennes pondérées Comment utiliser le modèle? Exemples. 36 V - CONCLUSION.. 38 ANNEXES.. 39 Annexe 1 : les personnes rencontrées et les documents consultés 40 Personnes rencontrées 40 Documents consultés Annexe 2 : liste des participants a l atelier de formation 41 Annexe 3 : Aide Mémoire de la mission 42 Annexe 4 : Diapositifs de la formation 47 Annexe 5 : Exercices d application et correction 85 3

4 Sigles et Abréviations ARCS : Appui au Renforcement des Capacités Statistiques (projet) CHR : Centre Hospitalier Régional CHU : Centre Hospitalier Universitaire CISSE : Centre d Information Sanitaire et de Surveillance Epidémiologique CM : Centre Médical CMA : Centre Médical avec Antenne chirurgicale CSLP : Cadre Stratégique de Lutte contre la Pauvreté CSPS : Centre de Santé et de Promotion Sociale DEP : Direction des Etudes et de la Planification ECD : Equipe Cadre de District IB : Infirmier Breveté ICP : Infirmier Chef de Poste IDE : Infirmier Diplômé d Etat INSD : Institut National de la Statistique et de la Démographie IST : Infections Sexuellement Transmissibles OMD : Objectifs du Millénaire pour le Développement OMS : Organisation Mondiale de la Santé PADS : Projet d Appui aux Districts Sanitaires PDSSN : Projet de Développement du Système Statistique National PNDS : Plan National de Développement Sanitaire RMAT : Rayon Moyen d Action Théorique SIS : Service de l Information Sanitaire SP : Service Planification SNIS : Système National d Information Sanitaire 4

5 I INTRODUCTION I.1 CONTEXTE Le Système National d Information Sanitaire, abrité au sein de la DEP du Ministère de la Santé a la charge de produire les principales statistiques sur les soins (comptabilité des actes) tant pour le secteur public que pour le secteur privé ou parapublic. Ces données sont utilisées pour calculer les principaux indicateurs de santé retenus au titre des indicateurs de développement par le gouvernement du Burkina Faso. La collecte de ces données est effectuée à travers un système de rapport en cascade : fiche mensuelle pour la formation sanitaire de base au départ pour aboutir à la saisie d une fiche trimestrielle pour les 55 districts et les 12 hôpitaux. De plus, annuellement une fiche concernant les infrastructures et le personnel est remplie et transmise au niveau central. Le projet ARCS a appuyé la DEP à établir le cahier des charges d un progiciel pour le traitement des données de l ensemble du système. Ce cahier des charges doit permettre l élaboration du progiciel dans le cadre du Projet de Développement du Système Statistique National. Ce progiciel prévoit la saisie des données des fiches mensuelles des formations de base, soit plus de 1500 fiches comportant de très nombreuses variables. Malgré un contrôle de plus en rigoureux des travaux de terrain, il subsistera des données manquantes ou aberrantes et même des fiches manquantes. Actuellement, le traitement des données s opère essentiellement au niveau des districts et de la DEP santé. Les techniciens de ces différentes structures ne disposent pas de manuel indiquant la démarche à suivre. Le traitement des données se fait donc selon une technique connue uniquement par la personne qui en a la charge. La méthode de correction des données manquantes et aberrantes n est pas précisée. La présente mission a été l occasion de renforcer les capacités des techniciens de la DEP en matière de traitement des données. I.2 OBJECTIF GENERAL La mission a comme objectif d appuyer la DEP du Ministère de la Santé à élaborer une méthodologie visant à accroître la fiabilité des données de l annuaire statistique par un apurement systématique des données (traitement des données manquantes, des données erronées, etc.). De façon spécifique, il s agira de : analyser la situation existante concernant l apurement des données de l annuaire (identification des types d erreurs et de la méthode de traitement utilisée) ; prendre en compte les résultats de la mission Santé 1 et le premier rapport qualité des données ; proposer une méthodologie pour l apurement des données. I.3 RÉSULTATS ATTENDUS Ce rapport met en relief les points suivants : La proposition d une méthode d estimation des données manquantes ou erronées pour chaque type d erreur et chaque type de variable ; La programmation des calculs des données à remplacer à l aide de l application informatique appropriée. 5

6 II - SYSTEME NATIONAL D INFORMATION SANITAIRE (SNIS) 2.1 DEFINITION ET IMPORTANCE Le système National d Information Sanitaire (SNIS) est un ensemble d éléments et de procédures étroitement liés, ayant pour but de fournir des renseignements et des informations sanitaires permettant de surveiller l état et les services de santé d un pays, afin d améliorer l administration et les décisions concernant la gestion des soins de santé publique à tous les niveaux 1. Un SNIS performant a pour but essentiel de guider la prise de décisions stratégiques, d appuyer la planification et la gestion des programmes, de suivre la performance quotidienne et de permettre une évaluation périodique des progrès accomplis vers la réalisation des cibles convenues. Il s en suit que les données n ont aucune valeur en elles mêmes ; elles n ont de valeur et d intérêt que si elles sont analysées, puis transformées en informations utiles et exploitées 2. Par définition, les Systèmes Nationaux d Information Sanitaire (SNIS) couvrent toute la gamme de sources d informations et de méthodes nécessaires au soutien de l ensemble des fonctions du système de santé. Le système national d information sanitaire comporte deux groupes d informations selon la méthode et la fréquence de la collecte de données : le système d information de routine émanant des établissements sanitaires et le système d information non routinière provenant des enquêtes et études spéciales. Il existe une parfaite corrélation entre la performance du système de santé et la qualité du SNIS. De ce fait, toute réforme du secteur de la santé nécessite la mise en œuvre d un SNIS adapté à la nouvelle vision de la politique de santé. La performance du SNIS se définissant comme la capacité de produire des données de bonne qualité pouvant être utilisées continuellement pour la prise de décision dans l amélioration du système de santé. Malgré un développement récent des Systèmes Nationaux d Information Sanitaire en Afrique de l Ouest, la plupart des pays ont encore des efforts à faire afin d avoir des SNIS complets et performants. En effet, les SNIS ont des difficultés au niveau de leur coordination, de leur capacité en ressources humaines, de l utilisation et la diffusion des informations de qualité avec une bonne promptitude. 2.2 SITUATION DU SYSTEME NATIONAL D INFORMATION SANITAIRE AU BURKINA FASO Le Système National d Information Sanitaire (SNIS) est le dispositif de gestion de l information sanitaire du Burkina Faso. Il définit les canaux d information ainsi que les délais de transmission du niveau périphérique au niveau central. Le Ministère de la santé comprend trois niveaux dans sa structuration administrative : Le niveau central qui comprend les directions centrales organisées autour du Cabinet du Ministre et du Secrétaire Général [I] ; Le niveau intermédiaire qui comprend les Directions Régionales de la Santé (13 actuellement) [II] Le niveau périphérique qui est représenté par les districts sanitaires, entités opérationnelles les plus décentralisées du système national de santé (au nombre de 55) [III]. 1 OMS, Interventions prioritaires pour renforcer les systèmes nationaux d information sanitaire ; Comité régional de l Afrique ; rapport du Directeur régional, Brazzaville (Congo), 30 août-3 septembre Health Metrics Network, Genève, World Health Organization, Evidence and Information for Policy,

7 En théorie, les informations sanitaires suivent le cheminement du niveau III au niveau I. Mais en cas d épidémie, cette pyramide peut être modifiée. Le circuit de transmission de l information sanitaire de la périphérie au niveau central dépend de la composante du système et des circonstances. Le SNIS est constitué de six sous systèmes: 1. le sous système rapport de routine des services de santé ; 2. le sous système surveillance épidémiologique ; 3. le sous système d information pour la gestion des programmes ; 4. le sous système d information pour l administration et gestion des ressources ; 5. le sous système des enquêtes et des études périodiques ; 6. le sous système à assise communautaire. Le Ministère de la santé se caractérise par une responsabilisation des structures en matière de collecte d information. En son sein, il n y a pas une seule structure qui collecte les données. Nonobstant cela, chaque collecte s insère dans un des systèmes ci-dessus le système de routine Les informations sur ce système sont gérées par la Direction des Etudes et de la Planification (DEP). Ce système intègre les informations du système d alerte précoce qui sont fournies par les structures de soins Type de données collectées en routine Les catégories de données collectées à travers le système de routine sont : - Les données sur les activités sanitaires - Les données épidémiologiques - Les données sur l administration et de gestion Données sur les activités sanitaires Les données sur les activités concernent les soins curatifs (en ambulatoire et en hospitalisation), les soins préventifs et promotionnels. Les paquets d activités sont fonction du niveau du plateau technique des formations sanitaires 7

8 Données épidémiologiques Elles concernent les informations sur les états morbides et les causes de décès en milieu hospitalier Les états morbides sont classés en deux principales catégories : - les maladies d intérêt spécial qui sont les maladies à potentiel épidémique (méningite, rougeole, diarrhée sanguinolente, choléra, ictère fébrile) et les maladies professionnelles notifiées par les services de l Office de Santé des Travailleurs (OST) ; - les maladies endémiques faisant l objet de programmes de santé (tuberculose, tétanos néonatal, ver de Guinée) Données d administration et de gestion Il s agit des données sur la gestion des stocks de médicaments et de vaccins, et des données sur la gestion du système (formation et supervision) Les supports de collecte Il existe deux catégories de supports : les registres et les rapports périodiques. Les rapports périodiques sont de trois types : - Les rapports mensuels des CSPS, CM/CMA, - Les rapports trimestriels des districts, - Les rapports trimestriels des hôpitaux (CHU, CHR) Processus de collecte, de traitement et d analyse des données Au niveau du premier échelon du district Dans toutes les formations du premier échelon du district (CSPS 3, dispensaire, maternité, etc.), une synthèse mensuelle des maladies et des consultations journalières est faite et transmise au responsable CISSE (Centre d Information Sanitaire et de Surveillance Epidémiologique) de district au plus tard le 10 du mois suivant le mois objet du rapport Au niveau du deuxième échelon du district Dans les formations sanitaires du deuxième échelon du district (centres médicaux avec antenne chirurgicale), l organisation et les délais sont les mêmes qu au niveau du premier échelon du district. Toutefois, le responsable en charge de la synthèse mensuelle dans la formation sanitaire doit s assurer que tous les services 4 (y compris le laboratoire et le bloc opératoire) ont transmis leur rapport mensuel. 3 CSPS : Centre de Santé et de Promotion Sociale (comprend une maternité, un dispensaire et un dépôt en médicaments essentiels génériques) 4 A la différence du CSPS, le CMA dispose d un laboratoire et d un bloc opératoire. 8

9 Au niveau de l Equipe Cadre de District (ECD) Le responsable CISSE de district est chargé de faire une synthèse trimestrielle de l ensemble des rapports mensuels reçus des formations sanitaires des premier et deuxième échelons. Trois exemplaires sont élaborés dont un reste au niveau du district et les deux autres sont acheminés à la Direction Régionale de la Santé qui en conserve un et transmet le second à la Direction des Etudes et de la Planification. Le rapport trimestriel doit être transmis à la DEP au plus tard 30 jours après la fin du trimestre faisant objet de son rapport. Au niveau régional, aucun traitement n est effectué Au niveau des Hôpitaux Au Burkina Faso, on distingue deux types de centres hospitaliers : les Centres Hospitaliers Régionaux (CHR) et les Centres Hospitaliers Universitaires (CHU). Les hôpitaux transmettent directement un rapport trimestriel à la DEP. En théorie, chaque service de l hôpital doit transmettre un rapport mensuel au service de l information médicale de l hôpital pour consolidation Au niveau de la Direction des Etudes et de la Planification (DEP) Après réception des rapports trimestriels des districts et des rapports trimestriels des hôpitaux, les agents de la DEP procèdent à la saisie des données et au calcul des indicateurs. L annuaire doit normalement être disponible au mois de juin de l année suivante mais compte tenu des retards d acheminement des rapports des districts vers la DEP et du manque d un logiciel de traitement des données, il est généralement finalisé au plus tôt en septembre. 9

10 Schéma 1 : Circuit des données du Système de Routine La DEP élabore l annuaire statistique au plus tard 6 mois après la fin de l année DEP Santé Rapport trimestriel transmis à la DEP au plus tard 30 jours après la fin du trimestre CHR/CHU Elaboration d un rapport trimestriel Rapport trimestriel district transmis à la DEP au plus tard 15 jours après la fin du trimestre Direction Régionale de la Santé Rapport trimestriel du district transmis à la Direction régionale au plus tard 10 jours après la fin du trimestre District Sanitaire District fait une synthèse trimestrielle Rapport mensuel transmis au plus tard 5 jours après la fin du mois Elaboration d un rapport mensuel Privé CSPS CM CM A 10

11 III - QUALITE DES DONNEES DU SYSTEME D INFORMATION SANITAIRE 3.1 FACTEURS DE LA QUALITE DES DONNEES La finalité du SNIS est de produire et rendre disponibles les informations et les indicateurs de santé fiables pour le suivi et l évaluation de la politique nationale de santé. La qualité des données est liée à trois principaux facteurs : - les sources de données, - la nature des données, - le processus de production des données Qualité de données selon les sources de données D une manière générale, la qualité des données varie d une formation sanitaire à l autre ou d un district à l autre. Les motivations individuelles des acteurs et l environnement de travail pourraient expliquer cette situation. Par exemple, la qualité des données provenant des districts est généralement supérieure à celles provenant des hôpitaux. Cette situation s explique par le fait que les CSPS et le CMA/CM ont des quantités de données à collecter moins denses par rapport aux hôpitaux. Dans les hôpitaux, les activités de collecte et de gestion de données ne sont pas bien suivies Qualité des données selon les catégories de données produites Quelle que soit la provenance des données (CSPS, CM/CMA ou hôpitaux), les difficultés de collecte et de gestion des données sont liées à la nature des données. Les erreurs commises au cours de la collecte des données ne sont pas les mêmes pour les données épidémiologiques, les données sur les activités et les données sur l administration Qualité des données selon le processus de production des données Quelles que soient la source et la nature des données, des erreurs peuvent être introduites pendant la collecte, la saisie et la gestion des données, c'est-à-dire tout au long du processus de production des données. Pour minimiser ces erreurs, des procédures de contrôle et validation peuvent être mises en place en plus de la formation et de la supervision des acteurs impliquées dans la collecte et le traitement des données. Par ailleurs, l utilisation d un logiciel informatique permet de standardiser la saisie des données en vue de minimiser les erreurs. 3.2 LES DISPOSITIONS POUR ASSURER LA QUALITE DES DONNEES Pour produire des données sanitaire de meilleure qualité, deux types d interventions sont nécessaires. Ce sont des actions préventives et des actions curatives qui devront être prises, à l image du système de soins de santé primaire. La surveillance de la qualité et l apurement par des méthodes appropriées sont respectivement les deux grandes actions Surveillance de la qualité des données La surveillance permanente de la qualité des données est basée sur la complétude, la promptitude et les autres vérifications au cours de la collecte, la compilation, la saisie et l analyse des données. Le rapport sur la qualité des données de la santé 2004 a indiqué des actions à mener pour améliorer la qualité des données. La plupart des actions, une fois mises en œuvre, auront des résultats à moyen et long termes. 11

12 3.2.2 Apurement des données Malgré la surveillance de la qualité des données, il y aura toujours des corrections à apporter avant la diffusion des données. L apurement de données est important dans le processus de production de l annuaire statistique de la santé ou tout autre support de diffusion de données sur la santé tel que le tableau de bord des indicateurs de santé. L étape d apurement demeure nécessaire même si les différents contrôles de routine sont menés. Il s agit du dernier recours pour améliorer la qualité des données après que toutes les autres corrections aient été faites dans le processus de collecte et de gestion des données (collecte de données, compilation des rapports, saisie des données). Au Burkina Faso, les acteurs impliqués dans la production de l annuaire statistique témoignent que certains redressements ou ajustements de données sont parfois effectués, mais chaque personne a sa recette. Pour faire des ajustements et des corrections de données imparfaites avec plus de rigueur scientifique et standardisé, il est nécessaire d avoir des outils et des méthodes appropriées. Schéma 2 : Facteurs pouvant influencer la qualité des données Niveau I Analyse des sources de données : analyse des inputs Données de routines Autres données Données des hôpitaux (CHU/CHR) Données des CSPS, CM/CMA Données démographiques Données sur les ressources sanitaires Niveau II Analyse du processus de production des données Collecte des données Saisie des données Gestion et analyse des données Disponibilité des supports de collecte Formation, supervision Circuit de transmission des données Disponibilité d un logiciel adapté et fonctionnel Existence de procédures contrôle et de validation Formation, supervision Existence d un système de monitoring des données Existence d une méthodologie d apurement Formation, supervision Niveau III - Analyse des produits du système d information : analyse des outputs Indicateurs de ressources sanitaires R. Financières R. Humaines R. Infrastructures Indicateurs d activités sanitaires Curatifs Préventifs Promotionnels Indicateurs d état de santé Morbidité Mortalité Létalité hospitalière 12

13 SITUATION DE L APUREMENT DES DONNEES SANITAIRES AU BURKINA FASO Pour la première fois, une évaluation de la qualité des données du système d information sanitaire de routine du Bukina Faso a été réalisée sur la base des données de l année L analyse de la qualité des données s est faite en utilisant certains indicateurs de qualité qui sont - La pertinence des données - La précision des données - La ponctualité de la production des données - L accessibilité et la clarté des données - La comparabilité des données - La cohérence des données - La complétude des données Au regard des indicateurs ci-dessus, l évaluation a porté plus généralement sur la qualité du système d information de routine. Cette approche est compréhensible parce qu il y a une liaison étroite sur la qualité du SNIS et la qualité des données. Le rapport sur la qualité des données de 2004 a permis de faire une mise à plat des insuffisances au niveau des données produites, des catégories d erreurs et de l analyse des facteurs associés à la qualité des données. Ce rapport a posé un diagnostic général sur la situation des données et a fait des recommandations sur des actions à entreprendre pour améliorer la qualité des données tout au long du processus de collecte, traitement, analyse et diffusion des données. Tableau 1 : Indicateurs d évaluation de la qualité de la production statistique de la DEP/Santé Groupe Indicateurs d évaluation Pertinence Nombre de demandes de l annuaire statistique reçues sur une année. Niveau de satisfaction des utilisateurs Précision Erreurs de couverture Pourcentage de formations sanitaires privées et confessionnelles fournissant les rapports mensuels. Erreurs de mesures Existence d une liste d indicateurs avec des définitions consensuelles Existence de guide de remplissage des supports de collecte Utilisation des mêmes supports de collecte Recyclage des agents de collecte Existence d un manuel de formation Existence d un système de contrôle des rapports Existence de feed back sur les erreurs décelées Erreurs de traitement Existence d un manuel de procédures Existence d un logiciel de traitement Existence d un rapport sur le traitement Ponctualité / actualité Délais de publication de l annuaire statistique Taux de promptitude du remplissage des supports de collecte Accessibilité / clarté Mode de diffusion des données de l annuaire statistique Nombre d exemplaires reproduits Autres publications issues des données du SNIS Comparabilité Longueur des séries disponibles Respect des normes et nomenclatures nationales et internationales Respect des méthodes et/ou base de calcul Système de validation des données Cohérence Cohérence entre le niveau régional et central Complétude Nombre de rapports reçus / nombre de rapports attendus (trimestriels) Nombre de rapports reçus / nombre de rapports attendus (mensuels) Existence d un rapport sur les taux de complétude et promptitude Source : Rapport sur la qualité des données du système d information sanitaire du Burkina Faso 13

14 Les résultats de la première évaluation de la qualité des données ne permettent pas d avoir les types d erreurs selon les catégories de données, les types d erreurs selon les sources de données (district, hôpital). Des dispositions opérationnelles pour l apurement des données sur la base des constats n ont pas été proposées. Par conséquent, la situation de l apurement des données ne s est pas encore améliorée. L analyse de la qualité des données devra être approfondie afin de proposer, pour chaque type d erreurs et en fonction des catégories de données, des facteurs de correction. Tableau 2 : Situation d entrée des rapports trimestriels 2005 selon la région (mise à jour le 15 Août 2005) Trim. 1 Trim. 2 Nombre rapports Nombre de Taux de reçus rapports promptitude Trim. 1 et Trim. 2 attendus Cascades % Boucle du Mouhoun % Centre-Est % Centre-Nord % Centre-Sud % Centre % Centre-Ouest % Est % Hauts-Bassins % Nord % Plateau Central % Sahel % Sud-Ouest % Total reçu ,4% Total attendu Taux de promptitude 77,6% 55,2% 65,4% *Trim. 1 : Trimestre1, Trim. 2 : Trimestre 2 Source : Service de l information Sanitaire, DEP Santé, fichier «suivi des entrées des rapports trimestriels DEP». Le tableau ci-dessus montre que la complétude et la promptitude des rapports sont relativement faibles à la date du 15 août. La promptitude varie selon les régions sanitaires. 14

15 Tableau 3 : Différence d estimations des effectifs de population observées entre la DEP et les régions sanitaires en 2003 et en Estimations DEP Estimations au niveau régional Ecart région par rapport à la DEP (%) Estimations DEP Estimations au niveau régional Ecart région par rapport à la DEP (%) Cascades , ,1 Boucle du Mouhoun , ,1 Centre Est , ,6 Centre Nord , ,5 Centre Sud , ,5 Centre , ,5 Centre Ouest , ,0 Est , ,5 Hauts Bassins , ,7 Nord , ,4 Plateau Central , ,0 Sahel , ,6 Sud Ouest , ,1 Ensemble pays , ,6 Source : Rapport sur la qualité des données Les discordances observées au niveau des estimations de la population, entre les régions et la DEP montre qu il n existe pas de système de validation des données. La principale conséquence de cette situation est que les indicateurs calculés par les Directions Régionales sont différents de ceux de la DEP bien que le Système d Information soit unique. 15

16 IV - METHODOLOGIE DE L APUREMENT DES DONNEES 4.1 PRESENTATION DES PRINCIPALES TECHNIQUES D AJUSTEMENT DES DONNEES Il existe plusieurs méthodes d ajustement de données imparfaites. Quelques types de méthodes adaptées pour la correction des données imparfaites sont présentés ci-après. Il s agit de : - Méthode des moyennes mobiles, - Méthode des moyennes pondérées, - Méthode Delphi Méthode des moyennes mobiles Le principe de cette méthode est d estimer les données pour chaque période de l année (mois, trimestre) sur la base de la tendance générale des données et des variations saisonnières observées dans le passé. Il s agit donc d estimer la tendance générale et les coefficients saisonniers de chaque période de l année. La méthode des moyennes mobiles est basée sur l analyse des séries chronologiques. Encadré 1 : définition et composante d une série chronologique Il y a série chronologique lorsqu on dispose de mesures faites sur une variable au cours d une durée assez longue, les mesures ayant été effectuées à intervalles de temps constants (mois, trimestre, année par exemple). Les composantes d une série chronologique sont : La tendance séculaire (mouvement de tendance générale) Les variations cycliques (cas de la rougeole : après une épidémie, on a un cycle de diminution) Les variations saisonnières (climat, activité économique, campagne agricole,) Les variations accidentelles (grèves, événement politique) Pour la mise en œuvre de la méthode des moyennes mobiles, il faut : - Repérer les données de référence, - Estimer la tendance générale des données, - Estimer les coefficients saisonniers, - Calculer les données estimées, - Ajuster les données en tenant compte du taux de complétude des données. Encadré 2 : Détermination de la période de référence Il s agit d une étape importante pour la mise en œuvre de la méthode des moyennes mobiles. Elle constitue la base importante de la fiabilité des résultats de l ajustement. Par conséquent, le choix de la référence doit être fait selon les dispositions suivantes : - La référence des données ne doit pas excéder trois années. - La référence des données doit être continue. - S il y a eu des réformes au niveau du système d information, ne prendre en compte que les données après cette réforme. 16

17 Encadré 3 : Estimation de la tendance générale La tendance générale permet de savoir s il y a une croissance dans le temps ou une décroissance. Cette tendance peut être montrée à l aide d un graphique (courbe). Les techniques de régression linéaire (ajustement par une droite) permettent de rechercher une équation de type Y = ax+b qui se rapproche au mieux de la tendance générale. a et b peuvent être obtenus à partir de l équation suivante : a = XiYi / Xi Xi : représente les périodes (mois, trimestre) Yi : représente la série de données b = moyenne (Y) a*moyenne (X) Avec le logiciel EXCEL, on a : a = DROITEREG(Y) Exemple Année Trimestre Ordre (Xi) Données brutes Yi a = - 3,54 b = 1073,50 Y = - 3,54X+1073,50 17

18 Encadré 4 : Détermination des coefficients saisonniers Les coefficients saisonniers permettent de mesurer l influence saisonnière attachée à chaque mois ou à chaque trimestre. Le nombre de coefficients saisonniers dépend de la périodicité des données : - Si l on dispose de données mensuelles, il y a 12 coefficients saisonniers - S il s agit de données trimestrielles, il y a 4 coefficients saisonniers Les coefficients saisonniers de la méthode des moyennes mobiles sont déterminés de la façon suivante : 1. Calculer les moyennes mobiles d ordre 3 - Commencer à partir de la deuxième valeur - (Valeur centrale + valeur précédente + valeur suivante)/3 - S arrêter à l avant dernière valeur 2. Calculer les rapports entre les moyennes mobiles et les données brutes - Calculer pour chaque trimestre, ou chaque mois le rapport entre les données brutes (observations) et les moyennes mobiles (pour toute la série) - Pas de valeurs pour le premier (trimestre ou mois) et le dernier (trimestre ou mois) Soient : MBij : moyenne mobile du trimestre i de l année j Yij : valeur brute du trimestre i de l année j Rij : rapport entre les données brutes et les moyennes mobiles Rij = Yij / MBij 3. Déterminer les coefficients saisonniers Pour chaque mois ou chaque trimestre, le coefficient saisonnier est la médiane des rapports entre les moyennes mobiles et les données brutes Soit Ci = le coefficient du trimestre i (1-4) ou du mois i (1-12) Ci = Médiane des Rij, Exemple de calcul de coefficients saisonniers Calcul des moyennes mobiles et des rapports Rij Année Trimestre Données brutes Yij Moyennes mobiles MBij Rapport Rij , , , , , , , , , , , , , , , , , Trimestre Coefficient saisonnier (Ci) (médiane des Rij) 1 1, , ,93 2 0, , , ,06 3 1, , , ,91 4 1, , ,18 18

19 Encadré 5 : Calcul des données estimées avec la méthode des moyennes mobiles Après l estimation de la tendance générale détermination de la droite de type Y = ax+b) et les coefficients saisonniers, l on peut estimer les données pour n importe quelle période (mois ou trimestre). Pour le faire, il faut : 1. Déterminer l ordre de la valeur à ajuster par rapport à la série qui a été utilisée pour estimer la tendance générale et les coefficients saisonniers Si nous prenons l exemple de l encadré 4.4, Le premier trimestre de 2004 aura pour ordre 13 Le deuxième trimestre de 2004 aura comme ordre 14 Ainsi de suite 2. Utiliser l équation de la tendance générale en remplaçant X par l ordre, soit Y cette valeur Si nous voulons estimer la valeur du 2 ième trimestre de l année 2004 sur la base de l exemple de l encadré 3 On aura X = 14 et Y = 14*a+b = 1023,96 La valeur Y ne prend pas en compte le coefficient saisonnier Multiplier Y par le coefficient saisonnier correspondant, soit Y cette valeur Y = Y*Ci avec Ci le coefficient saisonnier du mois ou du trimestre dont on veut estimer la valeur Si nous prenons l exemple, Y = 1023,96 et C2 (coefficient saisonnier du trimestre 2) C2 = 1,06 (Cf encadré) VE = 1023,96 x 1,06 = 1085,4, c est la valeur estimée par le modèle, il ne s agit pas encore de la valeur ajustée (qu on recherche) 19

20 Encadré 6 : Calcul des données ajustées par la méthode des moyennes mobiles Les données ajustées par la méthode des moyennes mobiles ne remplacent pas forcement les données disponibles, il faut tenir compte de la complétude des données transmises par les niveaux inférieurs du système d information. Soit VB(i) la valeur brute (valeur observée) pour le trimestre i (ou le mois i) Soit VE(i) la valeur estimée par la méthodes des moyennes mobile pour le trimestre (ou le mois i) Soit Ti le taux de complétude des données pour le trimestre i (ou du mois i) Soit VA(i) la valeur ajustée pour le trimestre i (ou mois i) : il s agit de la valeur qui va remplacer la valeur qu on décide de corriger VA (i) = VB (i) +(1-Ti)*VE (i) Si aucune donnée n est transmise (donnée manquante), le taux de complétude est égal à zéro, alors : VA = VE (la valeur estimée est égale à la valeur ajustée ). Si toutes les données sont transmises, le taux de complétude est égal à 100% Alors VA = VB (la valeur brute est utilisée). Exemple Trimestre Données Brutes (données reçues) Taux de complétude Valeur estimée Valeur ajustée % % % % Total Les données ayant une complétude de 100% n ont pas été ajustées. - Du fait que les données du trimestre 4 avaient une complétude inférieure à 100%, les données sont sous estimées. - L ajustement prend en compte les données transmises. - Après l ajustement, le total est passé de 1320 à

21 Encadré 7 : Synthèse des étapes pour l ajustement des données en utilisant la méthode des moyennes mobiles Action 1 : Définir une référence Action 2 : Faire une courbe des données de la série Pour chaque année Pour l ensemble des années Action 3 : Estimer la tendance générale en utilisant une droite d ajustement Avec Excel, estimer une tendance, en calculant l équation de la droite Action 4 : Calculer les moyennes mobiles d ordre 3 Commencer à partir de la deuxième valeur (Valeur centrale + valeur précédente + valeur suivante)/3 S arrêter à l avant dernière valeur Action 5 : Estimer les coefficients saisonniers Pour les données trimestrielles, il y a 4 coefficients saisonniers : Calculer pour chaque trimestre le rapport entre les données brutes (observations) et les moyennes mobiles (pour toute la série) Pas de valeurs pour le premier trimestre et le dernier trimestre de la série Le coefficient saisonnier du trimestre 1 est la médiane des rapports des premiers trimestres de la série Le coefficient saisonnier du trimestre2 est la médiane des rapports des deuxièmes trimestres de la série Ainsi de suite Pour les données mensuelles, il y a 12 coefficients saisonniers Calculer pour chaque mois le rapport entre les données brutes (observations) et les moyennes mobiles (pour toute la série) Pas de valeurs pour le premier mois et le dernier mois de la série Le coefficient saisonnier du mois 1 est la médiane des rapports des premiers mois de la série Le coefficient saisonnier du mois 2 est la médiane des rapports des deuxièmes mois de la série Ainsi de suite Action 6 : Calculer les données estimées Déterminer l ordre de la valeur à ajuster par rapport à la série Utiliser l équation de la tendance générale en remplaçant X par l ordre, soit Y cette valeur Multiplier Y par le coefficient saisonnier correspondant, vous obtenez Y qui est la valeur ajustée Action 7 : Calculer les données ajustées Déterminer le taux de complétude des données Utiliser les données estimées pour ajuster les données dont la complétude est inférieure à 100%. 21

22 Encadré 8 : Conditions d utilisation de la méthode des moyennes mobiles La méthode des moyennes mobiles doit être utilisée dans les conditions suivantes : Avoir des données de référence d au moins 2 ans (référence idéale : 3 à 5 ans) Par leur nature, les données doivent se prêter aux variations saisonnières. Il s agit notamment des données sur : - les états morbides (maladies endémo épidémiques) : o paludisme o rougeole o infections sexuellement transmissibles o etc. - les activités de soins curatifs o activités de consultations externes o activités d hospitalisation o accouchements, avortements o activités de laboratoire o activités para-cliniques o activités de radiologie 22

23 Méthode des Moyennes pondérées La méthode des moyennes pondérées est utilisée lorsqu on a une seule année de référence. La méthode des moyennes pondérées nécessite l estimation de la tendance générale (comme la méthode des moyennes mobiles) et des coefficients de pondération. Encadré 9 : Détermination des coefficients de pondération Les coefficients de pondération sont des constantes dont la somme est égale à 100% (contrairement à la méthode des moyennes mobiles où les coefficients saisonniers ne respectent pas cette règle). Les coefficients de pondération sont déterminés à partir des données de référence. s il s agit de données mensuelles, il y a 12 coefficients de pondération (un coefficient par mois). s il s agit de données trimestrielles, il y a 4 coefficients de pondération. soit Yi la valeur du mois i ou du trimestre i soit Yi le total des valeurs soit αi le coefficient de pondération du mois i ou du trimestre i αi = Yi / Yi Exemple Trimestre Valeur (Yi) Coefficient de pondération (αi) % % % % Total % 23

24 Encadré 10 : Estimation de la tendance générale La tendance générale permet de savoir s il y a une croissance dans le temps ou une décroissance. Cette tendance peut être montrée à l aide d un graphique (courbe). Les techniques de régression linéaire (ajustement par une droite) permettent de rechercher une équation de type Y = ax+b qui se rapproche au mieux de la tendance générale. a et b peuvent être obtenus à partir de l équation suivante a = XiYi / Xi Xi : représente les périodes (mois, trimestre) Yi : représente la série de données b = moyenne (Y) a*moyenne (X) Exemple Trimestre Valeur (Yi) Coefficient de pondération (αi) % % % % Total % a = 9,2 b = Encadré 11 : Estimation par la méthode des moyennes pondérées L estimation des données est faite de la manière suivante : 1. Estimation du total de l année Pour les séries trimestrielles : Yt = a*( ) + 4*b = 26a+4b Pour les séries mensuelles Yt = a*( )+12*b = 222a+12b 2. Estimation de la valeur de chaque période (mois ou trimestre) Yi = Yt *pi Yi : la valeur de la période i (mois ou trimestre) à estimer pi : le coefficient de pondération de la période i (mois ou trimestre) 24

25 Encadré 12 : Calcul des données ajustées par la méthode des moyennes pondérées Les données estimées par la méthode des moyennes pondérées ne remplacent pas forcement les données disponibles, il faut tenir compte de la complétude des données transmises par les niveaux inférieurs du système d information. Soit VE(i) la valeur estimée par la méthodes des moyennes pondérées du trimestre ou le mois i Soit Ti le taux de complétude des données pour le trimestre i (ou du mois i) Soit VA(i) la valeur ajustée pour le trimestre i (ou mois i) : il s agit de la valeur qui va remplacer la valeur qu on décide de corriger Soit VB (i) la valeur brute pour le trimestre i (ou le mois i) VA (i) = VB (i) +(1-Ti)*VE (i) Si aucune donnée n est transmise (donnée manquante), le taux de complétude est égal à zéro, alors : VA = VE (la valeur estimée est utilisée entièrement pour remplacer la donnée manquante). Si toutes les données sont transmises, le taux de complétude est égal à 100% Alors VA = VB (la valeur brute est utilisée). Exemple Trimestre Taux de Données du Données brutes complétude modèle Données ajustées % % % anméthodes 4 ascen % Total Méthode Delphi - Les données ayant une complétude de 100% n ont pas été ajustées. Cette méthode permet de générer de l'information par des consultations avec des experts afin de pouvoir - L ajustement prend en compte les données transmises. dépeindre le processus ou système étudié. - Après l ajustement, le total est passé de à En théorie, la méthode Delphi est un exercice de communication de groupe entre experts géographiquement dispersés. La technique permet que des experts résolvent de façon méthodique un problème ou une tâche complexe. Elle consiste à envoyer une série de questionnaires par courrier ou par système informatisé à un groupe d experts présélectionnés. Ces questionnaires sont élaborés dans le but d'obtenir et de développer des réponses individuelles aux problèmes posés et de permettre aux experts d'affiner leur propre point de vue à mesure que le travail du groupe progresse, sans perdre de vue la tâche définie au départ. L'intérêt principal de la méthode Delphi est qu'elle évite les inconvénients d'un travail de groupe classique ( par exemple, les longs débats, les retards, les problèmes de planification, etc ). La méthode se caractérise donc par l'anonymat, des retours contrôlés et des réponses statistiques. 25

26 Les échanges au sein du groupe sont anonymes, dans la mesure où les commentaires, les hypothèses et les préférences émis par chacun sont présentés au groupe de façon à ne pas dévoiler l'identité de leur auteur. Lorsqu il n existe pas de données de référence, on peut consulter les experts de différentes régions pour avoir une idée de la tendance d un phénomène afin de faire des ajustements ou de valider les ajustements obtenus à partir des méthodes analytiques. 4 2 AJUSTEMENET DES DONNEES ETAPE PAR ETAPE Les étapes de l ajustement des données Les étapes à suivre pour conduire l apurement des données sont : - Constater des anomalies - Chercher à valider les données - Faire le point de la situation des données - Identifier avec les collègues les données à ajuster - Choisir le modèle d ajustement (méthode des moyennes mobiles ou méthode des moyennes pondérées) - Faire un rapport de synthèse après les travaux d ajustement - Reprendre éventuellement l exercice d ajustement après la séance de validation si cela est nécessaire - Utiliser les données ajustées. Etape 1 : Constater des anomalies 1. Déterminer la complétude des données disponibles. En effet, le taux de complétude est le rapport entre le nombre de rapports reçus par rapport aux rapports attendus. Même s il semble que le calcul du taux de complétude est habituellement calculé par les responsables de la gestion des données sanitaires, quelques concepts méritent d être approfondis. 2. Faire une analyse descriptive des données en utilisant des courbes pour se rendre compte des données aberrantes. 26

27 Encadré 13 : Calcul des taux de complétude Le taux de complétude peut se calculer à tous les niveaux de la gestion des données. au niveau du district Complétude des rapports mensuels pour chaque rapport trimestriel RmAt : nombre de Rapports mensuels Attendus RmRt : nombre de Rapports mensuels Reçus CRmt : Complétude des Rapports mensuels CRmt = RmRt / RmAt Au niveau central Complétude des rapports trimestriels RtA : nombre de Rapports trimestriels Attendus RtR : nombre de Rapports trimestriels Reçus CRt : Complétude des Rapports trimestriels CRt = RtR / RtA CRt ne permet pas d avoir réellement la complétude des données parce que tous les rapports trimestriels n ont pas la même complétude. Pour avoir la complétude réelle des données, il faut calculer au niveau central, la complétude mensuelle des données. Même si le niveau central ne reçoit pour l instant que les rapports trimestriels, le calcul est possible et il doit être fait. Complétude des rapports des données TRmA : total des rapports mensuels attendus TRmR : total des rapports mensuels reçus Cd : complétude des données Cd = TRmA / TRmR Le taux de complétude des rapports trimestriels n est pas un bon indicateur de la complétude des données. 27

28 Etape 2 : Chercher à valider les données auprès des districts et des hôpitaux Même si la validation est une action permanente dans le processus de production des données depuis la collecte dans les structures sanitaires jusqu à la transmission au niveau central, il est important de chercher certaines anomalies constatées pendant l analyse des données pour la production de l annuaire. Si le temps le permet, un appel devra être lancé auprès des fournisseurs de données ayant une mauvaise complétude pour récupérer les données manquantes. Etape 3 : Faire le point de la situation des données Il s agit du début de l apurement proprement dit. A ce niveau, le responsable chargé de la gestion des données devra établir une situation des données disponibles. Dans cette situation, il devra documenter toutes les tentatives initiées pour améliorer la qualité des données. Les éléments qui devront être pris en compte sont : - Le taux de complétude des données - Les données aberrantes - Les données manquantes Le point de la situation devra permettre de déterminer les catégories de données concernées ainsi que les districts ou les hôpitaux retardataires. Le point de la situation devra être discuté avec toute l équipe chargée la gestion de données et de la production de l annuaire. Cela permet à tout le monde de s approprier le processus d apurement et de prendre des décisions consensuelles en ce qui concerne l indentification des données à ajuster. Etape 4 : Ajuster les données imparfaites : choix du modèle d ajustement L ajustement des données se fait en utilisant les méthodes présentées plus haut. Les méthodes à utiliser dépendent des types de données, du type d anomalies et de la disponibilité ou non de données de référence. La qualité de l ajustement est fortement liée à l analyse des anomalies et au choix des données les plus appropriées Choix de la méthode d ajustement selon la disponibilité de données de référence Encadré 14 : Choix de la méthode d ajustement si on ne dispose pas d année de référence On utilise la méthode Delphi pour avoir la tendance et les coefficients de pondération. Encadré 15 : Choix de la méthode si on a une seule année de référence On utilise la méthode des moyennes pondérées si les données de l année de référence sont par mois ou par trimestre On utilise la méthode Delphi pour avoir la tendance et les coefficients de pondération si les données de l année de référence ne sont pas désagrégées 28

29 Encadré 16 : Choix de la méthode si on dispose d au moins 2 années de référence Si les données ne se prêtent pas aux variations saisonnières, - On utilise la méthode des moyennes mobiles Si les données se prêtent aux variations saisonnières - On utilise la méthode des moyennes pondérées en estimant la droite de tendance et les coefficients de pondération Choix de la méthode d ajustement selon les catégories de données Cas des données sur les états morbides Encadré 17 : Données relevant du système d alerte précoce Faire les corrections en accord avec le service chargé de la surveillance des maladies à potentiel épidémique Faire une réunion de validation des données si elles sont produites à travers plusieurs sources. Encadré 18 : Méthodes pour les données sur les états morbides (maladies endémo-épidémiques) Utiliser la méthode des moyennes mobiles si on dispose d au moins 2 années de référence. Utiliser la méthode d ajustement des moyennes pondérées si on a une seule année de référence. S il n y a pas de données de référence, utiliser la méthode Delphi pour estimer la tendance et les coefficients de pondération, puis utiliser la méthode des moyennes pondérées Données sur les activités sanitaires Encadré 19 : Méthodes pour les données sur les activités de soins curatifs Utiliser la méthode des moyennes mobiles si on dispose d au moins 2 années de référence. Utiliser la méthode d ajustement des moyennes pondérées si on a une seule année de référence. S il n y a pas de données de référence, utiliser la méthode Delphi pour estimer la tendance et les coefficients de pondération, puis utiliser la méthode des moyennes pondérées. Encadré 20 : Méthodes pour les données sur les activités de soins préventifs Utiliser la méthode d ajustement des moyennes pondérées s il y a des données de référence. S il n y a pas de données de référence, utiliser la méthode Delphi pour estimer la tendance et les coefficients de pondération, puis utiliser la méthode des moyennes pondérées. 29