Evaluation des systèmes statistiques de routine de la région de Kolda

Transcription

1 Evaluation des systèmes statistiques de routine de la région de Kolda Vincent Turmine Rapport final 09/01/2013

2 Table des matières TABLE DES MATIERES 1 LISTE DES SIGLES ET ACRONYMES 3 RESUME EXECUTIF 4 INTRODUCTION 5 Contexte 5 Objectifs 5 METHODOLOGIE 6 Analyse préliminaire 6 Etude des structures productrices de données 7 Satisfaction des utilisateurs 8 LES ACTEURS ET LES MECANISMES DE PRODUCTION STATISTIQUES 10 Secteur de la Santé 10 Secteur de l Education 12 Secteur de la protection 13 Agence Régionale de Développement 16 Les services régionaux intersectoriels 17 SERVICE REGIONAL DE LA STATISTIQUE ET DE LA DEMOGRAPHIE 17 SERVICE REGIONAL DE LA PLANIFICATION 17 ETAT DES LIEUX DES SYSTEMES DE PRODUCTION STATISTIQUE DE ROUTINE 19 Analyse du secteur Santé 19 CONDITIONS STRUCTURELLES 19 ASSURANCE DE L INTEGRITE 20 RIGUEUR METHODOLOGIQUE 21 EXACTITUDE ET FIABILITE 22 UTILITE 23 ACCESSIBILITE 23 SYNTHESE 25 Analyse du secteur Education 27 CONDITIONS STRUCTURELLES 27 ASSURANCE DE L INTEGRITE 27 RIGUEUR METHODOLOGIQUE 28 EXACTITUDE ET FIABILITE 30 UTILITE 31 SYNTHESE 32 Analyse du secteur de la Protection 34 CONDITIONS STRUCTURELLES 34 1

3 ASSURANCE DE L INTEGRITE 35 RIGUEUR METHODOLOGIQUE 35 EXACTITUDE ET FIABILITE 36 UTILITE 37 SYNTHESE 38 CONCLUSION 40 Recommandations 40 BESOINS STRUCTURELS 40 QUALITE DES DONNEES 41 DIFFUSION 42 RELATIONS INTERSECTORIELLES 42 REFERENCES 44 ANNEXES 45 Liste des personnes contactées 45 Entretien Producteur 46 Questionnaire Producteur 48 2

4 Liste des sigles et acronymes AEMO ANSD ARD CTS DPRE DPSR DS IA IDEN INEADE MoRES PDEF PRDI S&E SDAS SDDC SGBD SIG SISE-DL SNIS SRSD SRP UNESCO UNICEF Action éducative en milieu ouvert Agence nationale de la statistique et de la démographie Agence régionale de développement Comité technique et de suivi Direction de la planification et de la réforme de l éducation Direction de la planification et du suivi de la réforme District sanitaire Inspection d académie Inspection départementale de l éducation nationale Institut national d étude et d action pour le développement de l éducation Monitoring results for equity system Programme décennal de l éducation et de la formation Programme regional de développement intégré Suivi et Evaluation Service départemental de l action sociale Service départemental du développement communautaire Système de gestion de base de données Système d information géographique Système d information et de suivi-évaluation sur le Développement Local Système national de l information sanitaire Service régional de la statistique et de la démographie Service régional de la planification Organisation des Nations-Unie pour l éducation, la science et la culture Fonds des Nations-Unies pour les enfants 3

5 Résumé exécutif Dans le cadre de la préparation du MoRES (Monitoring Results for Equity System), le bureau UNICEF Sénégal a exprimé le besoin d évaluer les processus de production de données de routine sur la situation des enfants dans la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de l enfant, l éducation et la protection des femmes et des enfants. Cette étude ainsi a pour objectif d analyse ces systèmes sectoriels dans le but d améliorer et/ou d identifier des solutions alternatives pour l amélioration de la qualité et la régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b). Pour dresser une situation des systèmes de suivi de routine pour chaque secteur, nous nous sommes fixés des objectifs spécifiques débouchant sur les résultats attendus suivant : Avoir une vision générale du système statistique au niveau multisectoriel (Santé, Education et Protection) ; Identifier l ensemble des acteurs participant à l élaboration des systèmes statistiques tant au niveau régional, que départemental et local Elaborer un schéma des relations intra-sectorielles du système de suivi de routine ; Comprendre le schéma organisationnel du système de routine pour chaque service sectoriel décentralisé ; Analyser les processus de collecte des données ; Evaluer les systèmes de gestion des bases de données ; Analyser les traitements et procédures de contrôles des données ; Vérifier la qualité des données collectées ; Identifier le niveau de diffusion et l utilisation des données produites. 4

6 Introduction Contexte Dans le cadre de la préparation du MoRES (Monitoring Results for Equity System), le bureau UNICEF Sénégal a exprimé le besoin d évaluer les processus de production de données de routine sur la situation des enfants dans la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de l enfant, l éducation et la protection des femmes et des enfants. Cette étude ainsi a pour objectif d analyse ces systèmes sectoriels dans le but d améliorer et/ou d identifier des solutions alternatives pour l amélioration de la qualité et la régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b). Objectifs Pour dresser une situation des systèmes de suivi de routine pour chaque secteur, nous nous sommes fixés des objectifs spécifiques débouchant sur les résultats attendus suivant : Avoir une vision générale du système statistique au niveau multisectoriel (Santé, Education et Protection) ; Identifier l ensemble des acteurs participant à l élaboration des systèmes statistiques tant au niveau régional, que départemental et local Elaborer un schéma des relations intra-sectorielles du système de suivi de routine ; Comprendre le schéma organisationnel du système de routine pour chaque service sectoriel décentralisé ; Analyser les processus de collecte des données ; Evaluer les systèmes de gestion des bases de données ; Analyser les traitements et procédures de contrôles des données ; Vérifier la qualité des données collectées ; Identifier le niveau de diffusion et l utilisation des données produites. 5

7 Méthodologie L évaluation des systèmes de routine s appuie sur une approche associant un audit des acteurs producteurs de données et une enquête de satisfaction des utilisateurs des données produites dans la région de Kolda. Ces deux dimensions seront étudiées à la fois qualitativement grâce à des entretiens exploratoires et quantitativement par le biais d une grille d analyses d indicateurs. Ainsi nous analyserons la performance des systèmes statistiques de routine de la région de Kolda à travers 3 phases : Une analyse préliminaire, Une analyse de la production des données et une analyse de satisfaction des utilisateurs (Figure 1). Figure 1. Grandes étapes de l analyse des systèmes statistiques de routine Analyse préliminaire Analyse des producteurs Enquête satisfaction «utilisateurs» Analyse préliminaire A la lecture de documents consultés lors de la revue documentaire, plusieurs points ont été soulignés afin de mieux comprendre les multiples facettes nécessaires pour une meilleure évaluation des systèmes statistiques et de comprendre les difficultés qu elles soient structurelles ou techniques. Pour atteindre cet objectif, nous procéderons à un entretien exploratoire adressé aux responsables d établissements œuvrant dans les secteurs de la santé, l éducation et la protection des enfants : - Importance du rôle des statistiques pour les différents acteurs ; - Identifier les mécanismes de production des données au sein de chaque secteur. Cette analyse permettra de lever une cartographie des acteurs et des relations qu ils entretiennent avec leur hiérarchie mais aussi avec les structures locales. 6

8 Etude des structures productrices de données Dans le cadre de cette première phase, nous aurons à rencontrer les responsables des établissements déconcentrés et les agents responsables du Suivi & Evaluation (S&E) de cette structure. La présente étude s est focalisée sur les structures de la région de Kolda (l Inspection d Académie, AEMO, la Région Médicale) et limitée au département de Kolda essentiellement pour des raisons d accessibilité (Inspection Départementale de l Education Nationale, Service Départemental du Développement Communautaire, Service Départemental de l Action Sociale, District Sanitaire).Au niveau central, nous nous appuierons sur l évaluation réalisée en mars 2012 pour évoquer la situation nationale des systèmes de suivi de routine (ADE, 2012). L objectif de cette étape est d identifier les différents points faibles des systèmes analysés et d évaluer la qualité des données produites. Cette étape se décompose en 12 éléments couvrant l ensemble des fonctions d un système de suivi et évaluation. Chaque élément sera approfondi par une série d indicateurs permettant d évaluer la performance du système de suivi de routine à travers la structure du S&E, les données et l utilisation des données (Figure 2). Une grille d évaluation sera établie conférant un score cumulatif pour chaque indicateur exprimé en pourcentage. Figure 2. Liste des établissements producteurs de données 1. Structure et activités du SSE 1. Organisation de la structure 2. Ressources humaines 3. Orientation stratégique 4. Planification des activités 5. Communication et valorisation 6. Partenariat 2. Données et système de gestion 7. Collecte des données 8. Implémentation & SGBD 9. Contrôle du système et sauvegarde 3. Validation et diffusion 10. Reporting 11. Evaluation des données 12. Diffusion et utilisation 7

9 Satisfaction des utilisateurs Pour avoir une meilleure analyse des systèmes producteurs de données, il est intéressant de s attarder d une part, sur la qualité des données produites et d autre part, sur le degré de satisfaction des utilisateurs de ces données. Pour atteindre cet objectif, nous nous sommes appuyés sur des entretiens d utilisateurs au niveau local et régional visant à obtenir un avis sur la qualité des données selon les critères de validité et de fiabilité. Ces deux critères sont analysés à travers 5 dimensions : Exactitude, Complétude, Promptitude, Intégrité, Confidentialité (Tableau 1). Tableau 1. Critères d évaluation de la qualité des données Dimensions Validité Fiabilité Exactitude Complétude Promptitude Intégrité Confidentialité Définition La validité mesure le niveau d erreur dans la saisie, l échantillonnage ou l interprétation. Le degré de validité traduit si cette donnée est correcte ou biaisée Les données ont été mesurées, collectées, saisies et administrées selon des protocoles et procédures rigoureux limitant l interférence de l auteur. Les données contiennent suffisamment de détails offrant un usage complet et précis. Exemple : recenser l âge et le sexe pour les personnes atteintes du VIH/SIDA. La complétude signifie que le jeu de données de cet indicateur est complet c est-à-dire que toutes les personnes éligibles pour cet indicateur ont été enquêtées et leurs données enregistrées. La promptitude s évalue à travers la fréquence de mise à jour des données, la disponibilité de l information et le respect des périodicités requises pour la diffusion. Les données sont jugées intègres lorsque le système produisant les données protégé celles-ci de toutes modifications ou corrections à des fins politiques, collectives ou individuelles. Le niveau de confidentialité renseigne sur le degré de respect de la confidentialité des personnes enquêtées mais aussi sur la protection des données et le contrôle de l accès aux archives. Les utilisateurs ciblés ont été principalement au niveau local, régional et au sein de l UNICEF afin de comprendre comment les données statistiques de routines produites au niveau régional et départemental parvenaient à satisfaire la demande à l échelle de la région de Kolda et permettre d appuyer les prises de décision. Le choix des utilisateurs s est orienté vers des utilisateurs œuvrant 8

10 dans la Survie, l Education et la Protection de l enfant : chargés de programme du Bureau Pays UNICEF, Chargé de programme du bureau régional de Ziguinchor de l UNICEF, Service Régional de la planification, l Agence Régionale de Développement, ChildFund, WorldVision et Aide-et-Action. En sus, nous avons pu obtenir un échantillon des données produites pour les secteurs de la protection et de l éducation. Au niveau de la santé, les administrateurs des données statistiques étant en conflit avec le ministère, aucune donnée n a pu être collectée. De ce fait, la qualité des données n a pu être évaluée. 9

11 Les acteurs et les mécanismes de production statistiques Initialement, nous avions souhaité aborder les mécanismes de production de manière intégrée et intersectorielle. Force est de constater que les acteurs n entretiennent pas d échanges entre les différents secteurs suivis. Seul, l Agence Régionale de Développement (ARD) a entrepris l édification d un monitoring intersectoriel dont les résultats sont attendus à la fin de l année Les services régionaux de la planification ou de la statistique participent très peu à l édification de données intersectorielles et sont perçues comme des relais du ministère de tutelle. Nous présentons donc ici une schématisation des mécanismes régissant la production statistique dans la région de Kolda pour les secteurs de la Santé, l Education et de la Protection des enfants. Secteur de la Santé Conformément à l organisation structurelle du secteur décentralisé de la Santé, la collecte d information s effectue en 4 niveaux à partir des structures de bases (Case et poste de santé) opérant au niveau local ( Figure 3). Le district sanitaire, organe départemental s attèle à recueillir ces informations et à les contrôler afin de réaliser une première agrégation incluant les données du centre de santé qu il contrôle. Le planificateur du district est donc chargé de recueillir les données issues des établissements sanitaires locaux et d organiser les données au sein d un monitoring mensuel. Il est enfin chargé de réaliser des opérations de supervision au niveau des établissements. Sous la tutelle effective de la région médicale, ces données sont alors transmises chaque mois auprès des superviseurs régionaux pour effectuer un monitoring régulier des districts. Au niveau de la région médical, la supervision est structurée selon les thématiques (vaccination, nutrition, lutte contre la tuberculose et la lèpre, santé de la reproduction, entre autres). A Kolda, la coordination des superviseurs est assurée par le superviseur en charge de la santé de la reproduction. Ainsi, 10

12 l ensemble des données issues des districts sont agrégés par le coordinateur régional incluant les données de l hôpital régional. Le coordinateur est enfin chargé de consolider les données et de les transmettre au Service National de l Information Statistique (SNIS). Le SNIS créé par décret en 2004 agrège l ensemble des données régionales pour élaborer annuellement l annuaire statistique national. Figure 3. Schématisation de la gestion des données statistiques dans le secteur de la santé 11

13 Secteur de l Education A l instar de la santé, le secteur de l éducation épouse l organisation décentralisée avec 4 niveaux bien structurés allant des écoles (niveau local) à l INEADE (niveau national) (Figure 4). Les données sont donc produites à la base au niveau des écoles à l aide de formulaires destinés à l enquête statistique. Ces formulaires sont remplis au début de l année par les directeurs et retournés à l Inspection Départementale de l Education Nationale (IDEN). En fin d année, un second formulaire est retourné afin d évaluer les résultats de l année. A l IDEN, un planificateur est chargé de collecter les formulaires et de les saisir dans une base locale (Excel). Le planificateur est également chargé de vérifier l intégrité des données au niveau des écoles. Néanmoins, le contrôle des données est très rare notamment dans les départements étendus et peu accessible comme Médina Yoro Foula. Les données produites sont désagrégées par écoles et sont transmises ensuite à l Inspection d Académie (IA). En théorie, les rapports de l IDEN sont faits chaque trimestre mais seulement deux rapports sont réalisés (début d année scolaire et fin d année scolaire). L IA est chargée de contrôler les données des IDEN et de valider les bases transmises. Une fois ce travail réalisé, les données sont consolidés en une base locale destinée à l inspecteur et à son adjoint. Les données sont également saisies dans la base nationale nommée StatEduc afin d être directement transmises au Ministère. Les données font l objet de rapports semestriels qui n ont plus été publiés depuis Les données sont transmis à la DPRE (Direction de la Planification et de la Réforme de l'education) qui transmet à l INEADE pour les aspects relatifs aux ouvrages et à la qualité de l enseignement et au bureau des constructions scolaires pour les questions relatives aux bâtiments et ouvrages hydrauliques. Ces données permettent ensuite de publier annuellement un annuaire national dans le cadre du PDEF (Programme Décennal pour l Education et la Formation). 12

14 Figure 4. Schématisation de la gestion des données statistiques dans le secteur de l éducation Secteur de la protection A l inverse des secteurs de la Santé et de l Education, la protection est rattachée à plusieurs ministères. Ce secteur se caractérise donc d une part, par la multiplicité des ministères et d autre part, par un nombre impressionnant d acteurs à tous les niveaux (Figure 5). Au niveau local, l Etat est peu présent dans ce secteur relativement récent dans les préoccupations nationales. Les ONG mènent ainsi des actions de prise en charge ou de sensibilisation auprès des populations vulnérables. Ces ONG produisent leurs propres statistiques mais sans véritable harmonisation. 13

15 ChildFund notamment participe activement dans la production de données statistiques en appuyant le CTS pour l élaboration de bases de données au niveau départemental. Les services de l Etat interviennent essentiellement au niveau départemental (Développement local, Action sociale) et régional (AEMO). Ces services produisent des statistiques sommaires sur leurs champs d activité mais n opèrent pas de collectes d information proprement dites. Néanmoins, l édification des CTS a permis de rapprocher les services de l Etat entre eux et de favoriser le partage d information. Chaque service est également chargé de transmettre leurs données à leur direction de tutelle qui effectue ponctuellement des visites de contrôle. En marge, certains services comme la police ou la gendarmerie possèdent des données statistiques sur la population d enfants en conflit avec la loi ou en délinquance. Mais ces données restent dans une sphère confidentielle très peu accessible. Au niveau national, les données de chaque service permet en théorie de réaliser des annuaires statistiques. Seul, le ministère de la justice produit annuellement un annuaire statistique dans lequel la protection des enfants est documentée à partir des données de l AEMO. Les deux autres services sont soumis aux variabilités des changements politiques impliquant un changement de tutelle très fréquemment. 14

16 Figure 5. Schématisation de la gestion des données statistiques dans le secteur de la protection de l enfant 15

17 Agence Régionale de Développement L ARD est un organe régional regroupant la région, les communes et les communautés rurales afin d apporter une assistance aux collectivités locales de la région. Les missions de l ARD sont notamment : l appui et la facilitation à la planification du développement local ; la mise en cohérence des interventions entre collectivités locales d une même région d une part et avec les politiques et plan nationaux d autre part le suivi évaluation des programmes et plan d actions de développement local. Intégré au suivi-évaluation, le SISE-DL a été développé initialement pour faciliter le suivi des actions menées dans la région. Mais, la forte demande des partenaires tels que l UNICEF a amené l ARD a élaboré un système de suivi des indicateurs d harmonisation. Cette base de données a pour vocation d être intersectorielle s appuyant sur les différents services sectoriels et collaborant étroitement avec le service régional de la statistique et de la démographie ainsi qu avec le service régional de la planification. Cette base de données bénéficie ainsi de 158 indicateurs définis par des métadonnées avec un mécanisme de collecte de l information auprès des différents services pourvoyeurs de données. Cette fonction du SISE-DL n est pas encore opérationnelle et devrait permettre dès 2013 la mise à disposition d un monitoring de la situation socio-économique de la région de Kolda. Les données seront consultables par le web et accessible en téléchargement sur format Excel. Egalement, un effort de diffusion auprès des partenaires est planifié. Sous la tutelle de la Gouvernance, cet outil constituera un outil d aide à la décision pour l autorité régionale afin de mieux diriger les efforts à fournir tant pour les services de l Etat que pour les partenaires au développement. 16

18 Les services régionaux intersectoriels Service régional de la statistique et de la démographie Le Service Régional de la Statistique et de la Démographie (SRSD) est sous la tutelle de l Agence National de la Statistique et de la Démographie (ANSD) créée en La principale mission du SRSD est de dresser la situation économique et sociale de la région de Kolda notamment à travers la production et le suivi d indicateurs. Ces indicateurs sont ensuite publié par l ANSD annuellement à travers la publication «Situation Economique et Sociale» et site web de l ANSD. Le SRDS vient également en appui opérationnel à la réalisation des travaux d enquêtes de l ANSD de grande ampleur telle que l Enquête Démographique et Sociale ou encore les travaux cartographiques actuellement en cours. Enfin, le SRSD fournit également des données aux services déconcentrés de l Etat au niveau de la région de Kolda. Néanmoins, la capacité de travail du SRDS de Kolda composé d un chef de service et d un adjoint ne permet pas à tous les services d avoir satisfaction. Service Régional de la Planification Sous-tutelle de la Direction de la Planification Nationale, le SRP de Kolda a pour mission d appuyer la direction à : d élaborer et coordonner la politique économique et sociale à moyen terme du pays ; de préparer le Plan d Orientation pour le Développement Economique et Social, d assurer le suivi de sa mise en œuvre aux niveaux national, régional et sectoriel, d en évaluer les résultats et d en dresser le bilan ; de faire l évaluation des projets et programmes de développement. Au niveau de la région de Kolda, le SRP est composé d un chef de service et d un adjoint. Sa principale activité est de dresser un diagnostic socioéconomique et environnemental de la région, d accompagner les collectivités locale dans leur développement et de mettre en place un Plan Régional de Développement Intégré (PRDI) Les faibles moyens sont insuffisants pour participer activement à la production statistique. Néanmoins, ce service contribue 17

19 au SISE-DL notamment dans la section «projet et programme de développement». 18

20 Etat des lieux des systèmes de production statistique de routine Analyse du secteur Santé Cette étude s attèle ainsi à examiner les conditions favorables à l élaboration de bases de données à partir du district sanitaire et de la région médicale. Nous verrons ainsi comment ces deux structures s organisent pour recueillir les données et construire des outils de suivi-évaluation avant que ces données soient transmises au niveau national. L examen de la collecte au niveau local n a pas fait l objet ici d une évaluation spécifique. Conditions structurelles L organisation du système statistique de routine dans le secteur de la santé s appuie à la fois sur les besoins propres des organes régionaux et départementaux pour assurer la supervision mais aussi sur les besoins du SNIS en matière de statistique nationale. A cet effet, nous avons constaté notamment au niveau de la région médicale une organisation forte et rigoureuse tant pour la supervision tant en personnel que pour la structuration des tâches. Les différentes missions sont clairement définies et des plans d activités suivis pour mettre en place une base de données solides et régulièrement mise à jour. Toutefois, on notera que la formation initiale du personnel et les renforcements de capacités n offrent pas actuellement d avoir un personnel qualifié pour interagir au mieux avec l exigence d un suivi-évaluation notamment pour l approche qualité. Ainsi, pour le district sanitaire ou encore la région médicale, les personnes à charge des statistiques sont issues du corps médical (infirmier ou médecin). La mise à niveau du personnel est peu fréquente et les bénéfices peuvent aussi être limités par un turn-over ou promotion vers le niveau central pour les meilleurs éléments. D un point de vue qualitatif, l entretien auprès du district sanitaire souligne un plus grand besoin en renforcement de capacité notamment en matière de rigueur méthodologique. Enfin, le système de suivi-évaluation souffre à l image de l ensemble de la structure d un déficit en équipement informatique et en alimentation électrique. Si 19

21 les agents possèdent bien un outil informatique, celui-ci est souvent obsolète et pas intégrer dans un réseau informatique facilitant le partage et la sécurité des données. Assurance de l intégrité A l image du SNIS, les différentes structures de la région de Kolda n ont pas de système de suivi-évaluation proprement parlé. Il en découle l absence de recherche systématique de la qualité des informations transmises ou encore d interprétation des données (ADE, 2012). Comme au niveau national, les données utilisées pour le calcul des taux de couverture sont recueillies au niveau des services régionaux de la statistique et demeurent souvent asynchrones avec les données collectées au niveau des systèmes de santé. L implémentation des monitorings soulèvent également quelques interrogations notamment en termes de sécurisation des données. L archivage des données est quasi inexistant et très peu méthodique. Ainsi, au niveau du district, les formulaires non saisis ne sont pas stocké et accessibles aisément. Les formulaires saisis sont quant à eux non classés et parfois égarés. Enfin, l absence de systèmes de sécurité des données ou d administration des données par droits ne permet pas la traçabilité des modifications des données et laisse la possibilité d accéder aux données librement. En dernier lieu, la politisation du secteur médical est forte au Sénégal et trouve dans la région de Kolda une dimension régionale également non négligeable. Les enquêtes auprès des utilisateurs des données a montré une certaine méfiance quant à l intégrité des données qui pour les producteurs constitueraient un moyen d orienter les politiques sanitaires locales mais aussi de copter un appui plus conséquent de la coopération internationale. Ces inquiétudes constatées auprès des utilisateurs des données et partenaires des établissements sanitaires de la région de Kolda n ont cependant pu être vérifiée. En effet, l absence de publication de données a limité le contrôle effectif des données. Il est donc difficile d évoquer la possible modification de données à des fins spécifiques locales ou nationales mais l absence de crédit des utilisateurs souligne une nécessité pour ces établissements de renforcer d une part, la transparence dans la diffusion des données et d autre part, l effort de contrôle 20

22 des données à tous les niveaux à travers des collectes indépendantes du système de santé lui-même. Rigueur méthodologique Au niveau conceptuel, les principes et normes sont respectés et font l objet d un effort de mise à jour par le personnel du niveau central lors d une revue annuelle avec les représentants des régions médicales. La présence de guide méthodologique et de notices explicatives facilitent également les phases de saisies et de collectes d informations. L outil informatique est largement employé pour enregistrer et manier les données afin de fournir des indicateurs de suivi. La méthodologie employée pour la réalisation de monitorings est adéquat et facile à utiliser. Le district bénéficie ainsi d un monitoring réalisé sous Excel permettant de suivre ses indicateurs de résultats et de dresser des tableaux mensuels. Au niveau de la région médicale, les données collectées via le monitoring s intègrent également aisément dans un monitoring régional sous Excel. Cependant, certains points méthodologiques soulignent quelques carences et peuvent limiter l exactitude des statistiques. Tout d abord, l approche même du système statistique dans le secteur de la santé réduit sensiblement la nature des résultats statistiques. Ainsi, les données sont construites à partir d une collecte systématique au niveau des établissements de santé, or, dans les départements excentrées ou très pauvres comme celui de Médina Yoro Foulah, l accès au système de santé faisant défaut, les cas de pathologie ou de mortalité peuvent ne pas être recensés par le système lui-même. L évaluation des données également suscite un certain nombre d interrogation notamment pour l échelle locale. Les fonds destinés à la supervision opérationnelle (dotation en carburant) sont limités et réduisent considérablement les possibilités de contrôle notamment des districts sur les établissements communautaires. En parallèle, très peu d enquêtes sont réalisées pour acquérir de l information ménage. Ces enquêtes permettraient ainsi de palier au manque d information des zones peu accessible mais également de contrôler les données retournées par les établissements sanitaires locaux. Les rares enquêtes sont généralement menées de manière indépendante par des programmes centraux. Si l implication 21

23 du personnel régional est effective, les données ne sont pas mises à la disposition de la région médicale ou du district concerné. Exactitude et fiabilité La méthodologie de collecte de données entraine une interdépendance des données du niveau local au niveau national. Ce système nécessite une rigueur méthodologique forte et robuste pour éviter que toute erreur puisse être répercutée sur l ensemble des données agrégées. L exigence méthodologique requise par cette emboitement de données n a pu être constatée et très peu de corrections sont envisageables tant l effort de contrôle des données et de leur qualité est limité par manque de moyens financiers et matériels chroniques. La décomposition des données tant en matière de classes d âge, de genre ou de découpage géographique est bonne. Elle offre au district et à la région médicale la possibilité d exploiter les données par rapport à des populations cibles (ex : enfants de moins de 5 ans). Au niveau géographique, on note toutefois une certaine limite dans la couverture du district qui n épouse pas toujours le découpage administratif actuel. Cet aspect soulève ainsi des contraintes dans le croisement de données telles que la population (calculée selon le découpage administratif) et les données issues du système sanitaire. Le système de collecte mis en place implique une interdépendance des données. L emboitement des données à travers l agrégation de données du niveau local au niveau départemental et régional puis au niveau national nécessite un effort important de contrôle et de vérification des données. Or, les enquêtes auprès du district sanitaire de Kolda et de la région médicale montre que le contrôle de la qualité des données est peu fréquentes voire parfois inexistantes pour des raisons structurelles (moyens financiers, absence de motos, manque de personnel). Le SNIS, garant de l éthique des données, effectue quelques décentes annuellement mais là encore, la supervision globale des 14 régions nécessite un effectif supérieur à 15 personnes (ADE, 2012). Ainsi, ces difficultés structurelles limitant la vérification des données associées à l approche méthodologique induisant une interdépendance des données augmentent le risque d erreur dans les bases de données agrégées au niveau régionale et national. 22