Evaluation des systèmes statistiques de routine de la région de Kolda

Transcription

1 Evaluation des systèmes statistiques de routine de la région de Kolda Vincent Turmine Rapport final 09/01/2013

2 Table des matières TABLE DES MATIERES 1 LISTE DES SIGLES ET ACRONYMES 3 RESUME EXECUTIF 4 INTRODUCTION 5 Contexte 5 Objectifs 5 METHODOLOGIE 6 Analyse préliminaire 6 Etude des structures productrices de données 7 Satisfaction des utilisateurs 8 LES ACTEURS ET LES MECANISMES DE PRODUCTION STATISTIQUES 10 Secteur de la Santé 10 Secteur de l Education 12 Secteur de la protection 13 Agence Régionale de Développement 16 Les services régionaux intersectoriels 17 SERVICE REGIONAL DE LA STATISTIQUE ET DE LA DEMOGRAPHIE 17 SERVICE REGIONAL DE LA PLANIFICATION 17 ETAT DES LIEUX DES SYSTEMES DE PRODUCTION STATISTIQUE DE ROUTINE 19 Analyse du secteur Santé 19 CONDITIONS STRUCTURELLES 19 ASSURANCE DE L INTEGRITE 20 RIGUEUR METHODOLOGIQUE 21 EXACTITUDE ET FIABILITE 22 UTILITE 23 ACCESSIBILITE 23 SYNTHESE 25 Analyse du secteur Education 27 CONDITIONS STRUCTURELLES 27 ASSURANCE DE L INTEGRITE 27 RIGUEUR METHODOLOGIQUE 28 EXACTITUDE ET FIABILITE 30 UTILITE 31 SYNTHESE 32 Analyse du secteur de la Protection 34 CONDITIONS STRUCTURELLES 34 1

3 ASSURANCE DE L INTEGRITE 35 RIGUEUR METHODOLOGIQUE 35 EXACTITUDE ET FIABILITE 36 UTILITE 37 SYNTHESE 38 CONCLUSION 40 Recommandations 40 BESOINS STRUCTURELS 40 QUALITE DES DONNEES 41 DIFFUSION 42 RELATIONS INTERSECTORIELLES 42 REFERENCES 44 ANNEXES 45 Liste des personnes contactées 45 Entretien Producteur 46 Questionnaire Producteur 48 2

4 Liste des sigles et acronymes AEMO ANSD ARD CTS DPRE DPSR DS IA IDEN INEADE MoRES PDEF PRDI S&E SDAS SDDC SGBD SIG SISE-DL SNIS SRSD SRP UNESCO UNICEF Action éducative en milieu ouvert Agence nationale de la statistique et de la démographie Agence régionale de développement Comité technique et de suivi Direction de la planification et de la réforme de l éducation Direction de la planification et du suivi de la réforme District sanitaire Inspection d académie Inspection départementale de l éducation nationale Institut national d étude et d action pour le développement de l éducation Monitoring results for equity system Programme décennal de l éducation et de la formation Programme regional de développement intégré Suivi et Evaluation Service départemental de l action sociale Service départemental du développement communautaire Système de gestion de base de données Système d information géographique Système d information et de suivi-évaluation sur le Développement Local Système national de l information sanitaire Service régional de la statistique et de la démographie Service régional de la planification Organisation des Nations-Unie pour l éducation, la science et la culture Fonds des Nations-Unies pour les enfants 3

5 Résumé exécutif Dans le cadre de la préparation du MoRES (Monitoring Results for Equity System), le bureau UNICEF Sénégal a exprimé le besoin d évaluer les processus de production de données de routine sur la situation des enfants dans la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de l enfant, l éducation et la protection des femmes et des enfants. Cette étude ainsi a pour objectif d analyse ces systèmes sectoriels dans le but d améliorer et/ou d identifier des solutions alternatives pour l amélioration de la qualité et la régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b). Pour dresser une situation des systèmes de suivi de routine pour chaque secteur, nous nous sommes fixés des objectifs spécifiques débouchant sur les résultats attendus suivant : Avoir une vision générale du système statistique au niveau multisectoriel (Santé, Education et Protection) ; Identifier l ensemble des acteurs participant à l élaboration des systèmes statistiques tant au niveau régional, que départemental et local Elaborer un schéma des relations intra-sectorielles du système de suivi de routine ; Comprendre le schéma organisationnel du système de routine pour chaque service sectoriel décentralisé ; Analyser les processus de collecte des données ; Evaluer les systèmes de gestion des bases de données ; Analyser les traitements et procédures de contrôles des données ; Vérifier la qualité des données collectées ; Identifier le niveau de diffusion et l utilisation des données produites. 4

6 Introduction Contexte Dans le cadre de la préparation du MoRES (Monitoring Results for Equity System), le bureau UNICEF Sénégal a exprimé le besoin d évaluer les processus de production de données de routine sur la situation des enfants dans la région de Kolda couvrant trois secteurs clé que sont la santé de la mère et de l enfant, l éducation et la protection des femmes et des enfants. Cette étude ainsi a pour objectif d analyse ces systèmes sectoriels dans le but d améliorer et/ou d identifier des solutions alternatives pour l amélioration de la qualité et la régularité du suivi de 15 indicateurs traceurs sur la situation sanitaire, éducative et sociale des populations cibles (Demande) et 20 indicateurs sur le niveau des prestations offertes par les services sectoriels (Offre) (Annexe 1.a et 1.b). Objectifs Pour dresser une situation des systèmes de suivi de routine pour chaque secteur, nous nous sommes fixés des objectifs spécifiques débouchant sur les résultats attendus suivant : Avoir une vision générale du système statistique au niveau multisectoriel (Santé, Education et Protection) ; Identifier l ensemble des acteurs participant à l élaboration des systèmes statistiques tant au niveau régional, que départemental et local Elaborer un schéma des relations intra-sectorielles du système de suivi de routine ; Comprendre le schéma organisationnel du système de routine pour chaque service sectoriel décentralisé ; Analyser les processus de collecte des données ; Evaluer les systèmes de gestion des bases de données ; Analyser les traitements et procédures de contrôles des données ; Vérifier la qualité des données collectées ; Identifier le niveau de diffusion et l utilisation des données produites. 5

7 Méthodologie L évaluation des systèmes de routine s appuie sur une approche associant un audit des acteurs producteurs de données et une enquête de satisfaction des utilisateurs des données produites dans la région de Kolda. Ces deux dimensions seront étudiées à la fois qualitativement grâce à des entretiens exploratoires et quantitativement par le biais d une grille d analyses d indicateurs. Ainsi nous analyserons la performance des systèmes statistiques de routine de la région de Kolda à travers 3 phases : Une analyse préliminaire, Une analyse de la production des données et une analyse de satisfaction des utilisateurs (Figure 1). Figure 1. Grandes étapes de l analyse des systèmes statistiques de routine Analyse préliminaire Analyse des producteurs Enquête satisfaction «utilisateurs» Analyse préliminaire A la lecture de documents consultés lors de la revue documentaire, plusieurs points ont été soulignés afin de mieux comprendre les multiples facettes nécessaires pour une meilleure évaluation des systèmes statistiques et de comprendre les difficultés qu elles soient structurelles ou techniques. Pour atteindre cet objectif, nous procéderons à un entretien exploratoire adressé aux responsables d établissements œuvrant dans les secteurs de la santé, l éducation et la protection des enfants : - Importance du rôle des statistiques pour les différents acteurs ; - Identifier les mécanismes de production des données au sein de chaque secteur. Cette analyse permettra de lever une cartographie des acteurs et des relations qu ils entretiennent avec leur hiérarchie mais aussi avec les structures locales. 6

8 Etude des structures productrices de données Dans le cadre de cette première phase, nous aurons à rencontrer les responsables des établissements déconcentrés et les agents responsables du Suivi & Evaluation (S&E) de cette structure. La présente étude s est focalisée sur les structures de la région de Kolda (l Inspection d Académie, AEMO, la Région Médicale) et limitée au département de Kolda essentiellement pour des raisons d accessibilité (Inspection Départementale de l Education Nationale, Service Départemental du Développement Communautaire, Service Départemental de l Action Sociale, District Sanitaire).Au niveau central, nous nous appuierons sur l évaluation réalisée en mars 2012 pour évoquer la situation nationale des systèmes de suivi de routine (ADE, 2012). L objectif de cette étape est d identifier les différents points faibles des systèmes analysés et d évaluer la qualité des données produites. Cette étape se décompose en 12 éléments couvrant l ensemble des fonctions d un système de suivi et évaluation. Chaque élément sera approfondi par une série d indicateurs permettant d évaluer la performance du système de suivi de routine à travers la structure du S&E, les données et l utilisation des données (Figure 2). Une grille d évaluation sera établie conférant un score cumulatif pour chaque indicateur exprimé en pourcentage. Figure 2. Liste des établissements producteurs de données 1. Structure et activités du SSE 1. Organisation de la structure 2. Ressources humaines 3. Orientation stratégique 4. Planification des activités 5. Communication et valorisation 6. Partenariat 2. Données et système de gestion 7. Collecte des données 8. Implémentation & SGBD 9. Contrôle du système et sauvegarde 3. Validation et diffusion 10. Reporting 11. Evaluation des données 12. Diffusion et utilisation 7

9 Satisfaction des utilisateurs Pour avoir une meilleure analyse des systèmes producteurs de données, il est intéressant de s attarder d une part, sur la qualité des données produites et d autre part, sur le degré de satisfaction des utilisateurs de ces données. Pour atteindre cet objectif, nous nous sommes appuyés sur des entretiens d utilisateurs au niveau local et régional visant à obtenir un avis sur la qualité des données selon les critères de validité et de fiabilité. Ces deux critères sont analysés à travers 5 dimensions : Exactitude, Complétude, Promptitude, Intégrité, Confidentialité (Tableau 1). Tableau 1. Critères d évaluation de la qualité des données Dimensions Validité Fiabilité Exactitude Complétude Promptitude Intégrité Confidentialité Définition La validité mesure le niveau d erreur dans la saisie, l échantillonnage ou l interprétation. Le degré de validité traduit si cette donnée est correcte ou biaisée Les données ont été mesurées, collectées, saisies et administrées selon des protocoles et procédures rigoureux limitant l interférence de l auteur. Les données contiennent suffisamment de détails offrant un usage complet et précis. Exemple : recenser l âge et le sexe pour les personnes atteintes du VIH/SIDA. La complétude signifie que le jeu de données de cet indicateur est complet c est-à-dire que toutes les personnes éligibles pour cet indicateur ont été enquêtées et leurs données enregistrées. La promptitude s évalue à travers la fréquence de mise à jour des données, la disponibilité de l information et le respect des périodicités requises pour la diffusion. Les données sont jugées intègres lorsque le système produisant les données protégé celles-ci de toutes modifications ou corrections à des fins politiques, collectives ou individuelles. Le niveau de confidentialité renseigne sur le degré de respect de la confidentialité des personnes enquêtées mais aussi sur la protection des données et le contrôle de l accès aux archives. Les utilisateurs ciblés ont été principalement au niveau local, régional et au sein de l UNICEF afin de comprendre comment les données statistiques de routines produites au niveau régional et départemental parvenaient à satisfaire la demande à l échelle de la région de Kolda et permettre d appuyer les prises de décision. Le choix des utilisateurs s est orienté vers des utilisateurs œuvrant 8

10 dans la Survie, l Education et la Protection de l enfant : chargés de programme du Bureau Pays UNICEF, Chargé de programme du bureau régional de Ziguinchor de l UNICEF, Service Régional de la planification, l Agence Régionale de Développement, ChildFund, WorldVision et Aide-et-Action. En sus, nous avons pu obtenir un échantillon des données produites pour les secteurs de la protection et de l éducation. Au niveau de la santé, les administrateurs des données statistiques étant en conflit avec le ministère, aucune donnée n a pu être collectée. De ce fait, la qualité des données n a pu être évaluée. 9

11 Les acteurs et les mécanismes de production statistiques Initialement, nous avions souhaité aborder les mécanismes de production de manière intégrée et intersectorielle. Force est de constater que les acteurs n entretiennent pas d échanges entre les différents secteurs suivis. Seul, l Agence Régionale de Développement (ARD) a entrepris l édification d un monitoring intersectoriel dont les résultats sont attendus à la fin de l année Les services régionaux de la planification ou de la statistique participent très peu à l édification de données intersectorielles et sont perçues comme des relais du ministère de tutelle. Nous présentons donc ici une schématisation des mécanismes régissant la production statistique dans la région de Kolda pour les secteurs de la Santé, l Education et de la Protection des enfants. Secteur de la Santé Conformément à l organisation structurelle du secteur décentralisé de la Santé, la collecte d information s effectue en 4 niveaux à partir des structures de bases (Case et poste de santé) opérant au niveau local ( Figure 3). Le district sanitaire, organe départemental s attèle à recueillir ces informations et à les contrôler afin de réaliser une première agrégation incluant les données du centre de santé qu il contrôle. Le planificateur du district est donc chargé de recueillir les données issues des établissements sanitaires locaux et d organiser les données au sein d un monitoring mensuel. Il est enfin chargé de réaliser des opérations de supervision au niveau des établissements. Sous la tutelle effective de la région médicale, ces données sont alors transmises chaque mois auprès des superviseurs régionaux pour effectuer un monitoring régulier des districts. Au niveau de la région médical, la supervision est structurée selon les thématiques (vaccination, nutrition, lutte contre la tuberculose et la lèpre, santé de la reproduction, entre autres). A Kolda, la coordination des superviseurs est assurée par le superviseur en charge de la santé de la reproduction. Ainsi, 10

12 l ensemble des données issues des districts sont agrégés par le coordinateur régional incluant les données de l hôpital régional. Le coordinateur est enfin chargé de consolider les données et de les transmettre au Service National de l Information Statistique (SNIS). Le SNIS créé par décret en 2004 agrège l ensemble des données régionales pour élaborer annuellement l annuaire statistique national. Figure 3. Schématisation de la gestion des données statistiques dans le secteur de la santé 11

13 Secteur de l Education A l instar de la santé, le secteur de l éducation épouse l organisation décentralisée avec 4 niveaux bien structurés allant des écoles (niveau local) à l INEADE (niveau national) (Figure 4). Les données sont donc produites à la base au niveau des écoles à l aide de formulaires destinés à l enquête statistique. Ces formulaires sont remplis au début de l année par les directeurs et retournés à l Inspection Départementale de l Education Nationale (IDEN). En fin d année, un second formulaire est retourné afin d évaluer les résultats de l année. A l IDEN, un planificateur est chargé de collecter les formulaires et de les saisir dans une base locale (Excel). Le planificateur est également chargé de vérifier l intégrité des données au niveau des écoles. Néanmoins, le contrôle des données est très rare notamment dans les départements étendus et peu accessible comme Médina Yoro Foula. Les données produites sont désagrégées par écoles et sont transmises ensuite à l Inspection d Académie (IA). En théorie, les rapports de l IDEN sont faits chaque trimestre mais seulement deux rapports sont réalisés (début d année scolaire et fin d année scolaire). L IA est chargée de contrôler les données des IDEN et de valider les bases transmises. Une fois ce travail réalisé, les données sont consolidés en une base locale destinée à l inspecteur et à son adjoint. Les données sont également saisies dans la base nationale nommée StatEduc afin d être directement transmises au Ministère. Les données font l objet de rapports semestriels qui n ont plus été publiés depuis Les données sont transmis à la DPRE (Direction de la Planification et de la Réforme de l'education) qui transmet à l INEADE pour les aspects relatifs aux ouvrages et à la qualité de l enseignement et au bureau des constructions scolaires pour les questions relatives aux bâtiments et ouvrages hydrauliques. Ces données permettent ensuite de publier annuellement un annuaire national dans le cadre du PDEF (Programme Décennal pour l Education et la Formation). 12

14 Figure 4. Schématisation de la gestion des données statistiques dans le secteur de l éducation Secteur de la protection A l inverse des secteurs de la Santé et de l Education, la protection est rattachée à plusieurs ministères. Ce secteur se caractérise donc d une part, par la multiplicité des ministères et d autre part, par un nombre impressionnant d acteurs à tous les niveaux (Figure 5). Au niveau local, l Etat est peu présent dans ce secteur relativement récent dans les préoccupations nationales. Les ONG mènent ainsi des actions de prise en charge ou de sensibilisation auprès des populations vulnérables. Ces ONG produisent leurs propres statistiques mais sans véritable harmonisation. 13

15 ChildFund notamment participe activement dans la production de données statistiques en appuyant le CTS pour l élaboration de bases de données au niveau départemental. Les services de l Etat interviennent essentiellement au niveau départemental (Développement local, Action sociale) et régional (AEMO). Ces services produisent des statistiques sommaires sur leurs champs d activité mais n opèrent pas de collectes d information proprement dites. Néanmoins, l édification des CTS a permis de rapprocher les services de l Etat entre eux et de favoriser le partage d information. Chaque service est également chargé de transmettre leurs données à leur direction de tutelle qui effectue ponctuellement des visites de contrôle. En marge, certains services comme la police ou la gendarmerie possèdent des données statistiques sur la population d enfants en conflit avec la loi ou en délinquance. Mais ces données restent dans une sphère confidentielle très peu accessible. Au niveau national, les données de chaque service permet en théorie de réaliser des annuaires statistiques. Seul, le ministère de la justice produit annuellement un annuaire statistique dans lequel la protection des enfants est documentée à partir des données de l AEMO. Les deux autres services sont soumis aux variabilités des changements politiques impliquant un changement de tutelle très fréquemment. 14

16 Figure 5. Schématisation de la gestion des données statistiques dans le secteur de la protection de l enfant 15

17 Agence Régionale de Développement L ARD est un organe régional regroupant la région, les communes et les communautés rurales afin d apporter une assistance aux collectivités locales de la région. Les missions de l ARD sont notamment : l appui et la facilitation à la planification du développement local ; la mise en cohérence des interventions entre collectivités locales d une même région d une part et avec les politiques et plan nationaux d autre part le suivi évaluation des programmes et plan d actions de développement local. Intégré au suivi-évaluation, le SISE-DL a été développé initialement pour faciliter le suivi des actions menées dans la région. Mais, la forte demande des partenaires tels que l UNICEF a amené l ARD a élaboré un système de suivi des indicateurs d harmonisation. Cette base de données a pour vocation d être intersectorielle s appuyant sur les différents services sectoriels et collaborant étroitement avec le service régional de la statistique et de la démographie ainsi qu avec le service régional de la planification. Cette base de données bénéficie ainsi de 158 indicateurs définis par des métadonnées avec un mécanisme de collecte de l information auprès des différents services pourvoyeurs de données. Cette fonction du SISE-DL n est pas encore opérationnelle et devrait permettre dès 2013 la mise à disposition d un monitoring de la situation socio-économique de la région de Kolda. Les données seront consultables par le web et accessible en téléchargement sur format Excel. Egalement, un effort de diffusion auprès des partenaires est planifié. Sous la tutelle de la Gouvernance, cet outil constituera un outil d aide à la décision pour l autorité régionale afin de mieux diriger les efforts à fournir tant pour les services de l Etat que pour les partenaires au développement. 16

18 Les services régionaux intersectoriels Service régional de la statistique et de la démographie Le Service Régional de la Statistique et de la Démographie (SRSD) est sous la tutelle de l Agence National de la Statistique et de la Démographie (ANSD) créée en La principale mission du SRSD est de dresser la situation économique et sociale de la région de Kolda notamment à travers la production et le suivi d indicateurs. Ces indicateurs sont ensuite publié par l ANSD annuellement à travers la publication «Situation Economique et Sociale» et site web de l ANSD. Le SRDS vient également en appui opérationnel à la réalisation des travaux d enquêtes de l ANSD de grande ampleur telle que l Enquête Démographique et Sociale ou encore les travaux cartographiques actuellement en cours. Enfin, le SRSD fournit également des données aux services déconcentrés de l Etat au niveau de la région de Kolda. Néanmoins, la capacité de travail du SRDS de Kolda composé d un chef de service et d un adjoint ne permet pas à tous les services d avoir satisfaction. Service Régional de la Planification Sous-tutelle de la Direction de la Planification Nationale, le SRP de Kolda a pour mission d appuyer la direction à : d élaborer et coordonner la politique économique et sociale à moyen terme du pays ; de préparer le Plan d Orientation pour le Développement Economique et Social, d assurer le suivi de sa mise en œuvre aux niveaux national, régional et sectoriel, d en évaluer les résultats et d en dresser le bilan ; de faire l évaluation des projets et programmes de développement. Au niveau de la région de Kolda, le SRP est composé d un chef de service et d un adjoint. Sa principale activité est de dresser un diagnostic socioéconomique et environnemental de la région, d accompagner les collectivités locale dans leur développement et de mettre en place un Plan Régional de Développement Intégré (PRDI) Les faibles moyens sont insuffisants pour participer activement à la production statistique. Néanmoins, ce service contribue 17

19 au SISE-DL notamment dans la section «projet et programme de développement». 18

20 Etat des lieux des systèmes de production statistique de routine Analyse du secteur Santé Cette étude s attèle ainsi à examiner les conditions favorables à l élaboration de bases de données à partir du district sanitaire et de la région médicale. Nous verrons ainsi comment ces deux structures s organisent pour recueillir les données et construire des outils de suivi-évaluation avant que ces données soient transmises au niveau national. L examen de la collecte au niveau local n a pas fait l objet ici d une évaluation spécifique. Conditions structurelles L organisation du système statistique de routine dans le secteur de la santé s appuie à la fois sur les besoins propres des organes régionaux et départementaux pour assurer la supervision mais aussi sur les besoins du SNIS en matière de statistique nationale. A cet effet, nous avons constaté notamment au niveau de la région médicale une organisation forte et rigoureuse tant pour la supervision tant en personnel que pour la structuration des tâches. Les différentes missions sont clairement définies et des plans d activités suivis pour mettre en place une base de données solides et régulièrement mise à jour. Toutefois, on notera que la formation initiale du personnel et les renforcements de capacités n offrent pas actuellement d avoir un personnel qualifié pour interagir au mieux avec l exigence d un suivi-évaluation notamment pour l approche qualité. Ainsi, pour le district sanitaire ou encore la région médicale, les personnes à charge des statistiques sont issues du corps médical (infirmier ou médecin). La mise à niveau du personnel est peu fréquente et les bénéfices peuvent aussi être limités par un turn-over ou promotion vers le niveau central pour les meilleurs éléments. D un point de vue qualitatif, l entretien auprès du district sanitaire souligne un plus grand besoin en renforcement de capacité notamment en matière de rigueur méthodologique. Enfin, le système de suivi-évaluation souffre à l image de l ensemble de la structure d un déficit en équipement informatique et en alimentation électrique. Si 19

21 les agents possèdent bien un outil informatique, celui-ci est souvent obsolète et pas intégrer dans un réseau informatique facilitant le partage et la sécurité des données. Assurance de l intégrité A l image du SNIS, les différentes structures de la région de Kolda n ont pas de système de suivi-évaluation proprement parlé. Il en découle l absence de recherche systématique de la qualité des informations transmises ou encore d interprétation des données (ADE, 2012). Comme au niveau national, les données utilisées pour le calcul des taux de couverture sont recueillies au niveau des services régionaux de la statistique et demeurent souvent asynchrones avec les données collectées au niveau des systèmes de santé. L implémentation des monitorings soulèvent également quelques interrogations notamment en termes de sécurisation des données. L archivage des données est quasi inexistant et très peu méthodique. Ainsi, au niveau du district, les formulaires non saisis ne sont pas stocké et accessibles aisément. Les formulaires saisis sont quant à eux non classés et parfois égarés. Enfin, l absence de systèmes de sécurité des données ou d administration des données par droits ne permet pas la traçabilité des modifications des données et laisse la possibilité d accéder aux données librement. En dernier lieu, la politisation du secteur médical est forte au Sénégal et trouve dans la région de Kolda une dimension régionale également non négligeable. Les enquêtes auprès des utilisateurs des données a montré une certaine méfiance quant à l intégrité des données qui pour les producteurs constitueraient un moyen d orienter les politiques sanitaires locales mais aussi de copter un appui plus conséquent de la coopération internationale. Ces inquiétudes constatées auprès des utilisateurs des données et partenaires des établissements sanitaires de la région de Kolda n ont cependant pu être vérifiée. En effet, l absence de publication de données a limité le contrôle effectif des données. Il est donc difficile d évoquer la possible modification de données à des fins spécifiques locales ou nationales mais l absence de crédit des utilisateurs souligne une nécessité pour ces établissements de renforcer d une part, la transparence dans la diffusion des données et d autre part, l effort de contrôle 20

22 des données à tous les niveaux à travers des collectes indépendantes du système de santé lui-même. Rigueur méthodologique Au niveau conceptuel, les principes et normes sont respectés et font l objet d un effort de mise à jour par le personnel du niveau central lors d une revue annuelle avec les représentants des régions médicales. La présence de guide méthodologique et de notices explicatives facilitent également les phases de saisies et de collectes d informations. L outil informatique est largement employé pour enregistrer et manier les données afin de fournir des indicateurs de suivi. La méthodologie employée pour la réalisation de monitorings est adéquat et facile à utiliser. Le district bénéficie ainsi d un monitoring réalisé sous Excel permettant de suivre ses indicateurs de résultats et de dresser des tableaux mensuels. Au niveau de la région médicale, les données collectées via le monitoring s intègrent également aisément dans un monitoring régional sous Excel. Cependant, certains points méthodologiques soulignent quelques carences et peuvent limiter l exactitude des statistiques. Tout d abord, l approche même du système statistique dans le secteur de la santé réduit sensiblement la nature des résultats statistiques. Ainsi, les données sont construites à partir d une collecte systématique au niveau des établissements de santé, or, dans les départements excentrées ou très pauvres comme celui de Médina Yoro Foulah, l accès au système de santé faisant défaut, les cas de pathologie ou de mortalité peuvent ne pas être recensés par le système lui-même. L évaluation des données également suscite un certain nombre d interrogation notamment pour l échelle locale. Les fonds destinés à la supervision opérationnelle (dotation en carburant) sont limités et réduisent considérablement les possibilités de contrôle notamment des districts sur les établissements communautaires. En parallèle, très peu d enquêtes sont réalisées pour acquérir de l information ménage. Ces enquêtes permettraient ainsi de palier au manque d information des zones peu accessible mais également de contrôler les données retournées par les établissements sanitaires locaux. Les rares enquêtes sont généralement menées de manière indépendante par des programmes centraux. Si l implication 21

23 du personnel régional est effective, les données ne sont pas mises à la disposition de la région médicale ou du district concerné. Exactitude et fiabilité La méthodologie de collecte de données entraine une interdépendance des données du niveau local au niveau national. Ce système nécessite une rigueur méthodologique forte et robuste pour éviter que toute erreur puisse être répercutée sur l ensemble des données agrégées. L exigence méthodologique requise par cette emboitement de données n a pu être constatée et très peu de corrections sont envisageables tant l effort de contrôle des données et de leur qualité est limité par manque de moyens financiers et matériels chroniques. La décomposition des données tant en matière de classes d âge, de genre ou de découpage géographique est bonne. Elle offre au district et à la région médicale la possibilité d exploiter les données par rapport à des populations cibles (ex : enfants de moins de 5 ans). Au niveau géographique, on note toutefois une certaine limite dans la couverture du district qui n épouse pas toujours le découpage administratif actuel. Cet aspect soulève ainsi des contraintes dans le croisement de données telles que la population (calculée selon le découpage administratif) et les données issues du système sanitaire. Le système de collecte mis en place implique une interdépendance des données. L emboitement des données à travers l agrégation de données du niveau local au niveau départemental et régional puis au niveau national nécessite un effort important de contrôle et de vérification des données. Or, les enquêtes auprès du district sanitaire de Kolda et de la région médicale montre que le contrôle de la qualité des données est peu fréquentes voire parfois inexistantes pour des raisons structurelles (moyens financiers, absence de motos, manque de personnel). Le SNIS, garant de l éthique des données, effectue quelques décentes annuellement mais là encore, la supervision globale des 14 régions nécessite un effectif supérieur à 15 personnes (ADE, 2012). Ainsi, ces difficultés structurelles limitant la vérification des données associées à l approche méthodologique induisant une interdépendance des données augmentent le risque d erreur dans les bases de données agrégées au niveau régionale et national. 22

24 Utilité Initialement, les systèmes de production de données de routine au niveau de la région de Kolda ont décliné une périodicité de collecte et de diffusion intéressante. Le district collecte ainsi les données chaque mois auprès des établissements communautaires et est chargé de les transmettre au mieux chaque trimestre au niveau de la région médicale. La région médicale s attache à consolider les bases de données produites par les districts et fournir des données régionales chaque trimestre avant de les diffuser lors de la revue semestrielle au niveau national. Ce niveau national s appuie ainsi sur ces données pour produire annuellement l annuaire statistique de la santé. Ces dispositions sont donc appropriées mais dans la réalité, ce système ne satisfait pas cette planification. Ainsi, suite à des mouvements syndicaux entamés en 2010, les données sont depuis 2 ans incomplètes et non diffusées. Le blocage s effectue essentiellement au niveau des districts qui ont toutefois accès aux données locales mais ne produisent plus d efforts nécessaires pour assurer une continuité des données. Il en découle ainsi, une remise en question sur la pertinence des données collectées durant ce blocage étant données que la complétude et l exactitude ne sont plus assurée. Accessibilité Le calendrier de publication des données n est pas suivi du fait des blocages d information au niveau des districts sanitaires. Toutefois, nos enquêtes révèlent à mots cachés que ces données sont accessibles au niveau des partenaires qui en font la demande auprès des services de supervision du District. Ceci laisse apparaître une certaine obscurité sur le mode de diffusion des données sachant que nous n avons pu disposer de celles-ci tant au niveau du District Sanitaire de Kolda qu au niveau de la Région Médicale. L absence de publication ou de reporting officiel réduit l évaluation de l accessibilité des données. Cependant, l examen des rapports antérieurs (2010) au niveau de la région médicale montre un effort pour simplifier l information par 23

25 des graphiques générés automatiquement. Les données sont présentées sous la forme de tableaux relativement lisibles et clairement définis. Chaque donnée est définie par des métadonnées regroupées dans un manuel intitulé «Manuel d Harmonisation des Méthodes de Calcul des Indicateurs de Base». Cependant, aucun service n a pu fournir ce document essentiel pour l assurance de la qualité et l exploitation des données produites. Il convient donc de présumer de sa disponibilité sans pour autant que celui-ci soit utilisé régulièrement. Enfin, aucun catalogue de publication n est disponible permettant aux utilisateurs d identifier les documents pertinents à leurs requêtes. Egalement, le codage des champs des tableaux rend difficile la lecture pour une personne tiers. 24

26 Synthèse D une manière générale, l analyse du système de production de données statistiques du secteur Santé révèle un niveau moyen du système de production statistique malgré de nombreuses contraintes d ordres structurel, méthodologique et opérationnel (Figure 6) Score du secteur de la santé par section Unité SE Gestion des données Validation et diffusion Figure 6. Evaluation du secteur de la santé selon les 12 composante d un Système de Suivi- Evaluation 25

27 1. Organisation de l Unité de suivi-évaluation L analyse des indicateurs définissant les performances d un système de suiviévaluation montre ainsi, une bonne organisation de l unité et devrait permettre l obtention de bons résultats. Si, théoriquement, le secteur de la santé est correctement structuré pour fournir de l information de bonne qualité et en temps voulu, notre enquête soulève quelques difficultés qui constituent des blocages structurels importants (qualification du personnel, moyens financiers, personnels insuffisants). On notera également l implication du système de suivi-évaluation dans de nombreux partenariats tant financier que scientifique ce qui constitue un tissu favorable pour l amélioration des résultats et la validation des données. 2. Gestion des données et méthodes de collecte Les carences en matière de gestion et de sécurisation des données modèrent les performances du système en matière de qualité de l information. Ainsi, malgré un outil informatique rudimentaire fonctionnant sous Excel, l unité peut produire un monitoring intéressant. Cependant, les lacunes méthodologiques et les failles sécuritaires réduisent la pertinence des données produites. Enfin, l absence de système de sauvegarde et la méconnaissance des protocoles peuvent aboutir à la perte partielle ou globale de jeux de données. 3. Validation et diffusion Cette partie est véritablement le point faible du système statistique de routine du secteur de la santé. Face au mouvement de grève débuté en juin 2010, aucune donnée n est diffusée. Certaines données ont pu être collectées ponctuellement par la région médicale mais le taux de complétude est rédhibitoire. Le système de supervision mis en place pour contrôler les données est limité par le manque de moyen. En l absence chronique de contrôle tant par le niveau supérieur que par le niveau central, la qualité des données ne donne donc aucune assurance aux utilisateurs les amenant à procéder à leurs propres enquêtes. 26

28 Analyse du secteur Education Conditions structurelles Le système statistique de routine dans l éducation répond avant tout à aux besoins statistiques nationaux. Ainsi, le système central a mis en place une structure épousant l organisation décentralisée de ce secteur. Ceci s effectue par l élaboration des questionnaires et fiches d enquêtes mais également par un système centralisé des données. Les directives en matière de collecte statistique sont donc imposées aux IDEN et IA. Ceci permet de définir une stratégie homogène et plan d actions annuel bien structuré. Cependant, la structuration des services reste essentiellement théorique et ne se traduit pas par une organisation opérationnelle efficace. En effet, que ce soit pour IA ou pour les IDEN, le personnel déployé pour la production des données ne possède pas de formation initiale en suivi-évaluation. L ensemble des planificateurs sont issus du corps enseignant et s appuient uniquement sur des formations internes. D ailleurs, la formation continue n existe que ponctuellement et n offre pas une mise à niveau du personnel. On notera également, l absence de matériel adéquat et fonctionnel au point où le planificateur de l IA utilise son matériel personnel pour travailler. Au niveau des IDEN, il existe une grande disparité d un département à l autre. Ainsi, à Kolda, le service de la planification dispose d une machine connecté à un réseau intranet tandis qu à Médina Yoro Foula, l alimentation en électricité faisant défaut, l équipement informatique est devenu une priorité secondaire. Ces carences s accentuent avec l absence de partenariat extérieur et contribuent à une marginalisation du service (notamment pour l IA) par rapport aux autres services. Lors des entretiens, nous avons pu noter une forte lassitude des agents par rapport aux conditions de travail. Ceci engendre donc une dispersion des agents et favorise les départs de ces agents vers d autres postes. Assurance de l intégrité Au niveau national, la DPRE et la DPSR élaborent les statistiques annuellement de manière impartiale (ADE, 2012). Néanmoins, l absence de notes 27

29 méthodologiques expliquant notamment les méthodes de calculs et les chiffres de la population utilisés limite la transparence. Au niveau régional, les carences structurelles observées s ajoutent à un déficit de confiance par rapport à l intégrité des traitements de données. Nos entretiens «utilisateurs» ont souligné un manque de confiance important à tous les niveaux de la chaîne de collecte. La construction des bases de données au niveau régional et départemental n intègrent pas un système d archivage et de sécurisation des données. L archivage des données est quasi inexistant et très peu méthodique. Les formulaires ne sont pas conservés dans leur intégralité. Enfin, hormis pour le système national StatEduc, l accès aux bases de données n est pas restreint par un système de droits offrant une traçabilité des modifications des données. Enfin, la politisation du secteur de l éducation impacte l intégrité des données statistiques. Les enquêtes auprès des utilisateurs des données ont montré une grande méfiance quant à l intégrité des données. En effet, ces données constituent pour les producteurs un moyen d orienter futures lignes budgétaires notamment dans l affrètement du matériel de classe. Ces inquiétudes constatées auprès des utilisateurs des données et partenaires des établissements sanitaires de la région de Kolda n ont cependant pu être vérifiée. Cependant l absence de crédit des utilisateurs souligne une nécessité pour ces établissements de renforcer d une part, la transparence dans la diffusion des données et d autre part, l effort de contrôle des données à tous les niveaux à travers des collectes indépendantes du système de santé lui-même. Rigueur méthodologique Au niveau méthodologique, le secteur de l éducation est assez performant malgré les difficultés structurelles affichées. Cette rigueur imposée par le niveau central est assez bien respectée au niveau de la collecte tant dans le respect de la nomenclature UNESCO que dans l implémentation d un formulaire accompagné d une notice d utilisation. Chaque agent est formé pour remplir le formulaire et celui-ci est dûment rempli par les directeurs d école. Néanmoins, il 28

30 existe peut de documents méthodologiques expliquant les calculs réalisés pour les indicateurs diffusés. Les limites méthodologiques s observent sur trois axes principalement : la supervision, l agencement des données au niveau des services régionaux et départementaux et la confidentialité des données. Au niveau de la supervision, on note un certain nombre de limites telles que l absence d opérations de contrôles sur le terrain mais aussi l absence de contrôle des données avant publication entraînant des erreurs évitables. Ainsi, aux planificateurs des IDEN ont pour mission de contrôler les données fournies par les directeurs d écoles. Ces supervisions s opèrent au cas par cas dès lors qu un questionnaire n est pas correctement rempli. En contre partie, aucune supervision spontanée n est programmée ce qui réduit tout contrôle effectif des données transmises et laisse la qualité des données à l intégrité des directeurs d écoles. L IA également procède très rarement à un contrôle des données, collectant uniquement les données des IDEN. Enfin, la DRPE effectue quelques missions de supervision au cours d années au niveau de l IA et des IDEN (principalement l IDEN de Kolda) pour évaluer la qualité du service mais le temps imparti ne permet pas d évaluer la qualité des données. Au niveau de l organisation des données, que ce soit à l IDEN ou à l IA l exploitation des données suscite quelques inquiétudes méthodologiques. Nous avons ainsi constaté la présence d une base «locale» sous Excel dans laquelle figure les données saisies de chaque établissement. L agencement des données sous Excel montre de réelles carences méthodologiques ne permettant pas d exploiter les capacités du logiciel en matière des tris ou des croisements de données par exemple. Cette base locale mal agencée facilite ainsi les erreurs de calcul (les agents utilisent très peu les fonctions de calcul automatique d Excel) et réduisent drastiquement les possibilités d exploitation. Enfin, l absence de rigueur se constate également au niveau de la confidentialité des données. En effet, les bases de données issues des directeurs d écoles et notamment le listing nominatif des élèves est très souvent transmis au partenaire allant à l encontre des normes éthiques sur les bases de données. De plus, les agents n hésitent pas à donner les formulaires remplis laissant ainsi libre accès à des données nominatives sur le personnel et leur quota horaire. 29

31 D une manière générale, on peut conclure que le cadre méthodologique est bon mais que l application est moins rigoureuse. Ces limites réduisent ainsi la crédibilité des services et laissent planer des doutes sur la transparence des données fournies. Exactitude et fiabilité A l image de l aspect méthodologique, l exactitude des données et leur fiabilité présente une certaine ambivalence notamment dès lors que l on passe à la phase opérationnelle. Ainsi, le calcul d indicateurs comme le taux brut de scolarité nécessite l utilisation de données démographiques. N étant pas dans les missions du secteur de l éducation, les services concernés collectent des données auprès de l ANSD. Ces données sont basées sur une projection des données du dernier recensement (2002) en s appuyant sur un découpage administratif antérieur à Les changements récents des limites administratives des collectivités territoriales ont ainsi contraint la DPRE et les services décentralisés à estimer les données de population. Aucun document méthodologique n a pu être présenté afin de comprendre et d analyse le degré d exactitude au niveau de Kolda. L évaluation faite au niveau central montre certaines incohérences dans les estimations faites (ex : baisse de la population des 7 ans entre 2004 et 2009, puis une forte hausse en 2010) (ADE, 2012). Ces données estimées ont une incidence majeure sur les indicateurs calculés et remettent ainsi en cause leur fiabilité. Les données présentent un bon niveau de désagrégation avec systématiquement la décomposition des données par âge, genre et écoles. Ceci permet de dresser des indicateurs avec une bonne exactitude. Au niveau géographique, le lien entre écoles et découpage administratif n est pas toujours maintenu au niveau de l IA alors qu il l est pour l IDEN et réduit ainsi l analyse des données à une échelle géographique plus fine (ex : communauté rurale, arrondissement). L absence de système de vérification automatisé et la faible automatisation des calculs (via Excel) augmentent les possibilités d erreurs. De plus, le système 30

32 d archivage défaillant des formulaires d enquête contribue à une faible traçabilité réduisant les possibilités de vérification par l agent ou par un service extérieur. Le système de collecte mis en place implique également une interdépendance des données. L agrégation de données du niveau local au niveau départemental et régional puis au niveau national nécessite un effort important de contrôle et de vérification des données. Or, cette supervision n étant pas opérationnelle, les erreurs se cumulent. Malheureusement, au niveau central, aucune instance de validation des données existe et donc laisse place à la publication d erreurs au niveau des rapports. Utilité Le ministère à travers le PDEF publie chaque année un annuaire statistique agrégeant les données fournies par les IA. Ces données conservent les données des IDEN. Néanmoins, l IA de Kolda et les 3 IDEN ne produisent pas de rapports et s attachent ainsi uniquement à fournir des données suivant la planification des revues. La continuité des données est bonne et permet de suivre les indicateurs d une année à l autre. Seulement, les problèmes méthodologiques cités précédemment remettent en question la pertinence de cette continuité des données. Les données produites au niveau régional et départemental sont néanmoins accessibles. Ainsi, l IDEN et l IA diffuse à la demande les données collectées les plus récentes auprès des partenaires. On regrettera seulement que cette diffusion ne soit pas systématisée afin d accroitre le rôle de ces services. Du côté des utilisateurs, les données produites au niveau régional sont assez utiles et permettent d avoir un regard critique sur les données nationales afin d affiner leurs stratégies. Toutefois, le format des données transmises par les IA et IDEN ne permet pas une utilisation optimale et force les utilisateurs à modifier la disposition des tableaux pour manipuler les données convenablement. Enfin, la disponibilité des planificateurs et agents en charge des statistiques est bonne et permet à tous les utilisateurs d accéder à l information facilement et rapidement. 31

33 Synthèse L analyse du système statistique de routine du secteur de l éducation montre un niveau de contrainte assez important malgré une organisation impulsée par le niveau central (Figure 7) Score du secteur de l'éducation par section Unité SE Gestion des données Validation et diffusion Figure 7. Evaluation du secteur de l éducation selon les 12 composante d un Système de Suivi-Evaluation 32

34 1. Organisation de l Unité de suivi-évaluation Les unités du secteur de l éducation dans la région de Kolda sont symbolisées par un personnel non qualifié et peu formé. De plus, l absence de partenariat des services statistiques locaux et la considération limitée des responsables envers les statistiques fait que ces services sont isolés et parfois abandonnés. 2. Gestion des données et méthodes de collecte L outil de collecte est cohérent et développé rigoureusement par les services centraux. Au niveau local, la phase opérationnelle est rendu plus difficile du fait de la faiblesse des outils de traitement et de moyens de supervision. L absence de système de gestion de base de données limite l exploitation et la sécurisation des données. Ainsi, malgré un cadre méthodologique rigoureux, les conditions d exécution ne garantissent pas une assurance qualité acceptable. 3. Validation et diffusion Au niveau de la région de Kolda, il n existe pas de reporting et de diffusions systématiques des données. Les données sont accessibles à la demande et s appuie sur la disponibilité et la bonne volonté des planificateurs. La validation des données pose d une manière générale problème. En effet, l évaluation n est pas performante notamment au niveau de l IDEN où peu vérifications sont faites au niveau des écoles. Ceci contribue à une perte de crédibilité des données de la part des utilisateurs qui collectent eux même leurs propres données à travers des enquêtes parallèles. 33

35 Analyse du secteur de la Protection L examen du secteur de la Protection des enfants a mis en exergue un secteur excessivement compartimenté avec un nombre important d acteurs œuvrant pour la protection des enfants (Figure). Ces acteurs à travers leurs actions de prise en charge ou de sensibilisation élaborent des bases de données spécifiques. L examen de la collecte au niveau local n a pas fait l objet ici d une évaluation spécifique. Conditions structurelles Les différents services (AEMO, CTS, SDDC et SDAS) ne bénéficient pas de la part des ministères de tutelle d un support technique adéquat leur permettant de développer une réelle stratégie en matière de suivi-évaluation. Il en résulte l absence de personnel qualifié mais aussi de matériel informatique ou plus généralement, de conditions de travail offrant un cadre favorable à la tenue de bases de données (pas de groupes électrogènes ou d onduleurs). Au niveau des statistiques, très peu d activités sont planifiées et se cantonnent majoritairement à tenir une main-courante. On note toutefois du CTS, un effort pour recenser des personnes vulnérables telles que les personnes handicapées (données collectées par le SDAS). Ces données sont encore peu consolidée mais l impulsion des ONG tel que Child Fund laisse envisager une certaine émulation des acteurs de la protection des enfants. Ainsi, on note que l AEMO vient de se renforcer en personnel et en équipement informatique afin de construire une base de données sur les enfants en conflit avec la loi. Il serait cependant profitable pour cette structure de recevoir un appui méthodologique pour mettre en place une base de données efficace. Le CTS ayant pour mission de coordonner les actions en matière de protection ambitionne ainsi de jouer un rôle tant dans la compilation des données que dans la mise en place d une stratégie collective. Néanmoins, ces objectifs n ont toujours pas été discutés lors des réunions. 34

36 Assurance de l intégrité Malgré la faiblesse des données collectées, les différents services font preuve d efforts et d intégrité dans le recensement des informations. Pour l AEMO, par exemple, chaque enfant ayant été en conflit avec la loi est identifié de manière systématique. Ces données ne sont pas corrigées et sont conservée à l état brut. D un point de vue des utilisateurs, les données issues de ces services sont précieux car très peu de données sont accessibles (données de la Police ou du Tribunal restent confidentielles) ou existantes. Il y a donc une forte interaction entre les utilisateurs et les services sociaux pour renforcer leur effort en matière de statistiques. Néanmoins, les utilisateurs soulignent la faiblesse méthodologique et de compétence des services en matière de statistiques installant une certaine méfiance sur les chiffres produits. Rigueur méthodologique Au niveau méthodologique, aucun document ou notice explicative existe. Les agents n étant pas formés pour l approche statistique, n ont pas de références statistiques et n ont pas l autonomie pour développer une méthodologie rigoureuse consolidant les données collectées. Néanmoins, on note une certaine disparité d un service à l autre notamment au niveau de la collecte et des techniques de gestion des données utilisées. Pour tous les services, la collecte d information s effectue soit systématiquement ou par enquête. Cependant, si le recensement des bénéficiaires est assez bien tenu notamment pour l AEMO, la collecte proprement dite des données est quasi inexistante. L AEMO ou encore le SDAS déroulent des enquêtes sociales qui leur permettent d affiner leur action mais celles-ci, qualitative et à l échelle de l individu, n offre pas de perspectives statistiques. Il n y a pas d enquêtes ménages réalisée dans un cadre rigoureux et à l échelle de la région permettant de statuer sur la situation sociale de la région de Kolda. La gestion des données fait elle aussi défaut. Ainsi, certains services enregistrent leurs données à l aide Word afin de les transmettre à leur tutelle. 35

37 D autres services tels que le CTS ou l AEMO utilisent Excel mais l exploitation des données reste encore sommaire. Enfin, d une manière générale, la supervision et la validation des données font défaut. Que ce soit en interne ou externe, il n existe pas de contrôle des données. Les seuls contrôles résident dans la tenue des registres mais malgré cette règle, on a pu constater l absence d enregistrement dans certains services depuis D un point de vue méthodologique, on constate donc un retard important et en partie lié au fait que ce secteur soit très cloisonné. La mise en place récente du CTS permet d envisager un cadre méthodologique intéressant à travers une collaboration entre les services sociaux et les ONG (ex Child Fund) qui ont des moyens statistiques plus efficaces. L un des objectifs du CTS est d harmoniser les données et de faciliter l interopérabilité des différentes bases de données. Exactitude et fiabilité L exactitude des données est différente d un service à l autre mais dans l ensemble, ces bases de données s appuient sur un bon détail de l information. Ainsi, pour l AEMO, les données sur les enfants en conflit avec la loi intègre le genre, l âge et la localisation. Pour chaque individu, la situation de conflit est suffisamment détaillée pour permettre une classification riche des enfants en conflit avec la loi. A l inverse, le cas des enfants des rues ou Talibés soulève des difficultés pour détailler l information notamment sur l âge, l origine des enfants mais surtout sur l identification des enfants entrouvrant la possibilité doublecomptage. Néanmoins, malgré un niveau d information intéressant, les données produites restent trop isolées et pas systématiques des enfants. Les données sont ainsi faiblement représentatives et ne permettent pas d avoir une vue globale de la situation en matière de protection. La couverture géographique des services également se concentre sur les zones urbaines et faciles d accès. Il est donc difficile d avoir l information sur la paupérisation des ménages ou encore le degré de délinquance dans les zones excentrées. 36

38 Utilité Compte tenu des difficultés méthodologiques et opérationnelles, les données produites souffrent d un taux de complétude faible. Il est donc difficile d extraire des indices à l échelle départementale ou régionale à l exception d informations propres au système judiciaires ou social (ex : nombre de personnes pris en charge par le service). Malgré des difficultés majeurs, les données lorsqu elles existent sont diffusées à l autorité de tutelle en respectant les délais. Ainsi, l AEMO produit trimestriellement un récapitulatif des cas gérés par le service et les transmets au ministère de la Justice. Ces données seront ensuite intégrées dans l annuaire du ministère de la justice annuellement. Néanmoins, il n y a pas de diffusion systématique auprès des partenaires et le CTS n a pas encore prévu la mise en place d un bulletin d information ou d une revue pour la diffusion de ces données. Les données produites sont accessibles auprès des services et du CTS. Les différents services n ont pas de restrictions dans la transmission des données à l exception des données nominatives. Les données accessibles sont agrégées pour éviter d accéder à l information confidentielle. 37

39 Synthèse L analyse du système statistique de routine du secteur de la protection de l enfant évoque une situation complexifiée par la multiplicité des acteurs et la faible organisation du système (Figure 8) Score du secteur de la protection par section Unité SE Gestion des données Validation et diffusion Figure 8. Evaluation du secteur de la protection selon les 12 composante d un Système de Suivi-Evaluation 38

40 1. Organisation de l Unité de suivi-évaluation Les services sociaux de la région de Kolda n ont pas de personnel dédié à la production statistique. Cette responsabilité repose sur généralement le seul agent qui n est pas formé pour accomplir ces tâches de manière efficace et rigoureuse. Les unités ont une stratégie et un plan d activités rudimentaires. Ayant pour principal objectif d améliorer la cohésion entre les différents services, le CTS ne propose pas encore une stratégie en matière de statistique. Des échanges méthodologiques sont inscrits dans les tâches du CTS qui assurera un rôle de catalyseur statistique appuyé par l ONG Child Fund. 2. Gestion des données et méthodes de collecte Les méthodes de données ne sont pas conformes aux normes statistiques. L absence de méthodologie rigoureuse s associe à une gestion des données faisant défaut et une vérification des données inexistante. La collecte reste donc sommaire et les données sont issues de l enregistrement des cas traités par ces services sociaux. Ainsi, les conditions d exécution actuelles ne garantissent pas la production de statistiques de routine complètes et représentatives. 3. Validation et diffusion Il n existe pas encore de reporting à l échelle de la région de Kolda. Néanmoins, les données produites sont accessibles à la demande et s appuie sur la disponibilité des agents des services sociaux. La validation des données n est pas réalisée et compte-tenu des lacunes méthodologiques, cette étape remet en cause la véracité de nombreuses données. Ceci contribue à une perte de crédibilité des données de la part des utilisateurs qui collectent eux même leurs propres données à travers des enquêtes parallèles. 39

41 Conclusion Recommandations Besoins structurels 1) Face aux difficultés structurelles recensées précédemment, il paraît primordial pour la région de Kolda de mettre en place une politique de ressources humaines efficace se traduisant par le recrutement de personnel ayant les compétences en Suivi-Evaluation. Un programme de formation continue constituerait une possibilité d élever les compétences locales notamment en matière de statistiques et de diffusion web. 2) En parallèle au renforcement de capacité, il conviendra de renforcer le partenariat des équipes du Suivi-Evaluation pour permettre plus d interactions avec les instituts de recherche, l université ou programmes nationaux. Une plus grande implication des services déconcentrés offrirait la possibilité d améliorer drastiquement la qualité des données et de pallier au manque de moyen chronique de ces services. 3) Au-delà de la formation individuelle, la mise en place d un programme de formation des producteurs et des utilisateurs de données statistiques au niveau régional et départemental devrait être placée comme action prioritaire pour la région de Kolda. En effet, les producteurs ainsi que les utilisateurs nécessitent d échanger et de comprendre les possibilités offertes par les données statistiques mais aussi comment les décideurs ou utilisateurs seront amenés à manier celles-ci. 4) L approche actuelle de la décentralisation n encourage pas les structures déconcentrées à utiliser leurs données pour organiser leur stratégie. Lors des différents entretiens avec les responsables de services, les statistiques sont évidemment important stratégiquement mais les décisions sont soumises à l autorité de tutelle qui ne perçoit pas toujours les mêmes priorités. A l image de la santé qui est en train de mettre en place des contrats de performances avec financement basé sur les résultats (FBR), une réforme des stratégies ministérielles visant à encourager la production de statistiques à travers l implication des 40

42 services déconcentrés dans l analyse des goulots d étranglement et la proposition de solutions à l échelle de leur région ou département donnerait lieu à une nécessité d avoir des statistiques fiables et fréquentes. Qualité des données 1) D un point de vue méthodologique, l amélioration de la qualité se trouverait renforcée avec l élaboration de documents et notices de procédures et d utilisation. Hormis quelques rares documents existants, ce type de documents fait défaut et fragilise la structure dès lors qu un agent est appelé à d autres fonctions. Ce renforcement documentaire permettra d assurer une continuité des données. 2) La supervision à travers l évaluation des données doit être considérée comme partie intégrante de la production statistique. Actuellement, trop peu de vérifications des données sont effectuées et mettent à mal la crédibilité des services. La supervision doit également permettre de surveiller la situation au-delà du système lui-même afin d évaluer les lacunes et définir des objectifs. 3) La gestion des données doit être faite simplement et efficacement pour permettre la manipulation des données et la production d indicateurs sans risque d erreur. Pour cela, nous encourageons les dispositifs «Excel» mais ils nécessitent une optimisation dans leur élaboration afin que ces systèmes soient opérationnels. 4) Enfin, la sécurisation des données est un élément important dans tout système de données. A Kolda, cet aspect fait nettement défaut et accentue les possibilités de perte de données, de formulaires ou encore de modifications accidentelles des données. Il serait précieux de mettre en place une mise à niveau des protocoles de sécurité des données et d archivage notamment avec une sécurisation hors-sol des données. 41

43 Diffusion La diffusion des données est un point négatif qui ressort dans les trois secteurs. Mis à part le mouvement de blocage des données pour le secteur de la Santé, le mode de diffusion des données ne permet pas à la région et aux acteurs locaux d avoir régulièrement des informations complètes et synthétiques. 1) Le service régional de la statistique doit faciliter la mise à disposition de l information pour les différents services et ainsi encourager l interaction entre les différents secteurs. 2) Pour y palier, un renforcement de l ARD de Kolda en tant qu entité régionale transversale pourrait favoriser la prise en charge de la diffusion des données avec notamment l édition d un bulletin statistique régional intersectoriel visant à publier les données statistiques de routine pour les 3 départements de Kolda. De plus, l ARD disposant d un site web pourrait mettre à disposition de l information régionale palliant ainsi l absence de site web des différents services Relations intersectorielles Les relations intersectorielles ne sont pas très intenses et rend les bases de données très peu échangeables d un secteur à l autre. Le SISE-DL de l ARD favorise les échanges entre les différents secteurs notamment en combinant de nombreux indicateurs provenant des 3 secteurs. Cet outil doit permettre de prendre des décisions basées sur une approche intégrée et non plus sectorielle. Néanmoins, certaines données ne sont pas interopérables d un secteur à l autre. Par exemple, cette interopérabilité fait souvent défaut dans les tranches d âges des enfants qui varient d un secteur à l autre. Il en est de même avec le découpage géographique des données où les districts ne correspondent pas toujours à la même circonscription que l éducation. Il faut nécessairement renforcer cet aspect en facilitant l échange méthodologique intersectoriel afin de permettre une meilleure désagrégation des données. Enfin, dans le but de renforcer l échange des données et l utilisation des données des autres secteurs, une sensibilisation sur l intérêt de collaborer ensemble pour rendre les services plus performants peut être envisagée. Ainsi, l échange de 42

44 données s appuiera sur une demande effective de chaque service et encouragera ainsi un besoin mutuel de l interopérabilité des données. Cette promotion de l intersectorialité est nécessaire afin que le SISE-DL devienne un outil partagé par les différents secteurs et pas seulement l outil de planification de l ARD. 43

45 Références ADE, 2012, Etude d évaluation des besoins pour une amélioration de la qualité des statistiques du schéma directeurs de la statistique au Sénégal ; Rapport final, Mars 2012, Louvain, 63 p annexes. Boone, D., Tran Ba Huy, R., Hardee, K., Alayon, S., Pervilhac, C., Souteyrand, Y., et La Tour, A., 2008, Routine Quality Assessment Tool : Guidelines for implementation ; The Global Fund to Fight Aids, Tuberculosis and Malaria,Office of the Global AIDS Coordinator, PEPFAR, USAID, WHO, UNAIDS,MEASURE Evaluation, 21 p. FIDA, 2003, «Collecter, gérer et communiquer l information» ; Guide pratique de S&E des projets, 6, 32 p. Okello, F., Kitungulu, B., Kabore, I., Lew, K., et Adhikary, R., 2012,Participatory Data Quality Assessment (PDQA) Guidelines : Global Guidelines for FHI 360 Country Offices ; Family Health International 360, New- York., 21 p. UNSAID, 2010, 12 Components Monitoring &Evaluation System Assessment - Guidelines to Support Preparation, Implementationand Follow-Up Activities ; Geneva, 36 p. USAID, 2008, «Conducting data quality assessments» ;TIPS, 18, June 2010, 9 p. USAID, 2010, Data Quality Audit Tools : Guidelines for implementation ; MS-08-2, 106 p. 44

46 Annexes Liste des personnes contactées M. Dabo Directeur Adjoint de l Agence Régionale de Développement M. Ngom Adjoint au Gouverneur de Kolda P. Senghor Chef adjoint du service régional de la planification Services sectoriels Education M. Dia Inspecteur d Académie adjoint M. Baldé Planificateur IA Kolda C. Sagna Planificateur IDEN Médina Yoro Foula Planificateur IDEN Médina Yoro Foula Santé B. Gningue Médecin Chef de la Région Médicale de Kolda M.E. Badiane Coordinatrice de la RM de Kolda M. Ndiaye Médecin chef intérimaire du DS de Kolda A. Badiette Superviseur du DS de Kolda Protection M. Ba Chef du service départemental de l action sociale O. Diatta Chef de l AEMO de Kolda M. Ouattara Adjoint de l AEMO de Kolda M. Diatta Chef du service départemental du développement communautaire Partenaires D. Sagne - Chargé de programme WorldVision A. Diamanka Chargé de programme Aide et Action Faye Chef du bureau Child Fund Kolda Unicef Mamadou O. Bah Chef du bureau Unicef Ziguinchor X. Crespin Chef Section Santé Diop Section Santé Bureau Ziguinchor J. Chef Section Protection A. Gueye - Section Protection Bureau Ziguinchor Y. Kassoka Section Protection M. Fall Section Education Gassama Section Education Bureau Ziguinchor 45

47 Entretien Producteur Question 1 : La structure et ses missions Objectifs Connaître les missions et l organisation de la structure Mettre en place un climat de confiance Question principale Quelle est la mission de votre établissement? Questions supplémentaires Comment votre équipe est-elle organisée? Y a-t-il des difficultés majeures pour réussir votre mission? Question 2 : Le système statistique et la mission de la structure Objectifs Connaître le niveau d implication de l interviewé dans le déploiement des données statistiques de la structure Evaluer le besoin en statistiques de la structure pour répondre à la mission Question principale Comment la collecte de données et leur analyse contribue à vos missions? Questions supplémentaires A quel niveau, les statistiques sont-elles utilisées (services, missions)? Selon vous, l utilisation est-elle idéale, optimale ou bien celle-ci pourrait être plus efficace? Comment? Question 3 : Les données statistiques des structures partenaires Objectifs Savoir comment cette structure est interconnectée avec les différents systèmes statistiques Question principale 46

48 Au sein de votre secteur (Santé, Education et Protection), comment percevez-vous le rôle les mécanismes de collectes et d utilisation des statistiques pour votre mission mais aussi celles de vos partenaires? Questions supplémentaires Comment sont vos rapports avec les structures hiérarchiques et sous votre tutelle dans la collecte et l exploitation des données? Question 4 : Evaluation de votre système statistique de routine Objectifs Savoir s il y a eu déjà eu une évaluation Connaître la perception par l interviewé de notre mission Question principale Avez-vous déjà procédé à une évaluation de votre système statistique de routine? Questions supplémentaires Si oui : Dans quel cadre cette évaluation a été réalisée? Avez-vous eu accès aux résultats? Si non : Quelle est votre attente par rapport à cette évaluation? 47

49 Questionnaire Producteur A. Structure et activités du S&E 1 Organisation de la structure Indicateurs Score Commentaires 1.1 Les membres de l équipe S&E sont identifiés 1.2 Chaque membre a une mission déterminée 1.3 Les membres de l équipe S&E sont identifiés et leur rôle bien établis 1.4 Chaque membre connaît sa mission et celle des autres membres 1.5 L équipe SE bénéficie d un budget alloué Total section 1. 2 Ressources humaines et capacités 2.1 L équipe est en nombre suffisant pour répondre à leurs tâches 2.2 Le S&E dispose d un matériel informatique adéquat et fonctionnel 2.3 Au moins un des membres à une formation de statisticien ou une expérience professionnelle équivalente 2.4 L équipe dispose d un plan de formation annuelle 2.5 Au moins 75% des membres de l équipe S&E ont bénéficié d une formation dans l année précédente 3 Orientation stratégique Total section L équipe S&E a des objectifs annuels évalués régulièrement 3.2 L équipe S&E possède des indicateurs de suivi de ses objectifs 48

50 3.3 L équipe S&E dispose d un monitoring des objectifs 3.4 Les indicateurs sont mis à jour régulièrement 4 Planification des activités Total section Les activités de collectes du S&E sont planifiées 4.2 Les activités de diffusion S&E sont planifiées 4.3 L audit des données est programméannuellement 4.4 Les mises à jour des données sont planifiées 5 Communication et valorisation Total section L équipe S&E utilise le bulletin de la structure pour communiquer sur ses résultats 5.2 L équipe S&E possède une ou plusieurs pages sur le site de la structure 5.3 Les données sont utilisées dans des publications scientifiques 5.4 L équipe participe à des réunions d échanges au niveau national Total section 5. 6 Partenariat 6.1 L équipe du S&E dispose d un partenariat national et international d échanges techniques et méthodologiques 6.2 L équipe est inscrite au sein d un réseau méthodologique sur le S&E 6.3 L équipe S&E participe à des programmes de recherche 49

51 6.4 L équipe du S&E bénéficie d un appui financier ou matériel extérieur Total section 6. Total Section A B. Données et système de gestion 1 Collecte des données Indicateurs Score Commentaires L équipe S&E a à disposition un manuel/guide de collecte de données Les données collectées sont assez précises pour mesurer les indicateurs (genre, âge, ) Les données collectées permettent de descendre à l'échelle plus fine (géographiquement) La source des données collectées, la date, les formulaires et les outils sont mentionnées dans tous documents Référence Précisez le mode de collecte Laquelle Le S&E procède à la collecte de données sur le terrain Si le S&E procède à la collecte de données sur le terrain, les données de terrain sont immédiatement saisies dans la base de données L équipe S&E a à disposition un manuel/guide de collecte de données 2 Total section 1. Implémentation & système de gestion de bases de données (SGBD) 2.1 L équipe S&E a à disposition un manuel/guide d utilisation du SGBD Référence 2.2 Chaque base de données possède un jeu de métadonnées sur l ensemble des champs, date de collecte, auteur, zone géographique 2.3 Dans le manuel, y-a-t-il une explication pour la vérification automatique des données 2.4 La base de données est sur format électronique et peut être exportée Quel logiciel? 50

52 2.5 Si oui, un moyen de contrôle de saisie est implémenté dans le SGBD. 2.6 L identifiant identique au questionnaire est conservé 2.7 Les utilisateurs ont accès à la base par un système de droits spécifiques Total section 2. 3 Contrôle du système et sauvegarde 3.1 L équipe S&E a à disposition un manuel/guide explicatif de l agrégation et de manipulation des données 3.2 L équipe S&E a à disposition un manuel/guide explicatif pour les procédures de supervision et de contrôle des données 3.3 Le système permet de croiser les données, d éliminer les données erronées et de faciliter l analyse des données 3.4 Les données sont vérifiées avant le reporting et l exportation vers un niveau d agréation supérieur 3.5 L équipe S&E a à disposition un manuel/guide de procédures pour la sauvegarde et l archivage des données 3.6 Les questionnaires/registres sont archivés selon les protocoles Référence Référence Référence 3.7 Les bases de données ont un système de sauvegarde automatique amélioré (Sauvegarde programmée et distante) Total section 3. Total Section B 10 Reporting C. Validation et diffusion Indicateurs Score Commentaires 10.1 L équipe S&E a à disposition une notice précisant l ensemble des documents, guides et rapports produits par le système 10.2 L équipe S&E dispose d un gabarit standardisé pour publier en routine des rapports statistiques directement depuis la base de données Référence 51

53 10.3 Une périodicité de la publication des rapports existe Précisez la périodicité 10.4 Les rapports sont précis, complets et respectant les fréquences de publication 10.5 Les rapports respectent les fréquences de publication 10.6 Les indicateurs pertinents sont insérés dans les rapports nationaux Total section Evaluation des données 11.1 L équipe S&E dispose d un manuel de procédures d évaluation des données collectées 11.2 Un processus d évaluation des données est planifié Référence 11.3 Une évaluation de la qualité des données est réalisée périodiquement Précisez la périodicité 11.4 Les indicateurs font l objet de recherche sur la pertinence et sont réévaluer 11.5 Les indicateurs ont été réévalués et modifiés 11.6 Les commentaires et corrections des rapports sont pris en compte et des mises à jour faites 12 Diffusion et utilisation Total section Les données sont diffusées périodiquement 12.2 Les données sont diffusées sur des annuaires ou bulletins 12.3 Les données sont diffusées sur internet 12.4 L utilisation des données par des parties tierces est recensée et renseignée 12.5 Les données sont partagées avec les collègues techniques 52

54 12.6 Les données sont partagées avec les partenaires techniques 12.7 Les données sont utilisées dans des publications scientifiques Total section 12. Total Section C 53