REPUBLIQUE DU BENIN MINISTERE DE LA SANTE DIRECTION DE LA PROGRAMMATION ET DE LA PROSPECTIVE SERVICE DES STATISTIQUES ET DE LA DOCUMENTATION EVALUATION DU SYSTEME NATIONAL D INFORMATION ET DE GESTION SANITAIRES (SNIGS) DU BENIN Rapport Mai 2007
SIGLES ET ABREVIATIONS ADD BASP BBL CAME CDOC CNHU CPN CPoN CS CSA CSE CSC CTQS DDS DH DNPEV DPP DRH DRS DTC EEZS ENIIAB FSP FSS HOMEL IEC INMES INFOSEC MCZ MIILD MPE MS NC OPP PMA PEV PF PNLP PNLS PNT PTME SEPS SGM SMI SNIGS SPPS SSD SSP TPI VAR ZS Antenne Documentaire Départementale Bureau d Appui en Santé Publique Bibliothèque Bleues Centrale d Achat des Médicaments Essentiels et Consommables Médicaux Centre de Documentation Centre National Hospitalier et Universitaire Hubert Koutoucou Maga Consultation Prénatale Consultation Posnatale Centre de Santé Centre de Santé d Arrondissement Centre de Suivi Epidémiologique Centre de Santé de Commune Conseiller Technique en Qualité des Soins Direction Départementale de la Santé Direction des Hôpitaux Direction Nationale du Programme Elargi de Vaccination Direction de la Programmation et de la Prospective Direction des Ressources Humaines Direction de la Recherche en Santé Diphtérie-Tétanos-Coqueluche Equipe d Encadrement de Zone Sanitaire Ecole Nationale des Infirmières et Infirmiers Adjoints du Bénin Formation Sanitaire Privée Faculté des Sciences de la Santé Hôpital de la Mère et de l Enfant Lagune Information Education Communication Institut National Médico-Social Institut National de Formation OSEC Médecin Coordonnateur de Zone Moustiquaire Imprégnée d Insecticide de Longue Durée Maladie à Potentiel Epidémique Ministère de la Santé Niveau Central Organe Paritaire du Partenariat Paquet Minimum d Activités Programme Elargi de Vaccination Planification Familiale Programme National de Lutte contre le Paludisme Programme National de Lutte contre le Sida Programme National de Lutte contre la Tuberculose Prévention de la Transmission Mère-Enfant Service des Etudes, de la Planification et du Suivi Secrétariat Général du Ministère Santé Maternelle et Infantile Système National d Information et de Gestion Sanitaires Service de la Protection et de la Promotion Sanitaires Service des Statistiques et de la Documentation Soins de Santé Primaires Traitement Préventif Intermittent Vaccin Anti-Rougeoleux Zone Sanitaire 2
I - INTRODUCTION L information sanitaire revêt de plus en plus une importance capitale dans un monde où : - l accroissement démographique impose l existence d un Système National d Information Sanitaire (SNIS) performant pour une prise de décision en temps réel ; - la lutte contre la pauvreté devient une priorité incontournable pour les responsables des secteurs clés de la vie comme la santé. Le SNIS, un des axes stratégiques du Plan National de Développement Sanitaire (PNDS) est aujourd hui une partie entière du processus de mise en œuvre et de suivi/évaluation des actions menées. A cet effet, il se doit de s adapter et de subir des modifications afin de répondre aux besoins des différents acteurs de la vie sociale du pays. Cette évaluation se tient suite à un fonctionnement de six (6) ans après la dernière qui a eu lieu en 2000. La période séparant la 3 ème et la présente évaluation (4 ème ) semble relative longue pour les multiples difficultés que le SNIGS a rencontré dans la mobilisation au niveau national des ressources (financières et humaines) pour sa réalisation effective. C est dans la recherche des voies et moyens que le Bénin a eu à soumettre un dossier au Réseau de Métrologie Sanitaire qui a approuvé ce dernier au mois d avril 2006 et lui a accordé les ressources financières nécessaires à la mise en œuvre de ladite évaluation. La particularité de cette approbation est que le SNIGS devra en dehors des outils initialement retenus pour faire son évaluation, se soumettre à l outil du réseau afin que les résultats issus de cette évaluation soit comparés à ceux d autres pays de la sous-région ou de l Afrique qui ont reçu le même appui. L évaluation a été piloté par l équipe du SNIGS du niveau central appuyé par : - un groupe technique d évaluation composé de 17 membres et - un comité de pilotage de l évaluation, mis en place par le ministre de la Santé ; - un Bureau d Appui en Santé Public (BASP 96); - les équipes départementales du SNIGS. II OBJECTIFS DE L EVALUATION 2.1 Objectif général Apprécier objectivement la performance du système actuel face aux besoins d informations des acteurs du secteur de la santé. 2.2 Objectifs spécifiques Recenser les problèmes inhérents au fonctionnement du SNIGS (problèmes rencontrés par les acteurs du système depuis le CSA jusqu au niveau central) ; Comparer la liste du recensement à ceux identifiés aux évaluations antérieures ; Dénombrer les difficultés liées à la fonction statistique par niveau de la pyramide sanitaire ; Apprécier la validité des statistiques collectées dans nos formations sanitaires et utilisées pour la planification et la programmation nationale ; Evaluer la pertinence des informations collectées avec les besoins actuels des responsables du secteur ; Evaluer l adéquation des informations collectées avec les besoins actuels des responsables du secteur ;
Apprécier les relations éventuelles qui pourraient exister entre les sous systèmes de surveillance épidémiologique et le SNIGS (pour éviter le double usage tout en gardant un mécanisme de contrôle des données collectées sur le terrain élaboration et adoption d un schéma directeur de l information pour le MSP) ; Apprécier l efficacité des procédures et mécanismes des trois fonctions du système d information actuel : statistiques, Documentation, Recherche opérationnelle ( collecte, traitement, analyse, utilisation, rétro information) [ Points forts, points faibles, progrès accomplis, activités planifiées concourent-elles à l atteintes des objectifs poursuivis? environnement externe du SNIGS contribue t-il à sa bonne évolution : personnel utilisé par niveau? Quelle attention les responsables des entités sanitaires accorde-t-ils à la fonction statistique (évaluation et suivi local des interventions?] Apprécier la motivation du personnel chargé de faire le suivi (les statistiques et la documentation) des activités sur le terrain (promotion, lettre de félicitation, stage, sanctions..etc.) Evaluer le degré de mise en œuvre des recommandations proposées lors de l évaluation de 2000 ; Tirer des conclusions et proposer des actions pour l amélioration du système III - METHODOLOGIE Les travaux de l évaluation ont démarré par une réunion préparatoire qui a réuni tous les acteurs du secteur de la santé à savoir les directions techniques et centrales, le cabinet du ministère, les coordonnateurs des projets et programmes, les partenaires du secteur privé, les partenaires au développement, l Institut National de la Statistique et de l Analyse Economique (INSAE), les chefs services des statistiques des départements de l Atlantique/Littoral et Ouémé/Plateau des directions départementales de la santé (DDS). Cette réunion a retenu : - le principe de l existence d un groupe technique d évaluation et sa composition ; - les objectifs de l évaluation ; - la méthodologie à suivre 3.1 Type d étude L évaluation du Système National d Information et de Gestion Sanitaires (SNGS) édition 2006 est une étude transversale qui s est faite en deux étapes : - une évaluation interne : enquêtes d opinion et d observation ; - une évaluation externe : utilisation de l outil HMN. Enquête avec outil HMN Il s agit d une enquête menée conjointement avec les précédentes dans le but de recueillir auprès des directions techniques et centrales, des structures/organisations partenaires du Ministère de la Santé, des informations au niveau stratégique sur l ensemble du système d information sanitaire du pays. Ces informations concernent notamment la disponibilité des ressources politiques, humaines, matérielles et financières du SIS, les différents indicateurs retenus par les acteurs, les principales sources de données de l information sanitaire, la gestion des données générées, les produits de l information, la dissémination et l utilisation de ces données. 4
L outil utilisé à cet effet est celui proposé par le Réseau de Métrologie Sanitaire (RMS) à tous les pays bénéficiant de l appui technique et financier de ce réseau pour l évaluation de leur système d information sanitaire. Cet outil a été adapté au contexte béninois. Ici aussi, le questionnaire a été envoyé aux différentes parties prenantes et structures identifiées. Le taux de retour des fiches remplies est estimé à 75%. 3.2 Sites d enquête L évaluation s est déroulée sur toute l étendue du territoire national, dans les directions départementales de la santé et auprès des institutions étatiques et des institutions partenaires du Ministère de la Santé (voir liste exhaustive en annexe). Vu la complexité et la spécificité des informations requises pour les différentes composantes du questionnaire, les structures devant y répondre ont été identifiées par le groupe technique d évaluation du SNIGS mis en place pour conduire les travaux. Cette identification a été faite sur la base des orientations données dans le document technique du Cadre HMN (Cf. site web). La liste des institutions retenues et visitées se trouve en annexe. 3.3 Difficultés et limites L enquête s est déroulée de façon satisfaisante. Cependant quelques difficultés et limites sont à noter : - La non disponibilité des responsables des institutions partenaires du MS pour le remplissage à temps et effectif de l outil HMN. Ce qui a rallongé le temps de collecte des données au niveau de ces derniers et a nécessité plusieurs relances (téléphoniques, par courrier, etc.. ) L interférence des activités de routine du service a rallongé le calendrier de l évaluation préalablement établi car il y a une insuffisance cruciale de ressources humaines au niveau central. Ceci affaiblit fortement le rendement de l équipe. Ces quelques difficultés n entachent cependant en rien la fiabilité des données recueillies et donc la qualité du travail. 3.4 Séminaire de synthèse des résultats de l évaluation Un séminaire de trois jours a été organisé afin de restituer les résultats des enquêtes et procéder à la synthèse des modifications retenues pour les cinq prochaines années. Cet atelier qui a regroupé l ensemble des acteurs du système de santé à différents niveaux (75 personnes), avait pour objectifs spécifiques de : Valider les résultats des enquêtes d opinion, d observation et HMN réalisées sur le SNIGS; Apprécier les différents problèmes du Système relevés par l évaluation; Identifier les causes éventuelles ; Proposer les solutions appropriées aux problèmes relevés; Adopter les nouveaux supports de collecte du Système d Information. 5
IV - RESULTATS 1 - Evaluation générale Ce graphique montre que globalement toutes les composantes évaluées par l outil HMN sont présentes dans le système d information du Bénin à divers degré mais ne sont pas toutes adéquates. La composante «indicateurs» est la seule à être présente et adéquate quoique la qualité desdits indicateurs est gravement menacé car liée à la qualité des données collectées. L enquête d observation menée dans les formations sanitaires a corroboré cet état de chose. Graphique 1 : Evaluation générale Dissémination et utilisation Produits de l'information Gestion des données Sources de données Indicateurs Ressources Not functional Not adequate at all Present but not adequate Adequate Highly 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 2 - Evaluation des ressources du SIS Cette composante comprend : - le contexte juridique réglementaire et de planification dans lequel l information sanitaire est générée et utilisée (définition de mécanisme, disponibilité des données, qualité des données) ; - les institutions et les ressources humaines déployées dans la collecte, l enregistrement et l analyse des données sanitaires; - les ressources financières (nationale et internationale) utilisées par le SIS pour la collecte, l analyse, l utilisation et la dissémination des données ; - les infrastructures concernent : les ordinateurs, les logiciels d exploitation, l accès à Internet,les bases de données et les moyens de transmission de l information en garantissant la qualité des données Cette composante est jugée globalement non adéquate (score de 52%) dans tous ses éléments (items). Ceci veut dire que l on ne donne pas encore au système d information les moyens qu il faut pour être performant :
politique en matière d information sanitaire et plan de développement du SIS conforme aux normes sont inexistants ; Insuffisance de ressources humaines (statisticiens, personnels de santé dévoués à la collecte, à l enregistrement et à l analyse des données), de ressources financières et matérielles (à tous les niveaux de la pyramide sanitaire) ; Logiciels spécifiques d exploitation des données disponibles (logisnigs et logihosp), bases de données statistiques disponibles jusqu au niveau zone sanitaire (niveau central, niveau départemental, niveau zone sanitaire) ; Matériel informatique vétuste, insuffisant et inadéquat (niveau départemental et zones sanitaires), la transmission des données se fait encore par disquette 3 pouce ¼ Absence d accès à Internet pour tout le système d information ; Accès téléphonique du niveau central limité à la ville de Cotonou. Tableau 1 : Les ressources du SIS Résumé Politique et planification Institutions, ressources humaines et financement du SIS Infrastructures du SIS Ensemble Résultats Not adequate Not adequate Not adequate Not adequate 3 - Evaluation des indicateurs Cette composante comprend : - identification des indicateurs clés du SIS; - fréquence de parution (publication) ; - méthode de calcul utilisée ; - Inclusion des OMD à la liste nationale ; - Ventilation des indicateurs (sexe, âge, statut socio-économique, situation géographique, ethnie) Elle est jugée adéquate (score de 75%) : ce qui veut dire que les indicateurs clés sur lesquels le système d information sanitaire doit rendre compte régulièrement sont bien identifiés et les méthodes de mesures également sont correctes. Aussi les définitions des indicateurs sont conformes aux normes techniques internationales. Toutefois, si l on se réfère aux résultats de l enquête d observation, la qualité de ces indicateurs régresse car liée intimement à la qualité des données collectées. Tableau 2 : Les indicateurs Résumé Indicateurrs Résultat Adequate 4 - Evaluation des Sources de données Cette composante porte sur : - le recensement effectué au moins tous les 10 ans et les résultats disponibles au plus tard 2 ans plus tard ; - les statistiques de l état civil (naissances et décès par âge et sexe et causes de décès) ; 7
- les enquêtes sur un échantillon représentatif de la population (EDS et autres enquêtes réalisées par l INSAE) ; - les informations basées sur les services de santé (données sur la morbidité, mortalité, types de services offerts, médicaments, disponibilité et qualité des services) ; - Comptes nationaux de la santé Les critères utilisés sont : contenu, capacités et pratiques, Intégration, dissémination et utilisation En dehors des statistiques de l Etat Civil (score 43%) qui sont inadéquates, tous les autres items sont à un niveau correct d évolution (entre 60% et 78%).Ce qui veut dire que les recensements et les enquêtes ménages menées par l INSAE sont de bonne qualité (normes internationales suivies). Pour les données des services de santé (score de 77%) et Health and diseases records = Données sanitaires et registres des maladies (score de 65%), toutes les rubriques sont adéquates. En effet, le système de surveillance épidémiologique au niveau du SNIGS fonctionne bien mais l utilisation de ces données pour la prise de décision dans toute la pyramide sanitaire est faible parfois nulle (Cf. résultats enquête d observation). De plus pour les donnés des services de santé, il y a un problème sur la couverture des structures sanitaires du secteur privé libéral. Graphique 2 : Evaluation des Sources de données A. Recensement B. Statistiques de l'etat civil C. Enquêtes dans la population D. Health & diseases records E. Données des services de santé F. Données administratives Not functional Not adequate at all Present but not adequate Adequate Highl 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 5 - Evaluation de la gestion des données Cette composante porte sur : a. la disponibilité de banque de données électronique centralisée provenant de tous les producteurs mais accessible par Internet ; b. l adhésion aux normes de définitions et de méthode ; 8
c. Existence d un forum pour discuter et comprendre les incohérences au niveau des données ; d. Comparaison des données obtenues avec celles obtenues dans d autres systèmes. Cette composante est jugée adéquate (score de 66%) : effectivement, le SNIGS dispose des bases de données aux niveaux central, départemental et certaines zones sanitaires. Ces bases sont sous forme électronique mais on ne peut pas y accéder par Internet actuellement. Il existe une définition de cas pour les données qui s y trouvent et une méthode de collecte standardisée. Il est institué pour les acteurs: - de la surveillance épidémiologique, des réunions trimestrielles ; - du système de routine (équipe départementales et zones sanitaires) des séances annuelles avec l équipe SNIGS Central pour valider ces données et discuter des incohérences. Pour être objectif, la séance annuelle du niveau central est insuffisante et par conséquent sans effet sur l amélioration escomptée sur les données départementales. Tableau 3 : Gestion des données Résumé Gestion des données Résultat Adequate 6 - Evaluation des produits de l information Cette composante évalue la qualité des indicateurs produits par le système (un nombre minimal est donné dans le support) en se fondant sur un certain nombre de critères que sont : a. actualité (délai) ; b. périodicité ; c. cohérence/exhaustivité ; d. représentativité ; e. désagrégation ; f. méthode d estimation et techniques statistiques utilisées Cette composante est jugée «présente mais non adéquate». Hormis l information concernant la mortalité, les autres produits de l information sont jugés inadéquats : - Qualité générale des indicateurs: 52% - Situation sanitaire: 56% - Système de santé: 51% Cette inadéquation semble être confirmée par les résultats de l enquête d observation : - Des incohérences dans les données collectées (mauvaise qualité), - Inobservance des périodicités définies (délais de transmission non respectés), - Non intégration des formations sanitaires du secteur privé libéral au SNIGS Le SNIGS a un grand problème au niveau des produits de l information car même si les données sont régulièrement collectées, il y a une mauvaise qualité des indicateurs qui en résultent (Cf. Résumé des résultats de l outil HMN). Un grand effort reste à consentir par tous les acteurs du système si l on ne veut pas remettre en cause voire perdre les traditionnels acquis du SNIGS 9
Graphique 3 : Evaluation produits de l information Selection d'indicateurs et résultats Qualité générale des indicateurs de santé Mortalité Facteurs de risque Système de santé Situation sanitaire Not functional Not adequate at all Present but not adequate Adequate Highly adequa 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 Graphique 4 : Qualité de l information sanitaire Evaluation générale des résultats Méthode d'estimation/transparence Critères de classification Représentativité/ Justesse Cohérence/ Totalité Periodicité Opportunité Not functional Not adequate at all Present but not adequate Adequate Highly adequate 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 10
7- Evaluation de la dissémination et de l utilisation de l Information Cette composante comprend : a. l analyse et l utilisation des informations ; b. la politique et le plaidoyer ; c. la planification et la définition des priorités ; d. l allocation des ressources ; e. la mise en œuvre et action Cette composante est globalement adéquate bien que la mise en œuvre et l action à partir de l information disponible dans le SNIS soit présente mais non adéquate. En effet si l on se réfère aux résultats des enquêtes d observation à différents niveaux de la pyramide sanitaire, on constate que très peu d acteurs (gestionnaires/prestataires de soins) analysent les données collectées. Donc les actions planifiées au niveau macro et micro prennent très peu appui sur les statistiques collectées et validées. V CONCLUSION ET RECOMMANDATIONS La quatrième évaluation du Système Nationale d Information Sanitaire a eu lieu six ans après la troisième qui s est déroulée en 2000. Le SNIS a subi une double évaluation compte tenu du contexte : - une évaluation interne qui a utilisé les outils traditionnellement appliqués aux évaluations antérieures avec quelques améliorations compte tenue de l évolution subie par le système de santé ; - une évaluation externe qui a utilisé les supports (questionnaires et outils d analyse des données) du Réseau de Métrologie Sanitaire auquel le SNIGS a adhéré depuis 2006. L évaluation interne a prospecté toute la pyramide sanitaire depuis le niveau central jusqu au niveau périphérique alors que l évaluation externe a inspecté le niveau macro c est-à-dire central, intermédiaire et partenaires. Les résultats issus des deux types d évaluations sont concordants bien que les outils soient différents. Les problèmes révélés au niveau de l enquête HMN ont tous été confirmés et explicités par les déclarations et observations faites par les formations sanitaires. Les problèmes relevés : 1. Insuffisance de Ressources Humaines (statisticiens, personnels de santé dévoués à la collecte, à l enregistrement et à l analyse des données), de Ressources Financières et matérielles allouées à la fonction statistique sanitaire à tous les niveaux de la pyramide sanitaire ; 2. Matériel informatique vétuste, insuffisant et inadéquat ; 3. Absence de NTIC dans le SNIS (transmission des données se fait encore par disquette 3 pouce ¼) ; 4. Erreurs de remplissage enregistrées sur tous les supports de données (gestion, surveillance épidémiologique, santé maternelle et infantile); 5. Distorsion variable notée selon la catégorie du support de notification : non fiabilité des données collectées; 6. Mauvaise qualité des données collectées et transmises à la hiérarchie : les enquêtes d observation directe (évaluation interne) ont montré des incohérences dans les données collectées, inobservance des périodicités définies, non intégration de toutes les formations sanitaires du secteur privé libéral au SNIGS (niveau local) 11
7. Faible utilisation des informations collectées par les acteurs (gestionnaires/prestataires) pour la gestion, la planification et le suivi du fonctionnement des services de santé ; 8. la non fonctionnalité de l Etat civil au Bénin Eu égard donc à tout ce qui précède, les recommandations suivantes ont été formulées par les acteurs du système (point des participants au séminaire de validation des résultats de l évaluation): Rendre disponible l information sanitaire sur le site Web du Ministère et l actualiser Connecter toutes les équipes SNIGS des DDS au réseau Internet Demander aux ZS d inscrire dans leur plan d action la Formation/Recyclage des agents chargés de la collecte des données statistiques ; Affecter d avantage de ressources à la supervision à tous les niveaux de la pyramide sanitaire ; Élaborer un guide de supervision et de contrôle de la qualité des données à chaque niveau de la pyramide sanitaire ; Élaborer un document cadre d évaluation du SNIGS ; Réglementer le cadre de concertation et de validation des données provenant du SNIGS et des soussystèmes (Programmes/Projets) ; Accroître les ressources allouées au SNIGS pour son renforcement ; Élaborer un projet d appui au SNIGS ; Instruire les différents niveaux pour la mise en œuvre des résolutions qui leurs reviennent et le respect du délai d exécution ; Organiser à chaque niveau des séances périodiques de validations des données. 12
ANNEXE 1 : Liste des structures proposées par item pour recevoir et remplir le questionnaire HMN dans le cadre de la 4 ème évaluation du SNIGS Item I Ressources DNPS DH DPP/CSE DSF PNLP PNLS PNT DDSP SEPS ET SPPS DRH DNPEV SGM DPP ITEM II INDICATUERS DNPS/SESS DH DPP/CSE DDS/SEPS-SPPS DNPEV HZ BM OMS UNICEF COOP SUISSE UE STPAS OCS INSAE SGM DPP ITEM III SOURCES DE DONNEES INSAE DNPEV DNPS DSF D/CHD UNFPA CEFORP OCS PNLP PNLS PNT DDS/SEPS ET SPPS DRH DPP/SESP MCZS ITEM IV GESTION DES DONNEES DNPEV DNPS DDS/SEPS ITEM V PRODUIT D INFORMATION DRFM DRH INSAE PNLS DHAB DNPEV DNPS ITEM VI DESTINATION ET UTILISATION DES DONNEES DPP/SSD DDS/SEPS DNPEV DNPS SGM INSAE DPP/SP DRFM CHD Président de l Organe Paritaire de concertation Privée Public (le mettre partout) 13
ANNEXE 2 : COMPOSITION DU GROUPE I : Diagnostic du système Président : Mme DEGLA Eugénie CTQS/MS Rapporteur : Dr ADJAGBA Mahouna Médecin ZS/Cotonou IV Facilitateurs : CAPO-CHICHI Fortuné CA/SSDDPP/MS CODO Estelle MédecinBASP 96 Membres: - NOUTANGNI Jean Paul Administrateur GRH-DDS/Z-C - WHANNOU Stanislas TS/ Action Culturelle SGM/MS - GUEDOU Charles Juste Planificateur SP/DPP - DOHINNON Paul Documentaliste SSD/DPP - AGOSSOU Jean Statisticien DDS Atl/Lit - SAGBOHAN M. Auguste Economiste DPP - DOSSOUVI B. Julienne Administrateur des Hôpitaux DH/MS - AHANHANZO Césaire Statisticien AMP - TOSSE Valentin Spécialiste SIS/GPPISAF/USAID - OGOUBIYI F. Viviane Médecin C/SPPSDDS Atl/Lit COMPOSITION DU GROUPE II : RESSOURCES DU SYSTEME Président : Mr DADY Benjamin Rapporteur : BABADJIHOU Clément Facilitateur : ZOUNTCHEME Serge Membres : - AKPLO Claire - TONOUKOUEN Léopold - TOKOU Hyacinthe - ALLOWAH Rémi - AMOUSSOU Raymond - KOUKOUI Nestor - ZOUNTCHEGNON Léa - HOUNTONDJI Léandre - DOSSOU Félicien - HOUNSA Adrien - SODABI G. Nicolas - AINADOU Henri Claude - HOUETO Gbèdonou Composition du groupe 3 : Surveillance épidémiologique Président : Dr IBRAHIMA Idrissou Rapporteur : ALOMA Théodore Facilitateur : DJODJO K. Cosme - CISSE Ibrahim - OGOUDELE Sylvain - Pr GNINAFON Martin - KOUDOUKPO Spéro - TANGNI Ignace - NOUNAWON Ernest - GANDIGBE Armand - HOUNSOU François 14
- BALOGOUN Amour - ANAGONOU Guy - MINAFLINOU Julien - EZIN Espédit - GANVOEDO Clément - Dr GBESSI Gaspard COMPOSITION DU GROUPE IV : SANTE MATERNELLE ET INFANTILE Président : TOKPLONOU Evariste Secrétaire : SAGBO S. Ospice Martelle Facilitateur : PADONOU Victor Membres : GAYON Symphorose HOUNDEGANME Arnaud TOUMOUDAGOU Ouimpabo QUENUM Alban NAGO Marie Rose ACCLASSATO Louise Sidonie TOKPLONOU Evariste ZANNOU Alexis Traoré Esther GNANVI Grégoire CHITOU Abdou Moudjibi TOGONOU Hippolyte 15
SSD/DPP/MS 06 BP 1158 Cotonou BENIN TERMES DE REFERENCE DES GROUPES Atelier de synthèse de la 4è évaluation du SNIGS 16
GROUPE N 1 : DIAGNOSTIC DU SYSTEME D INFORMATION A. Analyse des faiblesses du système En vous servant des conclusions, des résultats des différentes enquêtes (opinion, observation, HMN) et des principales idées développées en plénière sur le fonctionnement du SNIGS, il vous est demandé : d énumérer les principaux problèmes liés à la qualité des données collectées par le SNIGS ; d en dégager les causes ou les explications ; de proposer des approches de solutions et des actions à mener durant les cinq (5) prochaines années ; de définir et de clarifier les relations fonctionnelles du SNIGS avec la CSE, les autres services de la DPP, les programmes, projets et les autres directions ; de proposer des recommandations. B. Atouts et acquis du système 1. Faire la synthèse des atouts et acquis du système ; Proposer des actions de sauvegarde et d amélioration de ces atouts et acquis ; Proposer des recommandations. C. Définition des nouveaux objectifs En vous basant sur les objectifs du SNIGS tels que fixés à l évaluation de 2000 et au regard de problèmes actuels relevés plus haut, redéfinir, reformuler ou reconduire selon le cas aux niveaux central et intermédiaire : 1. l objectif général pour les cinq prochaines années ; 2. les objectifs spécifiques D. Composition du groupe Niveau central Niveau intermédiaire Niveau périphérique Partenaires - DAPP - C/SSD - C/CSE - C/SESP - SGM - DC - Paul DOHINNON - DDZS - DIEM - C/SRH Zou - C/SAF Ouémé - C/SEPS Ouémé - C/SPPS Ouémé - Statisticien SEPS Atlantique - MCZ Cotonou 4 - OMS (DPC) - PISAF - AMP - OPP - IRSP - UGFM - Union Européenne Facilitateurs: Dr Estelle CODO et M. Fortuné CAPO-CHICHI 17
GROUPE N 2 : Gestion des ressources du secteur A. Analyse des faiblesses du système En vous servant des conclusions, des résultats des différentes enquêtes (opinion, observation, HMN), il vous est demandé : 1. de donner des explications aux différents problèmes observés sur la qualité, la transmission et l utilisation des données collectées actuellement par le SNIGS pour les supports de gestion (série A) ; 2. d en dégager les causes ; 3. de proposer des solutions et des actions à mettre en œuvre aux niveaux central (MS et SSD/DPP), intermédiaire (DDS et SEPS-SPPS) et opérationnel (ZS et CS). B. Modification des supports de gestion En vous basant sur les tableaux de synthèse des différents avis sur les supports de collecte, proposer pour les cinq (5) prochaines années : 1. les supports à garder, à modifier ou à sortir du système ; 2. enregistrer concomitamment lesdites modifications sans pour autant alourdir le support ; 3. statuer sur le circuit de l information pour ces supports depuis la périphérie jusqu au niveau central ; 4. En vous servant de la liste des indicateurs de suivi de performance du secteur, dégager les indicateurs à retenir pour le tableau de bord au niveau : Centre de santé ZS DDS C. Gestion de nouveaux besoins entre deux évaluations La période moyenne entre 2 évaluations est de 4 à 5 ans, le constat est que de nouveaux besoins sont exprimés par les partenaires qui déploient directement sur le terrain des supports spécifiques. Il vous est demandé ici de : Proposer et Adopter une procédure de prise en compte des nouveaux besoins (introduction des supports autres que le SNIGS) dans les formations sanitaires. D. Composition du groupe Niveau central Niveau intermédiaire Niveau périphérique Partenaires - C/SCCT - C/SCM - C/SP - DRFM - DRH - DPM - DA/CAME - Félicien DOSSOU - C/SAF Zou - C/SAF Atlantique - C/SRH Ouémé - C/SRH Atlantique - MCZ Aplahoué - CREDESA - 8è FED - PSI - Banque Mondiale - Coopération Suisse - Ordre des Pharmaciens Facilitateur: M. Serge ZOUNTCHEME 18
GROUPE N 3 : Surveillance épidémiologique A. Analyse des faiblesses du système En vous servant des conclusions, des résultats des différentes enquêtes (opinion, observation, HMN), il vous est demandé : 1. de donner des explications aux différents problèmes observés sur la qualité, la transmission et l utilisation des données collectées actuellement par le SNIGS pour les supports de surveillance (type B); 2. d en dégager les causes ; 3. de proposer des solutions et des actions à mettre en œuvre aux niveaux central (MS et SSD/DPP), intermédiaire (DDS et SEPS-SPPS) et opérationnel (ZS et CS). B. Modification des supports de surveillance En vous basant sur les tableaux de synthèse des différents avis sur les supports de collecte, les documents de l atelier d Abomey, proposer pour les cinq (5) prochaines années : 1. les supports à garder, à modifier ou à sortir du système ; 2. enregistrer concomitamment lesdites modifications sans pour autant alourdir le support ; 3. statuer sur le circuit de l information pour ces supports depuis la périphérie jusqu au niveau central ; 4. En vous servant de la liste des indicateurs de suivi de performance du secteur, dégager les indicateurs à retenir pour le tableau de bord au niveau : Centre de santé ZS DDS C. Gestion de nouveaux besoins entre deux évaluations La période moyenne entre 2 évaluations est de 4 à 5 ans, le constat est que de nouveaux besoins sont exprimés par les partenaires qui déploient directement sur le terrain des supports spécifiques. Il vous est demandé ici de : Proposer et Adopter une procédure de prise en compte des nouveaux besoins (introduction des supports autres que le SNIGS) dans les formations sanitaires. D. Composition du groupe Niveau central Niveau intermédiaire Niveau périphérique Partenaires - Ibrahim CISSE - DNPS - DNPS- C/SESS - DNPS-C/SHMNT - Statisticien PNLS - Statisticien PNT - Statisticien PNLP - D/CNHU - DSIO - DRS - DEDTS - Statisticien SEPS Ouémé - Statisticien SEPS Mono - C/SEPS Atlantique - C/SPPS Atlantique - C/SPPS Borgou - OMS (Conseiller MAL) - AMCESS - PASEI2 - Ordre des Médecins - Ordre des Infirmiers Facilitateur: M. Cosme DJODJO 19
GROUPE N 4 : Santé Maternelle et Infantile A. Analyse des faiblesses du système En vous servant des conclusions, des résultats des différentes enquêtes (opinion, observation, HMN), il vous est demandé : 1. de donner des explications aux différents problèmes observés sur la qualité, la transmission et l utilisation des données collectées actuellement par le SNIGS pour les supports SMI (registre de décompte SMI, C6, C7, C8, C9, C10, C11) ; 2. d en dégager les causes ; 3. de proposer des solutions et des actions à mettre en œuvre aux niveaux central (MS et SSD/DPP), intermédiaire (DDS et SEPS-SPPS) et opérationnel (ZS et CS). B. Modification des supports de surveillance En vous basant sur les tableaux de synthèse des différents avis sur les supports de collecte, proposer pour les cinq (5) prochaines années : 1. les supports à garder, à modifier ou à sortir du système ; 2. enregistrer concomitamment lesdites modifications sans pour autant alourdir le support ; 3. statuer sur le circuit de l information pour ces supports depuis la périphérie jusqu au niveau central ; 4. En vous servant de la liste des indicateurs de suivi de performance du secteur, dégager les indicateurs à retenir pour le tableau de bord au niveau : Centre de santé ZS DDS C. Gestion de nouveaux besoins entre deux évaluations La période moyenne entre 2 évaluations est de 4 à 5 ans, le constat est que de nouveaux besoins sont exprimés par les partenaires qui déploient directement sur le terrain des supports spécifiques. Il vous est demandé ici de : Proposer et Adopter une procédure de prise en compte des nouveaux besoins (introduction des supports autres que le SNIGS) dans les formations sanitaires. D. Composition du groupe Niveau central Niveau intermédiaire Niveau périphérique Partenaires - Symphorose GAYON - DPP - DSF - DNPEV - DNPEV-C/SVAC - DAC - Conseiller Technique - Juste GUEDOU - Statisticien SEPS Borgou - C/SEPS Atacora - C/SEPS Zou - Statisticien SEPS Zou - Statisticien SEPS Atacora - C/SEPS Mono - UNICEF - OMS (Conseiller Santé Familiale) - DG/INSAE - UNFPA Facilitateur: M. Victor PADONOU 20
ANNEXE 3 : Communication N 1 LES COMMUNICATIONS ATELIER DE VALIDATION DES RESULTATS DE L EVALUATION DU SNIGS OBJECTIFS ET METHODOLOGIE INFOSEC, 6 et 7 février 2007 INFOSEC, 6 & 7 Février 2007 1 OBJECTIFS DE L ATELIER Valider les résultats des enquêtes d opinion et d observation réalisées sur le SNIGS; Apprécier les différents problèmes du Système relevés par l évaluation; Identifier les causes éventuelles Proposer les solutions appropriées aux problèmes relevés; Adopter les nouveaux supports de collecte du Système d Information. INFOSEC, 6 & 7 Février 2007 2 RAPPEL DES OBJECTIFS DE L EVALUATION DU SNIGS (1) 1 Objectif général Apprécier objectivement la performance du Système d Information Sanitaire actuel face aux besoins d informations des acteurs du secteur de la santé. INFOSEC, 6 & 7 Février 2007 3 RAPPEL DES OBJECTIFS DE L EVALUATION DU SNIGS (2) 2. Objectifs spécifiques Recenser les problèmes inhérents au fonctionnement du SNIGS (problèmes rencontrés par les acteurs du système depuis le CSA jusqu au niveau central) ; Comparer les problèmes à ceux identifiés aux évaluations antérieures ; Apprécier la validité des statistiques collectées dans nos formations sanitaires et utilisées pour la planification et la programmation nationale ; INFOSEC, 6 & 7 Février 2007 4 RAPPEL DES OBJECTIFS DE L EVALUATION DU SNIGS (3) Évaluer l adéquation des informations collectées avec les besoins actuels des responsables du secteur ; Apprécier les relations éventuelles qui pourraient exister entre les sous systèmes de surveillance épidémiologique et le SNIGS; Apprécier la motivation du personnel chargé de faire le suivi (les statistiques et la documentation) des activités sur le terrain (promotion, lettre de félicitation, stage, sanctions..etc.) INFOSEC, 6 & 7 Février 2007 5 PILOTAGE DE L EVALUATION Organes de pilotage de l évaluation avec des attributions bien définies: Groupe technique d évaluation ( représentants de directions techniques et centrales du MS, Programmes/projets, partenaires ;) Comité de pilotage (autorités politiques du MS, INSAE, point focal HMN_OMS Bénin ) ; Groupe technique de pilotage (Cadres techniques DPP et INSAE) INFOSEC, 6 & 7 Février 2007 6 21
METHODOLOGIE (1) L évaluation du Système National d Information et de Gestion Sanitaires (SNIGS) édition 2006 est une étude transversale à l aide de questionnaires : une évaluation interne : enquêtes d opinion et d observation ; une évaluation externe : enquête d opinion avec l outil HMN. Le financement de l opération est à la charge de : HMN pour les ressources financières et MS pour la logistique et les ressources humaines METHODOLOGIE (2) 1. Echantillonnage enquête d opinion : Exhaustive (utilisateurs et producteurs de statistiques) pour le questionnaire SNIGS; Non exhaustive pour le questionnaires HMN (quelques utilisateurs et producteurs de statistiques selon les composantes) 2. Echantillonnage enquête d observation 60 formations sanitaires ont été tirés au sort dans toute la pyramide sanitaire : 6 HZ, 6 EEZ, 12 CSC, 36 CSA (public et privé) INFOSEC, 6 & 7 Février 2007 7 INFOSEC, 6 & 7 Février 2007 8 PERIODE Ces différentes enquêtes se sont déroulées comme suit: Acteurs du SNIGS (formations sanitaires, projets/ programmes, partenaires) Enquête d opinion : nov 2005 à juillet 2006; Enquête d observation : 23 au 27 octobre 2006 Acteurs du SNIGS [Équipe DDS, MS (niveau central), projets/programmes, partenaires, INSAE, IRSP,MESRS (FSS, CBRST,CEFORP)]: 16 au 31 octobre 2006 CONCLUSION Les différentes présentations qui vont suivre vous renseigneront plus amplement sur la méthodologie, l échantillon de chaque type d enquête. INFOSEC, 6 & 7 Février 2007 9 INFOSEC, 6 & 7 Février 2007 10 Communication N 2 PLAN DE PRESENTATION 4 ème EVALUATION DU SNIGS RESULTATS ENQUETE OPINION METHODOLOGIE RESULTATS DE L ENQUETE Supports de gestion Supports de surveillance épidémiologique Support SMI Transmission des rapports Tenue des archives Formation et recyclage Retro information Motivation des agents CONCLUSION 22
METHODOLOGIE DE L ENQUETE 7 modules de questionnaire élaborés (CSA; CSC; HZ; BZ-DDS; PP; PD) Questionnaire distribué à toutes les structures ciblées RESULTATS DE L ENQUETE Supports de gestion Remplissage: facile selon l avis de plus de 75% des enquêtés Dans 60% des cas aucun avis n est donné sur le A16. RESULTATS DE L ENQUETE Supports de gestion Utilité des informations des supports: Tous les supports des gestions sont jugés utiles par les utilisateurs enquêtés (+80%) Suggestions des enquêtés: Support à supprimer parce que non rempli: A16; A17; A18; A21; A24 Sans avis: A19; A22; A23 RESULTATS DE L ENQUETE Supports de surveillance épidémiologique Remplissage: Facile selon les enquêtés Utilité: information utile pour + de 95% des enquêtés sauf pour le B7 où 22% des enquêtés estiment que les info sont inutiles Support à supprimer: B7 RESULTATS DE L ENQUETE Supports SMI Remplissage: Facile pour + de 90% des FS Utilité: Utile pour + de 90% des FS Supports à supprimer: C8; C9; C10; C11. (Ne sont plus indispensables à cause de l informatisation) RESULTATS DE L ENQUETE Transmission des supports Supports de suivi: Disponibles dans seulement 46% des FS Raisons: Aucune (72%); Ignore son utilité (23%) Données FSPr: Compilées dans celles Des FSPu (33%) sur les 75% ayant répondu à la question 23
RESULTATS DE L ENQUETE Transmission des supports Délai de transmission: Juste adéquat (70%); Sans avis (18%) Cependant, plus de 30% accusent entre 6 à 15 jours de retard Double des rapports: Existe dans + de 85% des FS RESULTATS DE L ENQUETE Archivage des rapports Difficultés: Absence d armoire de rangement (65%) Absence de classeur (18%) Inexistence de locaux (10%) Disponibilité Guide SNIGS: Environ 40% n en disposent pas RESULTATS DE L ENQUETE Formation Recyclage Près de la moitié (48%) des respo stat des FS ne sont pas Formés Parmi les 58% formés, 70% l ont été sur le tas RESULTATS DE L ENQUETE Retro info: 61% des FS ont déclaré n avoir aucune connaissance des bulletins de retro-info Motivation des agents: Plus de 70% des agents ne sont pas motivés pour la X des données stat. Seulement 9% impliqués dans activités FS CONCLUSION L enquête d opinion auprès des acteurs du SNIGS à tous les niveaux de la pyramide sanitaire a permis de recueillir les avis des uns et des autres sur le fonctionnement du SNIGS. Les résultats sont projetés globalement; les détails sur les différents aspects abordés au cours de l enquête sont dans le rapport de l enquête qui sera soumis aux groupes pour amendement. 24
Communication N 3 Enquête d observation : Objectifs de l enquête d observation Objectif général : Analyser la qualité et la fiabilité des outils du SNIGS à chaque niveau de la pyramide sanitaire Objectifs (1/2) Objectifs spécifiques (1/2) Mesurer la fiabilité des données recueillies dans le SNIGS, en matière de gestion du financement communautaire, de la surveillance épidémiologique, des activités de santé reproductive, à chaque niveau de la pyramide sanitaire. Mesurer la périodicité de la transmission à chaque niveau de la pyramide sanitaire Objectifs (2/2) Objectifs spécifiques (2/2) Mesurer le degré d analyse des données sous forme d utilisation de graphique et de monitoring. Évaluer l efficacité de la rétro information. Méthode : (1/3) Echantillonnage : L enquête a porté sur un échantillon de formations sanitaires représentant chaque niveau de soins : Le choix des formations sanitaires à enquêter s est fait par sondage aléatoire à deux niveaux : Méthode : (2/3) - Premier niveau de sondage, le choix des Communes : Dans chaque département, trois sous communes ont été tirées au sort dans la liste des communes - Deuxième niveau de sondage, le choix des formations sanitaires : Dans chaque commune retenue, deux CSA ont été tirés au sort dans la liste des centres de santé d arrondissement figurant sur l annuaire 2005. 25
Méthode (3/3) Déroulement de l enquête : Une équipe de trois enquêteurs s est rendue dans chaque département. Dans chaque centre de santé, les données de gestion, de surveillance épidémiologique et de SMI ont fait l objet d un re-dépouillement pour le mois de mars 2006. Données complémentaires recueillies sur l analyse de l information ; la rétro information ; la formation et le recyclage ; et les délais de transmission L analyse : choix des indicateurs Fiabilité : La proportion d erreurs ;Taux de distorsion Analyse Courbes et calcul des indicateurs de monitoring. Rétro information Bulletins du RétroSNIGS Formation recyclage Guides d instruction du SNIGS; formations. Délais de transmission L analyse : Supports de gestion Fiabilité : La fiabilité est appréciée par deux types d indicateurs La proportion d erreurs : - le nombre d erreurs par supports - le nombre d erreurs par rapport et par item Taux de distorsion (amplitude des erreurs) : - La distorsion est la valeur de l écart constaté par rapport à la valeur globale vérifiée par support et par item. Supports de gestion : Supports Proportion de support avec erreurs Distorsions observées Livre de caisse «recettes» : A5 1,07 % -0,20 % Livre de caisse «dépenses» : A5 0,94 % 0,002 % A12 : recettes et apports financiers 3 % -0,21 % A12 : dépenses 3,67 % -8,80 % Report des avoirs 23,08 % 0,04 % Supports épidémiologiques Supports SMI Santé Maternelle et Infantile: Surveillance épidémiologique : Items Proportion de supports avec erreurs Distorsions observées Nouveaux cas 100 % 62,3 % Cas de rougeole 2,33 % 50 % Cas de paludisme 70,45 % 11,71 % Cas d IRA basses 77,27 % 06,85 % Cas de choléra 0 % ~ Items Proportion de support avec erreurs Distorsions observées BCG 13,95 % 1,37 % DTC3 18,60 % 4,10 % VAR 11,63 % 0,78 % Accouchements 05,88 % 0,51 % CPN CPoN PF 11,90 % 5% 18,05% 0,72 % -4,89% 17,90% 26
Analyse des données Rétro information Les courbes : Nouveaux cas Cas de rougeole Cas de méningite Couverture BCG Couverture DTCP3 Couverture CPN Courbes tracées Courbes non tracées Proportions de courbes tracées 11 36 23% 24 23 51 % 22 25 47% 35 11 76 % 35 11 76 % 25 21 54 % La connaissance et disponibilité du bulletin de RétroSNIGS Oui Non Total Connaissance Nombre 25 12 37 Pourcentage 54% 46% 100% Disponibilité Nombre 12 25 37 Pourcentage 32% 68% 100% Formation recyclage A) PRESENCE DU GUIDE D INSTRUCTION DANS LA FORMATION SANITAIRE Nombre Pourcentage Présent 22 50% Absent 22 50% Total 44 100% B) CONNAISSANCE DU CONTENU DU GUIDE D INSTRUCTIONS Nombre Pourcentage Annexe 5 17% Autres 1 3% Partie Epidémiologie 3 10% Ne sait pas 21 70% Total 30 100% Transmission Avant la période prévue Pendant la Après les période prévue délais Période Janvier 2006 1 46 (2%) (98%) Février 2006 1 46 (2%) (98%) Mars 2006 1 46 (2%) (98%) Avril 2006 1 1 45 (2%) (2%) (96%) Mai 2006 1 1 45 (2%) (2%) (96%) Juin 2006 4 43 (9%) (91%) Total 9 140 133 (3%) (50%) (47%) Conclusions Il apparaît au vu de ce qui précède que: Les supports de collecte sont mal remplis:fréquence d erreurs et taux distorsion assez élevé par endroit L analyse des données n est pas faite dans bon nombre de centres contrôlés:traçé des courbes, calcul des indicateurs La rétro information n est pas assurée dans la moitié des centres contrôlés Connaissance limitée du guide d instructions QUE FAIRE? 27
Communication N 4 RESEAU DE METROLOGIE SANITAIRE PLAN DE PRESENTATION Séminaire de validation des Résultats de l Evaluation du SNIGS INFOSEC, 6 & 7 Février 2007 www.healthmetricsnetwork.org 1. Objectifs de l enquête 2. Méthodologie 3. Résultats 3.1 Ressources 3.2 Indicateurs 3.3 Sources de données 3.4 Gestion des données 3.5 Produits de l information 3.6 Dissémination et Utilisation 1. OBJECTIFS DE L ENQUÊTE Objectif général Apprécier objectivement la performance du Système d Information Sanitaire actuel 1. OBJECTIFS DE L ENQUÊTE Objectifs spécifiques Identifier les problèmes inhérents au fonctionnement du SNIGS (problèmes rencontrés par les acteurs du système au niveau intermédiaire et niveau central) ; Apprécier la validité des statistiques collectées par le Système d information et utilisées pour la planification et la programmation nationale Évaluer l adéquation des informations collectées avec les besoins actuels des responsables du secteur et des partenaires 2. METHODOLOGIE Type - Enquête transversale (Niv. Stratégique) sur l ensemble du système d information sanitaire du pays Outil - Questionnaire (outil HMN) mis à la disposition de l équipe du SNIGS Bénin par le RMS. 2. METHODOLOGIE Cibles - Directions techniques et centrales du MS, - Directions départementales (DDS, SEPS, SPPS), - Projets et Programmes prioritaires (PNLP, PNLS, PNT) - Structures/Organisations partenaires du secteur Santé, - Organe paritaire partenariat secteur public-privé, - INSAE, OCS (DSRP et OMD), STPAS (MDEF), - IRSP, FSS, CEFORP, CBRST (MESRS) 28
2. METHODOLOGIE Echantillonnage Nombre questionnaires envoyés : 79 Nombre de questionnaires reçus : 59 Soit un taux de réponse de 75% Période de collecte : 16 au 31 octobre 2006 Les informations recueillies concernent notamment : - Disponibilité des ressources politiques, humaines, matérielles et financières du SNIGS, - Différents indicateurs retenus par les acteurs, - Principales sources de données de l information sanitaire, - Gestion des données générées, - Produits de l information, - Dissémination et utilisation de ces données. Graphique 1: Évaluation générale 3.1 Ressources Dissémination et utilisation La composante «Ressources» comprend : Produits de l'information Gestion des données Contexte juridique réglementaire et de planification (définition de mécanisme, disponibilité des données, qualité des données) ; Sources de données Indicateurs Institutions et RH déployées dans la collecte, l enregistrement et l analyse des données sanitaires; Ressources Not functional 0,1 Not adequate at all 0,2 0,3 Present but not adequate 0,4 0,5 Adequate 0,7 Highly adequate 0,9 0 0,6 0,8 1 3.1 Ressources 3.1 Ressources Tableau 1 : Ressources R. financières (nationale et internationale) utilisées par le SNIGS; Résumé des résultats Maximum Score % Infrastructures/équipement (Ordi., logiciels d exploitation, Internet, BDD), Moyens de Collecte et transmission de l information (garantissant la qualité des données) A B C Politique et Planification Institutions, ressources humaines et financement du SNIGS Infrastructures du SNIGS 24 27 18 12 14 10 50% 53% 54% Résultats globaux 69 36 52% 29
3.1 Ressources Commentaires Cette composante est jugée globalement non adéquate (score de 52%) dans tous ses éléments (items). Ceci veut dire que l on ne donne pas encore au système d information les moyens qu il lui faut pour être performant : Politique en matière d information sanitaire et plan de développement du SIS conforme aux normes inexistants ; Insuffisance de RH (statisticiens, personnels de santé dévoués à la collecte, à l enregistrement et à l analyse des données), de R. Fin. (à tous les niveaux de la pyramide sanitaire) ; 3.1 Ressources Logiciels spécifiques d exploitation des données disponibles (logisnigs et logihosp) ; BDD statistiques disponibles du Niv. Central au niv. ZS; Matériel informatique vétuste, insuffisant et inadéquat (niv. départemental), Transmission des données se fait encore par disquette 3 pouce ¼ ; Pas d accès à Internet pour 5/6 équipes départementales Difficultés permanentes de connexion àopt pour le niveau central qui a hérité de l abonnement fait par le FAC depuis 1994. 3.2 Indicateurs 3.2 Indicateurs Tableau 2 : Évaluation des indicateurs Cette composante comprend : Identification et le choix des indicateurs clés du SIS; Résumé des résultats Maximum Score % Fréquence de suivi (publication), méthode de calcul standardisée ; II. Indicateurs 15 11 76% Inclusion des indicateurs des OMD à la liste nationale ;Ventilation des indicateurs (sexe, âge, statut socio-économique, situation géographique, ethnie) II. Indicateurs Adequate 3.2 Indicateurs Elle est jugée adéquate (score de 75%). Ce qui signifie : Indicateurs clés (sur lesquels le système d information sanitaire doit rendre compte régulièrement) sont bien identifiés Méthodes de mesures sont correctes Définitions des indicateurs sont conformes aux normes techniques internationales. Toutefois, si l on se réfère aux résultats de l enquête d observation, la qualité de ces indicateurs régresse car liée intimement à la qualité des données collectées. 3.3 Sources de données Il s agit des sources suivantes: Recensement Statistiques Etat Civil Enquêtes dans la population Rapports sanitaires/registres des maladies Données sur les services de santé Données administratives Les critères d évaluation portent sur : contenu, capacités et pratiques, intégration, dissémination et utilisation 30
A. Recensement B. Statistiques de l'etat civil C. Enquêtes dans la population D. Health & diseases records E. Données des serv ices de santé F. Données administrativ es 3.3 Sources de données Graphique 2:Évaluation des sources de données Not functional Not adequate at all Present but not adequate Adequate Highly adequate 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 3.3 Sources de données Hormis les Statistiques de l Etat Civil jugées inadéquates(score 43%), tous les items sont à un niveau correct d évolution (entre 60% et 78%) : - Recensements et Enquêtes ménages sont de bonne qualité (normes internationales suivies), - Données des services de santé (score de 77%) - Health and diseases records = Données sanitaires et registres des maladies (score de 65%), Toutes ces rubriques sont donc jugées adéquates Cependant l utilisation de ces données pour la prise de décision dans toute la pyramide sanitaire est faible voire nulle (Cf. résultats enq. d observ.). De plus pour les donnés des services de santé, il y a un problème sur la couverture des structures sanitaires du secteur privé libéral. 3.4 Gestion des données 3.4 Gestion des données L évaluation a porté sur le mécanisme mis en place pour gérer les données sanitaires - procédures de collecte, stockage, apurement, contrôle, analyse et présentation des données; - existence de bases de données intégrées; - existence de manuels de procédures IV. Tableau 3 : Évaluation de la gestion des données Résumé des résultats Gestion des données Evaluation de la gestion des données Maximum 15 Score 10 Adequate % 66% 3.4 Gestion des données Cette composante est jugée adéquate (score de 66%) : Car le SNIGS dispose de: - Procédures de collecte et de transmission des données standardisées pour tous les niveaux - Des outils de collecte - Des bases de données aux niveaux central, départemental et de certaines zones sanitaires; - Ces bases sont sous forme électronique mais ne sont pas accessibles par Internet - Il existe une définition de cas pour les données qui s y trouvent; - Il existe un cadre de concertation des acteurs pour la validation des données Pour être objectif, la validation annuelle des données faites au niveau central est insuffisante et par conséquent est sans effet sur l amélioration des données départementales escomptée. 3.5 Produits de l information Cette composante évalue la qualité des indicateurs générés par le système : - indicateurs du statut sanitaire (ex. mortalité, morbidité) - indicateurs du système de santé (ex. taux de fréquentation, couvertures vaccinales, nombre de médecins pour 1000 habitants, etc.) - indicateurs des facteurs de risque (% de fumeurs dans la population de 15-24ans, taux d utilisation du préservatif lors des rapports sexuels à haut risque, etc.) 31
3.5 Produits de l information L évaluation de la composante se fonde sur un certain nombre de critères que sont : actualité (délai) ; périodicité ; cohérence/exhaustivité ; représentativité ; désagrégation ; méthode d estimation et techniques statistiques utilisées 3.5 Produits de l information Graphique 3: Évaluation des produits de l information Selection d'indicateurs et résultats Qualité générale des indicateurs de santé Mortalité Facteurs de risque Système de santé Situation sanitaire Not functional Not adequate at all Present but not adequate Adequate Highly adequate 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,9 0 0,8 1 3.5 Produits de l information Hormis l information concernant la mortalité, les autres produits de l information sont juges inadéquates : - Qualité générale des indicateurs: 52% - Situation sanitaire: 56% - Système de santé: 51% - Etc. Evaluation générale des résultats Méthode d'estimation/transparence Critères de classification Représentativ ité/ Justesse Cohérence/ Totalité Periodicité 3.5 Produits de l information Graphique 4: Évaluation des produits de l information Opportunité Not functional Not adequate at all Present but not adequate Adequate Highly adequate 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 3.6 Produits de l information RESULTATS : Dissémination et utilisation de l information Cette composante est jugée «présente mais non adéquate (52%)». Cette inadéquation semble être confirmée par les résultats de l enquête d observation : - Des incohérences dans les données collectées, - Inobservance des périodicités définies (délais de transmission non respectés), - Non intégration des formations sanitaires du secteur privé libéral au SNIGS Un grand effort reste à consentir par tous les acteurs du système si l on ne veut pas remettre en cause voire perdre les traditionnels acquis du SNIGS A B C D E Résumés des résultats A. Analyse et utilisation des informations Politique et plaidoyer Planification et définition des priorités Allocation des ressources Mise en oeuvre et actions TOTAL Maximum 18 12 9 12 9 60 Score 13 9 7 7 5 41 % 70% 77% 73% 61% 56% 68% Résultat Adequate Adequate Adequate Adequate Present but not adequate Adequate 32
RESULTATS : Dissémination et utilisation de l information Cette composante est globalement adéquate bien que la mise en œuvre et l action à partir de l information disponible dans le SNIS soit non adéquate. TOUT LE MONDE COMPTE Mieux informer. Mieux décider. d Mieux vivre sa santé. En effet si l on se réfère aux résultats des enquêtes d observation à différents niveaux de la pyramide sanitaire, on constate que très peu d acteurs (gestionnaires/prestataires de soins) utilisent les information sanitaires pour la gestion; la planification et le suivi du fonctionnement des services de santé au niveau local. www.healthmetricsnetwork.org 33