III- CONCLUSIONS IV- RECOMMANDATIONS V- LEÇONS TIREES ET OPPORTUNITE VI- ANNEXES

Evaluation finale du projet renforcement de la Direction de la Pharmacie et du Médicament en matière d enregistrement et d utilisation des médicaments Rapport des Experts Septembre 2005

TABLE DES MATIERES I- RESUME I- 1- Rappel des objectifs du projet I- 2- Objectifs de l évaluation : I- 3- Analyse par critère d évaluation I- 4- Coopération internationale dans le secteur I- 5- Leçons tirées I- 6- Extension du projet II- EVALUATION DU PROJET DE RENFORCEMENT DE LA DPM II- 1- Description du projet II- 1-1- Bénéficiaire II- 1-2- Le projet II- 1-2- 1- Présentation générale du projet II- 1-2- 2- Objectifs du projet II- 1-2- 3- Changements significatifs apportés aux objectifs ou à la planification initiale II- 1-2- 4- Résultats attendus du projet II-1-2- 5- Composantes du projet II- 1-3- Objectifs de l évaluation II- 1-4- Eléments clés et caractéristiques II- 2- Analyse par critère d évaluation II- 2-1- Pertinence II- 2-2- Efficience II- 2-3- Efficacité II- 2-4- Impact II- 2-5- Viabilité III- CONCLUSIONS IV- RECOMMANDATIONS V- LEÇONS TIREES ET OPPORTUNITE VI- ANNEXES 2

I- RESUME Le présent rapport comporte les éléments que les deux experts, chargées par le Gouvernement Tunisien et l OMS / Coopération Italienne, ont relevées lors de la mission, d évaluation finale du projet renforcement de la Direction de la Pharmacie et du Médicament en matière d'enregistrement et d'utilisation des médicaments en Tunisie, qui a eu lieu à Tunis du 19 Septembre au 8 octobre 2005 Programme et calendrier des activités des experts Lundi 19 Septembre 2005 (1 jour) 9h00 Présentation des experts et rencontre avec le staff de la DPM 10h00 Analyse des documents Mardi 20 au Vendredi 23 Septembre 2005 (4 jours) Analyse des documents Lundi 26 & Mardi 27 Septembre 2005 (2 jours) Interviews avec des personnes sélectionnées par les évaluateurs Mercredi 28 au Vendredi 30 Septembre & Lundi 03 Octobre 2005 (4 jours) Rédaction du rapport Mardi 04 Octobre 2005 (1 jour) Discussion du premier draft avec des personnes sélectionnées par les évaluateurs Mercredi 05 au Vendredi 07 Octobre 2005 (3 jours) Finalisation du rapport Une réunion a eu lieu le 5 octobre à Tunis au niveau de la Direction de la Pharmacie et du Médicament (DPM), pour discuter le contenu du premier draft avec des personnes sélectionnées par les évaluateurs, avec le but de finaliser une éventuelle continuité du Projet devant les acteurs principaux : o Mme Dalila DARGHOUTH Directeur général de la DPM o Pr Amor TOUMI Directeur général au LNCM et ancien Directeur général de la DPM o Mr Kamel IDIR Directeur à la DPM o Mr Raouf ZMIRLI DPM o Mme Amel BEN RACHID o Mme Mériem NAJJAR o Mr IMED LASSOUED o Mr Youssef KHEDHR o Les évaluateurs o Deux représentants de la Coopération Italienne I- 1- Rappel des objectifs du projet La coopération Italienne a financé la DPM (Direction de la Pharmacie et du Médicament) du Ministère de la Santé Public Tunisie pour la réalisation d un projet 3

d appui institutionnel qui vise à renforcer les capacités nationales dans le secteur du médicament à travers une collaboration avec des partenaires qui offrent leur expérience et savoir-faire ainsi que la mise en place d activités de formation, de production d informations et de recherches opérationnelles avec des résultats attendus et précis. Et lui permettre également d améliorer ses activités en matière d assurance qualité, de l efficacité et de la sûreté des médicaments et de leur utilisation rationnelle. Soutenir la DPM dans ses activités liées aux médicaments afin d atteindre les objectifs d efficacité, d efficience et de transparence Améliorer l image de la DPM en renforçant les ressources humaines et matérielles et mettre à la disposition des décideurs une documentation fiable pour leur permettre une vision neutre. Mettre en place un système de transparence avec la réalisation et l application des procédures techniques. La période de réalisation du projet s est déroulée de mars 2002 à juin 2004. I- 2- Objectifs de l évaluation : Rendre compte de l utilisation des fonds et vérifier que les délais ont été respectés. Vérifier si les activités ont été réalisées d une façon compatible avec leurs coûts et si les activités ont été suivies de manière adéquate par les responsables de la mise en place du projet. Tirer des leçons pour la mise en œuvre d éventuelles activités futures concernant la formation (type, lieu et durée), bibliothèque (support : ouvrages, abonnement Internet ), acquisition de matériel Examiner les résultats dans la perspective d une éventuelle phase ultérieure en tenant compte de leur pertinence, efficience, efficacité, viabilité et impact. I- 3- Analyse par critère d évaluation Efficience : La gestion des fonds a été effectuée par l OMS. Cette procédure a permis une plus grande célérité dans l exécution du projet ; La DPM a bénéficié en outre de l expertise de cet organisme international et de ses procédures rigoureuses. Pertinence : L initiative du projet a permis de satisfaire les priorités et les besoins de la DPM dans le cadre de sa transparence et visibilité. Il a permis à une équipe volontaire de traduire dans la réalité ses objectifs de santé publique en matière d enregistrement des médicaments. D autre part les outils développés devraient permettre à la DPM de maintenir un niveau appréciable au sein de la communauté internationale. Efficacité : les objectifs de la DPM ont été atteints. Les outils d évaluation et de suivi ont amélioré l efficience de cette structure. Elle dispose ainsi d un tableau de bord général et d un réseau d expertise national et international fort riche et très efficace ; La mise en place d une coopération notamment avec la revue PRESCRIRE a été très utile à la DPM. En effet les stages accomplis 4

et la mise en place d une hot line avec cette revue ont amélioré la perception de la DPM par son environnement. Impact : a été direct sur la situation du médicament, la création d une masse critique de cadres, la consolidation de la DPM comme centre de référence et de formation, en matière d enregistrement des médicaments, au niveau international. Ceci est illustré par les résultats des séminaires nationaux et internationaux organisés par la DPM. D autre part l ouverture du site web de la DPM et les ouvrages publiés ont permis d atteindre des objectifs de santé publique forts importants. Viabilité : les bénéfices ont été appréciés pendant la durée du Projet. CE projet a permis à la DPM d atteindre le niveau de perception positive attendu. I- 4- Coopération internationale dans le secteur Durant la période du projet, financé par la Coopération Italienne, la DPM n a pas eu d autres financements par contre elle a bénéficié du soutien (sans budget) des Belges en fournissant le modèle de leur formulaire pour la réalisation du Formulaire thérapeutique Tunisien 1 ère édition 2004. I- 5- Leçons tirées de l évaluation Sans l aide de la coopération Italienne, on pouvaient réaliser certains résultats du projet mais avec un délai beaucoup plus important et moins de performance. Avant le lancement d un nouveau projet, il faudrait tenir compte de la pertinence et de la viabilité des résultats des objectifs fixés. I- 6- Extension du projet Le principal objectif de la coopération Italienne était de renforcer et développer la structure de la DPM. A l achèvement du budget, la DPM n a pas pu continuer à travailler dans les mêmes conditions que durant le projet. Aujourd hui, l équipe se sent lésée et frustrée après une période d épanouissement et de succès. D où la nécessité de la continuité. 5

II- EVALUATION DU PROJET DE RENFORCEMENT DE LA DIRECTION DE LA PHARMACIE ET DU MEDICAMENT (DPM) EN MATIERE D ENREGISTREMENT ET D UTILISATION DES MEDICAMENTS II- 1- Description du projet II- 1.1 Description de la Direction de la Pharmacie et du Médicament La Direction de la Pharmacie et du Médicament (DPM) représente la structure du Ministère de la Santé Publique qui coordonne la politique pharmaceutique nationale et la mise en place de ses aspects centraux. En assurant : - la réglementation du secteur pharmaceutique dans son ensemble - tout l ensemble des opérations liées à l autorisation de mise en place sur le marché des médicaments (analyse des dossiers, évaluation de l efficacité, sécurité et qualité des médicaments, évaluation de l information pour le public et les opérateurs sanitaires) - la tutelle technique de la Pharmacie Centrale de Tunisie (qui détient le monopole des importations des médicaments) et des pharmacies hospitalières - l évaluation des dossiers et les actes administratifs concernant l autorisation des officines privées, des agents d information médicale et des grossistes répartiteurs. - la coordination des interventions du Laboratoire National de Contrôle des Médicaments (LNCM) et de la Direction de l Inspection Pharmaceutique (enregistrement des médicaments, publication, application des décisions de toutes les interventions de ces institutions) - définition des bonnes pratiques de fabrication et mise en place de la production au niveau nationale. - l application des accords internationaux et de la législation nationale en matières des stupéfiants et des psychotropes. - la représentation de la Tunisie dans les réunions internationales secteur pharmaceutique dans le cadre de l Organisation Mondiale du Commerce (OMC) et des accords qui en découlent. - au niveau international, la collaboration avec les autorités de réglementation et de contrôle d autres pays, avec l agence européenne pour l évaluation des médicaments (EMEA) et l Organisation Mondiale de la Santé (OMS) II- 1. 2. Description du Projet Dans le cadre de toutes ses responsabilités et du manque des ressources humaines, du niveau de préparation, des moyens de l accès à l information du personnel, la DPM ne pouvait pas faire face à toutes ces responsabilités de façon satisfaisante. Le but du projet était de dépasser des contraintes et des limitations : 6

a) La disponibilité d une banque de données sur l utilisation des médicaments avec un logiciel insuffisant et de un équipement non performant ne permettait pas son exploitation au maximum et d assurer la transparence nécessaire. b) l insuffisance des capacités d échange d expérience avec d autres pays pour assurer la mise à jour des connaissances du personnel en place et de la formation des nouveaux cadres recrutés c) le manque de moyens crée un isolement de la DPM pour accéder à des compétences extérieures d) une incapacité ressentie à cause de faibles moyens qui ne permettaient pas d assurer un rôle dans l information sur les médicaments à l intention des pharmaciens et des prescripteurs. Dans un tel cadre, la DPM a bénéficié d une importante contribution de la Coopération Italienne pour renforcer les capacités nationales dans le secteur du médicament à travers la collaboration avec des partenaires qui ont pu offrir leur expérience et savoir faire et de la mise en place d activités de formation, de production d information et de recherche opérationnelle avec des résultats attendus et précis. Cette dernière composante a comme but de faire en sorte que la DPM prenne des engagements et de faire face aux obligations publiques. Coût et durée La période de réalisation du projet s est déroulée de mars 2002 à juin 2004. Le budget alloué au projet est d un montant de 345 000 USD II- 1-2- 1- Présentation générale du projet II- 1-2- 2- Objectifs du projet Les principaux objectifs du projet visaient le renforcement des capacités de la DPM à améliorer ses activités en matière d assurance de la qualité, de l efficacité et de la sûreté des médicaments et de leur utilisation rationnelle et en particulier à atteindre les objectifs suivants : Le développement des activités de recherche opérationnelle sur le médicament, et établir des collaborations entre la DPM, des institutions académiques et des associations professionnelles et améliorer les relations entre la DPM et les professionnels de la santé. Ob1. le développement des activités régulières d'étude concernant l'utilisation des 50 médicaments de plus haute consommation. Ceci permettra de découvrir et de prendre en charge les problèmes d utilisation irrationnelle de médicaments là où celle-ci est importante. Ob2. La publication de fiches d'information sur les médicaments et principalement les 200 médicaments de plus haute consommation. Il s agit de promouvoir l usage rationnel des médicaments grâce à l information qui sera disponible à travers ces fiches et pour qu elle soit réalisée de manière transparente et scientifiquement correcte. 7

Ob3. La création du site web "Le médicament en Tunisie".La qualité et l étendue de l information affichée servira d indicateur principal pour mesurer l efficacité de la DPM ainsi que le progrès atteint grâce à ce projet. Ob4. Le développement d'un Outil pour l Évaluation de l'efficacité des Activités de Réglementation et Contrôle. Cet outil sera utilisé non seulement pour des application locale mais servira aussi à réaliser des activités de comparaison au niveau international et conduira à identifier les aspects sur lesquels il sera nécessaire de concentrer les activités de formation et d aide internationale dans le domaine de la réglementation pharmaceutique Ob5. La mise en place des procédures écrites pour la saisie des données et logiciel permettant de rédiger des statistiques détaillées sur l'importation et l'utilisation des médicaments en temps réel. Ceci permettra à la DPM de disposer d éléments et d indicateurs utiles lors des décisions et sera également mis à la disposition des professionnels de santé et des décideurs. Ob6. La publication des données détaillées concernant l importation des médicaments en 1999, 2000 et 2001 ; afin d offrir des informations à tout usager externe, intéressé par l analyse de la consommation des médicaments. Ob7. Le suivi de cours international de formation sur l'enregistrement des médicaments. ; pour consolider et promouvoir l image et le rayonnement de la DPM. Ob8. L organisation de deux séminaires nationaux pour discuter les résultats des études d'utilisation de médicaments et proposer des interventions pour réduire les cas d'utilisation irrationnelle. II- 1-2- 3- Changements significatifs apportés aux objectifs ou à la planification initiale Durant la réalisation du projet certains de ces objectifs ont été modifies sur la base d éléments nouveaux qui sont apparus. En particulier : 1. L objectif 1, «développement d activités de recherche opérationnelle sur le médicament basées sur la collaboration entre la DPM, des institutions académiques et des associations professionnelles», a été mieux précisé et s est traduit par a) la réalisation d une enquête sur la perception de la DPM par les professionnels de santé tunisiens, b) la préparation et publication d une étude sur le système pharmaceutique tunisien. 2. L objectif 3, «publication de fiches d information sur les médicaments et principalement les 200 médicaments de plus haute consommation», a été 8

remplacé par la préparation et publication du formulaire thérapeutique nationale. 3. Un premier colloque a eu lieu avant réception des fonds et donc non imputable à ce projet. Budget réalloué à fourniture de littérature. Dépense de $4,000 est du à la résorption du dépassement observé à la rubrique 5. Colloques scientifiques. $11000 réalloué à la rubrique 33. Littérature (TR11, Ob1). Indicateurs vérifiés : Elaboration de l accord. Termes de référence acceptés. Contrat de réalisation de l étude signé. 4. Le besoin d'organiser un second colloque a été exprimé par les participants et retenu par le groupe de suivi. Ce besoin s'explique par la nécessité d'approfondir les aspects, tout à fait nouveaux en Tunisie, de la préparation des RDBs et de l'introduction des ASDCs. Dépassement budgétaire de $4,000 à résorber sur la rubrique 15. Enquête sur la perception de la DPM (TR1, Ob1). Indicateurs vérifiés : Programme du séminaire. 5. L'introduction des RDBs a nécessité la formation d'un cadre supplémentaire (TR2, Ob1 et Ob2). Indicateurs vérifiés : Réalisation des stages II- 1-2- 4- Résultats attendus du projet Le projet prévoyait que l amélioration de l efficacité des activités de la DPM soit atteinte par la réalisation de résultats visibles. Développement d un Outil pour l Evaluation de l Efficacité des Activités de Réglementation et de Contrôle (OEARC) Il s agit d un système d indicateurs qui permettent de déterminer le niveau de capacité de mise en place des fonctions de base des autorités nationales. Cet outil ne sera pas développé pour son utilisation exclusive en Tunisie mais il servira à réaliser des activités de comparaison au niveau international et conduira à identifier les aspects sur lesquels concentrer les activités de formation et aide internationale dans le domaine de la réglementation pharmaceutique. Accord de collaboration entre la DPM et les institutions académiques et associations professionnelles tunisiennes visant à réaliser des activités de recherche opérationnelle sur le médicament. Cet accord de collaboration a pour but d établir un engagement de collaboration qui d un coté permettra à la DPM de pouvoir compter sur l appui des meilleures institutions tunisiennes et, de l autre coté, ouvre le processus de décision de la DPM à l influence de la communauté scientifique. Cela va explicitement dans le but d une transparence encore accrue dans ce domaine. Réalisation d une enquête sur les connaissances et attentes des médecins tunisiens par rapport aux activités et méthodes de travail de la DPM. Le manque de 9

communication et d échange entre les autorités de réglementation et la communauté médicale tends à créer une séparation réelle entre ces deux acteurs fondamentaux du panorama du médicament. Le but de l enquête est de créer les conditions pour établir une stratégie qui conduit à améliorer sensiblement le rapport entre médecins et autorités de réglementation. Procédure écrites pour la saisie de données et logiciels permettant de rédiger des statistiques détaillées sur l importation des médicaments en temps réel. Activités régulières d étude concernant l utilisation des 50 médicaments de plus haute consommation. Une faiblesse souvent rencontrée auprès des autorités de réglementation est l absence de suivi par rapport au «destin» du médicament une fois que l autorisation de commercialisation est donnée. Ce manque de rétro- alimentation rend parfois difficile l évaluation de l impact des décisions de réglementation sur la consommation, la publicité et l utilisation rationnelle des médicaments. La consommation permettra de découvrir et prendre en charge les problèmes d utilisation irrationnelle de médicament là où elle est plus importante. Publication des données détaillées concernant l importation des médicaments en 1999 et 2000 Le niveau de détail offert doit permettre à tout usager externe, intéressé par l analyse de la consommation de médicaments, de trouver les informations nécessaires (par exemple prix à l importation et prix au public disponibles non seulement par nom de spécialité mais aussi par om générique et/ou pays d origine). Procédures écrites pour la saisie de données et logiciel permettant de rédiger des statistiques détaillées sur l utilisation de médicaments Création du site web Le médicament en Tunisie. Cette activité permettra de montrer en tout moment le degré de réalisation des taches de la DPM. Dans ce sens, la qualité et étendu de l information affichée servira comme indicateur principale pour mesurer d un coté l efficacité de la DPM ainsi que le progrès atteint grâce au projet. Réalisation d un cours de formation international sur l enregistrement des médicaments. Ce cours, destiné au pays du Maghreb et de l Afrique francophone, aura une durée de 10 jours. Publication de fiches d information sur les 200 médicaments de plus haute consommation Réalisation d au moins deux séminaires nationaux où discuter les résultats des études d utilisation de médicament et proposer des solution pour les exemples d utilisation irrationnelle. 10

II-1-2- 5- Composantes du projet Groupe de suivi (DPM, OMS, Coopération italienne, La Revue Prescrire Paris, Istituto Mario Negri Milan). Il a pour responsabilité la mise en œuvre des activités du projet, la gestion de ses ressources financières et si nécessaire l ajustement des prévisions budgétaires. La collaboration avec des partenaires : La Revue Prescrire Paris, Istituto Mario Negri Milan, Faculté de pharmacie de Monastir, Institutions professionnelles de la santé. La collaboration avec des experts et des consultants externes. Mise en place des activités de formation (stages, séminaires, cours international) Instauration des outils de transparence (Site Web, RDB, RCP, ASDC). Production d information et recherche opérationnelle sur l usage rationnel des médicaments. Renforcement de la DPM en équipements informatiques et en bibliothèque (ouvrages, abonnements Internet ) II- 1-3- Objectifs de l évaluation 1- Rendre compte de l utilisation des fonds et vérifier que les délais ont été respectés. Vérifier si les activités ont été réalisées d une façon compatible avec leurs coûts et si les activités ont été suivies de manière adéquate par les responsables de la mise en place du projet. 2- Tirer des leçons pour la mise en œuvre d éventuelles activités futures concernant la formation (type, lieu et durée), bibliothèque (support : ouvrages, abonnement Internet ), acquisition de matériel. 3- Examiner les résultats dans la perspective d une éventuelle phase ultérieure en tenant compte de leur pertinence, efficience, efficacité, viabilité et impact. II- 1-4- Eléments clés et caractéristiques Au niveau de ce paragraphe nous retrouvons l historique, les différents intervenants dans le projet, les objectifs, les résultats, les indicateurs, déroulements enfin les éléments clés et les différents paramètres qui caractérisent les différentes étapes du projet à savoir : moyens, coût, délais, stages, équipements Tous les éléments cités permettront d évaluer et de conclure sur l efficacité et l impact. Réalisation de la première édition du formulaire thérapeutique tunisien - 2004 (TR7, TR13, Ob1, Ob4) Indicateurs vérifiés : site web (www.dpm.tn), document du formulaire thérapeutique tunisien 11

Recrutement de M. Tahar Zemzemi à partir d Avril 2003 (TR6, Ob1 et Ob3). Indicateurs vérifiés : Termes de référence et contrat. Acquisition de matériel, y inclu accès Internet (TR15, Ob4, Ob6 et Ob7). Indicateurs vérifiés : Prise en compte des besoins. Proposition réaliste et cohérente avec les capacités et les obligations de la DPM Contrat de service réalisé avec Prologic (6,500); à prévoir 3,500 pour mises à jour et améliorations (TR7, Ob4). Indicateurs vérifiés : Obtention de l accord et création du site Web 5 stages à réaliser durant 2003 (TR8, Ob1, Ob2 et Ob3). Indicateurs vérifiés : Programmation et réalisation des stages Contrat avec un expert national 2,000 + frais d'impression 3,000 (TR9, Ob3). Indicateurs vérifiés : Normes écrites, résumés rédigés Séminaire national pour révision et adoption définitive de la méthodologie et de la liste des médicaments remboursables et définition de la base des taux de remboursement. Planifié juin 2003. $2,000 (Tr10, Ob1). Indicateurs vérifiés : Elaboration de la liste. Définition de la base des taux de remboursement Accord avec faculté de pharmacie de Monastir pour affecter 1 résident pour deux semestres à partir de mai 2003 (TR13, Ob1). Indicateurs vérifiés : Accord de collaboration signé Contrat avec un informaticien local, $3,000. $2,000 réalloués à la ligne 19 (TR16, Ob6 et Ob7). Indicateurs vérifiés : Procédures écrites disponibles pour l ensemble du personnel de la DPM Formation d un informaticien tunisien. Fonds utilisés: $2670. Fonds résiduels $2330 réalloué à la ligne 19(TR17, Ob4, Ob6 et Ob7). Indicateurs vérifiés : Personne formée et opérationnelle Contrat avec Prof Mankai. Plan d'activités à rédiger avant fin avril 2003 (TR18, Ob6). Indicateurs vérifiés : Création de la cellule. Programme de travail. Activités complétées. Logiciel développé à la DPM. Fonds, $5000, réalloué à la ligne 19 (TR19, Ob6). Indicateurs vérifiés : Logiciel disponible et utilisé par le personnel de la DPM. Statistiques détaillées sur l utilisation des médicaments Contrat avec M. Negri ou autre institution européenne (TR21, Ob2). Indicateurs vérifiés : Termes de référence pour les consultants qui réaliseront l étude et plan d étude. 12

Contrat avec N. Gharbi, $2000 pour finaliser le texte, $3000 pour impression (TR23, Ob1). Indicateurs vérifiés : Termes de référence, recrutement d un expert, plan de l étude Contrat avec PCT/DPM pour la préparation d un cours internationale destiné à des africains froncophones, $10000 (TR24, Ob8). Indicateurs vérifiés : Réalisation du matériel Evaluation des autorités italienne et/ou française prévue octobre 2003; Maroc fait en 2002; Chypre programmé pour fin 2003. $6000 (TR25, Ob5). Indicateurs vérifiés : Mise en application dans au moins 3 pays méditerranéens dont un de l Union Européenne Cours internationale planifié pour début avril 2004; 10 pays africains francophones seront invités $50000. (TR26, Ob8). Indicateurs vérifiés : Réalisation de la formation Contrat avec Revue Prescrire ou autre institution européenne $12000 (TR27, Ob3). Indicateurs vérifiés : Termes de référence pour les consultants qui réaliseront les fiches d information Deux séminaires nationaux à programmer fin 2003 début 2004, $20000 (TR28, Ob9). Indicateurs vérifiés : Réalisation des séminaires Actualisation de la bibliothèque de la DPM et d autres institutions nationale $26000. (TR29, Ob1, 2, 3, 4, 5,6,7 8 et 9). Indicateurs vérifiés : Souscriptions à des revues spécialisées et livres achetés. Evaluation finale du projet (gestion du projet) reporté à Avril 2004. Réunions du groupe de suivi. Indicateurs vérifiés : Documents d évaluation L'OMS transfèrera à la PCT les fonds nécessaires à la rédaction de contrats locaux et à la réalisation de dépenses et acquisition de services locaux. Cela est nécessaire pour des raisons pratiques et permet de simplifier la gestion administrative de ces aspects du projet. Contrats locaux et dépenses pour services et fournitures locaux à gérer par la PCT (TR3, 4, 5, 12, 14, 20, Ob1, 2, 3, 4, 5,6,7 8 et 9). Indicateurs vérifiés : Documentation comptable de la PCT et OMS II- 2- Analyse par critère d évaluation 1. Pertinence 2. Efficience 13

3. Efficacité 4. Impact 5. Viabilité La gestion des fonds a été effectuée par l OMS L achats de équipement informatique (ordinateurs, disquettes, CD etc ) adressé à la DPM a été accéléré. Ceci a facilité la démarche administrative locale. Le monitorage périodique a permis d apprécier la transparence du projet. L initiative du projet a permis de satisfaire les priorités et les besoins de la DPM dans le cadre de sa transparence et visibilité. Le projet avec toutes ses composantes est très pertinent. Les objectifs de la DPM ont été atteints très efficacement. L impact a été direct sur la situation du médicament, la création d une masse critique de cadres, la consolidation de la DPM comme centre de référence et de formation au niveau international.. Le bénéfice a été apprécié pendant la durée du Projet. Le personnel de la DPM tient à continuer à travailler avec les mêmes moyens et mêmes volontés. Pour que le bénéfice soit viable et durable il faut tracer une stratégie basée sur une vision d autonomie et de besoins fixes compris et appréciés par le gouvernement. Questions à étudier 1. Est-ce que les résultats attendus ont été atteints? Oui Résultats : Acquisition de matériels : Outils informatiques, Bibliothèque (ouvrages, abonnement Internet) Formation : stages chez La Revue Prescrire Paris et l Istituto Mario Negri Milan, Cours international, deux séminaires nationaux, colloque international. Information : Site Web, RDB, RCP, ASDC 2. Dans le contexte de chaque résultat, dans quels termes peut on remarquer une amélioration (ou son absence) par rapport à la situation antérieure au projet? TR 1 à 29 3. Est-ce que ces mêmes résultats auraient pu être atteints sans mises en place du projet? Ces objectifs auraient pu être atteints sans mises en place du projet mais avec moins de résultats, une performance moindre et un délai plus important. 4. Dans quelles mesures les résultats atteints peuvent être considérés durables? Autonomie financière de la DPM (cela représente un objectif dans le future, ou un souhait de votre part mais dans ce cas il faut se référer au projet qui s est déroulé. Il nous semble que la viabilité de ce projet a été assez faible il faudrait en parler!!!!) 14

5. Quels nouveaux défis sont posés à la DPM par rapport aux résultats du projet et à la situation actuelle? - Renforcement des ressources humaines - Continuité de l information scientifique pour renforcer la transparence de la DPM au niveau national et international II- 2-1- Pertinence Pertinence : L initiative du projet a permis de satisfaire les priorités et les besoins de la DPM dans le cadre de sa transparence et visibilité. La mise en place du projet est très pertinente. En effet, elle a transformé la méthode de travail de la DPM qui est devenue plus moderne, plus transparente. Avant le projet, sa principale source d information est reçue des laboratoires (industrie pharmaceutique, c'est-à-dire le bénéficiaire). Pendant le projet et grâce au moyens offerts (Internet, prescrire..) on arrive à s équiper d une information indépendante, riches et diversifiée. Grâce aux outils élaborés (site web, formulaire thérapeutique tunisien, organisation de séminaires) l information est diffusée et un niveau de communication, avec les professionnels de la santé et des institutions académiques, est maintenu. Ceci est en faveur d un usage rationnel des médicaments. Il faut prendre en compte: - Le contexte général: caractéristiques structurelles et dynamiques du secteur, liens avec les autres secteurs, politique sectorielle du Gouvernement et attitude vis-à-vis du secteur privé, politique régionale. - Le contexte spécifique: soit donc les problèmes particuliers à résoudre, en fonction des bénéficiaires et des acteurs du projet. Un inventaire des autres actions ou interventions du Gouvernement, de la Coopération italienne, de la CE, ou d'autres bâilleurs de fonds, ayant une relation directe ou indirecte avec le projet devra également être réalisé par la mission. II- 2-2- Efficience Est-ce que les résultats attendus ont été atteints? Oui Dans le contexte de chaque résultat, dans quels termes peut on remarquer une amélioration (ou son absence) par rapport à la situation antérieure au projet? Depuis le lancement du projet, pratiquement tous les objectifs ont été atteints (acquisition de matériels informatique, formation du personnel, organisation de cours internationaux, organisation de séminaires nationaux ) 15

La gestion des fonds a été effectuée par l OMS. Elle s est bien déroulée et bien appréciée par les cadres de la DPM. Avec un excellent degré d efficience en ce qui concerne : la rapidité, la transparence L achats de l équipement informatique (ordinateurs, disquettes, CD etc ) adressé à la DPM a été accéléré. Ceci a facilité la démarche administrative locale. Le monitorage périodique a permis d apprécier la transparence du projet. Les délais de réalisation des différentes actions et étapes du projet ont été respectés. Des représentants de l OMS et les différents membres du groupe du suivi (réunions, téléconférences ) ont évalué régulièrement les étapes du projet et ont assuré que les activités soient réalisées ainsi que tous les éléments, étapes et résultats cités ci-dessous : Moyens et coûts: analyse coûts du projet, puis évaluation de l'adéquation du budget aux moyens mis en œuvre, Analyse de la durée, planification et du calendrier d exécution du projet; Organisation, gestion, suivi: (i) analyse de la structure organisationnelle du projet (structures, responsabilités, etc., puis (ii) évaluation du cadre et des actions effectivement menées par les différents acteurs à chaque stade du projet par rapport aux activités et résultats prévus, ainsi que (iii) une analyse spécifique du calendrier, de la gestion financière, de l'assistance technique, des risques encourus, des mesures d'accompagnement prises par le Bénéficiaire et par le secteur public, Les méthodes d'intervention: appréciation de la démarche et des méthodes utilisées pour la mise en œuvre ont été effectuées par les experts. Suivi et évaluation: étude du suivi effectué au niveau du projet par le Bénéficiaire et par la Coopération Italienne. II- 2-3- Efficacité Le projet prévoyait que l amélioration de l efficacité des activités de la DPM soit atteinte par la réalisation de résultats visibles ; on peut citer : - La formation sous forme de stages chez «Prescrire» (personnels de la DPM, consultants et experts), des séminaires, le cours international, - L information : Formulaire Thérapeutique Tunisien 1 ère édition 2004 ; Site-web ; publication de «Maîtrise des coûts des médicaments importés, Etude de cas : Tunisie» Série Réglementaire Pharmaceutique, N.10 WHO/EDM/QSM/2003.3) - Outils de performance et de transparences (RDB, RCP, ASDC, enquête sur la perception de la DPM par le personnel de la santé Contribution spécifique du projet : budget, équipement informatique, stages, bibliothèque, abonnements Internet, soutien du groupe du suivi. 16

Adhésion du personnel de la DPM, des experts et des consultants aux objectifs du projet et contribution à leur adaptation aux besoins du contexte national. o La DPM a participé au développement d un Outil pour l Evaluation de l Efficacité des Activités de Réglementation et de Contrôle (OEARC) et à son utilisation par l OMS en Tunisie, au Maroc, en France, en Belgique. La DPM a participé régulièrement à sa mise à jour. Cette participation a permis à la DPM d améliorer sa connaissance des systèmes de réglementation et contrôle des médicaments dans plusieurs pays, d en tirer des leçons essentielles pour le système en place en Tunisie et d établir de liens de collaboration et d échange d informations. Cet outil servira à réaliser des activités de comparaison au niveau international et conduira à identifier les aspects sur lesquels concentrer les activités de formation et aide internationale dans le domaine de la réglementation pharmaceutique o Accord de collaboration entre la DPM et les institutions académiques et associations professionnelles tunisiennes visant à réaliser des activités de recherche opérationnelle sur le médicament. Cet accord de collaboration a pour but d établir un engagement de collaboration qui d un coté permettra à la DPM de pouvoir compter sur l appui des meilleures institutions tunisiennes et, de l autre coté, ouvre le processus de décision de la DPM à l influence de la communauté scientifique. Cela va explicitement dans le but d une transparence encore accrue dans ce domaine. o Un accord de collaboration a été atteint entre la DPM et la faculté de pharmacie de l Université de Monastir dont le but est d établir un engagement de collaboration qui permettra à la DPM de pouvoir compter sur l appui des institutions tunisiennes et d ouvrir le processus de décision à l influence de la communauté scientifique. Cela va explicitement dans le but d une transparence encore accrue dans ce domaine. En effet cet accord a permis à la DPM de bénéficier de l avis d experts dans la réalisation de plusieurs activités de recherche et de routine. En plus, la DPM bénéficie régulièrement de la présence de stagiaires fournis par la faculté de Monastir. Ces stagiaires ont été cruciaux dans la réalisation du Formulaire Thérapeutique National et seront indispensables pour en assurer la continuité. o Réalisation d une enquête sur les connaissances et attentes des médecins tunisiens par rapport aux activités et méthodes de travail de la DPM. Ses résultats ont offert des éléments précieux pour la révision de la stratégie et la mise en place de certaines options du projet : la réalisation du site web de la DPM a été accélérée, la préparation de fiches d information sur les 200 médicaments de plus haute consommation a été abandonnée et remplacée par la rédaction du Formulaire Thérapeutique National. Le but de l enquête était de créer les conditions pour établir une stratégie qui conduit à améliorer sensiblement le rapport entre médecins et autorités de réglementation. 17

o Des procédures écrites pour la saisie de données et des logiciels sont préparés, imprimés et mis à la disposition du personnel de la DPM. De cette façon la DPM peut assurer la disponibilité et la publication de statistiques détaillées sur l importation de médicaments en temps réel. o L étude concernant l utilisation des 50 médicaments de plus haute consommation a été réalisée grâce à la disponibilité de statistiques fiables et à l analyse des données réalisée par l Université de Monastir et l Istituto Mario Negri de Milan. Les résultats de l étude ont contribué à la décision de réaliser le Formulaire Thérapeutique National et contribueront à la prise de décision concernant la révision des Résumés des Caractéristiques des Produits (RCP) livrés dans le processus d enregistrement des médicaments ainsi que aux prises de décision liées au processus d importation des médicaments. o Des procédures, écrites pour la saisie de données et des logiciels permettant de rédiger des statistiques détaillées sur l utilisation de médicaments ont été préparés, imprimés et mis à la disposition du personnel de la DPM. De cette façon la DPM peut assurer la disponibilité et la publication de statistiques détaillées sur l utilisation des médicaments dans les différents secteurs du système sanitaire tunisien. Cela permets à la DPM et au Ministère de la Santé le monitorage de l utilisation des médicaments et de prendre des décisions et des mesures correctives quand nécessaire et faisable. Cette activité a contribué à la décision de réaliser le Formulaire Thérapeutique National. o Le site web Le médicament en Tunisie a été crée. Il est mis à jour régulièrement et offre des informations détaillées concernant toutes les activités de la DPM. o Le cours de formation international sur l enregistrement des médicaments, destiné au pays du Maghreb et de l Afrique francophone (durée de 10 jours), a été réalisé en mars 2004. Il a permis de faire connaître à d autres pays les procédures d évaluation adoptées par la DPM grâce à la collaboration de l Association Mieux Prescrire, de l Istituto Mario Negri et de l OMS. Cela a contribué à améliorer la visibilité internationale de la DPM comme centre collaborateur de l OMS. La préparation et la réalisation du cours international a offert une opportunité unique de formation et de vérification du niveau de préparation du personnel scientifique de la DPM. o Sur la base des résultats d autres activités, la publication de fiches d information sur les 200 médicaments de plus haute consommation a été abandonnée et remplacée par la rédaction du Formulaire Thérapeutique National qui a été imprimé en 20 000 exemplaires et distribué à tous les médecins et pharmaciens du service public tunisien. Le Formulaire représente un effort extraordinaire pour la DPM qui est devenue la seule autorité nationale d Afrique du Nord et de l Afrique francophone qui a su offrir un tel outil 18

destiné à améliorer significativement la prescription et l utilisation des médicaments. o Deux séminaires nationaux ont été réalisés, ainsi qu un séminaire de lancement du Formulaire National. Les trois activités ont vu la participation de plus de 600 médecins et pharmacie choisis entre les plus représentatifs du pays couvrant tous les secteurs de la santé publique, au système supérieur et universitaire. De cette façon le rôle de la DPM et ses liens avec le système national de santé, public et privé, ont été sensiblement améliorés. II- 2-4- Impact Principaux effets des activités réalisées : - La DPM a pu à tout moment bénéficier d une information précise et actualisée pour orienter ses choix, la guider dans ses recherches afin d optimiser le système de communication et d aide à la décision. (amélioration constatée durant la période du projet) - Diffusion d une information (Formulaire Thérapeutique Tunisien 1 ère édition 2004 ; Site-web) qui favorise l usage rationnel des médicaments. Dans ce paragraphe il s agit d analyser, au plan qualitatif et quantitatif, les effets globaux du programme, qu'ils soient positifs ou négatifs, prévus ou imprévus, en analysant les contributions des objectifs spécifiques aux objectifs globaux. Cette analyse devra être la plus exhaustive possible, et refléter les effets du projet sur des secteurs variés (secteur privé, secteur publique, activités commerciales et industrielles). Une attention particulière sera donnée au secteur universitaire qui a activement participé à l exécution des études (voir annexes). Des activités régulières d étude concernant l utilisation des 50 médicaments de plus haute consommation ont été réalisée grâce à la disponibilité de statistiques fiables et à l analyse des données réalisée par l Université de Monastir et l Istituto Mario Negri de Milan. Les résultats de l étude ont contribué à la décision de réaliser le Formulaire Thérapeutique National et contribueront à la prise de décision concernant la révision des Résumés des Caractéristiques des Produits (RCP) livrés dans le processus d enregistrement des médicaments ainsi que aux prises de décision liées au processus d importation des médicaments. En effet le manque de rétro- alimentation, déjà constaté, rend parfois difficile l évaluation de l impact des décisions de réglementation sur la consommation, la publicité et l utilisation rationnelle des médicaments. La consommation permettra de découvrir et prendre en charge les problèmes d utilisation irrationnelle de médicament là où elle est plus importante. Les données publiées, concernant l importation des médicaments, dépassent les prévisions et concernent toutes les années entre 1999 et 2003. Cette activité est devenue désormais routinière pour la DPM et elle contribue à assurer la transparence de la gestion des importations et des prises de décision relatives. Le niveau de détail 19

offert permet à tout usager externe, intéressé par l analyse de la consommation de médicaments, de trouver les informations nécessaires Les procédures écrites pour la saisie de données sont préparées, imprimées et mises à la disposition du personnel de la DPM. De cette façon la DPM peut assurer la disponibilité et la publication de statistiques détaillées sur l utilisation des médicaments dans les différents secteurs du système sanitaire tunisien. Cela permets à la DPM et au Ministère de la Santé le monitorage de l utilisation des médicaments et de prendre des décisions et des mesures correctives quand nécessaire et faisable. Cette activité a contribué à la décision de réaliser le Formulaire Thérapeutique National. Le site web a été crée. Il est mis à jour régulièrement et offre des informations détaillées concernant toutes les activités de la DPM. Dans ce sens, la qualité et l étendu de l information affichée servira comme indicateur principal pour mesurer d un coté l efficacité de la DPM ainsi que le progrès atteint grâce au projet. Cette activité permettra de montrer en tout moment le degré de réalisation des taches de la DPM. Le cours de formation international sur l enregistrement des médicaments a permis de faire connaître à d autres pays les procédures d évaluation adoptées par la DPM grâce à la collaboration de l Association Mieux Prescrire, de l Istituto Mario Negri et de l OMS. Cela a contribué à améliorer la visibilité internationale de la DPM comme centre collaborateur de l OMS. La préparation et la réalisation du cours international ont offert une opportunité unique de formation et de vérification du niveau de préparation du personnel scientifique de la DPM. Sur la base des résultats d autres activités, la publication de fiches d information sur les 200 médicaments de plus haute consommation a été abandonnée et remplacée par la rédaction du Formulaire Thérapeutique National qui a été imprimé en 20,000 exemplaire et distribué à tous les médecins et pharmaciens du service public tunisien. Le Formulaire est devenue pour la DPM la seule autorité nationale d Afrique du Nord et de l Afrique francophone qui a su offrir un tel outil destiné à améliorer significativement la prescription et l utilisation des médicaments. Trois séminaires nationaux ont été réalisés, dont un pour le lancement du Formulaire National. Les trois activités ont enregistré plus de 600 médecins et pharmaciens couvrant tous les secteurs de la santé publique, au système supérieur et universitaire. De cette façon le rôle de la DPM et ses liens avec le système national de santé, public et privé, ont été sensiblement améliorés et ce essentiellement pour discuter les résultats des études d utilisation de médicament et proposer des solution pour les exemples d utilisation irrationnelle. II- 2-5- Viabilité Dans quelles mesures les résultats atteints peuvent être considérés durables? 20

Viabilité : le bénéfice a été apprécié pendant la durée du Projet Pour éviter l échec de l expérience du projet, une continuité du projet serait indispensable afin de transformer ces résultats visibles en un besoin et une tradition au sein de la DPM (RDB, lancement et mise à jour d autres éditions du Formulaire Thérapeutique Tunisien, Site Web ) ainsi l Etat pourrait dégager un budget pour financer toutes les actions. II- 3- Méthodologie de l évaluation : Interviews avec des personnes sélectionnées par les évaluateurs (voir annexe : La DPM d avant projet durant d aujourd hui et de demain) Personnel de la DPM : o Mme Dalila DARGHOUTH Directeur général de la DPM o Pr Amor TOUMI Directeur général au LNCM et ancien Directeur général de la DPM o Mr Kamel IDIR Directeur à la DPM o Mr Raouf ZMIRLI DPM o Mme Amel BEN RACHID o Mme Mériem NAJJAR o Mr IMED LASSOUED o Mr Youssef KHEDHR Consultants externes : Mr Tahar ZEMZEMI Doyen de la faculté de pharmacie de Monastir : Pr Rached AZAIEZ Pharmacienne Major au CHU La RABTA Tunis : Mme Mériem GUERFALLI III- Conclusions Est-ce que ces mêmes résultats auraient pu être atteints sans mises en place du projet? Quels nouveaux défis sont posés à la DPM par rapport aux résultats du projet et à la situation actuelle? Durant la période du projet, les objectifs sont atteints. On n a pas programmé le relais de financement, alors il y a eu interruption de certains bénéfices dont la documentation, l information, la disponibilité d experts externes et la formation. Pour éviter l échec de cette expérience, une continuité du projet serait indispensable afin de transformer ces résultats visibles en un besoin et une tradition au sein de la DPM 21

(RDB, lancement et mise à jour d autres éditions du Formulaire Thérapeutique Tunisien, Site Web ) ainsi l Etat pourrait dégager un budget pour financer toutes les actions. Depuis l arrêt du projet on sent que l équipe de la DPM recule (formation, information, ) IV- Recommandations Quels nouveaux défis sont posés à la DPM par rapport aux résultats du projet et à la situation actuelle? o La formation, il faut qu elle soit plus large. En plus du personnel de la DPM, elle doit également concerner tous les acteurs qui sont impliqués dans la réglementation et l enregistrement des médicaments. Pour cela il faut instaurer une méthode qui permettra une formation continue et large, par exemples : cours internationaux, séminaires, cours à distance (e-learning). o La bibliothèque : réaliser une bibliothèque individualisée (privilégier les ouvrages et abonnement Internet) et la présenter en tant qu une priorité indispensable dans le budget de l état et consolider les collaborations avec d autres institutions publics et privées (institutions académiques, industriels etc. ) o L acquisition de matériel informatique performant et le présenter en tant qu une priorité indispensable dans le budget de l état. o Développement d un Outil pour l Evaluation de l Efficacité des Activités de Réglementation et de Contrôle (OEARC). Il faudrait les renforcer en tenant des rencontres régulières. o Renforcer les accords de collaborations avec les institutions académiques et les associations professionnelles de santé en proposant des résidents, en pharmacie hospitalière et industrie, fournis par la faculté de pharmacie de Monastir afin de réaliser des travaux de recherche opérationnels et utiles pour la DPM ; cela permettra d assurer la pertinence. o Les procédures sont préparées, imprimées et mise à la disposition du personnel de la DPM. Cela permet d assurer la disponibilité et la publication de statistiques détaillées sur l importation de médicaments en temps réels. Il faut généraliser ce système à tous les médicaments enregistrés (RCP) et le rajouter au Site Web. 22

o Renforcer la transparence et la mise à jour de l information (Site Web, Formulaire Thérapeutique, Bulletin d information pharmaceutique). o Donner la priorité à une documentation riche, variée et fiable afin de fournir une information neutre et indépendante pour orienter le choix de la décision lors de l octroi de l AMM (RDB, ASDC). o Assurer une continuité du projet o Assurzer une autonomie financière de la DPM o Assurer une bonne coordination avec les différentes structures (DPM, Pharmacovigilance, Inspection, LNCM) pour qu il n y ait pas de chevauchement. o En ce qui concerne l Agence des médicaments les bases sont là, il manque un ligand o Revoir les conditions de stockage des archives (dossiers d AMM ) V- Leçons tirées et opportunité Il est opportun de continuer le projet. En effet : i) des nécessites et des besoins auxquelles une deuxième phase pourrait faire face ; ii) des objectifs à atteindre ; iii) des axes sur lesquels baser cette deuxième phase, etc. etc. Sans l aide de la coopération Italienne, on pouvaient réaliser certains résultats du projet mais avec un délai beaucoup plus important et moins de performance ; Avant le lancement d un nouveau projet, il faudrait tenir compte de la pertinence et de la viabilité des résultats des objectifs fixés ; Imaginer la DPM comme une structure autonome pour plus de souplesse (Agence nationale des médicaments) ceci va permettre de privilégier certains secteurs et rentabiliser les moyens ; Assurer une bonne coordination avec les différentes structures (DPM, Pharmacovigilance, Inspection, LNCM) pour qu il n y ait pas de chevauchement ; 23