APPEL A PROPOSITION MARS 2006 EVALUATION DE L INITIATIVE ESTHER Recrutement de 4 équipes d évaluation terrain indépendantes (France et pays de coopération ESTHER) Avec 3 évaluateurs / équipe, soit la mobilisation de 12 personnes en 2006 et 2007 Pièce jointe (P.J.) : les termes de référence génériques de l évaluation de l initiative ESTHER. Ces termes de référence précisent le contexte et la démarche générale d ESTHER, les partenaires, les pays concernés et les enjeux de l initiative ESTHER, le but et les objectifs de l évaluation, les résultats attendus de l évaluation, la démarche générale retenue, les éléments méthodologiques, les thèmes d évaluation et les questions posées.
1 Mise en œuvre de l évaluation de l initiative ESTHER Le GIP ESTHER lance l évaluation de l initiative ESTHER dans le but d apprécier la pertinence et l efficacité des processus de coopération engagés. Il s agit de documenter en quoi les modalités de coopération ESTHER ont participé ou non au renforcement des systèmes de santé dans la lutte contre le VIH/Sida. A ce titre les questions suivantes en évaluation seront abordées : pertinence, cohérence, efficacité, efficience et viabilité. Il ne s agit pas de mesurer l impact de l initiative, tant à cause du manque de recul, qu à cause de la focalisation de cette évaluation sur les processus de coopération et leurs déterminants, de façon à apprécier les résultats et le retentissement d ESTHER, les contraintes et les opportunités, et à proposer des recommandations opérationnelles utiles aux partenaires de l initiative. Un comité de pilotage composé d une quinzaine de membres (ayant une expérience dans différents domaines des soins, de la coopération et de l évaluation, et issus des pays de coopération ESTHER et de pays européens) a été mis en place pour suivre cette évaluation en 2005. Il a proposé de réaliser en premier lieu une évaluation de processus, participative. Il est animé par le département «continuité des soins» du GIP ESTHER, et il est chargé d encadrer la démarche évaluative afin d obtenir les résultats suivants. 1. Capitalisation d expériences et analyses des contraintes et opportunités (études de cas) en distinguant la singularité d ESTHER par rapport aux actions des différents acteurs engagés, puis restitution et clarification des enjeux pour : - Les Etats partenaires de l initiative ESTHER au niveau national ; - Les institutions de coopération bilatérales (réseau ESTHER européen ) et multilatérales (Nations Unies ) ; - Les institutions intervenant dans les projets (hôpitaux, associations ) ; - Les personnes participant aux projets, y compris les personnes soignées ; - Les membres du conseil d administration de l initiative ESTHER. 2. Analyses et recommandations qui s appuient sur la capitalisation pour améliorer les processus de coopération ESTHER et notamment la place et les modalités de l échange entre les acteurs dans les pays de coopération et en France. 3. Recommandations opérationnelles sur les projets facilités par le GIP ESTHER pour améliorer la qualité et la continuité des soins. 4. Recommandations institutionnelles en cohérence avec les trois principes de l ONUSIDA «Three Ones» : (1) meilleure coordination entre acteurs locaux et donateurs, (2) facilitation des plans stratégiques et de l accès aux soins, (3) renforcement et cohérence du système de suivi et d évaluation nationale. Le comité veillera à ce que les conclusions de l évaluation soient diffusées aux partenaires de l initiative ESTHER et aux porteurs de projets. Pour atteindre ces résultats, le comité de pilotage identifie et supervise des équipes d évaluation indépendantes. Chaque pays concerné par l évaluation recevra la visite de l équipe d évaluation à deux reprises au cours d une année. L équipe d évaluation rencontrera les acteurs des projets ESTHER sur le terrain dans leurs lieux d exercice (y compris en France). Le recueil de données quantitatives, issues d un tableau de bord de suivi des opérations élaboré par le GIP ESTHER et validé avec les partenaires de l initiative (et les autorités sanitaires en premier lieu), sera semestriel pendant les deux années de l évaluation (à partir de 2006) et permettra au comité de pilotage de l évaluation ESTHER de continuer à suivre les projets. Une restitution à la fin des deux visites d évaluation dans chaque pays, associant l équipe d évaluation et au moins un membre du comité de pilotage de l évaluation ESTHER, tiendra compte des remarques et des commentaires faits par les autorités nationales et les équipes engagées dans l initiative ESTHER. Le Mali participe à la première évaluation pilote menée par le comité d évaluation ; cette évaluation pilote a démarré en novembre 2005 et se terminera en octobre 2006. La structuration des rapports d évaluation, décidée par le comité de pilotage en fonction de l évaluation avec le Mali, sera communiquée aux équipes retenues au démarrage de l évaluation (juin 2006). Les rapports seront rédigés en français. 16 mars 2006 département continuité des soins / Comité de pilotage de l évaluation Page 2 sur 5
2 Processus de recrutement et fonctions des évaluateurs 2.1 Recrutement des équipes : Le GIP ESTHER recrute quatre équipes indépendantes de l initiative ESTHER, composée chacune de trois évaluateurs au profil complémentaire. Chaque équipe doit présenter : - d une part, des compétences cliniques, en sciences sociales et de santé publique (y compris la participation des usagers et de la société civile) et une expertise autour des questions liées au VIH/Sida ; - et d autre part, doit être composée d experts du «Nord et du Sud» avec une expérience en évaluation de programmes. Le comité de pilotage de l évaluation d ESTHER examinera les candidatures des équipes ayant répondu à l appel à proposition. Les candidats ainsi présélectionnés seront invités à rencontrer un sous-groupe du comité de pilotage à Paris qui proposera au GIP ESTHER les équipes à retenir à la fin du mois de mai 2006. 2.2 Déroulement de l évaluation L évaluation indépendante démarre en juin 2006 et se termine le 31 décembre 2007. Les quatre équipes travailleront en parallèle sous la supervision du comité de pilotage et du département «continuité des soins» du GIP ESTHER dans 4 puis 5 pays par an. Les pays de partenariat ESTHER qui participent à l évaluation sont les suivants : 1er juin 2006 au 30 juin 2007 : premier groupe de pays / Maroc, Bénin, Cambodge, Cameroun. 1er novembre 2006 au 31 décembre 2007 : second groupe de pays / Burkina Faso, Burundi, Gabon, Sénégal, Vietnam. Soit trois équipes travaillant avec deux pays et une quatrième avec trois pays. Chaque équipe proposera ses pays d intervention prioritaires. Le comité de pilotage de l évaluation ESTHER décidera de l attribution des pays en fonction de l expérience des équipes d évaluation. Les termes de références génériques de l évaluation seront adaptés au début de la phase de préparation de l évaluation pour chaque pays en fonction des priorités définies par les autorités sanitaires et les équipes partenaires. Les problématiques seront issues des résultats et de l avancement des projets ESTHER. Ces équipes seront chargées du recueil d information en France et dans les pays de coopération ESTHER. Ces équipes doivent s engager à participer aux restitutions des résultats de l évaluation en France et dans les pays de coopération concernés avec au moins un membre du comité de pilotage. Il est demandé une disponibilité de 46 jours de travail par personne et par an, qui se décompose de la manière suivante pour évaluer la coopération avec un pays : - 15 jours ouvrés de travail sur le terrain x 2, - 7 jours de synthèse et rédaction du rapport, et de réunion avec le comité, restitution, x 2, - 1 jours au démarrage de l évaluation (juin 2006) et 1 jours à la fin (décembre 2007) pour harmoniser la démarche et la synthèse de l évaluation. 2. 3 Calendrier Le calendrier des activités est le suivant : Premier groupe de pays. - Phase de préparation et de visite terrain en France et dans le pays de coopération : juin à octobre 2006, - Rendu du rapport intermédiaire : 31 octobre 2006, - Phase de suivi, restitution, préparation de la seconde visite terrain et de visite terrain en France et dans le pays de coopération : novembre 2006 à avril 2007, - Rendu du rapport final : 30 juin 2007. Second groupe de pays. - Phase de préparation et de visite terrain en France et dans le(s) pays de coopération : novembre 2006 à mars 2007, - Rendu du rapport intermédiaire : 31 mars 2007, - Phase de suivi, de restitution, et de visite terrain en France et dans le(s) pays de coopération avril 2007 à octobre 2007, - Rendu du rapport final : 1 er décembre 2007. 16 mars 2006 département continuité des soins / Comité de pilotage de l évaluation Page 3 sur 5
Les rencontres avec le comité de pilotage auront lieu en juin et novembre 2006, puis en avril, juillet et décembre 2007. Les équipes d évaluation indépendantes réaliseront des études quantitatives et qualitatives de terrain qui répondent aux problématiques caractérisées par le comité de pilotage de l évaluation. Elles devront adapter leur démarche à partir des résultats de l évaluation réalisée par le comité de pilotage au Mali et finaliser ensemble une méthodologie d évaluation harmonisée à partir de plusieurs sources d information, dont : - les documents d intervention ESTHER spécifiques des pays considérés (projets, principes), - les cadres stratégiques des pays considérés, - les termes de référence génériques de l évaluation de l initiative ESTHER, - les comptes rendu d avancement des jumelages (techniques et financiers), - les indicateurs du tableau de bord ESTHER, - les fiches thématiques pour les entretiens et les observations établies par le comité de pilotage. Les rapports devront être rendus sous format informatique (word, excell, powerpoint) ; ils se présenteront en trois parties : synthèse (en deux pages), compte-rendu de l évaluation, présentation powerpoint. 3- Budget et profil des équipes d évaluation indépendantes 3.1 Budget Le montant estimé de l évaluation est compris entre 62.000 et 75.000 euros par pays, y compris le travail nécessaire avec l équipe du GIP ESTHER, les équipes de soins et les associations en France. Calendrier des versements : - 40% du budget total à la signature du contrat (juin 2006), - 30% après validation du rapport final du premier pays (juillet 2007), - 30% après validation du rapport final du deuxième pays (janvier 2008). Un calendrier spécifique sera négocié avec l équipe qui se verra attribuer l évaluation de l initiative ESTHER dans trois pays. 3.2 Profil - Aptitudes nécessaires. a) Aptitudes nécessaires - Excellentes qualités d analyse, de synthèse et de rédaction, maîtrise du français ; et de l anglais pour le Vietnam et le Cambodge, - sensibilité à l approche interculturelle et multipartenariale au niveau national et international, - bonnes qualités relationnelles, sens de la diplomatie, - sens de l autonomie et des responsabilités, - aptitude à travailler en équipe, - disponibilité pour les déplacements. b) Expérience - Une expérience de cinq ans dans le domaine de l évaluation, ou au minimum la participation à différentes évaluations pour le coordinateur de l équipe, - un diplôme universitaire et une expérience d au moins cinq ans dans les pays en développement dans l un des domaines suivants pour chaque membre de l équipe au minimum : clinique médicale et VIH, santé publique et systèmes de santé, sciences sociales et accès aux soins / participation des usagers, - connaissance par l un des membres de l équipe d au moins un pays d intervention (sur les deux ou trois pays concernés), - connaissance de la coopération (bilatérale et multilatérale) et de la coopération en matière de lutte contre le VIH/Sida et les maladies infectieuses, - bonne connaissance des enjeux et des stratégies de soins et d accompagnement des personnes vivant avec le VIH/Sida, - les candidatures ayant des liens avec une université ou une équipe de recherche seront particulièrement appréciées. 16 mars 2006 département continuité des soins / Comité de pilotage de l évaluation Page 4 sur 5
c) Indépendance Les candidats et/ou leur institution de rattachement ne doivent pas présenter de conflit d intérêt avec ESTHER et/ou avec les partenaires des pays concernés ; en premier lieu les candidats ne doivent pas avoir de contrat, ou de partenariat, avec ESTHER. d) Choix des équipes Les équipes seront sélectionnées en fonction de la cohérence de leur proposition, de leur expérience, de leur aptitude à mener un tel travail et de leur proposition budgétaire. 4. - Candidatures 4.1 Composition des dossiers Le dossier de candidature sera composé : - du nom et des coordonnées complètes de la personne responsable de l équipe, - des CV actualisés des trois personnes composant l équipe, - d une proposition technique de 3 pages maximum répondant aux questions suivantes, A partir des termes de référence génériques de l évaluation de l initiative ESTHER (P.J), 1) quelle est votre démarche générale et votre méthodologie précise d évaluation et comment s appuie-t-elle sur l expérience et les compétences des membres de votre équipe? 2) Comment envisagez vous l organisation de votre travail en équipe en France et dans le pays de coopération ESTHER? 3) avec quels pays de coopération ESTHER souhaitez vous travailler et pourquoi? - d un budget prévisionnel pour une évaluation sur deux ou trois pays, en adéquation avec la proposition technique. 4.2 Dépôt des dossiers Merci de noter sur votre candidature la référence suivante : «appel à proposition / équipe évaluation ESTHER 2006-2007». Les dossiers de candidature sont à adresser avant 1er mai 2006 à : Guillemette DEVOS s/c Robert SIMON GIP ESTHER Département continuité des soins 36 rue de Charenton 75012 Paris guillemette.devos@esther.fr (+33) 1 53 17 51 61 www.esther.fr 16 mars 2006 département continuité des soins / Comité de pilotage de l évaluation Page 5 sur 5