Évaluation finale du programme du 9ème FED et évaluation à miparcours du programme du 10 ième FED dans le secteur des transports

Termes de référence spécifiques Évaluation finale du programme du 9ème FED et évaluation à miparcours du programme du 10 ième FED dans le secteur des transports Demande de prestation n 2015/360-473 Contrat-Cadre Bénéficiaires 2013 Lot n 2 Transports et infrastructures EuropAid/132633/C/SER/multi

1. INFORMATIONS GÉNÉRALES Les ressources financières programmables mises à la disposition du Tchad dans le cadre respectivement des 9 ième et 10 ième FED pour appuyer les efforts de développement du pays s élèvent à un montant global de 202 millions d'euros et de 328 millions d'euros. Le secteur du transport a été retenu comme secteur de concentration au titre des 9 ième et 10 ième FED. Au titre du 9 ième FED, la Convention de Financement n FED/2005/017-659 a été signée le 07/12/2005 entre la Commission Européenne et l'etat tchadien pour un montant de 84 millions d'euros avec pour objet la mise en œuvre du programme "Appui à la politique sectorielle des transports : entretien routier et axes économiques". Le programme est détaillé en annexe des présents termes de référence. Toutes les activités de ce programme ayant été finalisées et la majorité des engagements individuels clôturés, l'objet du présent contrat porte sur l'évaluation finale de ce programme afin d'en apprécier l'impact et d'en tirer les enseignements et recommandations qui s'imposent. Au titre du 10 ième FED, la Convention de Financement n FED/2011/022-661 a été signée le 09/12/2011 entre la Commission Européenne et l'etat tchadien pour un montant de 111.3 millions d'euros avec pour objet la mise en œuvre du programme "Appui à la politique sectorielle des transports". Le programme est détaillé en annexe des présents termes de référence. Toutes les activités prévues par la convention de financement ont été engagées et sont en cours de mise en œuvre. Comme prévu par la convention de financement, l'objet du présent contrat porte donc également sur l'évaluation à mi-parcours de ce programme qui s'inscrit dans la continuité du programme du 9 ième FED. Organisation des transports au Tchad Pays d'afrique Centrale ne disposant pas d'une ouverture sur la mer, le Tchad est un territoire enclavé pour lequel les conditions de transport ont un très fort impact sur le fonctionnement global et notamment son économie. La plupart des importations à destination du Tchad transitent par le port camerounais de Douala, situé à quelques 1800km du territoire tchadien. Le moyen de transport prédominant est très majoritairement la route. C'est dans ce secteur que s'est concentrée la coopération de l'union Européenne dans le domaine des transports. Récemment, et grâce notamment au démarrage de l'exploitation des ressources pétrolières, le réseau routier a connu un développement très important : alors qu'en 2000, seuls 350km de routes bitumées étaient disponibles au niveau national, ce chiffre est désormais d'environ 1700km. Toutefois, la densité du réseau bitumé tchadien reste faible comparativement au nombre d'habitants. De plus, des difficultés persistantes demeurent dans le secteur, en particulier en ce qui concerne : la programmation des investissements, la programmation et la mise en œuvre de l'entretien routier, notamment sur les routes en terre, le contrôle et la répression de la surcharge à l'essieu, la lutte contre l'insécurité routière, la maitrise du parc de véhicules, l'intégration des préoccupations environnementales. L'Union Européenne est chef de file et principal bailleur dans le domaine des transports au Tchad. Les autres bailleurs principaux du secteur sont la Banque Africaine de Développement, la Banque Mondiale, la Banque Islamique de Développement et les fonds chinois. Demande de prestation n 2015/360-473 2/23

Contexte institutionnel du secteur Le Ministères des Infrastructures, des Transports et de l'aviation Civile (MITAC - ex-ministère des Infrastructures et des Transports) est responsable de la politique des transports au Tchad. Outre le Secrétariat Général (SG), il comprend plusieurs services parmi lesquels, pour ce qui concerne les transports : la Direction Générale des Routes (DGR), chargée de la conception, de la planification, de la programmation et de l'exécution des travaux de construction et d'entretien des routes et des infrastructures connexes. Cette direction comprenait également sous le 9 ième FED une Cellule d'appui au MIT (CAMIT) intervenant dans la mise en œuvre du programme 9 ième FED. la Direction Générale des Transports de Surface (DGTS), chargée de la promotion et du contrôle des modes de transports routiers, fluviaux, lacustres et du suivi de la chaîne des transports de surface dans le cadre des corridors de désenclavement extérieur. Sont placés sous la tutelle du MITAC les organismes et établissements suivants : L'Ecole Nationale Supérieure des Travaux Publics (ENSTP), Le Fonds d'entretien Routier (FER), Le Bureau National de Fret (BNF), La Cellule de Suivi et de Coordination de Projets (CSCP). Stratégie nationale en matière de transports Depuis plus de 20 ans, le gouvernement tchadien s'est doté de documents stratégiques pour le secteur des transports : projet d'ajustement Sectoriel des Transports 1989-1993, Deuxième Projet Sectoriel des Transports 1994-1998, Stratégie Nationale de Transport (SNT) 2000-2009 actualisée à mi-parcours en 2005 pour la période 2006-2009 et dernièrement pour couvrir la période 2011-2020. 2. DESCRIPTION DES PRESTATIONS 2.1 OBJECTIFS DE L'EVALUATION L'objectif général du présent contrat est de réaliser l'évaluation finale du programme 9 ième FED et l'évaluation à mi-parcours du programme 10 ième FED dans le secteur des transports et de fournir ainsi aux instances décisionnelles du gouvernement de la République du Tchad, aux services de coopération extérieure concernés de l'union européenne et au grand public des informations suffisantes pour : a. apprécier globalement et de manière indépendante les résultats des programmes, en s'attachant plus particulièrement à l'impact des actions menées par rapport aux objectifs visés dans les conventions de financement et dans les programmes indicatifs nationaux; b. tirer les principaux enseignements des interventions et formuler des recommandations pratiques concernant leur suivi. 2.2 SERVICES DEMANDES Les consultants vérifieront, analyseront et apprécieront avec soin les points énoncés dans l'annexe II «Présentation et structure du rapport final». La liste de ces points ne se veut pas exhaustive. Les points renvoient aux cinq critères adoptés par le CAD de l'ocde (pertinence, efficacité, efficience, viabilité et impact) et aux critères d'évaluation spécifiques de l'ue (valeur ajoutée communautaire et cohérence). Les consultants vérifieront, analyseront et apprécieront l'incidence des questions transversales sur les programmes ainsi que la façon dont elles sont prises en compte. Il est attendu d'eux qu'ils s'appuient sur leur Demande de prestation n 2015/360-473 3/23

jugement professionnel et leur expérience pour passer en revue tous les facteurs pertinents et les porter à l'attention du gouvernement concerné et de l'union européenne. Des orientations méthodologiques sont disponibles sur le site de DEVCO/EuropeAid consacré à la méthodologie (http://ec.europa.eu/europeaid/how/evaluation/methodology/index_fr.htm) qui fournit des indications à l'intention tant des gestionnaires de l'évaluation (personnel de la Délégation) que des équipes d'évaluation (consultants). Des orientations méthodologiques pour l'évaluation de la prise en compte des questions transversales (gestion durable de l'environnement, égalité des genres, bonne gouvernance et droits de l'homme) sont disponibles sur le site Internet suivant : http://ec.europa.eu/europeaid/infopoint/publications/index_fr.htm 2.2.1. Gestion et conduite de l'évaluation L'évaluation est commanditée par la Délégation de l'union européenne en République du Tchad. La Section Infrastructures de la Délégation apportera un soutien au consultant pour : recueillir et résumer les points de vue des services de la Commission et jouer un rôle d'interface entre les consultants et les services concernées du pays bénéficiaire; veiller à ce que l'équipe d'évaluation ait accès à toutes informations et documentations utiles concernant les programmes et à ce qu'elle en fasse usage; valider les questions et sous-questions d'évaluation; examiner et commenter les notes et les rapports présentés par l'équipe d'évaluation; participer à la diffusion des constatations, conclusions, enseignements tirés et recommandations résultant de l'évaluation. 2.2.2. Processus d'évaluation Le processus d'évaluation doit être élaboré et mis en œuvre comme suit (pour plus de précision, consulter le site Internet consacré à la méthodologie mentionné ci-dessus). Le processus d'évaluation se déroule en 3 phases (documentaire, de terrain et de synthèse) : a) Phase documentaire - Démarrage Au cours de l'étape de démarrage de la phase documentaire, les documents de programmation utiles doivent être examinés, de même que les documents arrêtant la stratégie/le cadre politique plus large. L'équipe d'évaluation doit ensuite analyser le cadre d'intervention des Programmes Indicatifs Nationaux et les cadres logiques établis au début du cycle des projets ou reconstruits a posteriori par les gestionnaires des projets. Sur la base des informations recueillies, l'équipe d'évaluation doit: décrire le contexte de la coopération au développement; formuler des observations sur les cadres logiques; proposer une série de questions d'évaluation (voir l'annexe II, point 3) ou une série de questions d'évaluation complémentaire en en justifiant la pertinence; une fois les questions d'évaluation validées par la Délégation, approfondir l'évaluation en affinant les questions en sous-questions, identifier des indicateurs provisoires ainsi que les moyens de vérification s'y rapportant et décrire une stratégie d'analyse; proposer un plan de travail pour la finalisation de la première phase; confirmer le calendrier définitif. Un rapport sera établi pendant la phase de démarrage (voir le point 5). Demande de prestation n 2015/360-473 4/23

b) Phase documentaire - Finalisation Au cours de l'étape de finalisation de la phase documentaire, l'équipe d'évaluation doit: procéder à un examen systématique des documents utiles disponibles (voir l'annexe II); présenter une méthode indicative de l'évaluation globale de l'intervention dans le secteur; mener des entretiens avec la Délégation et les services et partenaires clés dans le pays; présenter chaque question d'évaluation, en indiquant les informations déjà recueillies et leurs limites, donner les premiers éléments de réponse, préciser les points qui restent à aborder et les hypothèses encore à tester et décrire une méthode complète pour répondre à la question; établir et présenter la liste des outils à utiliser au cours de la phase de terrain; dresser la liste de toutes les mesures préparatoires déjà prises en vue de la phase de terrain. À l'issue de la phase documentaire, un rapport sera établi (voir le point 5). c) Phase de terrain La phase de terrain doit débuter à l'approbation du rapport de la phase documentaire par le gestionnaire de l'évaluation. L'équipe d'évaluation doit: présenter son plan de travail détaillé, qui comportera une liste indicative des personnes à interroger et précisera les enquêtes à mener, la date des visites à effectuer, ainsi que l'itinéraire et le nom des membres de l'équipe compétents. Ce plan de travail doit être mis en œuvre avec suffisamment de souplesse pour pouvoir faire face aux éventuelles difficultés de dernière minute sur le terrain. Dès lors qu'un écart important par rapport au plan de travail ou au calendrier convenu est perçu comme susceptible de menacer la qualité de l'évaluation, il convient d'en discuter immédiatement avec le gestionnaire de l'évaluation; organiser une réunion d'information à l'intention de la Délégation dès les premiers jours de la phase de terrain; veiller à entretenir des contacts adéquats avec les différentes parties prenantes et à assurer la consultation et la participation de ces dernières; collaborer étroitement avec les autorités et organismes publics compétents tout au long de leur mission; s'appuyer sur les sources d'information les plus fiables et les plus appropriées et harmoniser les données provenant de sources différentes afin d'en faciliter l'interprétation; élaborer une synthèse de ses travaux à l'issue de la phase de terrain, examiner la fiabilité et la portée des informations recueillies et présenter ses premières conclusions au cours d'une réunion avec la Délégation. d) Phase de synthèse Cette phase est principalement consacrée à l'élaboration du projet de rapport final. Les consultants doivent veiller à: ce que leurs appréciations soient objectives et équilibrées, leurs affirmations exactes et vérifiables et leurs recommandations réalistes; prendre clairement acte, lors de l'élaboration du rapport, des changements allant dans la direction souhaitée dont ils ont connaissance afin d'éviter d'induire le lecteur en erreur, de susciter des irritations ou de commettre des impairs. Sur la base des observations formulées par la Délégation, l'équipe d'évaluation modifiera et révisera le projet de rapport. Les observations demandant des améliorations de la qualité méthodologique doivent être prises en compte, sauf lorsqu'il est démontré que cela est impossible, ce que l'équipe d'évaluation doit pleinement justifier. Les observations sur le fond du rapport peuvent être acceptées ou rejetées. Dans ce dernier cas, l'équipe d'évaluation doit motiver sa position et en donner les raisons par écrit. Demande de prestation n 2015/360-473 5/23

e) Réunion de présentation L'équipe d'évaluation présentera le projet de rapport final révisé lors d'une réunion qui se tiendra à N'Djamena avant le départ des experts. La date de cette réunion devra être fixée en accord avec la Délégation. Le but de cette réunion est de présenter le projet de rapport final aux principales parties prenantes, de vérifier les éléments factuels sur lesquels repose l'évaluation et d'examiner les constatations, conclusions et recommandations proposées. Sur la base des observations formulées par les participants et recueillies par la Délégation, l'équipe d'évaluation élaborera la version finale du rapport, qui intègrera les observations formulées selon les règles énoncées au point précédent. f) Qualité du rapport d'évaluation final La qualité du rapport final sera appréciée par le gestionnaire de l'évaluation de la Délégation à l'aide d'une grille d'appréciation de la qualité (voir l'annexe III). 2.3 RESULTATS A ATTEINDRE Les programmes des 9 ième et 10 ième FED dans le secteur des transports sont évalués (évaluation finale et à mi-parcours respectivement) en terme d'impact et de durabilité. Des recommandations sont formulées (i) pour renforcer l'impact et la durabilité du programme 10 ième FED dans sa phase finale de mise en œuvre et (ii) en terme d'interventions ponctuelles qui pourraient être mise en œuvre dans le cadre du 11 ième FED pour assurer la durabilité des investissements consentis sous les 9 ième et 10 ième FED (sachant que le secteur des transports n'a pas été retenu comme secteur de concentration sous le 11 ième FED). Voir l'annexe II point 6.2. 3. EXPERTISE DEMANDÉE 3.1 NOMBRE D'EXPERTS DEMANDES PAR CATEGORIE ET NB D'HOMME.JOUR PAR EXPERT L'équipe d'évaluation sera composée d'un (1) expert catégorie I, chef de mission, et d'un (1) expert catégorie II. La durée des prestations des experts est de 45 homme.jour pour l'expert de catégorie I et de 45 homme.jour pour l'expert de catégorie II soit 90 homme.jour au total. 3.2 EXPERTISE DEMANDEE La composition de l'équipe d'experts doit permettre de couvrir les compétences suivantes : Administration et politiques publiques des transports; Économie des transports; Génie civil; Pour attester de cette expertise, l'équipe d'experts, dans son ensemble, doit posséder les compétences minimales suivantes: une excellente connaissance, d'au moins 10 ans partagés entre les deux experts, du secteur des transports en Afrique subsaharienne, avec une expérience particulière, d'au moins 5 ans partagés entre les deux experts, dans les domaines de la politique sectorielle, de l'organisation et de la gestion du secteur routier; une excellente connaissance théorique des méthodes et techniques d'évaluation attestée par le suivi et la réussite, pour chacun des experts, d'au moins une formation spécifique ou une expérience solide et diversifiée en matière d'évaluation de projets d'au moins 5 ans partagée entre les deux experts; Demande de prestation n 2015/360-473 6/23

une bonne expérience, d'au moins 3 ans partagés entre les deux experts, dans la conception de projets et la réalisation d'études de faisabilité détaillées; une bonne connaissance, d'au moins 3 ans partagés entre les deux experts, des techniques d'évaluation des incidences des projets sur l'environnement, le développement socio-économique, y compris les questions liées à l'égalité des genres, l'organisation communautaire et le développement local; une formation spécifique pour un des experts ou une expérience d'au moins 3 ans pour les deux experts prouvant la maîtrise des principes et des méthodes de travail de la gestion du cycle de projet ainsi que des méthodes de l'aide communautaire. Le nombre d'années d'expérience indiqués ci-dessus peut être différent d'un expert à un autre, indépendamment de son statut dans l'équipe. Par ailleurs, une maîtrise opérationnelle du Français (pour les deux experts) ainsi qu'une excellente capacité en matière de rédaction de rapports sont requis. 4. LIEU ET DURÉE 4.1. PERIODE DE DEMARRAGE La date prévue pour le début du contrat est fixée au 15 juin 2015. La date effective de démarrage sera communiquée au titulaire par ordre de service émis par la Délégation de l'union européenne. 4.2. DUREE PREVUE La durée totale du contrat est de 120 jours calendaires répartis comme suit : Mission d'évaluation au Tchad : maximum 60 jours calendaires ; Soumission du rapport final provisoire : maximum 15 jours calendaires ; Soumission des commentaires et finalisation du rapport : maximum 45 jours calendaires. 4.3. CALENDRIER Le soumissionnaire, en annexe à sa méthodologie, proposera un planning précis d'exécution de l'étude, sur la base d'une seule mission au Tchad et en conformité avec les dates indicatives de remise des rapports établies dans ces termes de référence. La durée et l échéance des missions pourront être modifiées suivant les exigences du projet. Le soumissionnaire présentera dans sa méthodologie un plan de travail indicatif selon le tableau suivant: Activité Lieu Durée Expert Cat I Phase documentaire - Démarrage Voyage au Tchad Réunions avec Délégation, Gouvernement et partenaires Présentation du rapport de la phase de démarrage Phase documentaire - Finalisation Entretiens avec les responsables de la gestion des projets/programmes, les services de la Délégation, etc. Présentation du rapport de la phase documentaire Phase de terrain Voyage à l'intérieur du pays Débriefing avec la Délégation Phase de synthèse Élaboration du projet de rapport final Réunion de présentation Expert Cat II N'Djamena [..] jour(s) [..] [..] N'Djamena [..] jour(s) [..] [..] N'Djamena et intérieur du pays N'Djamena et/ou lieu d'origine [..] jour(s) [..] [..] Dates [..] jour(s) [..] [..] Demande de prestation n 2015/360-473 7/23

Voyage de retour Finalisation du rapport TOTAL [..] jour(s) [..] [..] 10% des jours ouvrés estimés peuvent être consacrés à la rédaction des rapports en dehors du lieu des prestations indiqué dans le point 4.4. 4.4 LIEUX DES PRESTATIONS: Les prestations se dérouleront à N'Djamena et à l'intérieur du pays. 5. RAPPORTS Les rapports sont soumis à des exigences de qualité. Le texte du rapport doit être illustré, selon les cas, par des cartes, des graphiques et des tableaux; une carte de la ou des zones d'intervention du projet est obligatoire (à joindre en annexe). Le consultant présentera les rapports suivants en Français: 1. Rapport de démarrage (12 pages maximum), à présenter une (1) semaine après le début des travaux du consultant. Dans ce rapport, le consultant fera part de ses premières constatations résultant de l'étude, décrira les difficultés qu'il prévoit au niveau de la collecte de données, de même que les autres difficultés rencontrées ou prévues et présentera son programme de travail ainsi que les ressources humaines mobilisées. 2. Rapport de la phase documentaire (30 pages maximum pour le corps du rapport, annexes exclues), à présenter à la fin de la phase documentaire. 3. Projet de rapport final (50 pages maximum), à présenter une (1) semaine avant la réunion de présentation, respectant la structure exposée à l'annexe II et tenant dûment compte des observations reçues de la part de la Délégation lors de la réunion de débriefing à la fin de la phase de terrain. En plus de répondre aux questions d'évaluation, le projet de rapport final doit synthétiser toutes les constatations et conclusions en une appréciation globale du projet/programme. Ce rapport devra être transmis à la fois sous forme électronique et papier (10 exemplaires). 4. Rapport final, à présenter quinze (15) jours après le départ des experts, ayant les mêmes caractéristiques que celles exposées au point 3 ci-dessus et intégrant les éventuelles observations reçues des parties concernées sur le projet de rapport et lors de la réunion de présentation. Les rapports de démarrage et de la phase documentaire seront distribués par e-mail uniquement. La date de réception est celle de l'accusé de réception de l'envoi par e-mail à la Délégation. Les commentaires des parties prenantes seront consolidés et transmis par la Délégation de l'union européenne et envoyés au prestataire au plus tard une (1) semaine après la soumission des rapports. Ces rapports sont considérés approuvés en absence de ces commentaires. Pour le rapport final, la Délégation de l'union européenne aura trois (3) semaines après la soumission du rapport pour vérifier que les commentaires envoyés et/ou émis lors de la réunion de présentation auront été intégrés et procéder à son approbation. À l approbation du rapport final en version électronique, le consultant enverra 10 exemplaires "papier". Le consultant joindra en annexe le résumé de rapport d'évaluation du CAD (voir l'annexe IV). Le rapport sera diffusé sous l'entière responsabilité de la Commission. Demande de prestation n 2015/360-473 8/23

6. DEPENSES ACCESSOIRES Ce marché est à prix global et forfaitaire. Le soumissionnaire devra dans son offre financière inclure tous les honoraires et coûts opérationnels (frais de visa, voyages internationaux, per diem, frais de mission à l'intérieur du pays) pour accomplir les tâches nécessaires à la réalisation des objectifs du présent marché. Aucun coût additionnel ne sera remboursé. Les dispositions générales applicables au régime fiscal et douanier figurent en annexe des présents Termes de Référence. 7. METHODOLOGIE Le Consultant présentera, avec son offre, une note méthodologique de cinq (5) pages maximum montrant sa bonne compréhension des objectifs à atteindre, la méthodologie qu il compte utiliser ainsi que les moyens en personnel qu il compte déployer, en plus du chef de mission. Il assortira sa méthodologie d un planning indicatif d exécution. Demande de prestation n 2015/360-473 9/23

ANNEXE I : DOCUMENTS PERTINENTS POUR L'EVALUATION (LISTE NON-EXHAUSTIVE) Convention de Financement FED/2005/017-659 (9 ième FED); Convention de Financement FED/2011/022-661 (10 ième FED); Programme Indicatif National 9 ième FED; Programme Indicatif National 10 ième FED; Plan National de Développement 2013-2015; Stratégie Nationale de Réduction de la Pauvreté II; Stratégie Nationale Transport (1999) et actualisation (2005); Stratégie Nationale Transport 2011-2020; Contrats mis en œuvre dans le cadre du 9 ième FED et rapports correspondants; Contrats mis en œuvre dans le cadre du 10 ième FED et rapports correspondants; Compte-rendu des réunions de Coordination et de Suivi Opérationnel (CSO); Rapport d'évaluation à mi-parcours du projet transport 9 ième FED; Rapport d'évaluation de la Coopération Tchad-Union Européenne 1997-2007; Rapport spécial n 17 de la Cour des Comptes Européenne (Contribution du Fonds européen de développement pour un réseau routier durable en Afrique Subsaharienne - 2012); Rapports de Result-Oriented Monitoring. Note: L'équipe d'évaluation doit repérer et obtenir tout autre document dont l'analyse pourrait être utile, à l'occasion de ses entretiens avec des personnes qui sont ou ont été associées à la conception, à la gestion et à la supervision du projet/programme. Des personnes-ressources doivent être recherchées pour la collecte d'informations et de données au sein des services de la Délégation, de l'organisme de mise en œuvre et/ou de l'administration publique du pays partenaire. Demande de prestation n 2015/360-473 10/23

ANNEXE II : PRESENTATION ET STRUCTURE DU RAPPORT FINAL Le rapport final ne doit pas dépasser 50 pages. Les informations complémentaires sur le contexte général, le programme ou les aspects liés à la méthodologie ou à l'analyse figureront dans les annexes. La page de couverture du rapport portera la mention suivante: «La présente évaluation, financée et guidée par la Commission européenne, est présentée par [nom de la société de conseil]. Le rapport ne reflète pas nécessairement les points de vue et opinions de la Commission européenne.» Les principaux points du rapport d'évaluation sont les suivants: 1. RESUME Rédigé de manière condensée, précise et exhaustive, le résumé constitue un élément essentiel du rapport. Il doit être court (pas plus de cinq pages), se concentrer principalement sur l'objet principal ou les points essentiels de l'évaluation, décrire les principaux points analytiques et exposer clairement les grandes conclusions, les enseignements tirés et les recommandations spécifiques. Il doit renvoyer aux pages ou paragraphes correspondants du texte principal. 2. INTRODUCTION L'introduction contient une description du projet/programme et de l'évaluation et fournit au lecteur suffisamment d'explications sur la méthode suivie pour lui permettre d'apprécier la crédibilité des conclusions et d'avoir connaissance des éventuelles limites ou faiblesses de l'exercice. 3. REPONSES AUX QUESTIONS/CONSTATATIONS Ce point présente les questions d'évaluation et leurs réponses, accompagnées d'éléments de preuve et d'une justification. Le rapport doit s'articuler autour des réponses aux questions d'évaluation, qui recouvrent systématiquement les critères d'évaluation du CAD, à savoir pertinence, efficience, efficacité, impact et viabilité, ainsi que les critères spécifiques à la Commission que sont la cohérence et la valeur ajoutée. Dans le cadre d'une telle approche, les critères seront traduits en questions spécifiques, ce qui contribuera à les rendre plus précis et plus accessibles et permettra de structurer les principales préoccupations des parties prenantes, de manière à optimiser l'objet et l'utilité de l'évaluation. 3.1 Problèmes et besoins (Pertinence) Mesure dans laquelle les objectifs de l'action de développement (projets/programmes) correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales et aux politiques des partenaires et de la Commission européenne. L'analyse de la pertinence portera essentiellement sur les points suivants, liés à la conception du projet: la mesure dans laquelle le projet est compatible avec le cadre politique et le cadre du programme dans lesquels le projet s'inscrit et leur est complémentaire, en particulier la stratégie de coopération et le programme indicatif national, ainsi que la politique de développement et les politiques sectorielles du gouvernement partenaire; la qualité de l'analyse des enseignements tirés de l'expérience passée et des questions de viabilité; la cohérence entre le projet et les initiatives actuelles/en cours; Demande de prestation n 2015/360-473 11/23

la qualité de l'analyse du problème ainsi que de la logique d'intervention et de la matrice cadre logique du projet et l'adéquation des indicateurs de réalisation objectivement vérifiables; la mesure dans laquelle les objectifs annoncés sont adaptés aux problèmes identifiés et aux besoins sociaux ainsi que la clarté et la cohérence interne des objectifs énoncés; la mesure dans laquelle la nature des problèmes initialement identifiés a changé; la mesure dans laquelle les objectifs ont été actualisés pour tenir compte de l'évolution de la situation; le degré de flexibilité et d'adaptabilité permettant de réagir rapidement à d'éventuels changements de circonstances; la qualité de l'identification des principales parties prenantes et des groupes cibles (notamment l'analyse selon le genre et l'analyse des groupes vulnérables) et des questions liées aux capacités institutionnelles; la participation des parties prenantes à l'élaboration et à la gestion/mise en œuvre du projet, le niveau d'appropriation locale et les capacités d'absorption et de mise en œuvre; la qualité de l'analyse des options stratégiques, de la justification de la stratégie de mise en œuvre recommandée et des modalités de gestion et de coordination; le réalisme du choix et de la quantité des ressources à mettre en œuvre (financières, humaines et administratives); l'analyse des hypothèses et des risques; l'adéquation des modalités de suivi et d'évaluation recommandée. 3.2 Réalisation de l'objectif (Efficacité) Le critère d'efficacité porte sur la mesure dans laquelle le projet a obtenu les résultats escomptés et son ou ses objectifs spécifiques ont été atteints (ou sont sur le point de l'être). L'analyse de l'efficacité aura donc pour objectif d'examiner: si les avantages prévus ont bien été générés et reçus, du point de vue de l'ensemble des parties prenantes (notamment les femmes et les hommes et les groupes vulnérables spécifiques); si les bénéficiaires prévus ont participé à l'intervention; pour les projets de réforme institutionnelle, si les comportements des organisations ou groupes bénéficiaires (à différents niveaux) ont changé et la mesure dans laquelle la modification des dispositions et caractéristiques institutionnelles a produit les améliorations prévues (par exemple en matière de communication, de productivité, de capacité à générer des actions menant au développement économique et social); si les hypothèses et les évaluations des risques au niveau des résultats se sont révélées insuffisantes ou erronées ou si des facteurs externes imprévus sont intervenus, la souplesse avec laquelle la gestion a été adaptée pour garantir que le but soit malgré tout atteint et, dans un tel contexte, la manière dont le projet a été soutenu par les parties prenantes (le gouvernement, la Commission - siège et délégation - etc.); si l'équilibre des responsabilités entre les différentes parties prenantes était approprié et le type de mesures d'accompagnement prises par les autorités partenaires; la façon dont les résultats imprévus ont affecté les retombées (positivement ou négativement) et la façon dont ils auraient pu être anticipés et gérés; si des défaillances sont survenues en raison de l'absence de prise en compte, durant la mise en œuvre, de questions transversales ou fondamentales telles que l'égalité des genres, l'environnement et la pauvreté; Demande de prestation n 2015/360-473 12/23

3.3 Gestion saine et bon rapport coût-efficacité (Efficience) Le critère d'efficience mesure le lien entre les différentes activités, les ressources disponibles et les résultats escomptés (parfois dénommés «outputs»). Cette mesure doit être quantitative, qualitative, et doit également concerner la gestion du temps. La comparaison doit se faire par rapport à ce qui était prévu. L'analyse de l'efficience aura donc pour objectif d'examiner: la qualité de la gestion quotidienne, par exemple en ce qui concerne: a. la planification et la mise en œuvre des travaux opérationnels (apport de ressources, gestion des activités et obtention de résultats) et la gestion budgétaire (notamment le contrôle des coûts et la détection d'un budget insuffisant ou de mauvaises allocations budgétaires); b. la gestion du personnel, de l'information, des droits de propriété, etc.; c. la gestion adéquate des risques (souplesse ou non face à l'évolution de la situation); d. les relations/la coordination avec les autorités locales, les institutions, les bénéficiaires et les autres bailleurs de fonds; e. la qualité de la gestion des informations et de l'élaboration de rapports, et la mesure dans laquelle les parties prenantes ont été tenues correctement informées des activités du projet (notamment les bénéficiaires/groupes cibles); f. le respect des échéances; la mesure dans laquelle les coûts du projet étaient justifiés eu égard aux résultats (exprimés ou non en termes monétaires) par comparaison avec des projets similaires ou des approches alternatives connues, en tenant compte des différences de contexte et en éliminant les distorsions de marché; si les contributions des institutions locales et des pouvoirs publics du pays partenaire (bureaux, experts, rapports, exonération d'impôts, mentionnés en tant que ressources dans le cadre logique), des bénéficiaires cibles et d'autres tiers locaux ont été fournies comme prévu; si les contributions de la Commission européenne - siège et délégation- (par exemple, fournitures, formation, passation de contrats soit directement, soit par l'intermédiaire de consultants/bureaux) ont été fournies comme prévu; assistance technique: la façon dont l'assistance technique a permis de fournir des solutions appropriées et de développer des capacités locales pour définir et produire des résultats; qualité du suivi: son existence (ou non), sa précision et sa capacité d'adaptation, et l'utilisation qui en a été faite; l'adéquation des données de base; si, à ce jour, les activités ont débouché sur des résultats non prévus. 3.4 Effets plus généraux (Impact) L'impact porte sur les relations entre l'objectif spécifique et les objectifs globaux du projet. Au niveau de l'impact, l'évaluation finale ou ex post examine: la mesure dans laquelle les objectifs du projet ont été atteints comme prévu, en particulier l'objectif global; si les effets du projet a) ont été facilités/freinés par des facteurs externes; Demande de prestation n 2015/360-473 13/23

b) ont eu des retombées involontaires ou inattendues, et, dans l'affirmative, la façon dont celles-ci ont affecté l'impact global; c) ont été facilités/freinés par la gestion du projet/programme, par les modalités de coordination, par la participation des parties prenantes concernées; d) ont contribué au développement économique et social; e) ont contribué à la réduction de la pauvreté; f) ont apporté un plus en ce qui concerne les questions transversales (égalité des genres, environnement, bonne gouvernance, prévention des conflits, etc.); g) ont été répartis entre la croissance économique, les salaires, les ressources en devises et le budget. 3.5 Probabilité de poursuite des résultats obtenus (Viabilité) Le critère de viabilité permet de déterminer si les résultats positifs du projet et le flux des avantages sont susceptibles de se poursuivre après la fin des financements externes ou des interventions non financières (dialogue politique, coordination). L'évaluation finale appréciera les perspectives de viabilité des avantages sur la base des éléments suivants: l'appropriation des objectifs et des résultats: par exemple, la mesure dans laquelle toutes les parties prenantes ont été consultées, dès le départ, sur les objectifs visés, les ont approuvés et continuent de les soutenir; le soutien public et la responsabilité des institutions bénéficiaires: par exemple, correspondance entre la politique des donateurs et la politique nationale, effets potentiels de tout changement de stratégie; comment les politiques et priorités nationales, sectorielles et budgétaires influent sur le projet positivement ou négativement et le niveau de l'appui accordé par les autorités gouvernementales, l'opinion publique, le secteur privé et la société civile; les capacités institutionnelles, c'est-à-dire des pouvoirs publics (par un soutien politique ou une aide budgétaire) et des institutions partenaires; la mesure dans laquelle le projet est intégré dans les structures institutionnelles locales; s'il a entraîné la création d'une nouvelle institution, l'état des relations avec les institutions existantes; si l'institution semble capable de faire durer le flux des avantages après la fin du projet (bien dirigée, dotée d'un personnel adéquat et dûment formé, disposant d'un budget et d'un équipement suffisants); si les homologues ont été correctement préparés à la prise en charge technique, financière et managériale du projet; l'adéquation du budget du projet avec son but, en particulier les perspectives de retrait progressif; les facteurs socioculturels: par exemple, le projet est-il compatible avec les perceptions locales des besoins, ainsi qu'avec les modes de production et de répartition des avantages générés? Respecte-t-il les structures de pouvoir locales, ainsi que les systèmes de statut et les croyances et, au cas où il viserait à les changer, comment ces changements sont-ils acceptés à la fois par le groupe cible et par d'autres groupes? Le projet est-il basé sur une analyse de ces facteurs, incluant la participation du groupe ciblé/des bénéficiaires à sa conception et à sa mise en œuvre, et quelle est la qualité des relations entre le personnel externe du projet et les collectivités locales? la viabilité financière: par exemple, les produits ou les services fournis sont-ils abordables pour les bénéficiaires ciblés et sont-ils susceptibles de le rester après la fin du financement? Les fonds disponibles sont-ils suffisants pour couvrir tous les coûts (y compris les coûts récurrents) et le seront-ils également une fois le financement terminé? Viabilité économique: comment se situent les bénéfices générés par rapport à ceux d'autres entreprises similaires (une fois les distorsions du marché éliminées)? les questions techniques (technologiques): par exemple, i) la technologie, les connaissances, les processus ou les services introduits ou fournis sont-ils compatibles avec les besoins, la culture, les Demande de prestation n 2015/360-473 14/23

traditions, les compétences et les connaissances existantes? ii) des technologies alternatives sont-elles envisagées, lorsque cela est possible? et iii) dans quelle mesure les bénéficiaires ont-ils été capables de s'adapter aux technologies acquises et de les entretenir sans autre assistance? lorsqu'il y a lieu, les questions transversales telles que l'égalité des genres, les incidences sur l'environnement et la bonne gouvernance ont-elles été correctement prises en compte et gérées depuis le début du projet? 3.6 Renforcement mutuel (Cohérence) Mesure dans laquelle les activités entreprises permettent à la Commission européenne de réaliser les objectifs de sa politique de développement sans contradiction interne ni contradiction par rapport aux autres politiques communautaires. Mesure dans laquelle elles sont complémentaires des politiques du pays partenaire et des interventions des autres donateurs. Compte tenu des autres activités connexes entreprises par les pouvoirs publics ou d'autres donateurs, au même niveau ou à un niveau supérieur: probabilité que les résultats et les impacts se renforcement mutuellement; probabilité que les résultats et les impacts soient redondants ou se fassent concurrence. Lien avec des politiques d'un niveau supérieur (cohérence) Mesure dans laquelle le projet/programme (ses objectifs, ses bénéficiaires, son calendrier, etc.): est susceptible de contribuer à/ d'être en contradiction avec d'autres politiques communautaires; est conforme aux stratégies en évolution de la CE et de ses partenaires. 3.7 Valeur ajoutée communautaire Lien avec les interventions des États membres. Mesure dans laquelle le projet/programme (ses objectifs, ses bénéficiaires, son calendrier, etc.): complète l'intervention des États membres de l'ue dans la région/le pays/la zone; est coordonné avec l'intervention des États membres de l'ue dans la région/le pays/la zone; génère une réelle synergie avec l'intervention des États membres de l'ue (ou la duplique); implique des efforts concertés entre les États membres de l'ue et la CE pour optimiser les synergies et éviter les doublons. 4. VISIBILITE Le consultants procèderont à une évaluation de la stratégie et des activités du projet dans le domaine de la visibilité, de l'information et de la communication et apprécieront les résultats et l'impact de ces actions tant dans le pays bénéficiaire que dans les pays de l'union européenne. 5. APPRECIATION GENERALE Ce point résume l'ensemble des réponses aux questions d'évaluation en un jugement global sur le projet/programme. La structure précise de l'appréciation générale doit être affinée durant le processus d'évaluation. Ce point doit présenter l'ensemble des constatations, conclusions et enseignements de manière à refléter leur importance et à faciliter la lecture. Sa structure ne doit pas être basée sur les questions d'évaluation, le cadre logique ni les sept critères d'évaluation. 6. CONCLUSIONS ET RECOMMANDATIONS 6.1 Conclusions Demande de prestation n 2015/360-473 15/23

Ce point présente les conclusions relatives à chaque question. Celles-ci doivent être regroupées afin de donner un aperçu de l'objet évalué. Note: La structure de ce point ne doit pas suivre l'ordre des questions ou des critères d'évaluation (efficacité, efficience, cohérence, etc.). Ce point doit contenir des références aux constatations (réponses aux questions d'évaluation) ou aux annexes et montrer comment les conclusions découlent des données, des interprétations et des critères d'analyse et de jugement. Le rapport doit comporter une autoévaluation des limites méthodologiques susceptibles de restreindre la portée ou l'utilisation de certaines conclusions. La partie du rapport consacrée aux conclusions ne présente pas seulement les réussites constatées, mais aussi les points appelant une réflexion sur d'éventuelles modifications ou un changement d'orientation de l'action. L'équipe d'évaluation présente ses conclusions de manière équilibrée, sans favoriser systématiquement les conclusions positives ou négatives. Un paragraphe ou une sous-rubrique doit, de préférence, résumer les 3 ou 4 grandes conclusions, classées par ordre d'importance, tout en évitant d'être répétitif. Cette manière de faire permet de mieux faire passer les messages adressés à la Commission. Si possible, le rapport d'évaluation identifie un ou plusieurs enseignements transmissibles, qui sont mis en évidence dans le résumé et présentés à l'occasion de séminaires ou de réunions appropriés afin de pouvoir être exploités et diffusés. 6.2 Recommandations Les recommandations visent à améliorer ou à réformer le projet/programme dans le cadre du cycle en cours, ou à préparer l'élaboration d'une nouvelle action lors du cycle suivant. Note: Les recommandations doivent être liées aux conclusions, sans les reproduire. Une recommandation découle directement d'une ou de plusieurs conclusions. La valeur finale d'une évaluation dépend de la qualité et de la crédibilité des recommandations proposées. Les recommandations doivent donc être aussi réalistes, opérationnelles et pragmatiques que possible. En d'autres termes, elles doivent soigneusement tenir compte du contexte du projet, ainsi que des ressources disponibles pour leur mise en œuvre à la fois localement et au sein de la Commission. Elles peuvent concerner les aspects politiques, organisationnels et opérationnels tant pour les partenaires locaux que pour la Commission, les conditions préalables susceptibles d'être attachées aux décisions de financement relatives à des projets similaires, et des questions générales résultant de l'évaluation en matière de politiques, de technologies, d'outils, de développement institutionnel, ainsi que de stratégies régionales, nationales, ou sectorielles. Les recommandations doivent être soigneusement groupées et classées par ordre de priorité, ciblées en fonction d'auditoires précis à tous les niveaux, en particulier au sein de la Commission (le gestionnaire du projet/programme et le gestionnaire de l'évaluation pourront apporter des conseils à cet égard). 7. ANNEXES DU RAPPORT Le rapport doit comporter les annexes suivantes: Demande de prestation n 2015/360-473 16/23

les termes de référence de l'évaluation; le nom des évaluateurs et de leurs sociétés (leurs CV, résumés et limités à une page par personne, doivent être fournis); une description détaillée de la méthode d'évaluation comprenant: les options choisies, les difficultés rencontrées et les limites de l'évaluation, le détail des outils et des analyses; les matrices cadres logiques (originales et améliorées/mises à jour); la carte de la zone géographique couverte par le projet; la liste des personnes/organisations consultées; les ouvrages et la documentation consultés; d'autres annexes techniques (analyses statistiques, tables des matières et chiffres); le résumé CAD, suivant le modèle figurant à l'annexe IV. Demande de prestation n 2015/360-473 17/23

ANNEXE III : GRILLE D'APPRECIATION DE LA QUALITE *Cette grille est jointe en annexe des termes de référence pour information des consultants. La qualité du rapport final sera appréciée par le gestionnaire de l'évaluation, à l'aide de la grille d'appréciation de la qualité suivante. Les notes correspondent aux appréciations suivantes: 1 = insatisfaisant = critères majoritairement non remplis ou totalement absents 2 = médiocre = critères partiellement remplis 3 = bien = critères globalement remplis 4 = très bien = critères entièrement remplis 5 = excellent = critères entièrement remplis de manière claire et originale Pour les critères et sous-critères ci-dessous, le rapport d'évaluation est noté comme suit: 1 2 3 4 5 1. Réponse aux besoins: a) Le rapport décrit-il avec précision ce qui est évalué, y compris la logique d'intervention sous la forme d'un cadre logique? b) Le rapport couvre-t-il clairement la période demandée, ainsi que les groupes cibles et les zones sociogéographiques sur lesquels porte le projet/programme? c) L'évolution du projet/programme a-t-elle été prise en compte dans le processus d'évaluation? d) L'évaluation prend-elle en compte toutes les exigences des termes de référence? Si ce n'est pas le cas, une justification est-elle fournie? 2. Adéquation de la conception a) Le rapport explique-t-il comment la conception de l'évaluation tient compte de la raison d'être du projet/programme, des relations de cause à effet, des impacts, du contexte politique, des intérêts des parties prenantes, etc.? b) La méthode d'évaluation est-elle décrite clairement et de manière adéquate, avec une précision suffisante? c) Des indicateurs bien définis ont-ils été choisis pour fournir des informations sur le projet/programme et son contexte? d) Le rapport souligne-t-il les limites, les risques et les biais potentiels associés à la méthode d'évaluation? 3. Fiabilité des données a) L'approche adoptée pour la collecte des données est-elle expliquée et est-elle cohérente avec la conception globale de l'évaluation? b) Les sources d'information sont-elles clairement identifiées dans le rapport? c) Les outils pour la collecte des données (échantillons, groupes témoins, etc.) sont-ils utilisés dans le respect des normes applicables? d) Les données recueillies ont-elles fait l'objet d'une vérification croisée? e) Les limites de la collecte de données et les biais ont-ils été expliqués et examinés? 4. Solidité de l'analyse a) L'analyse est-elle fondée sur les données recueillies? b) L'analyse porte-t-elle clairement sur les hypothèses cause/effet les plus pertinentes qui sous-tendent la logique d'intervention? c) Le contexte est-il correctement pris en compte dans l'analyse? d) Les contributions des parties prenantes les plus importantes sont-elles utilisées de manière équilibrée? Demande de prestation n 2015/360-473 18/23

Pour les critères et sous-critères ci-dessous, le rapport d'évaluation est noté comme suit: 1 2 3 4 5 e) Les limites de l'analyse sont-elles identifiées, étudiées et présentées dans le rapport, de même que les contradictions par rapport aux informations disponibles, s'il y a lieu? 5. Crédibilité des constatations a) Les constatations découlent-elles des données et des analyses effectuées? b) La possibilité de généraliser les constatations est-elle examinée? c) Les interprétations et extrapolations sont-elles justifiées et étayées par des arguments solides? 6. Validité des conclusions a) Les conclusions sont-elles cohérentes et en lien logique avec les constatations? b) Le rapport tire-t-il des conclusions générales sur chacun des cinq critères du CAD? c) Les conclusions sont-elles dénuées de considérations personnelles ou partisanes? 7. L utilité des recommandations a) Les recommandations sont-elles cohérentes par rapport aux conclusions? b) Les recommandations sont-elles opérationnelles, réalistes et suffisamment explicites pour permettre de dégager des lignes d'action? c) Les recommandations tiennent-elles compte de la diversité des parties prenantes cibles de l'évaluation? d) S'il y a lieu, les recommandations ont-elles été groupées et classées par ordre de priorité? 8. Clarté du rapport a) Le rapport inclut-il un résumé adéquat et concis? b) Le rapport est-il bien structuré et adapté à la diversité de son lectorat? c) Les notions spécialisées sont-elles clairement définies et leur utilisation est-elle limitée au strict minimum? Une liste des acronymes est-elle fournie? d) La longueur des divers points et annexes est-elle équilibrée? Compte tenu des huit critères susmentionnés, quelle est la qualité globale du rapport? Demande de prestation n 2015/360-473 19/23

ANNEXE IV : MODELE DE RESUME DE RAPPORT D'EVALUATION DU CAD Titre (et référence) de l'évaluation Résumé (central, 4 lignes maximum) Objet de l'évaluation (5 lignes maximum sur le projet, l'organisation ou la question/le thème évalué) Description de l'évaluation But (3 lignes maximum) Méthodologie (3 lignes maximum) Principales constatations Distinguer clairement les réussites/obstacles éventuels et autres aspects équivalents, lorsque cela est possible (25 lignes maximum) Recommandations (25 lignes maximum) Retour d'information (5 lignes maximum) Donateur: Commission européenne Région: Secteur CAD: Type d'évaluation: Efficience, efficacité et impact. Date du rapport: Objet de l'évaluation: Langue: N volume/pages: Auteur: Programme et ligne budgétaire concernée: Type de l'évaluation: ( ) ex ante ( ) intermédiaire/à mi-parcours Calendrier: Date de début: Date de fin: Personne à contacter: Coût: Euro Auteurs: Groupe de pilotage: Oui/Non ( ) ex post Demande de prestation n 2015/360-473 20/23