Partenariats Universitaires en Coopération et Développement Application des principes de gestion axée sur les résultats dans la conception des projets de PUCD Janvier 2006
Tables des matières 1. Application des principes de gestion axée sur les résultats : Un aperçu...1 2. Composantes d un cadre de GAR...2 2.1 Établissement de liens entre les buts et les résultats...4 2.2 Définir les résultats...5 2.3 Déterminer les indicateurs de rendement...5 2.4 Déterminer les hypothèses et les risques...6 2.5 Suivre les progrès...7 3. Questions sur la GAR en langage clair et simple...8 4. Exemple de GAR...10
1. Application des principes de gestion axée sur les résultats : Un aperçu Un cadre simple et clair de GAR sur lesquels les partenaires se sont entendus, qui repose sur une solide analyse et qui reflète la description de projet est l un des piliers du succès du projet. Un bon cadre de GAR oriente la prise de décision et aide à suivre l avancement du projet, facilitant de beaucoup, en définitive, sa gestion conjointe. On demande aux équipes de projet qui réussissent le concours de présenter leur cadre de GAR en utilisant le modèle d analyse du cadre logique (ACL). L ACL fournit un résumé du but et des objectifs du projet, les résultats escomptés, les indicateurs de rendement, les principales hypothèses et les risques. Les demandeurs doivent présenter certains des éléments de l ACL selon les lignes directrices du concours. Comme le cadre de GAR est le principal document de référence servant à mesurer l état d avancement pendant toute la durée du projet et à préparer les rapports, il importe au plus haut point que tous les membres de l équipe le comprennent et en appuient l utilisation. Pendant toute la durée du projet, les équipes doivent garder à l esprit les «effets» prévus les changements à produire au niveau de l établissement et de la communauté d ici la fin du projet. Elles doivent également ne pas perdre de vue la pertinence ultime de ces résultats en fonction de l «impact» prévu les vastes changements, à l échelle de la société, auxquels le projet contribuera sur le plan national et international. Les «résultats» doivent être bien définis et préciser la portée escomptée, soit le nombre cible d hommes et de femmes qui en bénéficieront. Les «indicateurs de rendement» servent à évaluer les progrès accomplis en vue des résultats attendus. On trouvera dans ce document : les composantes d un cadre de GAR, avec la définition de termes clés de GAR; les critères SMART servant à définir les résultats; une orientation sur la manière de déterminer des indicateurs de rendement et de suivre leur évolution; une série de questions en langage simple sur la GAR afin de faciliter la prise de décisions conjointe à l égard de son cadre; un exemple de bonne ACL pour un projet typique du volet 2 du programme de PUCD afin d aider les équipes de projet à élaborer leur propre cadre de GAR. 1
2. Composantes d un cadre de GAR Le diagramme ci-dessous montre les composantes clés de la GAR et illustre les rapports qui existent entre elles. Quel que soit le format choisi pour la présentation, les composantes de la GAR demeurent les mêmes dans tous les programmes financés par l ACDI. 2
Intrants (ressources) Les intrants correspondent aux ressources humaines, organisationnelles ou matérielles, directes ou indirectes, requises pour mettre en oeuvre et exécuter les activités prévues du programme ou du projet. Activités Les activités sont les mesures requises pour produire les résultats. Diagramme conceptuel de la GAR Portée : Les énoncés des extrants et des effets prévus doivent être aussi précis que possible et devraient préciser le nombre prévu de bénéficiaires du changement recherché et la pertinence du changement. Les renseignements sur les bénéficiaires visés doivent être présentés selon le sexe et, le cas échéant, par région et secteur. Extrants Les extrants sont les conséquences à court terme des activités terminées. Les extrants sont les «sousrésultats» ou les réalisations clés requis pour produire les effets du projet. Effets Les effets sont les résultats institutionnels ou communautaires précis et mesurables qui se manifesteront au terme du projet. Les effets sont les résultats logiques des extrants du projet. Ils devraient continuer d exister une fois le financement du projet terminé. Les effets représentent les changements nécessaires à la réalisation des objectifs du projet. Impacts Les impacts sont les résultats socioéconomiques à long terme auxquels le projet contribuera. Les impacts se produisent généralement après la fin du projet à une échelle nationale ou internationale et consistent en des changements aux conditions de vie des populations. Ils sont attribuables, en partie, à la réalisation des effets. Les résultats au niveau de l impact sont les changements nécessaires à l atteinte du but du projet. ( ) Il faut préciser des indicateurs de rendement pour chacun des extrants et des effets. Dans certains cas, il pourrait être approprié de déterminer les indicateurs de rendement pour les impacts prévus. Les indicateurs permettent de répondre à la question «Qu observera-t-on si le résultat est atteint?». Les indicateurs devraient être simples et efficaces, et démontrer clairement si le résultat escompté a été atteint. Si l amélioration ou l accroissement des connaissances ou des capacités s avère le résultat à atteindre, il pourrait être nécessaire de recueillir des données de base tôt durant la mise en oeuvre du projet afin de permettre la mesure de ce qui a changé. 3
Le format de présentation de GAR selon l ACL comporte les composantes clés suivantes, définies dans le glossaire à la fin du manuel : but, objectifs, résultats (impacts, effets, extrants), indicateurs de rendement, principales hypothèses et niveau de risque. Ce cadre représentera la structure de base en fonction de laquelle le succès sera évalué. Un exemple de formulaire-type d ACL figure à la section 4. 2.1 Établissement de liens entre les buts et les résultats Le cadre de GAR devrait être examiné afin de s assurer que les résultats se conforment à la hiérarchie suivante : les extrants mènent aux effets; les effets réalisent les objectifs et mènent à l impact; l impact mènera au but. Les concepteurs du projet trouveront utile de numéroter leurs résultats afin de montrer quels extrants contribuent à quels effets, et quels effets contribuent à quels impacts. Les concepteurs du projet trouveront utile de numéroter leurs résultats afin de montrer quels extrants contribuent à la production de quels effets et quels effets contribuent à quels impacts, comme dans l exemple d ACL illustré à la section 4. L établissement de liens par la numérotation des résultats aide également à cerner les lacunes. Par exemple, la numérotation peut révéler que les extrants ne sont pas tous liés à un effet. Dans ce cas, soit l extrant n est pas pertinent et devrait être retiré, soit un effet supplémentaire devrait être établi. Les activités diffèrent des résultats et ne sont pas représentées dans l ACL, mais la chaîne logique de GAR aide à les planifier. Par exemple, les activités produisent des extrants. Si une activité planifiée ne soutient pas un extrant, c est peut-être que l activité n est pas pertinente, ou encore qu un extrant devrait être ajouté. En outre, comme l indique la trousse de l égalité entre les sexes, il est important de planifier des activités qui encouragent la participation des femmes aux projets. Aucune restriction ne s applique à la quantité de résultats requis pour chaque niveau. Cependant, il y a toujours plus d extrants que d effets et plus d effets que d impacts : en général, de un à deux impacts, de trois à cinq effets et de 10 à 15 extrants sont précisés. Toutefois, chaque projet étant unique, il s agit d une indication et non pas d une règle. Il est dans l intérêt de l équipe de projet de maintenir le cadre de GAR simple et bien centré. 4
2.2 Définir les résultats La définition des résultats représente peut-être l aspect le plus crucial de la conception du projet. Un résultat est un changement. Il peut prendre la forme d une amélioration, d une augmentation, d un renforcement, d une réduction ou encore d une transformation dans les attitudes et le comportement d un groupe donné. Au coeur de tout projet bien conçu se trouvent des résultats escomptés clairement définis. Les critères SMART de l encadré ci-dessous peuvent aider à bien définir les résultats. Critères SMART Précis (Specific) Le résultat escompté devrait préciser la nature du changement, les groupes cibles et la région visée. Les bénéficiaires devraient être divisés selon le sexe. Mesurable (Measurable) Le résultat escompté peut être mesuré en utilisant les indicateurs et les données de base. Réalisable (Achievable) Le résultat escompté est réaliste étant donné le calendrier d exécution du projet et les ressources disponibles. Pertinent (Relevant) Le résultat escompté aidera à répondre aux besoins cernés. Inscrit dans une échelle de temps (Time-scaled) Le résultat escompté précise une date d échéance. Les résultats devraient clairement indiquer la «portée» prévue à savoir le type et le nombre de bénéficiaires, par sexe. Il est essentiel de déterminer de un à trois indicateurs pour chacun des effets et des extrants. 2.3 Déterminer les indicateurs de rendement Il est essentiel que de un à trois indicateurs de rendement soient précisés pour chaque résultat, particulièrement en ce qui concerne les effets et les extrants. Ces indicateurs peuvent être qualitatifs et quantitatifs et doivent servir à mesurer l atteinte des résultats. La détermination des indicateurs de rendement pour chaque résultat sert également de contre-vérification très utile de la mesure dans laquelle les résultats ont été définis. Chaque fois qu un indicateur de rendement est difficile à préciser, il y a lieu de se demander si le résultat ne devrait pas être redéfini. Les indicateurs de rendement représentent ce qui est mesuré pour déterminer si les résultats sont en voie d être atteints, et dans quelle mesure. Ils permettent de répondre à la question «Qu observera-t-on si ce résultat est atteint?». Bien qu il ne soit pas toujours possible de mesurer les résultats au niveau de l impact, les indicateurs de rendement à ce niveau devraient être déterminés lorsqu il est possible de le faire. Idéalement, chaque résultat devrait être mesuré selon un mélange d indicateurs qualitatifs et quantitatifs. 5
Types d indicateurs de rendement Les types d indicateurs de rendement comprennent : des mesures quantitatives telles que des mesures qualitatives telles que - le nombre - la conformité - la fréquence - la présence - le pourcentage - la qualité - le ratio - l ampleur - l écart type - le niveau Comme pour la définition des résultats, la définition d indicateurs de rendement efficaces et efficients demande un certain savoir-faire. Les critères suivants peuvent être utilisés pour élaborer de solides indicateurs de rendement. Chaque indicateur devrait satisfaire autant que possible aux critères suivants, dans la mesure où ils sont pertinents : Validité Fiabilité Sensibilité Simplicité Utilité Abordabilité Mesure-t-il le résultat? Est-ce une mesure uniforme dans le temps? Servira-t-il à montrer le changement concret? Sera-t-il possible de recueillir et d analyser l information? L information sera-t-elle utile à la prise de décision et à l apprentissage? Le projet a-t-il les moyens de recueillir l information? Les indicateurs de rendement doivent respecter le principe d égalité entre les sexes et préciser les résultats à l égard des femmes et des hommes ou des filles et des garçons. Des questions comme celles qui suivent aideront à établir des indicateurs tenant compte de la notion d égalité des sexes : Qui, précisément, sera touché par le résultat mesuré? Les résultats seront-ils différents chez les femmes et chez les hommes? Quels seront les résultats observés chez les femmes par rapport à ceux observés chez les hommes? De nombreux cas documentés montrent que l utilisation d indicateurs de rendement élaborés en collaboration avec tous les intervenants clés du projet permettent non seulement d obtenir de meilleurs résultats mais renforcent aussi l engagement de la population locale envers le projet. Cet engagement contribue à son tour à un meilleur esprit d équipe et améliore la cohésion et l identité du groupe. 2.4 Déterminer les hypothèses et les risques Un autre élément important de la GAR est la gestion des risques. Les points à déterminer sont les suivants : 6
les principales hypothèses concernant les conditions qui doivent être en place pour que les résultats se produisent; le risque (faible, modéré ou élevé) que ces conditions puissent ne pas être en place; les risques susceptibles de nuire au projet et les stratégies d atténuation. Même s il faut considérer les risques rattachés à chaque résultat escompté, l évaluation des risques doit être menée pour le projet dans son ensemble et non pour chaque résultat individuel. 2.5 Suivre les progrès On mesure les progrès en suivant les résultats à l aide des indicateurs de rendement. L équipe de projet et le comité de gestion du projet sont fortement encouragés à utiliser le cadre de mesure du rendement ci-dessous comme document de référence clé afin de faciliter les décisions en matière de suivi et de gestion. On peut se procurer le modèle du cadre de mesure du rendement en s adressant à l agent de programme de l AUCC responsable du projet s il est financé. Suivi des travaux Cadre de mesure du rendement Cadre de rendement Impact escompté Effets escomptés 1. 2. 3. Extrants escomptés 1.1 1.2 2.1 2.2 3.1 3.2 Indicateurs de rendement Sources de données Méthodes de cueillette Fréquence Personne ou équipe responsable Un conseil pratique Laissez le cadre de mesure du rendement le plus récent à la vue de tous les partenaires durant la mise en oeuvre par exemple sur un site Web partagé ou sur le mur. Ajoutons qu une mise à jour régulière de ce cadre chaque fois que les membres du comité de gestion se réunissent, par exemple fait que cet outil demeure à jour, pertinent et utile. 7
3. Questions sur la GAR en langage clair et simple Certains Canadiens ont parfois du mal à se faire comprendre de leurs partenaires quand ils emploient le langage particulier de la GAR. Il en résulte une participation moindre des partenaires à la finalisation des rapports utilisant l ACL et le risque de créer une dissociation entre l ACL et la description du projet. La liste de questions qui suit facilitera le processus décisionnel conjoint chez les partenaires au sujet du cadre de GAR et peut aider à surmonter les difficultés de langage ou le manque de clarté qui ont nui à l application uniforme de la GAR dans les programmes de l ACDI. Les questions sont posées en langage courant mais elles font le lien avec les composantes clés de la GAR. 1. Du point de vue national et international, pourquoi les changements que vous proposez sont-ils importants? En d autres termes, à quel but plus large contribuent-ils? Votre réponse à cette question vous aidera à formuler le «but» et l «impact» visé de votre projet. 2. Quels établissements et quelles collectivités seront changés par votre projet? Quels changements désirez-vous obtenir relativement à la capacité institutionnelle et communautaire d ici la fin du projet? Votre réponse à cette question détermine vos «effets» et vos «objectifs» prévus. 3. Afin de produire des changements dans la capacité institutionnelle et communautaire d ici la fin du projet, quels autres changements doivent d abord se produire? Ces types de résultats sont vos «extrants». 4. Quelle est l importance de l égalité entre les sexes pour le problème que vous voulez résoudre? 5. Auquel des trois objectifs de l ACDI en matière de politique sur l égalité entre les sexes le projet contribuera-t-il? La politique de l ACDI a pour objectifs : de faire avancer la participation des femmes au développement durable de leurs sociétés, à titre de décisionnaires, sur un pied d égalité avec les hommes; d appuyer les femmes et les filles dans le plein exercice de leurs droits fondamentaux; de réduire les inégalités entre les femmes et les hommes dans l accès aux ressources et aux avantages du développement, et au contrôle sur ces mêmes ressources et avantages. 8
6. Comment les considérations d égalité entre les sexes seront-elles intégrées dans la conception, la mise en oeuvre et le ciblage des bénéficiaires de votre projet? 7. Comment votre projet réduira-t-il au minimum les risques en matière d environnement et favorisera-t-il la durabilité écologique? 8. Quels sont les types généraux d activités que vous entreprendrez pour réaliser les changements visés? 9. Afin de réaliser les changements visés, quelles conditions doivent nécessairement être en place? Ces conditions sont vos «hypothèses», et les «risques» que ces conditions nécessaires puissent ne pas être en place représentent les risques dont vous devez tenir compte dans votre planification. 10. Quels sont les risques qui peuvent nuire à votre projet? Quelle importance ont-ils et quelles sont les probabilités qu ils se concrétisent? Quelles sont, par conséquent, vos stratégies pour limiter ces risques? 11. Comment évaluerez-vous si les changements prévus ont été réalisés? Indiquez les «indicateurs de rendement» que vous utiliserez. 12. Qui sera chargé de montrer les changements et de communiquer les rapports à leur sujet? 13. Quelles données de base sont nécessaires à l évaluation des changements du début à la fin du projet? 14. Quand ces données de base seront-elles recueillies et par qui? 15. Quels éléments d actif existent déjà et peuvent servir à la planification ou à la mise en oeuvre du projet? (Il pourra être nécessaire de planifier une évaluation des atouts, conjointement peut-être avec la collecte de données de référence.) 16. Quelle est votre stratégie pour assurer la continuité des changements apportés par le projet lorsque le financement prendra fin? Si la continuité des changements que vous proposez ne peut être assurée une fois le financement terminé, vous devriez reconsidérer les changements que vous prévoyez produire. 9
4. Exemple de GAR ACL pour projets du volet 2 (modèle) Renseignements sur le projet : Numéro du projet : S61268-xxx Titre : Amélioration de l enseignement primaire par le truchement du perfectionnement des ressources humaines Établissement maître d oeuvre canadien : Université de Établissement maître d oeuvre du pays partenaire : Université nationale d enseignement (pays) Date de début et de fin du projet : avril 2005 à mars 2011 Contribution de l ACDI : 1 000 000 $ Engagement de l EC : 429 000 $ Engagement de l OEFPD : 85 000 $ ANALYSE DU CADRE LOGIQUE Résumé Résultats escomptés Mesure du rendement Hypothèses et risques But Impacts Indicateurs d impacts Accroître la capacité du pays en développement d améliorer la qualité de l éducation de base dans toutes les régions du pays. Capacité accrue des ressources humaines du pays en développement de gérer les ressources qui dispenseront une éducation de base de qualité aux enfants des écoles primaires. Nombre et fréquence des changements de politiques dans le système d éducation relevant les défis d une population scolaire à croissance rapide. Augmentation en pourcentage du nombre de garçons et de filles d âge scolaire fréquentant l école primaire. Variation en pourcentage des étudiants de sexe masculin et féminin se dirigeant vers les établissements secondaires et postsecondaires. Objectifs Effets Indicateurs d effets Améliorer la capacité de l université nationale d enseignement et des écoles primaires du pays en développement, en collaboration avec les groupes communautaires locaux, les organismes gouvernementaux et l établissement canadien, de relever les défis en matière d éducation d une société en rapide évolution. 1. Un programme unique de maîtrise pour les professionnels travaillant au sein du système d éducation primaire (formateurs d enseignants, administrateurs gouvernementaux de l enseignement) créé et fonctionnant au sein de l université nationale d enseignement du pays en développement d ici l année 4 du projet, permettant, chaque année à partir de l année 6 du projet, à sept femmes et à dix hommes d obtenir un diplôme. 1a. Approbation officielle du ministère de l Éducation du pays en développement du nouveau programme d études supérieures. 1b. Nombre d étudiants (M/F) diplômés et nombre d étudiants inscrits au programme de maîtrise en éducation d ici l année 6. 1c. Changement du taux d inscription au nouveau programme au fil du temps (après chaque année). Les priorités gouvernementales demeurent favorables à l amélioration de l éducation de base (niveau de risque faible). La conjoncture économique au sein du pays permet un investissement continu en éducation primaire de la part du gouvernement (niveau de risque modéré). Les conflits internationaux n empêcheront pas de façon injustifiée les déplacements ou la mise en œuvre du projet (niveau de risque modéré). Une communication efficace entre le Canada et le pays en développement est maintenue malgré les disparités en matière de technologie, de distance et de fuseau horaire (niveau de risque faible). Les éducateurs des deux pays sont motivés, consciencieux et débrouillards et mèneront le projet à bonne fin (niveau de risque faible). 10
2. Éducation permanente soutenue et programme de mentorat élaborés et gérés par le corps professoral de l université nationale d enseignement d ici l année 4, au sein desquels 20 femmes et 20 hommes directrices et directeurs d écoles primaires et agentes et agents d éducation sont inscrits chaque année par la suite. 3. Processus communautaire pour améliorer la prestation de l éducation primaire sur une base continue, adopté dans au moins 50 des 250 écoles primaires du pays d ici l année 6. Extrants 1.1 Quinze professeurs de l université nationale d enseignement (cinq femmes et dix hommes) prêts à assumer la responsabilité de l enseignement des cours de la maîtrise en éducation d ici l année 3. 1.2 Cinq nouveaux cours en éducation au niveau de la maîtrise élaborés par des professeurs nouvellement formés, opérationnels d ici l année 4. 1.3 Des procédures administratives assurent la mise en oeuvre efficace et équitable du nouveau programme de maîtrise en éducation d ici l année 4. 2.1 Sept nouveaux modules en direction d éducation permanente pour les directeurs d écoles primaires et les agents d éducation choisis, élaborés par le corps professoral de l université nationale d enseignement en coordination avec les partenaires canadiens d ici l année 4. 2a. Nombre de directeurs d écoles primaires et d agents d éducation (M/F) qui ont terminé le programme d éducation permanente et de mentorat d ici la fin de l année 6. 2b. Perception de l importance et de l efficacité du nouveau programme par les participants. 3a. Nombre d écoles ayant adopté des processus communautaires. 3b. Nombre et nature des changements apportés à la gestion et aux méthodes d enseignement des écoles primaires. Indicateurs d extrants 1.1 Nombre de professeurs de l université nationale d enseignement (M/F) qui ont reçu une éducation et un mentorat à l établissement canadien et dans le pays en développement. Nombre de professeurs (M/F) enseignant les cours de maîtrise en éducation. 1.2 Nombre de nouveaux cours approuvés par le corps administratif. Nombre de cours dispensés. 1.3 Date de début du programme de maîtrise en éducation. Nombre (M/F) de demandes relatives au nouveau programme. Pourcentage de soumissions (acceptées et rejetées) de chacun des districts. 2.1 Nombre de modules offerts d ici 2004. Évaluation par les directeurs d écoles participants (M/F) qui ont terminé le programme de mentorat dans le pays en développement d ici la fin de 2007. Les directeurs d écoles seront capables d incorporer de nouvelles idées et des améliorations dans les écoles primaires bien que les infrastructures scolaires soient surpeuplées et dépourvues d équipement, d installations et de documentation (niveau de risque modéré). Le personnel canadien et du pays en développement est capable de présenter en temps opportun des modules de formation dans des districts éloignés malgré les conditions météorologiques et géographiques difficiles (niveau de risque élevé). 11
2.2 Les résultats de la recherche communautaire et des enquêtes en matière d éducation menées par des étudiants du programme de maîtrise en éducation sont intégrés dans trois des modules d éducation ou plus à partir de l année 5. 2.2 Nombre et qualité des rapports de recherche en éducation communautaire produits par les étudiants de la maîtrise en éducation. Nombre de changements subséquents aux modules d éducation. 2.3 Les professeurs de l université nationale d enseignement (huit hommes et huit femmes) prêts à dispenser une formation permanente et des modules du programme de mentorat sur le campus et sur place dans les écoles de district d ici l année 5. 3.1 Suivant l achèvement du programme d éducation permanente et de mentorat, 40 femmes et 40 hommes directeurs et directrices d écoles primaires et enseignantes et enseignants d ici l année 6 dispensent une formation à d autres enseignants et membres du personnel d écoles primaires dans leur école primaire et dans des écoles primaires avoisinantes. 3.2 Des comités locaux composés des membres du personnel d écoles primaires, de conseils scolaires locaux et de groupes communautaires locaux sont formés dans 50 des 250 districts d écoles primaires pour établir conjointement des objectifs d éducation visant l amélioration de la qualité de l éducation primaire et l accroissement du taux d inscription, particulièrement pour les filles, d ici l année 6. 3.3 Une augmentation moyenne de 5 pour cent du taux d inscription des filles à l école primaire d ici l année 6 du projet dans 50 districts d écoles primaires. 2.3 Nombre de professeurs de l université nationale d enseignement (M/F) dispensant le nouveau programme de mentorat d ici 2006. Nombre et durée des visites de mentorat dans chaque district chaque année. 3.1 Nombre d agents d éducation (M/F) sur l ensemble des 20 districts, qui ont terminé le programme de croissance professionnelle et de mentorat et nombre qui ont par la suite dispensé une formation à d autres enseignants et membres du personnel d écoles primaires. 3.2 Nombre de comités locaux formés. Degré d activité des nouveaux comités locaux associés aux écoles primaires. 3.3 Variation en pourcentage du taux d inscription des filles aux écoles primaires participantes. Variation en pourcentage des garçons et des filles qui ont terminé l école primaire et variation en pourcentage des étudiants qui ont entrepris des études au niveau secondaire. 12