IDENTIFIER LES INDICATEURS ET LES CIBLES Pourquoi se doter d indicateurs de suivi Étant donné l aspect dynamique du contexte dans lequel s inscrit votre projet, il est important de mesurer de façon continue son évolution et, de façon plus ponctuelle, ses effets. Cela vous permettra d ajuster vos actions et ainsi favoriser l atteinte des résultats. Le présent document vise à soutenir l identification des indicateurs pertinents à suivre en fonction de vos objectifs et de votre plan d action. Quels sont les types d indicateurs pertinents? Le projet peut être suivi à l aide d indicateurs de mesure. Ceux-ci peuvent être classifiés de diverses manières. Nous proposons ici de les distinguer en trois catégories: 1) indicateurs de processus ; 2) indicateurs de résultats; 3) indicateurs d effets collatéraux. Le choix de ces indicateurs doit être réalisé «sur mesure», à partir des objectifs de votre projet. Le suivi de ces indicateurs permettra de comparer les données recueillies tout au long de l implantation avec les cibles fixées au départ. Avant de présenter ces indicateurs, voici quelques conseils pour choisir ceux-ci: Quelques conseils pour le choix des indicateurs -Il est préférable de restreindre le nombre d indicateurs au minimum pour en faciliter le suivi. Selon l ampleur du projet on pourrait retenir, à titre indicatif, entre 5 et 10 indicateurs. -Tout comme les objectifs, les indicateurs doivent respecter les critères SMART, c est-à-dire qu ils doivent être Spécifiques, Mesurables, Acceptables, Réalistes et Temporellement définis. -Avant de statuer sur vos indicateurs, il peut être utile de se poser au moins les questions suivantes : - Est-ce que l indicateur représente bien l importance du problème qu on cherche à mesurer? - Les données sont-elles disponibles? Sinon, quelles seraient les ressources et efforts requis? Indicateurs de processus La mesure des processus permet d apprécier le rythme d avancement du projet, l utilisation des ressources et d évaluer la manière dont le projet est mené. On compte différents types d indicateurs de processus associés à un projet. Indicateurs associés à la gestion du projet L avancement du projet et utilisation des ressources 1
Il s agit de comparer les éléments de planification opérationnelle avec l exécution en vue de prendre des mesures correctives si requis. Par exemple ceux ci permettent de vérifier dans quelle mesure le projet avance au rythme planifié. L utilisation d un diagramme de GANTT (voir annexe 1) facilite le suivi du projet et permet de constater rapidement les ajustements à apporter. Ils peuvent également permettre de vérifier si l utilisation des ressources (humaines, financières, etc.) concorde avec ce qui avait été planifié. Exemples d indicateurs d avancement du projet - Écart entre échéancier planifié et calendrier de production réel des différents livrables liés au projet. Exemples d indicateurs d utilisation des ressources -Écart entre ressources encourues et ressources planifiées (en $) -Écart entre nombre d effectifs requis et effectifs planifiés -Écart entre nombre d heures travaillées et planifiées Indicateurs liés au partenariat Dans un projet partenarial, il est recommandé de vérifier régulièrement dans quelle mesure la collaboration entre les acteurs engagés dans le projet est jugée satisfaisante. Cela permet de résoudre rapidement des enjeux liés au partenariat et ainsi favoriser le maintien de leur mobilisation dans le projet. Cette évaluation peut se faire de manière formelle (ex. à l aide d un questionnaire) ou informelle (ex. demander les commentaires des partenaires dans le cadre des rencontres). Exemples d indicateurs d appréciation du partenariat - Satisfaction des partenaires vis-à-vis la collaboration; - Capacité du partenariat à favoriser l atteinte des objectifs du projet - Degré de participation des partenaires à la prise de décision - Perception des partenaires à l égard du partenariat - Taux de participation des partenaires aux rencontres liées au projet - Nombre de partenaires provenant du secteur de la santé versus d autres secteurs d activités Indicateurs de résultats Ces indicateurs vous permettront d apprécier le degré d atteinte des objectifs de votre projet. Il existe différents types de résultats. Les résultats ultimes permettront d apprécier l impact du projet sur la santé et le bien-être de la population et la durabilité des répercussions du projet. Cependant, ces impacts s avèrent difficiles à mesurer, car une multitude de facteurs agissent sur la santé des individus et l appréciation de tels résultats requiert souvent plusieurs années. Par conséquent, il est recommandé de recourir à des actions ayant déjà été reconnues scientifiquement comme étant efficaces pour agir sur le problème de santé que vous avez ciblé. 2
L atteinte des résultats intermédiaires (effets du projet) et des résultats immédiats (résultats de premier niveau qui contribuent à la production des effets) peuvent par contre être mesurés plus rapidement au fur et à mesure de la mise en œuvre. Par exemple, il serait possible de mesurer: La capacité des actions à rejoindre la population ciblée La satisfaction de la clientèle La performance des actions en termes d accessibilité, continuité, etc. La rentabilité financière du projet Exemples d indicateurs de résultats - Disponibilité des nouveaux services et actions offertes - Pourcentage de la population rejointe par les actions - Taux d utilisation par la population des services et actions offertes - Délais d accès pour la population aux services - Qualité des services offerts - Taux de satisfaction de la clientèle/population à l égard des nouvelles actions/services L évaluation plus définitive de l atteinte des résultats du projet se réalise le plus souvent vers la fin de celui-ci, lorsque vient le temps de faire le bilan de sa réalisation. Les indicateurs d effets collatéraux L identification des effets collatéraux requiert une analyse prospective des impacts indésirables associés à l implantation du projet pouvant être observés tant à l intérieur qu à l extérieur de votre organisation. Par exemple, il est possible que l implantation ait un impact négatif sur la satisfaction du personnel, qu il nuise à la réalisation d un autre projet déployé sur le territoire, qu il soit mal reçu par certains acteurs de la communauté ou encore qu il ait finalement des effets indésirables sur le bien-être de la population. Afin de minimiser les effets collatéraux, il est recommandé de réaliser une analyse des parties prenantes et des différents risques associés à votre projet. Exemples d indicateurs d effets collatéraux - mesure de la charge de travail des équipes directement et indirectement concernées par le projet (nombre d heure supplémentaires); - mesure de satisfaction au travail du personnel ; - taux de rétention du personnel ; - mesure des effets indésirables sur la santé et le bien-être de la population ; - satisfaction des parties prenantes vis-à-vis le projet 3
Définir les cibles à atteindre Pour chaque indicateur de résultat, vous devrez déterminer 1) la situation de base («base line») ainsi que 2) une cible à atteindre. Pour certains types d indicateurs, les données scientifiques fournissent des recommandations sur les normes à atteindre. Nous vous suggérons de recourir à un expert dans le domaine concerné pour connaître ces normes. La cible associée à un indicateur est définie pour stimuler les acteurs à mieux performer. Elle doit donc ne pas être trop facile à atteindre tout en demeurant réaliste. Une fois l ensemble des indicateurs formulés, il peut être utile de produire un tableau (voir annexe 2) présentant pour chacun d eux les informations suivantes : L objectif mesuré ; La cible à atteindre la source des données à recueillir; La méthode de collecte ; la fréquence de mesure ; les personnes responsables de la transmission et de l analyse des données. Suivre et diffuser vos résultats à l aide d un tableau de bord En terminant, voici un exemple de tableau de bord vous permettant de mesurer le «rendement» de votre projet, de le suivre et de communiquer son évolution à l aide des indicateurs sélectionnés. Objectifs Indicateurs Situation de base Cible Résultats en date du : Références Albert, L. (2005) Évaluation d un projet (matériel de cours), Université de Montréal. Albert, L. (2005) Le système de contrôle dans un projet (matériel de cours), Université de Montréal. Agence de santé publique du Canada (1996). Guide sur l évaluation de projets : une démarche participative http://www.phac-aspc.gc.ca/ph-sp/resources-ressources/guide/index-fra.php Lemire, N. et Litvak, E. (2011). L amélioration en santé : diriger, réaliser, diffuser. Laboratoire d expérimentation en gestion et en gouvernance (LEGG) de la santé et des services sociaux de la Montérégie. Pomey, M.-P. (2012) Le développement d indicateurs (matériel de cours). Microprogramme en gestion du changement. Simard, P. (2005) Perspectives pour une évaluation participative des villes et villages en santé, Direction du développement des communautés et des invividus, Institut national de santé publique, 82 pages. 4
Annexe 1 Diagramme de GANTT (Étape 2 / Identifier les indicateurs et les cibles) 5
Annexe 2 Tableau descriptif des indicateurs (Étape 2 / Identifier les indicateurs et les cibles) Description des indicateurs et modalités de collecte et de suivi Titre du projet : DONNÉ RÉSULTATS ESCOMPTÉS 1 INDICATEURS2 ES DE BASE CIBLES 3 SOURCES DE DONNÉES MÉTHODE DE LA COLLECTE DE DONNÉES FRÉQUE NCE RESPONSABILI TÉ 6