Articles et Chapitres 2014-03-FR Décembre 2014 L ÉVALUATION EN TANT QU OUTIL D AIDE À LA DÉCISION: EXAMEN DE QUELQUES DÉFIS MAJEURS Marie-Hélène Boily, Hervé Sokoudjou 1 1. Problématique La gestion axée sur les résultats a consacré l évaluation des programmes en tant que composante fondamentale de la mesure du rendement et du suivi de la performance. De par son intégration dans la chaîne de décision, l évaluation participe au développement des organisations et à la (re)définition de leurs orientations générales et spécifiques. Si la nécessité d apprécier la performance des politiques, programmes et projets publics a désormais acquis ses lettres de noblesse, sa portée en tant que fonction de gestion ne fait pas encore l unanimité. En cause, un certain nombre d entraves qui minent la perception qu ont les décideurs de son audibilité, de son objectivité et de sa crédibilité; autrement dit, de sa pertinence en tant qu outil de gestion. Ces différents paramètres représentent autant de défis auxquels cette discipline est confrontée, et qu il conviendrait d adresser afin d accroître son utilité pour les organisations. 2. Leçons apprises Le Colloque 2012 de la Société Québécoise d Évaluation des Programmes (SQEP) 2, a mis en lumière un certain nombre de défis auxquels l évaluation est confrontée en tant qu outil d aide à la décision. Ces challenges, dus aux environnements (organisationnel, social et politique) complexes dans lesquels s inscrivent les évaluations, sont de plusieurs ordres et touchent des domaines aussi divers que le 1 Les idées exprimées dans ce document sont celles des auteurs et ne reflètent pas nécessairement celles d'idea. Elles sont uniquement exposées aux fins de partage des idées et des pratiques. 2 Ce colloque s est tenu à l École Nationale d Administration Publique (ENAP) à Montréal du 11 au 12 octobre 2012, sur le thème : L évaluation pour la prise de décision. IDEA International PC -2014.03.FR 1
leadership, la participation, l innovation, l accessibilité et le rapport au jugement crédible. Considérons plus en détail chacun de ces éléments. a. Le leadership: Comme c est le cas pour toute démarche scientifique, la conduite d une évaluation de qualité nécessite de nombreux pré requis de la part du professionnel qui l exécute : une méthodologie rigoureuse 3, une bonne compréhension des mécanismes institutionnels, une intense sensibilité au contexte 4, la conscience permanente de son sens (c est-à-dire de son emploi) ultime et, enfin, le leadership de l évaluateur (Carden, 2012). L importance capitale de la mobilisation des ressources dans la conduite des évaluations se situe dans leur capacité à assurer l adhésion des parties prenantes aux modalités de l exercice (en termes de pertinence des critères et des outils retenus pour sa mise en œuvre). Compte tenu des multiples enjeux et pressions (internes et externes aux organisations participantes) qui sont associés à l exécution de l évaluation, le leadership de l évaluateur constitue le gage de l indépendance cautionnant son impartialité et partant, l objectivité de sa démarche. Au-delà des éléments qui précèdent, la valeur du leadership dans la réalisation d évaluations de qualité tient aussi à son affinité étroite avec un autre paramètre essentiel, en l occurrence la participation. b. La participation: Le succès d une stratégie d appréciation de la performance passe nécessairement par la participation active de tous les acteurs concernés, laquelle est le gage de leur acceptation et appropriation de ses futurs résultats 5. La collaboration des tous les protagonistes est loin d être évidente. Elle procède d une réelle volonté de l évaluateur de les associer à l implémentation de sa démarche, attitude qui conditionne la valorisation de dispositions essentielles telles que la concertation régulière ou encore la validation des critères et outils retenus pour l exercice. Cette approche participative, qui mise sur une démarche essentiellement itérative et centrée sur l argumentation, est de plus en plus encouragée. De l avis de Daigneault (2012), cette réalité provient de : (1) l idée que la participation des parties prenantes est proportionnelle à l utilisation des conclusions de l évaluation (ce qu entérinent de nombreuses études présentant une corrélation positive entre ces deux facteurs), et (2) la demande croissante d études davantage fondées sur des méthodes qualitatives. Cet accroissement de la participation des organisations pose le défi de l équilibre qui se doit d exister entre la participation et l indépendance de l évaluation; en même temps que celui de l innovation qui devrait régulièrement s appliquer aux instruments et aux modalités de l évaluation. 3 Dubois (2012) étend la rigueur scientifique sous-tendant la réalisation d évaluations de qualité (qui sont les plus à même d alimenter la prise de décision) aux définition de modèles logiques et de modèles d interventions qui sont des exercices familiers aux stratégies de mesure du rendement. 4 Il est utile de relever que l ascendance du contexte est encore plus significative : Contandriopoulous et al. (2010) l ont aussi identifié comme étant un catalyseur essentiel de l utilisation des évaluations. 5 Brousselle (2012) subordonne cet élément aux trois facteurs essentiels que sont le contexte, la qualité des modèles évaluatifs et le rôle de l évaluateur. Sous cette perspective, l implication des parties prenantes apparaît comme un paramètre primordial en raison de son étroite affinité avec ces trois notions clés. IDEA International PC -2014.03.FR 2
c. L innovation: L innovation est l un des moyens dont dispose l évaluateur dans sa volonté de se rapprocher des préoccupations des gestionnaires de projets ou programmes (Lobé, 2012). La prise en compte de ce défi par le professionnel de l évaluation passe par l ajustement régulier de ses méthodes et l adaptation continuelle des instruments utilisés dans le cadre de ses activités. La réinvention régulière par l évaluateur de ces dispositifs manifeste la flexibilité et l adaptabilité qui sont inhérentes à l activité évaluative. En même temps qu il témoigne de l effort que tout évaluateur se doit de mettre en œuvre afin de développer des approches qui intègrent les attentes des acteurs intervenant dans la chaîne décisionnelle des organisations. Mais pour importante qu elle soit, la poursuite de l innovation se doit de respecter le critère décisif de l accessibilité. d. L accessibilité: L accessibilité évoquée ici concerne les outils et les résultats de l évaluation, et s entend comme la faculté de ces derniers à être facilement saisis par les parties prenantes. Cette particularité exige que les instruments et les conclusions de l analyse soient présentés dans un langage compréhensible par tous (acteurs et décideurs). L utilité de ce paramètre réside dans sa capacité à attirer (et à retenir) l attention des différents agents impliqués dans le déploiement de l évaluation, en vue de leur adhésion à cette démarche. Le critère d accessibilité manifeste l inclination de l évaluateur à associer, par son effort à adapter ses extrants à leur niveau d intelligibilité, toutes les parties prenantes. Cette caractéristique requiert par conséquent de grandes aptitudes en matière de communication. L accessibilité des produits de l évaluation constitue la condition sine qua non de leur viabilité. Ce faisant, elle joue un rôle primordial dans l appréciation de leur crédibilité par tous les acteurs impliqués. e. Le rapport au jugement crédible: Ce facteur pose le défi de la production par l évaluateur d un consensus concernant les résultats finaux, qui se fonde sur un processus évaluatif de qualité. La crédibilité dont il est question à ce niveau fait référence à «un jugement (..) à la fois valide sur le plan scientifique et acceptable aux yeux des parties prenantes» (Hurteau, 2012). Il s agit de faire déboucher l évaluation sur des extrants susceptibles de remporter l adhésion intellectuelle de ses commanditaires; autrement dit, d accroître leur potentiel d accréditation. Au-delà du facteur de la crédibilité, cette caractéristique pose aussi le problème de la faisabilité des recommandations issues de l évaluation, c est-à-dire de leur capacité à être réalisées par les gestionnaires de programmes; et de la qualité des informations sur lesquels se fonde l activité évaluative. De ce fait, le rapport au jugement crédible touche à une condition indispensable de l utilité des aboutissements de l activité évaluative, et s impose, en définitive, comme un déterminant essentiel de sa valeur en tant qu outil d aide à la décision. Deux constats majeurs se dégagent de l examen des différents points spécifiés ci-dessus : (1) Ils sont fortement corrélés et potentiellement vecteurs d un effet d entraînement; (2) ils s assimilent à des meilleures pratiques auxquelles tout professionnel de l évaluation gagnerait à se familiariser afin de produire des IDEA International PC -2014.03.FR 3
extrants de qualité et, par conséquent, donner la peine mesure de sa contribution au processus décisionnel des organisations. Note: Pour des commentaires sur cette étude de cas, merci de contacter : idea@idea-international.org. Cette étude de cas peut être reproduite avec indication de la source. IDEA International PC -2014.03.FR 4
BIBLIOGRAPHIE : CARDEN Fred, «Parvenir à l utilisation : Évaluation, leadership, décision», Communication au colloque de la Société Québécoise d Évaluation de Programme (SQEP). Thème du colloque : L évaluation pour la prise de décision, Montréal, Octobre 2012. CONTANDRIOPOULOS Damien et al. (2010), Knowledge exchange processes in organizations and policy arenas: an analytical systematic review of the literature in The Milbank Quarterly. 88(4): 444-482, cités par BROUSSELLE Astrid, «De l utilisation des résultats d évaluation : Proposition pour une réinterprétation du rôle du contexte, des modèles évaluatifs et de l évaluateur», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité ci-dessus). DAIGNEAULT Pierre-Marc, «La participation favorise-t-elle l utilisation de l évaluation? Un examen systématique de la littérature quantitative», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité cidessus). DETHIERS Jean-Louis, «Se faire entendre, se faire comprendre, se rendre utile, trois défis de l évaluateur», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité ci-dessus). DUBOIS Nathalie, «La coconstruction d une compréhension partagée de l intervention : Comment les travaux d évaluation peuvent nourrir la prise de décision?», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité ci-dessus). HURTEAU Marthe, «L évaluation axée sur le jugement crédible : Pour une plus grande utilisation des décisions qui en découlent», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité ci-dessus). LOBÉ Christine, «Innover pour répondre aux besoins du décideur : Exemple d outil d aide à la décision dans le cadre d une intervention en santé», Communication au colloque de la Société Québécoise d Évaluation de Programme (cité ci-dessus). IDEA International PC -2014.03.FR 5