ÉVALUATION DES RÉSULTATS DU CRDI Excellence en recherche Vers l excellence en recherche au service du développement L outil d appréciation Qualité de la recherche plus (QR+) Résumé Le CRDI a décidé d entreprendre une évaluation stratégique de l'excellence en recherche afin de définir et de formuler ce que signifie l excellence en recherche dans le contexte de la recherche au service du développement, d analyser des outils et des démarches d évaluation de l excellence en recherche et de cerner des innovations qui pourraient être mises à l épreuve. La dernière phase de l évaluation stratégique consiste à élaborer, tester et appliquer des cadres et des outils d évaluation. But et raison d être Le présent document décrit un cadre et des lignes directrices pratiques pour l appréciation de la qualité de la recherche au service du développement. Cet outil d appréciation, Qualité de la recherche plus (QR+), servira dans l immédiat à guider le travail des examinateurs externes dont les services seront retenus par le CRDI pour l exécution de l examen des programmes de recherche relevant d un descriptif. Il doit aussi contribuer à faire progresser le débat sur l appréciation de la qualité de la recherche et apporter une aide utile à ceux qui se voient confier la tâche exigeante d évaluer la recherche. L outil QR+ est fondé sur le principe selon lequel une appréciation crédible, équilibrée et exhaustive de la qualité de la recherche au service du développement exige que l on prenne en compte d autres éléments que les seuls extrants de recherche et que l on ne se contente pas d utiliser les mesures habituelles. Au nombre des éléments complémentaires figurent des aspects importants du processus de recherche qui se rapportent à la conception et à l exécution des travaux, ainsi qu à la communication des constatations. Pour cette raison, l outil QR+ se caractérise par une démarche qui conjugue l appréciation du projet de recherche et celle des extrants. L outil QR+ est conçu de manière à indiquer aux examinateurs externes une démarche systématique à suivre pour aborder une question clé à laquelle ils doivent répondre dans leur examen des programmes du CRDI relevant d un descriptif, à savoir 1 dans l ensemble, la qualité des travaux de recherche soutenus par le programme a-t-elle été acceptable? Apprécier les principaux extrants de recherche émanant d un échantillon de projets clos afin de déterminer la qualité globale de la recherche et l importance des constatations pour le champ d étude ou de recherche. Tenir compte i. des normes méthodologiques et scientifiques, ii. du contexte dans lequel la recherche a été menée et diffusée, iii. du but visé par la recherche, iv. des possibilités d application aux politiques et (ou) aux pratiques, v. de tout autre facteur déterminant.
La conception de l outil QR+ a été influencée par les considérations suivantes sur la nature de la recherche que subventionne le CRDI et sur les aspects auxquels le Centre accorde de l importance à titre de bailleur de fonds de la recherche 1. 1. Le CRDI subventionne principalement la recherche inspirée par l utilisation qui possède des caractéristiques particulières : elle est axée sur des problèmes concrets et sur des solutions et se fonde sur les priorités locales; elle est pertinente sur le plan des politiques; elle est pluri-, inter- ou transdisciplinaire et recoupe parfois plusieurs disciplines; elle fait surtout appel à des méthodes mixtes; elle s attaque à des problèmes complexes et pouvant tirer parti d une certaine coordination, ce qui nécessite des démarches systémiques; elle fait preuve de réceptivité et de respect à l endroit des points de vue, des connaissances et des contextes locaux dans les pays du Sud et les prend en compte; elle est attentive aux risques auxquels sont exposés les particuliers et les sociétés vulnérables de même que les établissements, les systèmes et les contextes fragiles. 2. Dans le cadre du soutien qu il apporte à la recherche au service du développement, le CRDI renforce les capacités de recherche des particuliers et des établissements, au moyen bien souvent d investissements à long terme; prend des risques, par exemple en favorisant des champs d investigation entièrement nouveaux, en s attaquant à des problèmes régionaux ou mondiaux complexes et en appuyant des travaux exécutés dans des milieux déchirés par des conflits, ravagés par la pauvreté ou présentant de grandes faiblesses institutionnelles; encourage la production de connaissances dans les pays du Sud et à leur intention; facilite l établissement de réseaux de recherche, les liens entre la recherche et les politiques et l accès aux ressources; constitue des regroupements de parties prenantes et des réseaux oeuvrant au changement; 1 Des études menées par le CRDI au cours de la phase précédente de l évaluation stratégique de l excellence en recherche (Ofir et Schwandt, Comprendre l excellence en recherche au CRDI Rapport final, décembre 2012; Singh et coll., L excellence dans le contexte de la recherche inspirée par l utilisation : points de vue des pays du Sud, 2013) ont produit plusieurs enseignements qui ont servi de base pour la création de l outil d appréciation. 2
favorise des modifications aux politiques, aux pratiques, aux systèmes institutionnels et aux techniques; agit en qualité de mentor, de conseiller, de pair et (ou) d intermédiaire. 3. Le CRDI croit que l excellence en recherche au service du développement comprend aussi bien la qualité technique de la recherche que son efficacité. Le CRDI croit que l excellence en recherche repose sur le bien-fondé scientifique ou technique (méthodes rigoureuses, conclusions fondées sur l expérience) et sur l efficacité de la recherche, qui se définit par son utilisation, son influence, sa pertinence sur le plan des politiques, sa «pertinence pour ce qui est du développement», son impact ou les connaissances applicables qu elle produit. Il estime que la qualité technique est une condition nécessaire mais non suffisante pour déterminer d une manière générale l excellence en recherche. Cependant, à titre de bailleur de fonds de la recherche, le CRDI reconnaît aussi qu il est crucial que l appréciation de la qualité de la recherche soit axée sur ce qui se trouve à l intérieur de sa sphère de contrôle, et non seulement sur les incidences, auxquelles on accorde généralement beaucoup d attention et qui relèvent de la sphère d influence. Se reporter à la figure 1. Figure 1. Les sphères de contrôle, d influence et d intérêt dans l appréciation de l excellence en recherche Intrants et activités Extrants Incidences Impacts 3
Comme l indique la figure!, la qualité technique de la recherche relève directement du CRDI, à titre de bailleur de fonds de la recherche, et de ses partenaires de recherche. Toutefois, l adoption, l utilisation, l influence et l impact des résultats de la recherche échappent à leur contrôle direct à cause de l interaction d un grand nombre d acteurs, d organismes et de conditions sociopolitiques 2. L outil QR+ amène le CRDI et ses partenaires de recherche à rendre compte de ce sur quoi il est raisonnable et réaliste de penser qu ils peuvent exercer un contrôle. Il les amène à rendre compte des mesures qu ils prennent pour accroître la probabilité que la recherche sera utilisée en d autres termes, pour positionner les constatations émanant de la recherche de manière qu elles aient une influence et un impact. Cet outil est donc un guide permettant d apprécier la qualité technique de la recherche que subventionne le CRDI, en tenant compte de la façon dont la recherche est conçue et dont ses résultats sont positionnés en vue de leur adoption et de leur utilisation; c est pourquoi on l a appelé «Qualité de la recherche plus» ou «QR+». Le cadre d appréciation QR+ L outil d appréciation a été créé à partir du cadre d appréciation QR+, qui englobe trois composantes : 1. les principales influences qui sont très susceptibles d avoir un effet sur la qualité de la recherche au service du développement, lesquelles doivent être prises en compte dans l appréciation; 2. les dimensions et sous-dimensions de la qualité de la recherche qui s appliquent dans le contexte de la recherche au service du développement que subventionne le CRDI; 3. une échelle dont les cotes sont définies par des libellés, indiquant le niveau de rendement d un projet pour chaque dimension ou sous-dimension. 2 Un descriptif de programme du CRDI vise une période de cinq ans. Cela signifie que, même s il en découle le plus souvent des extrants, il y a relativement peu d incidences et d impacts. C est pourquoi les examens externes des programmes relevant d un descriptif sont généralement centrés sur les extrants et les incidences. Le système d évaluation du CRDI comprend d autres démarches et d autres types d évaluation (études de cas, études d impact, etc.), qui permettent de cerner et d évaluer les résultats à long terme. 4
Figure 2. Le cadre d appréciation QR+ du CRDI pour la recherche au service du développement PRINCIPALES INFLUENCES DIMENSIONS ET SOUS-DIMENSIONS DE LA QUALITÉ Niveau 1 Inacceptable Niveau 2 Moins qu acceptable Niveau 3 Acceptable/ bon Niveau 4 Très bon 1.0 Intégrité de la recherche Maturité du champ de recherche 1.1 Intégrité de la recherche 2.0 Légitimité de la recherche Renforcement des capacités de recherche 2.1 Prise en compte d éventuelles conséquences néfastes 2.2 Prise en compte des sexospécificités 2.3 Caractère inclusif Risque présent dans l environnement des données 2.4 Respect des connaissances locales 3.0 Importance de la recherche Risque présent dans le milieu de la recherche 3.1 Originalité 3.2 Pertinence 4.0 Positionnement en vue de l utilisation Risque présent dans le milieu politique 4.1 Accessibilité et communication des connaissances 4.2 Caractère opportun et applicabilité 5
L outil d appréciation QR+ L appréciation QR+ se fait en quatre étapes : Étape 1 Choisir les projets de recherche Étape 2 Établir les caractéristiques des projets retenus Étape 3 Attribuer des cotes aux projets pour la qualité de la recherche Étape 4 Faire la synthèse des cotes attribuées aux différents projets Étape 1. Choisir les projets de recherche Dans la plupart des cas, les portefeuilles des programmes du CRDI englobent un trop grand nombre de subventions et d extrants pour qu il soit possible d apprécier en détail le rendement de la recherche reliée à chacune de ces composantes. En fait, une bonne partie des subventions comprises dans un portefeuille apportent un soutien complémentaire à des projets de recherche en cours : elles permettent d organiser des activités, d offrir de la formation, d effectuer des évaluations, et ainsi de suite. Il faut donc retenir, pour l examiner de près, un échantillon de projets qui ont principalement pour objet l exécution et la production de travaux de recherche. Cela nécessite l étude des documents stratégiques relatifs aux programmes et des propositions de projet présentées pour l obtention des subventions. Une discussion avec l équipe du CRDI responsable du programme visé aide aussi à comprendre comment il a été conçu et de quelle manière son portefeuille a évolué au fil du temps. L équipe chargée de l examen externe est appelée à consigner son choix de projets et à donner les raisons le justifiant. Étape 2. Établir les caractéristiques des projets retenus Une fois réuni l échantillon de projets, les examinateurs doivent établir les caractéristiques des projets qui le composent, à partir des principales influences indiquées dans la figure 2, ci-dessus. La détermination de ces grandes influences a pour but de faire en sorte que l appréciation repose sur la mise en évidence des facteurs contextuels et des facteurs de risque, et elle répond à deux besoins : 1) décrire le portefeuille du programme en regroupant les projets par grappes en fonction à la fois des types d influences qui s exercent principalement sur chaque projet et de l importance de ces influences; 2) mieux comprendre le rendement obtenu le long de la trajectoire suivie en vue d atteindre un degré élevé de qualité ou d efficacité de la recherche. Étape 3. Attribuer des cotes aux projets pour la qualité de la recherche L outil servant à attribuer des cotes à chaque projet pour la qualité de la recherche comporte quatre dimensions (dont certaines se décomposent en sous-dimensions), notées sur une échelle de huit allant d «inacceptable» à «très bon». Les cotes sont attribuées en fonction de l examen des données probantes pertinentes. Il peut arriver que, de l avis des examinateurs, telle ou telle sous-dimension ne s applique pas à un projet donné. Quand cela se produit, les examinateurs sont priés de consigner par écrit toutes les raisons pour lesquelles ils estiment, en se fondant sur leurs connaissances spécialisées, que cette sous-dimension (par exemple la prise en compte des sexospécificités) n est pas applicable. Il peut aussi arriver qu on ne 6
dispose pas d assez d information pour apprécier de manière crédible une sous-dimension. Dans un cas comme dans l autre, aucune cote chiffrée n est attribuée. Les sources de données probantes pour l appréciation de chaque dimension peuvent comprendre la documentation relative au projet (par exemple le document d approbation de projet, le rapport de suivi du projet, le rapport de fin de projet, le rapport technique final), les extrants de recherche (entre autres, les articles de recherche parus notamment dans des publications à comité de lecture, les notes d analyse, les rapports de recherche, les communications présentées à des conférences et congrès, le rapport technique final), ainsi que les entrevues réalisées auprès du personnel du programme au CRDI, des chargés de projet ou des membres de l équipe de recherche (bénéficiaires) et, s il y a lieu, de parties prenantes de l extérieur. Étape 4. Faire la synthèse des cotes attribuées aux différents projets Ce sera une tâche exigeante d arriver à une appréciation globale, pour tout un portefeuille, à partir des cotes attribuées aux différents projets de recherche. Il faut veiller à ce que, dans l ensemble, les cotes chiffrées s appuient sur de solides explications à caractère qualitatif. Les libellés fournis visent à encourager l utilisation de critères et d un langage clairs pour décrire le rendement et pour aider à trouver un juste équilibre entre ces deux types de jugement. On peut faire la synthèse des cotes attribuées pour les différentes dimensions de la qualité de la recherche et ainsi arriver à une appréciation de l ensemble du portefeuille du programme. Cela peut être fait pour chaque dimension ou sous-dimension, ou encore pour l ensemble des dimensions. Premières mises à l épreuve et applications L outil d appréciation QR+ a été mis à l épreuve au début de 2014, au moyen de quatre simulations qui se sont déroulées en même temps, mais indépendamment les unes des autres. Il s agissait d appliquer l outil QR+ à un échantillon de projets de recherche du CRDI ayant été menés entre 2005 et 2010. Les simulations, exécutées par quatre anciens examinateurs externes du CRDI qui connaissent bien le Centre et son processus d examen externe, ont fourni des informations détaillées sur un large éventail de questions, y compris celle de savoir si le cadre retenu permet d obtenir une appréciation équitable de différents types de programmes de recherche et celle de déterminer dans quelle mesure ce cadre convient à des travaux qui ont un but différent de ce qu on voit d ordinaire (favoriser le changement social plutôt que le développement technologique); qui ciblent des contextes différents de ce qu on voit d ordinaire (des problèmes locaux ou régionaux plutôt que mondiaux ou d ordre général); qui visent à influencer des groupes d utilisateurs différents de ce qu on voit d ordinaire (des acteurs de la sphère des politiques plutôt que du milieu scientifique ou universitaire). À l heure actuelle, l outil QR+ est appliqué à sept examens externes de programmes qui sont menés en 2014 et 2015. Le CRDI s attend à apporter de nouvelles modifications à l outil à la lumière des enseignements qui se dégageront de ces examens. Pour en savoir davantage sur l évaluation stratégique de l excellence en recherche, prière de s adresser à la Division des politiques, de la stratégie et de l évaluation du CRDI. 7