RECHERCHE ET ANALYSE QUALITATIVE : LE TRAIT D UNION ENTRE L ÉVALUATION DES TECHNOLOGIES EN SANTÉ ET L ÉVALUATION DE PROGRAMME DANS LA PRODUCTION D UNE REVUE DE LA LITTÉRATURE MIXTE 1 Débora Merveille NGO NGUÉ MAP ÉNAP 23e Colloque SQEP 07-11- 2014 Québec
PLAN 1. Introduction 2. Méthodologie 3. Les emprunts à l ÉTMI pour la production d une revue de littérature mixte 4. La question de l analyse des données qualitatives 5. Conclusion 6. Pour aller plus loin 2
1. INTRODUCTION Le secteur de la Santé et des Services Sociaux est un domaine complexe en matière de ressources, d objectifs de qualité et de gestion, de perspectives d'action, ainsi que de champs et disciplines d'intervention. Types d évaluation Personnel Qualité et sécurité Programmes / Interventions Évaluation Soins Technologies et modes d intervention Gestion 3
DÉFINITIONS Évaluation de programme Évaluation des technologies et des modes d intervention (ÉTMI) «Démarche rigoureuse de collecte et d analyse d information qui vise à porter un jugement sur un programme, une politique, un processus ou un projet pour aider à la prise de décision.» ( Secrétariat du Conseil du trésor, 2002) «Évaluation systématique des propriétés et des effets d'une technologie de la santé (des services sociaux) pouvant porter tant sur les effets directs et intentionnels de cette technologie que sur ses conséquences indirectes et non intentionnelles, et ayant pour objectif d'éclairer la prise de décision.» (INESSS, 2012) 4
Deux types d évaluation Mêmes OBJECTIFS Produire des connaissances Évaluation de programme Éclairer la prise de décision Évaluation des technologies et des modes d intervention Tous Améliorer les interventions Améliorer le bien-être et la santé -CHU - CHAU -IU - CAU 5
Au-delà des objectifs Quels liens peut-on faire entre l ÉTMI et l évaluation de programme dans le cadre de la recherche et l analyse qualitative? 6
D ABORD QU EST-CE QU UNE ÉVALUATION DES TECHNOLOGIES ET DES MODES D INTERVENTION? 7
ÉVALUATION DES TECHNOLOGIES ET DES MODES D INTERVENTION Technologies Médicaments Tests diagnostiques Dispositifs médicaux Matériels et fournitures Interventions médicales et chirurgicales Systèmes de soutien Modes d intervention La façon d intervenir 8
ÉVALUATION DES TECHNOLOGIES ET DES MODES D INTERVENTION Dimensions / Enjeux Efficacité Efficience Professionnelle Organisationnelle Innocuité / sécurité Psychologique Sociale Éthique Juridique légale Économique Processus Question décisionnelle Question d évaluation Revue systématique + Contextualisation Rapport Contexte et enjeux Protocole Révision 9
ENSUITE QUE SUPPOSE UNE ÉVALUATION DE PROGRAMME? 10
ÉVALUATION DE PROGRAMME «Processus systématique de collecte d infomations utilisables pour porter un jugement sur un programme et ses composantes dans le but de prendre des décisions.» (Ridde et Dagenais, 2009) Au-delà des générations, Mesure Description Jugement Négociation Valeurs phares Rigueur Systématisation 11
ÉVALUATION DE PROGRAMME Dimensions Besoins Pertinence Processus Efficacité Impact Efficience Processus Mandat Question d évaluation Évaluation Utilisation Contexte et enjeux Devis d évaluation Rapport 12
ENFIN QUELLE PEUT ÊTRE LA CONTRIBUTION MÉTHODOLOGIQUE DE L ÉTMI POUR LA RÉALISATION D UNE REVUE DE LITTÉRATURE MIXTE EN ÉVALUATION DE PROGRAMME? 13
2. MÉTHODOLOGIE Techniques pour appréhender le monde (Ridde et Dagenais, 2009) Recherche quantitative Sondage Recherche qualitative Entrevues individuelles Enquête par questionnaire Tests Groupes de discussion Observation Étude (recension) de documents 14
L ÉTUDE DE DOCUMENTS, UNE COLLECTE DE DONNÉES SECONDAIRES Évaluation de programme Revue de littérature mixte Synthèse des connaissances empiriques entourant les programmes à évaluer ou en cours d évaluation. (Pluye et al, 2009) Évaluation des technologies et des modes d intervention Revue systématique de la littérature Approche pour repérer, évaluer et synthétiser les preuves scientifiques permettant de répondre à une question de recherche spécifique de façon systématique et explicite. (INESSS, 2012) 15
L ÉTUDE DE DOCUMENTS, UTILITÉ Évaluation de programme Exploration et Validation Explorer de nouvelles connaissances sur le programme Confirmer les savoirs Évaluation des technologies et des modes d intervention Concordance et Applicabilité Concordance d une étude à l autre Généralisation des résultats Mise en évidence des lacunes des études Orientation des recherches futures 16
Étapes de réalisation 3- LES EMPRUNTS À L ÉTMI POUR LA PRODUCTION D UNE REVUE DE LITTÉRATURE MIXTE Revue systématique de la littérature 1. Recherche documentaire 2. Sélection des études, selon les critères PICOTS 3. Évaluation de la qualité des études retenues 4. Extraction des données 5. Synthèse et analyse des données 6. Interprétation des résultats et établissement des conclusions 17
LES CRITÈRES PICOTS UNE APPROCHE UTILE À L ÉLABORATION D UNE STRATÉGIE DE RECHERCHE Population Participants Maladie Patients Problème d intérêt Intervention Nature / contexte de l intervention Programme Technologie Mode d intervention Comparateur Intervention de comparaison Outcomes Résultats Effets Perceptions - Coûts Temporalité Durée de l intervention Durée du suivi Moment de la mesure des effets Setting / Study design Milieu d intervention Contexte organisationnel Devis d étude 18
IMPORTANCE DU PICOTS DANS LA REVUE DE LITTÉRATURE MIXTE Précise clairement les composantes centrales de la recherche Permet de circonscrire le champ de recherche d informations Participe à la définition des critères d inclusion des études 19
L EXTRACTION DES DONNÉES UNE GRILLE UTILE AU PORTRAIT DES ÉTUDES INCLUSES Catégorisation Description des études incluses Identification des éléments pertinents Regroupement Collecte Retranscription Intérêt Systématisation et constance Amorce de l analyse 20
4- LA QUESTION DE L ANALYSE DES DONNÉES QUALITATIVES «Construire le sens par des mots, en s'appuyant sur des mots sans qu'il y ait nécessairement passage par une opération numérique.» (Paillé, 2004) Selon l INESSS Après l extraction «Synthèse narrative analytique des données qui va au-delà de la simple description et inclut une analyse critique.» (Norme 24) Analyser Comparer Combiner Résumer Processus d analyse Décrire les études Analyser chaque étude Analyser l ensemble des études 21
OR L analyse des relations à l intérieur de chaque étude s effectue lors du processus d extraction des informations. Par conséquent, Début de l analyse pendant l extraction Analyse individuelle des études Catégorisation Regroupement 22
Méthodes APPROCHES ET MÉTHODES D ANALYSE QUALITATIVE Approches Interprétatives Quantitatives Mixtes - Méta-analyse qualitative - Méta-étude - Méta-synthèse - Analyse de contenu - Enquête de cas quantitative - Analyse comparative qualitative - Approches de Bayes - Synthèse multi-niveau - Synthèse parallèle - Synthèse réaliste (IRSC) 23
Trait d union Rigueur Systématisation 5- CONCLUSION Évaluation des technologies et des modes d intervention Évaluation de programme PICOTS Formulaire d extraction uniforme Méthode d analyse 24
6- POUR ALLER PLUS LOIN INSTITUT NATIONAL DE L'EXCELLENCE EN SANTÉ ET SERVICES SOCIAUX (2012). Normes de production des revues systématiques, Montréal, INESSS, 50p. INSTITUT NATIONAL D'EXCELLENCE EN SANTÉ ET EN SERVICES SOCIAUX (2012). Évaluation des technologies et des modes d'intervention, Montréal, 10p. o INSTITUTS DE RECHERCHE EN SANTÉ DU CANADA, (page consultée le 18 avril 2014). «Chapitre sur la synthèse des connaissances», [en ligne], http://www.cihrirsc.gc.ca/f/documents/knowledge_synthesis_chapter_f.pdf NGO NGUÉ Débora Meveille (2014). L évaluation au CSSS de la Montagne : structuration et mise en œuvre des projets d évaluation, Montréal, ÉNAP, 126p. PAILLÉ, Pierre (2004). «Analyse qualitative» dans MUCHIELLI, (dir). Dictionnaire des méthodes qualitatives en sciences humaines, Paris, Armand Colin, pp: 210-212. PLUYE, Pierre, Lucie NADEAU, Marie-Pierre GAGNON, Roland GRAD, Janique JOHNSON-LAFLEUR et Frances GRIFFITHS (2009). «Les méthodes mixtes» dans Valery Ridde et Christian Dagenais. Approches en pratiques en évaluation de programme, Montréal, Presses de l'université de Montréal, pp.123-141. RIDDE Valery et Christian DAGENAIS (2009). Approches et pratiques en évaluation de programme, Montréal, Presses de l'université de Montréal, 359 p. SECRÉTARIAT DU CONSEIL DU TRÉSOR (2002). L'évaluation de programme : document destiné aux dirigeantes et dirigeants des ministères, Québec, SCT, 24p. 25
26