Évaluation des programmes de promotion de la santé

Transcription

1 Évaluation des programmes de promotion de la santé

2 Objectifs d apprentissage : À la fin de la séance, vous pourrez faire ce qui suit : 1.Expliquer le but de chaque étape de notre modèle d évaluation 2.Décrire les composantes de chaque étape 3.Déterminer la manière d appliquer ces étapes à votre situation 4.Accéder à nos produits et services en matière d évaluation pour appuyer vos propres évaluations 2

3 Définition : évaluation d un programme Où Application de méthodes systématiques pour aborder des questions liées au fonctionnement et aux résultats d un programme Pourquoi Quand L évaluation peut comprendre le suivi permanent d un programme ainsi que des études ponctuelles sur les processus ou les répercussions du programme. 1 Qui Quoi Comment istockphoto.com/kalawin 3

4 Évaluation Activité que nous avons tous exercée! L évaluation d un programme va encore plus loin Elle est axée sur un programme. Elle vise de manière systématique les renseignements utilisés et leur mode d utilisation. 4

5 Pourquoi évaluer un programme? Pour un complément d information : Fournir des renseignements sur le programme Comparer différents types de programmes Améliorer un programme Pour la reddition de comptes : Mesurer l efficacité ou l apport d un programme Illustrer la valeur d un programme Respecter les exigences en matière de financement Remarque : Nous pouvons aussi évaluer des groupes de programmes, des systèmes tout entiers, des séries d événements Il n est pas nécessaire de toujours évaluer un seul programme / réaliser une seule évaluation. 5

6 L évaluation d un programme de promotion de la santé en 10 étapes 6

7 Étape 1 : Définir clairement le programme S assurer que le programme comporte ce qui suit : buts, populations cibles, résultats, stratégies, activités, extrants et indicateurs, tous clairement définis. Un modèle logique est souvent utilisé à cette fin. Le modèle logique est une représentation graphique d un programme. Il illustre les rapports entre ce qui suit : QUOI : que fait le programme? QUI : qui sont les bénéficiaires du programme? POURQUOI : quels sont les résusltats visés? istockphoto.com/jgi 7

8 Éléments d un objectif axé sur le processus bien formulé Combien Résultat (quel produit) Population d intérêt particulier (pour qui) Conditions (quand)) Objectif axé sur le processus bien formulé 8

9 4 Ateliers d évaluation organisés à l intention des intervenants en promotion de la santé d ici la fin de l année civile 9

10 Éléments d un objectif axé sur les résultats bien formulé Combien Population d intérêt particulier (pour qui) Résultat (quoi) Conditions (quand) Objectif axé sur les résultats bien formulé 10

11 75 % des intervenants en promotion de la santé qui ont assisté à l atelier déclarent avoir une meilleure connaissance des tenants et aboutissants d une évaluation d ici la fin de l année civile 11

12 Étape 2 : Faire participer les parties concernées Définir les parties concernées, comprendre leurs intérêts et leurs attentes, et les faire participer à l examen des objectifs Cela vous aidera à formuler les questions d évaluation istockphoto.com/webphotographeer 12

13 Qui sont les parties concernées? Gouvernement Périphérie Secteur de la santé Soutien Participation Action centrale Secteur privé Autres services Effort communautaire 13

14 Comprendre les intérêts et les attentes des parties concernées Que veulent-elles apprendre de l évaluation? De quelle manière l évaluation sera-t-elle réalisée selon elles? Quelles sont les questions qui les intéressent? Quels types de renseignements les persuaderont? Règle générale, il faut hiérarchiser les intérêts des parties concernées en raison des limites budgétaires. 14

15 Étape 3 : Évaluer les ressources Déterminer la disponibilité des membres du personnel, des fonds et des autres ressources pouvant être affectées à l évaluation Cela facilitera la prise de décisions en ce qui concerne la conception de l évaluation istockphoto.com/kristian sekulic 15

16 Tenez compte des éléments suivants : Ressources financières Intérêts et disponibilité des membres du personnel et des bénévoles Délais Matériel et outils Appui des partenaires 16

17 Étape 4 : Organiser et choisir les questions d évaluation Organiser les questions d évaluation en fonction de la nature même de l évaluation : Évaluation formative Évaluation du processus Évaluation des résultats Choisir les questions d évaluation clés Penser à ce qui suit : Quel type de décisions doivent être prises à partir des données d évaluation? Intérêts des parties concernées Ressources istockphoto.com/pederk 17

18 Évaluation situationnelle Ce type de programme est-il nécessaire? L évaluation formative intervient au cours des étapes d élaboration et de planification d un programme Élaboration d un modèle logique Théorie du changement De quelle manière les activités donneront-elles les résultats prévus? Examen de l évaluabilité Est-ce que le programme peut maintenant faire l objet d une évaluation? Quel type d évaluation? Prétestage du matériel Est-ce que notre population d'intérêt particulier comprend le message que nous voulons communiquer? 18

19 Parfois appelé «suivi du programme» L évaluation du processus permet de mesurer chaque activité de programme et sa mise en oeuvre Exemples de questions utilisées dans le cadre d une évaluation du processus : Est-ce que le programme s est déroulé comme prévu? Avons-nous rejoint le groupe cible souhaité? Combien de participants ont assisté à chaque séance? Quels éléments ont facilité la mise en oeuvre du programme? Quels ont été les obstacles? 19

20 L évaluation des résultats permet de déterminer si le programme atteint les buts et objectifs fixés Elle mesure les changements qui découlent des activités du programme (c est-à-dire les effets du programme) Il peut être difficile de mesurer les résultats à long terme Exemples de questions utilisées dans le cadre d une évaluation des résultats : Est-ce que les taux d activité physique ont augmenté? Est-ce que les participants sont davantage prêts à arrêter de fumer? Est-ce que les participants ont de meilleures connaissances en ce qui concerne une saine alimentation? 20

21 Étape 5 : Déterminer les méthodes de mesure et les procédures Qu est-ce que vous allez mesurer? Quand allez-vous recueillir les données? Comment allez-vous recueillir les données? Auprès de qui allez-vous recueillir les données? Qui utilisera les données recueillies? istockphoto.com/pearleye 21

22 Méthodes et procédures : Qu est-ce que vous allez mesurer? Les indicateurs sont des moyens de mesurer les objectifs Parfois, les indicateurs mesurent exactement les objectifs Souvent, nous devons trouver des moyens indirects de mesurer les objectifs 22

23 Méthodes et procédures : Qu est-ce que vous allez mesurer? Trois grands facteurs influent sur le choix des indicateurs : Validité Fiabilité Accessibilité 23

24 Validité Est-ce que l indicateur mesure bien ce qu il devrait mesurer? 2 Exemples : Poids déclaré par les répondants / Poids réel des répondants S ils disent qu ils «l aiment», cela ne veut pas dire qu ils le trouvent «utile» 24

25 Fiabilité Est-ce que l emploi de cet indicateur permettra d obtenir des mesures uniformes au fil du temps? Exemples : Si vous leur posez la même question à différents moments, les personnes interrogées vont-elles répondre de la même manière? Est-ce qu elles comprennent toutes la question de la même façon? Estce que les possibilités d interprétation de la question de différentes manières sont trop nombreuses? Est-ce que les émotions ou d autres circonstances peuvent avoir une incidence sur les réponses des personnes interrogées au fil du temps? 25

26 Accessibilité Quels sont les obstacles à l obtention de données sur les indicateurs de résultats? Exemples : Le nombre de parents prêts à remplir le questionnaire est limité Autres? 26

27 Objectif axé sur le processus : Faire 25 présentations à des membres de tous les âges de la collectivité sur le diabète et l importance des aliments traditionnels dans la prévention et le traitement de cette maladie Indicateur : Nombre de personnes assistant à chaque présentation conformément aux données recueillies par les organisateurs Valide? Fiable? Accessible? 27

28 Questions éthiques Vous devriez tenir compte des questions éthiques suivantes : Consentement éclairé Fin/but/objectifs de l évaluation Méthode d évaluation Risques éventuels Avantages éventuels Anonymat, confidentialité et sécurité des données De quelle manière les résultats de l évaluation seront-ils communiqués aux participants? istockphoto.com/amphotora 28

29 Sources d indicateurs Conseil canadien de développement social 3 Fédération canadienne des municipalités Système de rapports sur la qualité de vie 6 Santé Canada site Web 7 U.S. Healthy People 2020 local health indicators 8 Les centres d information et autres répertoires d indicateurs peuvent être utiles à cette étape. En voici deux : Institut canadien d information sur la santé (ICIS) 4 Association of Public Health Epidemiologists in Ontario 5 istockphoto.com/erdosain 29

30 Étape 6 : Élaborer le plan de travail, le budget et le calendrier de l évaluation Recenser les tâches, rôles, affectations de ressources, dates et délais qui s appliquent à l évaluation Faut-il réaliser l évaluation au moyen de ressources internes ou externes? istockphoto.com/akurtz 30

31 Étape 7 : Recueillir les données Essais-pilotes : Outils et procédures Réviser Former Recueillir les données istockphoto.com/alexskopje 31

32 Étape 8 : Traiter les données et analyser les résultats Procéder à une contrevérification d au moins 10 % des données Rassembler les données dans un format qui permet de les résumer et de les interpréter Dégager les thèmes figurant dans les données qualitatives Retenir les services d un expert en analyse des données dans la mesure du possible 32

33 Étape 9 : Interpréter et diffuser les résultats Collaborer avec les parties concernées pour donner un sens aux constatations obtenues Tirer des conclusions à partir des constatations - Quelles sont les réponses aux questions de votre évaluation? Faire des recommandations sur les mesures qui devraient découler de l évaluation Diffuser les résultats dans des formats adaptés aux besoins et aux préférences du public visé istockphoto.com/narvikk 33

34 Étape 10 : Passer à l action Faire participer les parties concernées Utiliser les réponses aux questions de votre évaluation : Essayer quelque chose de différent? Maintenir ce qui donne de bons résultats? Améliorer le programme? Remplacer le programme? istockphoto.com/chromatika 34

35 L évaluation d un programme de promotion de la santé en 10 étapes 35

36 Questions? 36

37 Santé publique Ontario Ressources en matière d évaluation At a glance: ten steps to evaluating health promotion programs 9 Évaluation des programmes de promotion de la santé Cahier d exercices 10 Health communication outcomes. At the heart of good objectives and indicators 11 Planificateur en ligne de programme de santé 12 Les resources sont disponibles en français et en anglais 37

38 Autres ressources recommandées en matière d évaluation Making evaluations matter: a practical guide for evaluators 13 W.K. Kellogg Foundation evaluation handbook 14 Introduction to program evaluation for public health programs 15 Developing an effective evaluation plan 16 38

39 Promotion de la santé : Services pour renforcer les capacités de promotion de la santé Offerts gratuitement aux personnes collaborant à des projets axés sur l Ontario Formulaire de demande de service disponible à : 39

40 Promotion de la santé : Services pour renforcer les capacités de promotion de la santé L envergure des services offerts varie, compte tenu de vos besoins: Conseils ponctuels et succints Liens vers d autres sources d information et ressources Examen de vos activités ou de vos produits Consultations Séances/ateliers de formation 40

41 Santé publique Ontario tient à remercier le personnel de la THCU et ses nombreux partenaires qui ont participé à l élaboration d une version antérieure du présent document. La THCU («The Health Communication Unit», instaurée en 1993 au sein de l Université de Toronto) fait partie du service Promotion de la santé et prévention des maladies chroniques et des traumatismes depuis 2011.

42 Références 1. Joseph S. Wholey, Harry P. Hatry et E. Kathryn. Newcomer, rédacteurs, Handbook of practical program evaluation, 3 e édition, San Fransisco (Californie), John Wiley and Sons, Last J. M. A dictionary of public health, New York, Oxford University Press, Conseil canadien de développement social [page d accueil sur Internet], c2012 [cité le 24 août 2012], disponible à : 4. Institut canadien d information sur la santé (ICIS) et Statistique Canada [document consultable sur Internet], Indicateurs de la santé, [actualisé le 22 mars 2011, cité le 24 août 2012], disponible à : 42

43 Références (suite) 5. Association of Public Health Epidemiologists in Ontario,. Core Indicators for Public Health [page web sur Internet], [actualisé le 22 mars 2011, cité le 24 août 2012], disponible à : 6. Fédération canadienne des municipalités. Système de rapports sur la qualité de vie [page d accueil sur Internet], [actualisé le 10 août 2012, cité le 24 août 2012], disponible à : 7. Santé Canada. Indicateurs de santé [page web sur Internet], [actualisé le 8 juin 2009, cité le 24 août 2012], disponible à : 43

44 Références (suite) 8. U.S. Department of Health and Human Services, U.S healthy people 2020 local health indicators [page d accueil sur Internet], [actualisé le 20 août 2012; cité le 24 août 2012], disponible à : 9. École de santé publique Dalla Lana, Santé publique Ontario. La Planification de programmes de promotion de la santé en un coup d œil, Toronto (Ontario), Imprimeur de la Reine pour l Ontario, The Health Communication Unit, Centre for Health Promotion, Université de Toronto. Évaluation des programmes de promotion de la santé : Cahier d exercices, Toronto (Ontario), Université de Toronto, École de santé publique Dalla Lana, Santé publique Ontario. Health communication outcomes. At the heart of good objectives and indicators, Toronto (Ontario), Imprimeur de la Reine pour l Ontario, sous presse

45 Références (suite) 12. Santé publique Ontario et le Centre de collaboration nationale des méthodes et outils [Internet]. Outil de planification de programme en ligne pour le secteur de la santé publique, [actualisé en 2011, cité le 24 août 2012], disponible à : Kusters C.S.L et autres. Making evaluations matter: a practical guide for evaluators [document sur Internet], c2009 [cité le 24 août 2012], disponible à : W.K. Kellogg Foundation. W.K Kellogg Foundation evaluation handbook [document sur Internet], [cité le 24 août 2012], disponible à : Foundation-Evaluation-Handbook.aspx 45

46 Références (suite) 15. U.S. Department of Health and Human Services Centers for Disease Control and Prevention, Office of the Director, Office of Strategy and Innovation. Introduction to program evaluation for public health programs: A self-study guide, Atlanta (Georgia), Centers for Disease Control and Prevention, Developing an Effective Evaluation Plan, Atlanta (Georgia), Centers for Disease Control and Prevention, National Center for Chronic Disease Prevention and Health Promotion, Office on Smoking and Health, Division of Nutrition, Physical Activity, and Obesity,