Évaluer les campagnes médiatiques antitabacs: Marc Boulay, PhD

Transcription

1 Objectifs de l enseignement Comprendre les objectifs d évaluation des campagnes médiatiques Comprendre le processus de développement de l évaluation de campagnes médiatiques antitabac Évaluer les campagnes médiatiques antitabac Comprendre les approches de base utilisées pour évaluer les impacts d une campagne médiatique antitabac Dr Marc Boulay Centre pour les Programmes de Communication École de Santé Publique Bloomberg Johns Hopkins 2 Le rôle des campagnes médiatiques dans la lutte antitabac Nous évaluons ces campagnes pour savoir : Les programmes complets de lutte antitabac comprennent souvent des campagnes médiatiques Si le programme a dissuadé les gens de commencer à fumer et/ou encouragé les fumeurs à arrêter Ces interventions sont généralement destinées à dissuader les gens de commencer à fumer et à encourager les fumeurs à arrêter Dans quelle mesure le programme a influencé les décisions de fumer Les canaux médiatiques constituent un bon moyen de sensibiliser un grand nombre de personnes aux messages antitabac Ce qui aurait pu être fait pour rendre la campagne plus efficace Si elles sont efficaces, les campagnes médiatiques antitabac sont un moyen de réduire la consommation de tabac à grand échelle à un coût relativement faible 3 4 Étapes du développement et de l évaluation Étape1:identifierlemodèleconceptuel 1. Identifier le modèle conceptuel à l origine du programme 2. Définir les indicateurs servant à mesurer les éléments du modèle conceptuel 3. Concevoir l étude qui servira à mesurer et analyser ces indicateurs Tous les programmes reposent sur une théorie spécifiant par quels moyens ils sont censés atteindre leurs objectifs Dans le cas des programmes de communication, cette théorie décrit généralement les facteurs psychosociaux qui : Influencent le comportement qui résulte du programme (par ex. fumer) Sont censés être influencés par une exposition aux messages communiqués par le programme 5 6 1

2 Modèle conceptuel représentatif Comment identifier le modèle conceptuel à l origine du programme? Une recherche préparatoire (y compris la lecture de publications sur ce sujet, des études qualitatives auprès de groupes ciblés et des analyses secondaires de données existantes) doit orienter le développement de ce modèle conceptuel Rencontrez les personnes chargées du développement du programme et les parties prenantes pour identifier le modèle conceptuel Quels sont les objectifs de la campagne en termes d impact sur le comportement? Quels sont les facteurs psychosociaux liés au tabagisme qui sont abordés dans les messages de la campagne? Quels sont les facteurs qui ne sont pas abordés dans la campagne? Qui est le public, et comment les messages lui sont-ils communiqués (par ex. canal, moment, fréquences, etc.)? Quels sont les facteurs contextuels qui peuvent aussi avoir un impact sur le tabagisme? 7 8 Avantages de l utilisation d un modèle conceptuel Étape 2 : définir les indicateurs Le modèle conceptuel peut : Vous indiquer ce que vous devez mesurer Élargir le succès au-delà du résultat final Améliorer la capacité d attribuer des effets au programme Permettre de comprendre précisément en quoi le programme a été efficace ou pas Des indicateurs sont nécessaires pour mesurer chaque élément du modèle conceptuel Ces indicateurs doivent être «SMART» (intelligents) Spécifiques Mesurables Atteignables axés sur les Résultats limités dans le Temps 9 10 Mesurer la mise en oeuvre du programme Indicateurs utilisés pour mesurer la mise en oeuvre du programme Surveillez la mise en oeuvre du programme pour vous assurer que les activités de communication se déroulent comme prévu (évaluationduprocessus) Exemples d indicateurs de résultats du programme Nombre de spots télévisés diffusés le mois dernier Nombre de posters distribués le mois dernier Cette étape a généralement lieu tout au long de la période de mise en oeuvre du programme Les indicateurs de mise en oeuvre du programme se basent souvent sur des données existantes ou facilement accessibles pour permettre des évaluations fréquentes (par ex. mensuelles ou trimestrielles) Si possible, essayez d identifier les sources de données disponibles pour contrôler la portée du programme Insérez des questions dans des enquêtes déjà existantes Recensez le nombre d appels téléphoniques passés au numéro indiqué dans la publicité

3 Mesurer les effets du programme Mesurer l exposition au programme Les enquêtes auprès du public servent généralement à mesurer les éléments restants du modèle conceptuel et à évaluer les effets du programme (évaluation sommative) L exposition aux messages du programme constitue la mesure fondamentale pour établir un lien entre la campagne et les effets observés sur le tabagisme L exposition est généralement mesurée en demandant aux personnes interrogées de signaler s ils ont vu ou entendu parler des supports de votre campagne pendant la période de mise en oeuvre du projet Il peut également être utile de mesurer l exposition aux publicités pro-tabac pour établir un variable contextuel Les effets de cette exposition peuvent être classés soit par résultats intermédiaires soit par résultats sommaires : Les résultats intermédiaires sont les effets directs de l exposition sur les connaissances, les attitudes et les croyances qui influent sur la décision de fumer Les résultats sommaires sont les effets indirects de l exposition (via les effets intermédiaires) sur le tabagisme Mesuresdirigéesetspontanéesdel exposition au programme Questions dirigées et spontanées sur l exposition au programme Les questions spontanées invitent les gens à se remémorer des messages antitabac sans fournir d informations spécifiques sur la campagne Mesure plus forte qui nécessite un plus grand degré d implication dans le support de la campagne Peuvent ne pas identifier les personnes ayant été faiblement exposées Les questions dirigées invitent les gens à se remémorer des publicités précises de la campagne Mesure plus faible qui peut compter des réponses biaisées Peuvent être plus utiles dans les campagnes menées à plus petite échelle Questions spontanées Avez-vous vu des publicités antitabac au cours de cette année? Si oui, décrivez les publicités que vous avez vues Les personnes sont considérées comme exposées si elles sont suffisamment capables de décrire une publicité Questions dirigées Avez-vous vu des publicités antitabac au cours de cette année dont le slogan était X? Indicateurs pour mesurer l exposition au programme Mesurer les effets intermédiaires d une campagne Pourcentage de personnes interrogées qui ont mémorisé une publicité de la campagne sur une période donnée (utiliser la périodedemiseenoeuvre) Pourcentage de personnes interrogées qui ont mémorisé [aucune/un petit nombre de/un grand nombre de] publicité(s) de la campagne sur une période donnée Pour examiner une relation dose/effet Les programmes de communication affectent les comportements au niveau du processus de prise de décision Le modèle conceptuel doit décrire les facteurs psychosociaux qui influencent la décision de fumer Référez-vous à des enquêtes déjà menées pour identifier les approches valides qui existent pour mesurer ces facteurs Assurez-vous que les questions correspondent aux messages de la campagne

4 Mesurer le tabagisme Plusieurs questions permettant de mesurer le tabagisme et l arrêt du tabagisme ont été développées Avez-vousfumécemois-ci? Avez-vous fumé au moins 100 cigarettes dans votre vie? Avez-vous fumé cette année mais pas ce mois-ci? Avez-vous essayé de vous arrêter de fumer au cours des six derniers mois? Etc. Étape3:conceptiondel étude La conception traditionnelle d une étude d évaluation des publicités antitabac s articule autour de trois questions essentielles : Le tabagisme et les facteurs liés au tabagisme ont-ils changé à la suite du programme? Le tabagisme et les facteurs liés au tabagisme étaient-ils associés à l exposition au programme? Les réponses aux questions 1 et 2 sont-elles toujours valides si l on prend en compte d autres explications? Le choix de la mesure peut dépendre des objectifs de la campagne Arrêt du tabagisme ou prévention du tabagisme Jeunes ou adultes Mesure le changement de comportement sur la durée Comparaison entre l enquête de référence et l enquête finale Faites une enquête de référence avant de commencer votre campagne et une enquête finale une fois votre campagne terminée Dans les deux enquêtes Utilisez des mesures identiques pour les indicateurs du modèle conceptuel afin de mesurer le changement de comportement sur la durée Utilisez des stratégies d échantillonnage identiques pour éliminer la possibilité que les différences entre échantillons soient la cause du changement de comportement Surveillez les changements de contexte (par ex. nouveaux prix, nouvelles taxes, etc.) Exposition et résultats Répartition des personnes en différents groupes exposés Les conceptions expérimentales qui répartissent au hasard les personnes dans des groupes exposés ou non exposés ne sont généralement pas applicables à des programmes de communication à grande échelle Il existe deux approches de répartition des personnes dans les groupes exposés : Les approches quasi-expérimentales qui identifient les lieux où les publicités antitabac n ont pas été diffusées L auto-répartition basée sur l exposition au programme signalée spontanément par les personnes interrogées Sélectionnez deux types d environnement pour mener les études d évaluation Les environnements d intervention où les publicités ont été diffusées Les environnements de comparaison où les publicités n ont pas été diffusées Un taux de réduction du tabagisme plus élevé dans les environnements d intervention que dans ceux de comparaison peut indiquer que le programme a eu un impact Éviter les biais d auto-sélection Les différences entre les environnements de comparaison et les environnements d intervention peuvent néanmoins être importantes

5 Comparaison entre environnements d intervention et environnements de comparaison Auto-répartition des personnes en différents groupes exposés Effectuer les enquêtes dans les environnements où les publicités ont été diffusées Utilisez les mesures d auto-évaluation des personnes interrogées sur leur degré d exposition pour les répartir en groupes Un taux de tabagisme moindre chez les personnes interrogées exposées, comparativement à celles non exposées, peut indiquer que le programme a eu un impact Biais possible : les personnes déjà motivées pour arrêter de fumer peuvent être plus susceptibles de se remémorer les publicités Ce facteur souligne l importance qu il y a à comprendre les différences sous-jacentes qui existent entre les groupes exposés et les groupes non exposés Comparaison : personnes interrogées exposées et non exposées Analyses supplémentaires Examinez les changements sur la durée et les associations entre exposition et tabagisme pour déterminer si le programme a atteint ou non son objectif final Effectuez des analyses similaires avec des résultats intermédiaires pour tirer d autres leçons Les effets sur les résultats intermédiaires indiqueront dans quelle mesure le programme à eu un impact sur les décisions de fumer Les résultats intermédiaires qui n ont pas changé indiquent des domaines à améliorer dans les programmes ultérieurs Résumé L évaluation des campagnes médiatiques permet de mesurer leur efficacité et de tirer des leçons qui serviront à de futurs programmes Utilisez le modèle conceptuel du programme pour déterminer quels sont les indicateurs pertinents à mesurer lors de l évaluation Identifiez les effets de la campagne en : Comparant la mesure de référence et la mesure finale pour évaluer les changements de comportement sur la durée Comparant les groupes exposés et non exposés pour établir une relation entre les changements de comportement et la campagne 29 5