Rapport synthèse des questionnaires T1 et T2 Sessions EFSHV Phase I Quelques faits saillants

Transcription

1 Rapport synthèse des questionnaires T1 et T2 Sessions EFSHV Phase I Quelques faits saillants Ce rapport présente les principaux résultats des questionnaires administrés aux participants 1 ayant suivi les sessions de sensibilisation sur les Environnements Favorables aux Saines Habitudes de Vie (EFSHV). Dans l optique de fournir aux formateurs un portrait général des retombées des sessions, le rapport est rédigé selon trois objectifs : 1) Documenter le niveau de satisfaction des participants et les retombées anticipées suite aux sessions de sensibilisation; 2) Identifier la disposition des participants à mettre en place des actions en lien avec les EFSHV; 3) Analyser les retombées des sessions en termes de transfert et d impact dans le milieu respectif des participants. Rappel méthodologique Temps 1 L objectif de ce questionnaire en ligne, administré en septembre 2013 et janvier 2014, était de sonder le niveau de satisfaction des participants suite aux sessions de sensibilisation, et d identifier leur disposition à rendre les environnements plus favorables aux SHV dans leur milieu. Ainsi, parmi les 4124 participants sollicités, 1838 (H=515 et F=1323) ont répondu au questionnaire du temps 1 (T1), ce qui représente un taux de réponse de 45%. 1 L usage du masculin dans le rapport n a pour but que d alléger le texte. Le questionnaire T1 était composé de 78 questions fermées et se complétait en moyenne en 20 minutes. Pour la plupart des questions, les participants répondaient sur des échelles de type Likert allant des niveaux 1 à 7. Temps 2 Un an plus tard, une deuxième invitation par courriel a été envoyée aux participants ayant répondu au T1. L objectif de cette seconde collecte était d examiner la disposition des participants à mettre en place des actions en EFSHV et d identifier les retombées des sessions en termes de transfert et d impact dans les milieux. Sur 1838 répondants possibles (T1), 796 (taux de réponse de 43%) y ont répondu de nouveau au temps 2 (T2). Le questionnaire T2 comprenait 70 questions ouvertes et fermées, pour une durée moyenne de passation de 30 minutes. Les questions liées à la satisfaction et aux retombées de sessions sont basées sur le modèle de l évaluation de la formation de Kirkpatrick & Kirkpatrick (2006), modèle qui couvre quatre variables, soit satisfaction, acquisition, transfert et impact. Les questions sur la disposition à agir des intervenants (intentions, attitudes, normes sociales et contrôle perçu) sont basées sur la théorie du comportement planifié (Ajzen & Fishbein, 1980). La mesure de l évolution des perceptions des participants a été réalisée en comparant les scores obtenus en T1 et ceux rapportés en T2. L analyse des actions réalisées en lien avec les EFSHV a été effectuée avec le logiciel NVivo 10 utilisé par deux codeurs puis validée par une comparaison interjuges. Équipe d évaluation de l UQTR AOÛT

2 Résultats Portrait de l échantillon Tel que le montre le tableau 1, les principales caractéristiques des 796 participants ayant répondu à nouveau au questionnaire T2 suivent les mêmes tendances qu en T1. En effet, la distribution selon le sexe est restée la même (72% de femmes et 28% d hommes) de même que celles du statut d emploi et de la catégorie d employeur. Tableau 1. Caractéristiques des participants aux questionnaires Temps 1 Temps 2 Participants (N) Sexe (n, %) Femmes Hommes 1323 (72,0) 515 (28,0) 572 (71,9) 224 (28,1) Âge (Moyen) 41,96 42,94 Statut d emploi (n, %) Employés Décideurs/gestionnaires Bénévoles/stagiaires Élus Retraités Étudiants : Catégorie d employeur (n, %) Santé Gouvernement, privé et autres Municipal* Communautaire* Éducation 788 (42,9) 543 (29,5) 424 (23,1) 48 (2,7) 22 (1,2) 13 (0,7) 561 (30,5) 344 (18,7) 332 (18,1) 330 (18,0) 271 (14,7) 358 (45,0) 218 (27,4) 180 (22,6) 21 (2,6) 13 (1,6) 6 (0,8) 284 (35,7) 129 (16,2) 144 (18,1) 122 (15,3) 117 (14,7) * Dans le Rapport synthèse du temps 1 (septembre 2014), le municipal était intégré à la catégorie «communautaire». SECTION 1 : Le niveau de satisfaction et les retombées anticipées Afin d évaluer les sessions de sensibilisation, les participants ont été interrogés au T1 sur leur niveau de satisfaction et d acquis, de même que sur les retombées anticipées des sessions en termes de transfert et d impact vers la mise en place d EFSHV dans leurs milieux respectifs. Au T2, les participants ont été questionnés à nouveau au sujet de leurs perceptions entourant le transfert et l impact cette fois réalisés en cours d année à la suite des sessions de sensibilisation. Le tableau 2 à la page suivante présente les scores moyens sur une échelle de 1 (très en désaccord) à 7 (très en accord). Globalement, les mesures de transfert (anticipées/réalisées) et d impact (anticipées/réalisées) relativement élevées - autour de 5 sur 7 - sont demeurées les mêmes puisque les différences entre les deux temps de mesure ne sont pas significatives. Équipe d évaluation de l UQTR AOÛT

3 Tableau 2. Scores moyens pour chaque variable au questionnaire T1 et pour les variables «transfert» et «impact» au questionnaire T2 Variables (T1) Temps 1 Variables (T2) Temps 2 Satisfaction (appréciation de la session) Acquisition (nouvelles connaissances) Transfert anticipé (ce qui peut être transposé dans son milieu) Impact anticipé (résultats escomptés au sein de son organisation) N Moyenne (échelle 1-7) Moyenne (échelle 1-7) 763 5, , ,95 Transfert 4,84 réalisé 762 4,77 Impact réalisé 4,83 SECTION 2 : La disposition à agir des participants Cette section vise à vérifier si les participants qui ont réalisé des actions (une ou deux) au T2 avaient une disposition (intention, attitudes, normes sociales, perception de contrôle, barrières et facilitants à la mise en place d actions) différente au T1 par rapport à ceux qui n ont pas réalisé d action. Rappelons que plus la Moyenne (Échelle 1 à 7) est élevée, plus les participants étaient en accord avec les items se rapportant à cette disposition particulière. Le tableau 3 ci-dessous montre que la disposition des participants au T1 était plus élevée chez ceux qui ont rapporté avoir entrepris au moins une action au cours de l année, comparativement à ceux qui ont rapporté ne pas avoir réalisé d action. Ceci s observe pour toutes les variables présentées, ce qui signifie que les attitudes, les normes sociales, le contrôle perçu et les intentions d agir étaient significativement plus élevés chez les intervenants qui ont réalisé des actions dans leur milieu respectif. Tableau 3. Relation entre la disposition des participants au T1 et le nombre d'action(s) rapportée(s) au T2. Variables au temps 1 # action(s) N Moyenne (échelle 1-7) Intention ** ,51 (prédicteur du comportement via les attitudes, ,39 les normes et le contrôle perçu) ,96 Attitude ** ,09 (croyances comportementales) ,21 Normes sociales ** (croyances normatives, conformité) Contrôle perçu ** (la capacité personnelle d adopter le comportement, «auto-efficacité») **Différences inter-groupes significatives (p < 0,01) , , , , , , ,96 Équipe d évaluation de l UQTR AOÛT

4 Au T1, les participants ont anticipé des barrières et des facteurs facilitant la réalisation d actions en lien avec les EFSHV. L échelle d appréciation allait de 1 (très faible) à 7 (très fort).tel qu indiqué au tableau 4, deux résultats significatifs attirent notre attention : le manque de connaissances (*) anticipé au T1 (score moyen = 3,32) semble avoir limité la mise en place d actions chez le groupe des actions = non, alors que la documentation (**) a été jugée facilitante au T1 (score moyen = 4,76) pour mettre en place des actions chez le groupe des actions = oui. Tableau 4. Relation entre les barrières et les facilitants perçus au T1 et le nombre d'actions rapportées au T2. action = oui action = non N M N M Barrières : Le risque d être limité dans mes actions sur les EFSHV à cause d un horaire chargé 448 4, ,04 d un manque de connaissances* 457 3, ,32 de contraintes financières 463 5, ,91 d un manque de ressources humaines 464 5, ,90 Facilitants : Les chances que la documentation m aide à mettre en 465 4, ,30 place des actions** la terminologie m aide à discuter avec 473 5, ,62 d autres personnes *Différences inter-groupes significatives (p < 0,05), ** différences significatives (p < 0,01) SECTION 3 : Les retombées Les principales rubriques traitées dans cette section sont les suivantes : la mise en place d actions en lien avec les EFSHV et leurs caractéristiques selon le secteur, les ressources nécessaires, la contribution des sessions et la charge de travail requise. Aussi, une comparaison des actions réalisées est présentée en fonction du secteur d emploi des participants. Tel que présenté dans le tableau 5, près des deux tiers (63,4%) des participants ont déclaré avoir réalisé au moins une action en lien avec les EFSHV à la suite de la session de sensibilisation. Tableau 5. Nombre d'action(s) réalisée(s) par les participants Participants et actions réalisées N (%) Participants n ayant réalisé aucune action 291 (36,6%) Participants ayant réalisé une action 263 (33,0%) Participants ayant réalisé au moins deux actions 242 (30,4%) Participants au total 796 (100 %) Total d actions réalisées (263x1action)+(242x2actions) 747 Équipe d évaluation de l UQTR AOÛT

5 La figure 1 illustre les caractéristiques des 647 actions clairement indiquées par les participants (une centaine d actions non précisées par les répondants) et réalisées dans le cadre de leurs fonctions. Ces actions ont pris la forme d interventions régulières (35%), d améliorations structurelles (32%), d événements ponctuels thématiques (18%) ou encore d améliorations des installations et du matériel (15%). «J'ai organisé une course colorée» «Installation de stations d'exercice physique dans un parc» «Développement des compétences culinaires des familles par des ateliers de cuisine collective» «Promotion de la journée sans ma voiture» «Mise en place d'un plan directeur des infrastructures (parcs et espaces verts)» «Politique alimentaire dans mon milieu» Figure 1. Caractéristiques des actions réalisées par les participants dans le cadre de leurs fonctions. Trois figures suivent à la page suivante. La figure 2 révèle que 42% des actions sont spécifiquement en lien avec l activité physique, comparativement à 24% avec l alimentation. Plusieurs actions (34%) portent à la fois sur l activité physique et l alimentation. Les figures 3 et 4 concernent les ressources nécessaires pour réaliser leurs actions. Selon les participants, les actions ont nécessité davantage des ressources humaines que de ressources financières. En effet, 39% des répondants ont jugé que les ressources humaines requises pour réaliser leur(s) action(s) étaient «peu importantes» (figure 3), alors que 54% ont jugé que les ressources financières étaient «peu importantes» (figure 4). Équipe d évaluation de l UQTR AOÛT

6 Figure 2. Secteur des actions réalisées Figure 3. Ressources humaines nécessaires pour réaliser les actions Figure 4. Ressources financières nécessaires pour réaliser les actions Équipe d évaluation de l UQTR AOÛT

7 La figure 5 démontre que la majorité des participants (88%) ont jugé que les sessions EFSHV les avaient «un peu» ou «de manière considérable» aidés à réaliser leur(s) action(s). Pour sa part, la figure 6 représente la charge de travail estimée pour réaliser les actions. Plus de la moitié des participants (33% + 23% = 56%) ont indiqué que leurs actions se sont réalisées en 20 heures ou moins. À l opposé, 17% des répondants ont indiqué avoir passé plus de 70 heures à la préparation de leurs actions. Figure 5. Contribution des sessions EFSHV aux actions réalisées sur le terrain 33% 23% 16% 17% 11% 1) moins de 10 h 2) h 3) h 4) h 5) plus de 70 h Série * Cinq (5) participants n ont pas répondu à la question Figure 6. Charge de travail requise pour réaliser l'action Équipe d évaluation de l UQTR AOÛT

8 Globalement, 63% des participants ont réalisé au moins une action. Cependant, ce pourcentage varie significativement selon leur catégorie d emploi. Tel qu illustré à la figure 7, les trois-quarts des acteurs du milieu de l éducation (76%), du milieu communautaire (75%) et du milieu municipal (73%) ont réalisé au moins une action. Le pourcentage baisse à 57% pour les gens travaillant dans le domaine de la santé, et à 45% pour la catégorie «Gouvernement, privé et autres». Figure 7. Actions réalisées selon la catégorie d employeur Bien que 73% des acteurs du milieu municipal déclarent mettre en place des actions en lien avec les EFSHV, il importe de soutenir leurs efforts afin de rendre les actions EFSHV structurantes et pérennes, et mobiliser les acteurs qui ne sont pas encore passés à l action. Comme le milieu municipal détient les leviers et constitue un groupe d influence en interaction avec plusieurs autres secteurs (éducation, communautaire, etc.), il apparaît tout indiqué de cibler les acteurs municipaux afin de les outiller dans l exercice de leurs compétences vers la mise en place des EFSHV. Équipe d évaluation de l UQTR AOÛT

9 Discussion et conclusion Les résultats les plus notables de ce rapport synthèse indiquent d abord que, pour la première section sur le niveau de satisfaction et les retombées anticipées, les réponses au questionnaire T1 démontraient un haut niveau de satisfaction (moyenne de 5,67 sur 7) et d acquisition (moyenne de 5,46 sur 7) relatives aux connaissances et compétences rapporté par les participants qui ont suivi les sessions EFSHV. De plus, les transferts et impacts anticipés versus réalisés démontrent une légère tendance à la hausse entre le T1 et le T2 bien que les différences ne soient pas statistiquement significatives. Quant à la deuxième section sur la disposition, les variables qui y sont associées permettent de constater que plus le participant avait indiqué une disposition (intention, attitudes, normes sociales et contrôle perçu) favorable à l action en EFSHV au questionnaire T1, plus il était susceptible de mettre en place des actions EFSHV durant l année. Les contraintes en matière de ressources humaines et financières sont perçues comme des obstacles. Il n en demeure pas moins que le manque de connaissances et l appropriation de la documentation discriminent les acteurs qui sont passés à l action (ou non). Disposition Probabilité de mettre en place des actions EF-SHV Concernant la troisième section portant sur les retombées, la session semble avoir contribué à amorcer de nouvelles actions en EFSHV ou à optimiser celles qui étaient déjà en cours. Il est encourageant de constater que la majorité des participants (88%) estiment que les sessions ont contribué au déploiement de leur(s) action(s) («un peu» pour 61% et «de manière considérable» pour 27%). Les actions réalisées sont davantage en lien avec les environnements favorables à l activité physique. Est-ce à dire que cette habitude de vie soit plus facile à atteindre via les environnements? SESSIONS EFSHV ACTION EFSHV Contribution à l action En conclusion, rappelons que les sessions de sensibilisation avaient comme principal objectif de conscientiser et sensibiliser les acteurs à l influence des environnements sur les habitudes de vie. Or, la présente évaluation met en lumière des retombées notables en termes d actions Équipe d évaluation de l UQTR AOÛT

10 concrètes arrimées aux orientations EFSHV réalisées en cours d année sur le terrain. Cela laisse supposer que la portée de ces sessions aura débordé la sensibilisation menant à une véritable mobilisation des acteurs concernés. Ainsi, dans une perspective de formation continue à grande échelle, les résultats permettent de conclure sur deux éléments importants. Premièrement, il faut développer et encourager les intentions, les attitudes, les normes sociales et le contrôle perçu des participants pour favoriser les impacts concrets liés à l innovation ciblée, comme ici les EFSHV. Comment faire? Par exemple la diffusion des bons coups réalisés dans différentes régions du Québec peut contribuer à rehausser la disposition des participants en agissant sur leurs normes subjectives (ça se fait ailleurs dans des régions) et leur perception de contrôle (en leur donnant un outil concret sur l implantation des EFSHV). Deuxièmement, une étape préparatoire à un dispositif de formation telle que la session de sensibilisation constitue aussi, au-delà des attentes, un levier pour stimuler le potentiel d agir des intervenants concernés, comme en témoigne les résultats du présent rapport. Finalement, les principaux résultats issus de la phase I de la démarche d évaluation ont orienté la seconde phase du projet EFSHV, laquelle offrira des ateliers d information individualisés répondant aux besoins et réalités des acteurs d influence du milieu municipal. Cette stratégie vise à mieux outiller ces acteurs, qui ont la capacité d implanter des mesures concrètes dans les municipalités du Québec, dans leurs efforts vers la création d EFSHV. Références Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50, Kirkpatrick, D. L. & Kirkpatrick, J. D. (2006). Evaluating training programs: the four levels, 3 rd ed., Berrett Koehler, San Francisco. L équipe de l évaluation des sessions de sensibilisation sur les environnements favorables aux saines habitudes de vie Responsable : Marie-Claude Rivard Co-responsable : François Trudeau Coordonnatrice : Virginie Roy Assistant : Sébastien Blanchette Équipe d évaluation de l UQTR AOÛT