Stratégie pour déterminer des indicateurs de résultats en évaluation de programme Expérimentation à partir du programme Fluppy Jenny Tremblay Doctorante en Administration et évaluation en éducation, Université Laval Agente de planification, de programmation et de recherche, Direction régionale de santé publique Directeurs de recherche : Serge Sévigny, Université Laval Monique Carrière, Université Laval Colloque de la SQEP 2013, Québec
Plan de la présentation 1. Contexte 2. Problématique 3. Protocole de recherche 4. Résultats 5. Conclusion 2
Contexte 3 Évolution de l évaluation de programme participatif; constructiviste; «utile et utilisée». Loi sur l administration publique (2000) nouveau cadre de gestion axée sur l atteinte des résultats (reddition de compte obligatoire). selon le domaine ciblé (santé, éducation, etc.), le niveau décisionnel (national, régional, local) ou le niveau fonctionnel (gestionnaire, professionnel, intervenant, etc.). Moyen proposé évaluation de programme (procure une information pertinente, fiable et crédible).
Problématique Défis pour l évaluateur : prendre en compte le point de vue des différents acteurs concernés dans un programme; identifier les indicateurs de résultats pertinents pour le programme et jugés importants pour chacun des acteurs (ou niveaux décisionnels); ne pas négliger certaines caractéristiques psychométriques des indicateurs de résultats à retenir; s assurer que les indicateurs seront utilisés par les acteurs. 4
Problématique Défis pour les acteurs concernés et responsables de prendre la décision : s approprier la démarche d évaluation de programme; identifier les indicateurs de résultats pertinents pour le programme et jugés importants pour eux (selon leur domaine et leur niveau décisionnel); utiliser les indicateurs de résultats pour soutenir leur décision. 5
Littérature 4 éléments importants quant à l identification des indicateurs de résultats Prendre en compte le contexte organisationnel et environnemental dans lequel se déroule l évaluation. Connaître et comprendre le contexte du programme, les objectifs et les résultats attendus du programme. Consulter des groupes d experts dans le domaine ciblé. Obtenir un consensus pour identifier les indicateurs pertinents. 6
7 Protocole de recherche
Stratégie proposée Utiliser une démarche d évaluation de programme pour identifier des indicateurs de résultats 8 Étape 1 : sélectionner un programme Étape 2 : utiliser le modèle logique comprendre le contexte et identifier les objectifs et résultats attendus; structurer et classer l information à documenter. Étape 3 : rencontrer tous les groupes d acteurs concernés identifier les résultats attendus; identifier les indicateurs et préciser la façon de les colliger; documenter leur appréciation du programme. Étape 4 : valider la pertinence, la faisabilité et l importance à accorder aux indicateurs lors d un groupe de discussion et vérifier s il y a consensus.
Protocole de recherche Est-ce que la stratégie proposée pour identifier des indicateurs de résultats de programme est efficace? 9
Protocole de recherche Projet de recherche en deux phases Phase 1 Mise en œuvre du projet pilote de la stratégie proposée Phase 2 Validation des indicateurs qui auront été identifiés lors de la phase 1 auprès d un second groupe 10
Phase 1 Mise en œuvre de la stratégie d identification des indicateurs proposée (4 étapes) 11
Étape 1 Le programme Fluppy Sélection d un programme programme de promotion/prévention en santé publique; existe depuis 1990; implanté dans les classes de maternelles des écoles situées dans les milieux défavorisés (indice R7- R10) dans la région de la Capitale- Nationale depuis 1999. 12
Étape 2 Utilisation du modèle logique 13
Étape 2 Description des différents groupes d acteurs concernés Groupes d acteurs concernés dans le programme Fluppy Domaine de la santé Intervenants Fluppy (CSSS) Chefs de programme 0-5 ans (CSSS) Responsable régionale (DRSP) Domaine de l éducation Experts de contenu (CPEQ) Enseignants de maternelle (classes) Clientèles ciblées par le programme Parents Enfants 14
Étape 2 Composition des 2 groupes d acteurs pour chacune des phases du projet de recherche Composition des groupes d acteurs Groupe 1 (CSSS-VC) : phase 1 Intervenants Fluppy (CSSS) Chefs de programme 0-5 ans (CSSS) Responsable régionale (DRSP) Experts de contenu (CPEQ) Enseignants de maternelle (classes) Parents Groupe 2 (CSSS-QN) : phase 2 Intervenants Fluppy (CSSS) Chefs de programme 0-5 ans (CSSS) Enseignants de maternelle (classes) Parents 15
Étape 3 Participants (n = 27) Intervenants Fluppy n = 13 Rencontrer tous les groupes d acteurs concernés dans le programme Par Entrevues de groupe Entrevues individuelles Responsable régionale du programme n = 1 Chefs de programme 0-5 ans n = 2 Experts de contenu du programme n = 2 Enseignants n = 5 Parents n = 4 (dont 1 couple) But identifier les indicateurs de résultats du programme; documenter et comprendre la connaissance du programme par les acteurs; classer les indicateurs selon leur utilité; 16
Résultats de l étape 3 45 indicateurs ont été identifiés pour le programme Fluppy Résultats (13) Activités et processus (32) Selon les composantes programme en général (13) volet Enfant en classe (11) volet Enfant dans la famille (6) volet Scolaire et soutien à l enseignant (2) 17
Étape 4 Participants du groupe 1 (n = 14/20) Intervenants Fluppy n = 5 Responsable régionale du programme n = 1 Chefs de programme 0-5 ans CSSS n = 0 Experts de contenu du programme n = 2 Enseignants n = 4 Parents n = 2 Valider la pertinence, la faisabilité et l importance à accorder aux indicateurs lors d un groupe de discussion et vérifier s il y a consensus Par Sondage en ligne But apprécier la pertinence, la faisabilité et l importance de chaque indicateur selon la perception des différents acteurs concernés dans le programme (score moyen 3). 18
Résultats de l étape 4 Indicateurs de RÉSULTATS identifiés pour le programme Fluppy Indicateurs identifiés pour apprécier les RÉSULTATS VISÉS du programme PERTINENCE (n = 14) Score moyen FAISABILITÉ (n = 14) IMPORTANCE ACCORDÉE (n = 14) Diminution des comportements agressifs de l enfant dans la classe 4,50 3,93 4,21 Diminution des comportements agressifs de l enfant à la maison 4,57 3,71 4,29 Développement des habiletés sociales de l enfant 4,79 Expression des émotions (peur, colère, joie, tristesse) 4,07 4,64 Mise en pratique du processus de résolution de problèmes 4,50 3,79 4,36 Utilisation des 4 règles de Fluppy 4,50 4,21 4,21 Utilisation des trucs appris dans les ateliers de Fluppy 4,36 3,29 4,14 Meilleure estime de soi 3,93 3,07 3,86 Diminution du taux de décrochage scolaire Diminution de la violence à l école 4,43 3,07 4,36 Utilisation des trucs de Fluppy par les parents 4,43 3,21 4,21 Satisfaction des parents 4,00 3,79 4,14 Intérêt des enfants pour le programme 4,50 4,07 4,36 19
Phase 2 Validation des indicateurs qui auront été identifiés lors de la phase 1 auprès d un second groupe 20
Valider les indicateurs Participants du groupe 2 (n = 9) Intervenants Fluppy n = 3 Enseignants n = 0 Chefs de programme 0-5 ans n = 2 Parents n = 4 Par Sondage en ligne But Comparer l appréciation de la pertinence, la faisabilité et l importance accordée de chaque indicateur identifié selon la perception d un deuxième groupe d acteurs concernés dans le programme. 21
Résultats Modèle logique enrichi 22
Résultats Réponse à la question de recherche Oui, la stratégie proposée pour identifier des indicateurs de résultats a été efficace car : 45 indicateurs ont été identifiés par l ensemble des différents groupes d acteurs; 45 indicateurs ont été perçus pertinents pour le programme, faisables et importants pour eux; 45 indicateurs identifiés ont été validés auprès d un second groupe d acteurs. 23
Résultats Enseignements tirés pour la stratégie Prise de conscience de l utilité perçue des indicateurs par certains groupes d acteurs. Disponibilité de certains indicateurs, d autres sont à développer : les scores peuvent aider à ordonnancer ceux à développer. Adaptation des méthodes de collecte d information selon les groupes d acteurs et leur contexte organisationnel doit être faite. Les conditions favorables à une démarche d évaluation de programme utile et utilisée ne sont pas toujours présentes. 24
Résultats Enseignements tirés pour le programme Augmentation de la motivation pour certains acteurs face au programme Fluppy. Meilleure compréhension de certains éléments reliés au programme. Mise en évidence de différents objectifs et différentes utilisations du programme. Complexité d un programme proposé par le domaine de la santé et mise en œuvre en éducation. 25
Résultats Forces et limites de la recherche Forces point de vue de l ensemble des acteurs concernés: gestionnaires, intervenants, enseignants, responsables du programme et parents; adaptation de la recherche au contexte du terrain d expérimentation. 26 Limites une mesure d appréciation «perçue» de la faisabilité des indicateurs n est pas suffisante; une appréciation de la stratégie par les acteurs n a pas été prévue.
Conclusion Malgré les limites de la recherche, les résultats de l expérimentation avec le programme Fluppy indiquent que non seulement la stratégie est efficace, mais elle enrichit les connaissances par rapport à l évaluation de programme utile et utilisée et elle a des retombées positives pour le programme. 27
Conclusion Études futures Apprécier l utilité de la stratégie proposée en vérifiant si les indicateurs identifiés seront utilisés et utiles pour prendre des décisions. Intégrer d autres mesures d appréciation que la perception des caractéristiques psychométriques des indicateurs identifiés dans la stratégie proposée. 28
Merci de votre attention!
Indicateurs identifiés liés aux ACTIVITÉS, PROCESSUS mis en place et aux produits attendus du programme Nombre d écoles retenues pour participer au programme Fluppy dans l année/nombre d écoles voulant participer au programme Fluppy dans l année Nombre de classes de maternelle retenues pour participer au programme Fluppy dans l année/nombre de classes de maternelle voulant participer au programme Fluppy dans l année Nombre d activités promotionnelles au regard du programme Fluppy au cours d année auprès des directions d écoles et des enseignants Nombre d activités promotionnelles au regard du programme 30 Résultats de l étape 4 Indicateurs ACTIVITÉS-PROCESSUS pour le programme Fluppy PERTINENCE (n = 14) Score moyen FAISABILITÉ (n = 14) IMPORTANCE ACCORDÉE (n = 14) 3,71 3,43 3,64 3,57 3,36 3,64 3,86 3,79 3,57 Fluppy au cours de l année scolaire auprès des parents 3,86 3,50 Nombre d intervenants formés pour mettre en œuvre le programme Fluppy 3,79 3,93 3,64 Nombre d enseignants formés pour recevoir et mettre en œuvre le programme Fluppy 3,93 3,86 3,79 Continuité du programme Fluppy tout au long du primaire 3,57 3,07 3,64 Simplicité du programme et du matériel (marionnette, dessins, images ) 3,50 3,64 3,43 Traduction du cahier Fluppy pour les familles immigrantes allophones 3,50 L implication des directions d écoles et des enseignants 4,64 Stabilité des intervenants dans le programme Fluppy 4,14 3,43 4,07 Stabilité des enseignants impliqués dans le programme Fluppy 4,14 3,36 4,07 Liens entretenus par l intervenant Fluppy entre l école et la famille 3,93 4,29
Indicateurs identifiés liés aux activités, processus mis en place et aux produits attendus du programme Résultats de l étape 4 Indicateurs ACTIVITÉS-PROCESSUS identifiés pour le programme Fluppy Volet enfant en classe PERTINENCE (n = 14) Score moyen FAISABILITÉ (n = 14) IMPORTANCE ACCORDÉE (n = 14) Nombre d ateliers réalisés en classe/nombre d ateliers projetés 4,29 4,14 4,29 Début des activités Fluppy en classe dès septembre 3,93 4,21 3,79 Fréquence des ateliers en classe : 1 atelier par 2 semaines 4,36 4,36 Maintien d une durée moyenne de 20 minutes par chaque atelier 4,07 4,21 4,00 Co-animation des ateliers par l intervenant Fluppy et l enseignant 3,86 Pourcentage des enfants présents lors des ateliers 4,43 3,93 4,21 Réalisation des 5 étapes de l atelier et notamment la pratique guidée des comportements appris 4,14 3,71 4,07 Temps d observation en classe par l intervenant 4,71 4,57 Communication avec les parents après chaque atelier grâce au cahier Fluppy 4,43 4,07 4,50 Réinvestissement des règles et des comportements vus en atelier par l enseignant en classe 4,64 3,79 4,57 Réinvestissement des règles et des comportements vus en atelier par les parents à la maison 31
Indicateurs identifiés liés aux ACTIVITÉS, PROCESSUS mis en place et aux produits attendus du programme Résultats de l étape 4 Indicateurs ACTIVITÉS-PROCESSUS identifiés pour le programme Fluppy Volet enfant dans la famille PERTINENCE (n = 14) Score moyen FAISABILITÉ (n = 14) IMPORTANCE ACCORDÉE (n = 14) Nombre d enfants identifiés nécessitant un suivi familial dans le cadre du programme Fluppy 4,00 4,00 Nombre d enfants dépistés pour d autres difficultés et référés au CLSC 4,36 3,93 4,36 Nombre de familles choisies pour recevoir le suivi familial 3,71 3,93 Nombre de familles acceptant le suivi familial/nombre de familles refusant le suivi familial 4,43 3,79 4,43 Nombre de familles recevant le suivi familial Nombre de rencontres pour chaque famille suivie Indicateurs identifiés liés aux ACTIVITÉS, PROCESSUS mis en place et aux produits attendus du programme 32 Indicateurs ACTIVITÉS-PROCESSUS identifiés pour le programme Fluppy Volet scolaire et soutien à l enseignant PERTINENCE (n = 14) Score moyen FAISABILITÉ (n = 14) IMPORTANCE ACCORDÉE (n = 14) Nombre de rencontres de coordination entre l intervenant et l enseignant de la classe Nombre de rencontres de soutien de l intervenant Fluppy auprès de l enseignant de la classe 4,29 4,00 4,21