36 è congrès biennal de la Société de criminologie du Québec Atelier thématique Bloc B 10 Résultats des programmes de prévention du Crime au Canada, CNPC Fairmont Mont-Tremblant, le 07 novembre 2013 Danièle Laliberté, PhD SGDDI 899087 Analyste principale de l évaluation Centre national de prévention du crime Sécurité publique 514-283-6229 daniele.laliberte@sp.gc.ca RDIMS# 899087
Le CNPC et la SNPC Le Centre national de prévention du crime (CNPC) assure un leadership national dans le développement et la diffusion de connaissances sur les pratiques efficaces et rentables de prévention et de réduction de la criminalité. Le CNPC est responsable de la mise en œuvre la Stratégie nationale pour la prévention du crime (SNPC) en collaboration avec les provinces et territoires. Le cadre stratégique de la SNPC est fondé sur des données probantes et prend en compte les facteurs de risque et de protection identifiés dans la littérature. Le CNPC finance l implantation et l évaluation de programmes prometteurs, modèles et parfois innovateurs. 2 2
SNPC But et objectifs But: aider les gens à prendre des décisions éclairées par rapport à l utilisation efficace des ressources en matière de prévention du crime. Objectifs: - Élargir les bases de connaissances canadiennes sur ce qui fonctionne en prévention du crime, comment ça fonctionne et à quel coût. - Aider les gens à recourir aux stratégies les plus efficaces pour réduire et prévenir la criminalité et accroître la sécurité publique. 3
Programmes de financement du CNPC Fonds de lutte contre les activités des gangs de jeunes (FLAGJ): initiatives visant à prévenir l adhésion de jeunes à risque aux gangs et à proposer des stratégies de retrait des gangs. Fonds d action en prévention du crime (FAPC): interventions fondées sur des données probantes qui s adressent aux facteurs de risque et de protection chez les groupes les plus vulnérables, en particulier les enfants et jeunes âgés de 6 à 24 ans et les délinquants à risques élevés dans les communautés. Fonds de prévention du crime chez les collectivités autochtones et du nord (FPCCAN): interventions culturellement adaptées au contexte des collectivités autochtones et du nord. Programme de financement des projets d infrastructure de sécurité pour les collectivités à risque (PFPIS): amélioration des les infrastructures de sécurité des collectivités vulnérables aux crimes haineux. 4
Types de programmes financés en 2012-2013 Programmes modèles Programmes prometteurs Programmes innovateurs Note: excluant 38 projets d infrastructure de sécurité pour les collectivités à risque. 5
Investissements du CNPC en évaluation Fonds & périodes Fonds de lutte contre les activités des gangs de jeunes (FLAGJ) 2006-2011 Fonds d action en prévention du crime (FAPC) 2009-2013 Fonds d action en prévention du crime (FAPC) 2009-2013 FLAGJ et FAPC 2013-2018 Évaluations 14 évaluations (processus / impacts) de 19 projets 150 suivis et évaluations de processus 16 évaluations d impact Suivi et mesure de la performance (SMR) ou SMR et évaluation (processus & impact) 6
Les pourquois de l évaluation au CNPC Court terme - Amélioration de l implantation du programme par le projet - Échanges de connaissances dans les réseaux et communautés de pratique - Échanges de connaissances dans les comités consultatifs de l évaluation et du projet Moyen terme Échanges de connaissances: fédéral, provincial, territorial et municipal Long terme - Politiques fondées sur des données probantes - Justification des investissements gouvernementaux futurs - Réplication et adaptation des programmes les plus efficaces - Identification des priorités des futures recherches évaluatives en fonction d un environnement changeant 7
Finalité des évaluations d impact du CNPC Identifier, à partir de données empiriques, de programmes qui préviennent la criminalité. Valider la théorie du programme par des évaluations dans des milieux d implantation variés et auprès de diverses populations. Déterminer les connaissances, attitudes et comportements susceptibles de changer. Identifier les déterminants de la diminution des facteurs de risque et du renforcement des facteurs de protection. 8
Objectifs des évaluations d impact du CNPC Déterminer si les résultats escomptés et des résultats non attendus ont été atteints. Faire ressortir les leçons apprises, ce qui a bien fonctionné et ce qui a moins bien fonctionné. Déterminer dans quelle mesure le programme est adapté aux besoins de la population ciblée. Fournir une analyse descriptive des coûts d implantation du programme, et, quand c est possible, une analyse coûts-efficacité. Formuler des recommandations pour renforcer le programme en vue d implantations subséquentes. 9
Exemple de synthèse des évaluations du CNPC (FLAGJ: 2006-2011) Renseignements généraux Nombre d évaluations: 9 Nombre de sites: 11 Mesures courantes: 1) arrestations 2) infractions non violentes 3) infractions violentes 4) victimisation criminelle 5) port d armes Résultats quantitatifs globaux % de changement par sous-mesure: 50% % de projets ayant connu un changement favorable (au moins un résultat statistiquement significatif à l échelle du projet): 75% % de projets ayant connu un changement défavorable: 0% % de projets n ayant connu aucun changement: 25% Résultats quantitatifs spécifiques % de changements reliés à des indicateurs relevant de 4 domaines: connaissances et sensibilisation, attitudes, facteurs de risque et de protection comportementaux, comportements criminels Résultats qualitatifs Approfondissement des résultats quantitatifs par des données qualitatives selon les modèles, sites ou projets 10
Exemples de programmes prometteurs d intervention auprès des jeunes (FAPC: 2009-2013) Programmes: Alternative Suspension (AS), Leadership Resiliency Program (LRP) et Youth Inclusion Program (YIP). Points communs: réduction de la délinquance et de la criminalité par la diminution des facteurs de risque (comportements violents, consommation de substances ) et le renforcement des facteurs de protection (compétences sociales, attachement à l école ). 11
Esquisse du programme AS Origine et buts: programme créé par les YMCA du Québec, qui vise la persévérance scolaire des jeunes âgés de 12 à 17 ans, leur l attachement à l école et l exercice de choix positifs. Volets: intervention combinant un suivi individuel, des ateliers de groupe, du temps consacré aux travaux scolaires et à des activités complémentaires (sportives, etc.), de même qu un soutien lors de la réintégration à l école. Évaluation à Montréal (C.A.C. International, 2006): 83% des professionnels d école sont d accord avec le fait que les participants à AS ont par la suite eu une présence plus assidue à l école. 76% des professionnels d école sont d accord ou tout à fait d accord avec le fait que les participants à AS ont par la suite mieux respecté le code de vie de l école. 12
Esquisse du LRP Origine et buts: programme créé par le Fairfax-Falls Church Community Services Board aux USA, qui vise à aider les jeunes âgés de 14 à 19 ans à augmenter leur force intérieure et à développer des facteurs de résilience, à les empêcher de faire l expérience de la drogue et à recourir à la violence (CNPC, 2008). Volets habituels: ateliers de groupe de résilience, bénévolat dans des organismes s occupant d animaux maltraités, présentation de sketchs à des enfants et participation à des activités de plein air. Évaluation aux USA: consommation et vente de drogues, crimes contre la propriété et les personnes (USA: Fishbein et Perez, 1998). de 75% des suspensions scolaires, de 47% des arrestations, de 60 à 70% de l assiduité scolaire et taux d obtention du diplôme d études secondaires de 100% (NREPP, 2013). 13
Esquisse du YIP Origine et buts: programme créé par le Youth Justice Board au UK, qui vise à réduire la criminalité et les comportements antisociaux des jeunes âgés de 13 à 16 ans par l acquisition de nouvelles compétences, par des activités sociales et l obtention d aide pour les études. Les projets YIP aident les jeunes à changer d attitude par rapport aux études et à la criminalité (CNPC, 2008). Éléments: éducation et formation; arts, culture et médias; mentorat; santé et prévention de la toxicomanie; programmes de conduite de véhicules; sensibilisation et travaux communautaires; sports et entraide. Évaluation d impact au UK (Burrows, 2003): Le taux d arrestation des participants a de 65% 73% des jeunes qui avaient commis des infractions avant de participer au YIP et qui avaient été arrêtés ont commis moins d infractions La gravité des infractions commises a de 68% 14
Sites d évaluation de AS, LRP et YIP par le CNPC AS (12-17 ans): 3 sites: Chilliwack (Colombie-Britannique), Edmonton (Alberta) et Moncton (Nouveau-Brunswick), 2009-2014 Firme d évaluation: Malatest Program Evaluation & Market Research LRP (12-19 ans soit «grades» 6-12): 2 sites: Hay River et Yellowknife (Territoires-du-Nord-Ouest), 2011-2015 Firme d évaluation: Malatest Program Evaluation & Market Research YIP (Maritimes): 3 sites: North Sydney (12-17 ans) et Spryfield (15-20 ans) en Nouvelle- Écosse et Saint-John (11-15 ans) au Nouveau-Brunswick, 2010-2014. Firme d évaluation: d évaluation nrg Research Group YIP (Québec): 2 sites: Montréal (12-17 ans) et Salaberry-de-Valleyfield (12-17 ans) au Québec, 2012-2016 Firme d évaluation: Société de recherche sociale appliquée (SRSA) Note: seuls des résultats PRÉLIMINAIRES sont disponibles pour les évaluations de AS, LRP et YIP-Maritimes; aucun résultat n est disponible pour l évaluation 15 YIP-Québec.
Approches méthodologiques des évaluations d impact du CNPC Devis quasi-expérimental avec groupe témoin et mesures répétées (pré-post, suivis à 6 mois et 12 mois). Multiples méthodes de collecte quantitatives et qualitatives (enquêtes basées sur des questionnaires, groupes focalisés, entrevues semi-dirigées ) Instruments de collecte standardisés et validés. Contrôles de qualité et tests de validité. Analyses quantitatives (statistiques descriptives, analyses de covariances et de survie, régressions) et qualitatives (analyses de contenu, études de cas ) Analyses à mesures répétées, intrasites et intersites. 16
Devis d évaluation de AS, LRP et YIP AS LRP YIP Mesures pré-post et de suivis Groupe expérimental Groupe témoin apparié Oui Oui Oui Élèves référés par les écoles à 3 points de service de l organisme communautaire Élèves référés qui n ont pas participé à AS ou ont quitté AS 4 écoles Élèves référés à 3 organismes communautaires par des écoles dont 2 sont le siège du projet Autre école NA Données secondaires Projet et écoles Projet, écoles et police Projet, écoles et police 17
Fidélité et adaptations des programmes AS, LRP et YIP AS: les stratégies d aiguillage vers AS ont été élargies afin d admettre des jeunes à risque de suspension avant qu ils ne soient suspendus. LRP: le programme a été adapté à la réalité culturelle d un milieu nordique autochtone et aux exigences scolaires (crédits). YIP: les jeunes recrutés sont généralement à risque modéré car les plus à risque sont moins intéressés à participer au programme. 18
Défis méthodologiques rencontrés lors des évaluations ou de la synthèse des résultats Variation dans la définition des concepts. Identification d indicateurs variés cernés à partir de différentes variables. Choix de mesures variées pour mesurer les mêmes indicateurs. Différences intrasites ou intersites par rapport aux outils de collecte pour évaluer un même programme et mesurer un même indicateur. Décalage temporel entre le début de l implantation et la réalisation des mesures pré- auprès de certaines cohortes. 19
Émotions, réflexion & motivation: résultats préliminaires du YIP Facteurs de risque émotionnels et mentaux Réflexion et comportement Motivation à changer YIP Changement favorable: 63% Pas de changement: 29% Changement défavorable: 7% (Site 1, n=41, échelle de Likert à 5 points, pré-post) YIP Changement favorable: 61% Pas de changement: 20% Changement défavorable: 20% (Site 1, n=41, échelle à 5 points, pré-post) YIP Changement favorable: 46% Pas de changement: 44% Changement défavorable: 10% (Site 1, n=41, échelle à 5 points, pré-post) 20
Image de soi: résultats préliminaires du LRP et du YIP Image de soi et amourpropre Perception de soi et des autres LRP Amélioration: Site 1: 76% (n=58, Enquête-jeunes, pré- & fin d année) Site 2: 38% (n=85, Enquête-jeunes, pré- & fin d année) YIP Changement favorable: 51% Pas de changement: 32% Changement défavorable: 17% (Site 1, n=41, échelle de Likert à 5 points, pré-post) 21
Compétences: résultats préliminaires du LRP Compétences d adaptation LRP 76% des jeunes affirment avoir appris diverses stratégies d adaptation (Site 1, n=58, Enquête-jeunes, pré- & fin d année) Capacité à prendre de bonnes décisions LRP Amélioration de la capacité: Site 1: 48% (n=58, Enquête-jeunes, pré- & fin d année) Site 2: 31% (n=85, Enquête-jeunes, pré- & fin d année) NB: en pré-, 71% jeunes croient faire de bon choix 22
Consommation de substances: résultats préliminaires du LRP et du YIP Compréhension des effets négatifs de la consommation Consommation de substances LRP Changements dans la perception des effets: Site 1: 95% jeunes disent avoir connaissances (n=58, Enquête-jeunes, pré- & fin d année) Site 2: 25% jeunes disent avoir leurs connaissances (n=84, Enquête-jeunes, pré- & fin d année) LRP Site 1: 68% jeunes ont (n= 47, Enquête-jeunes, pré- fin d année) Site 2: 24% jeunes ont (n=89, Enquête-jeunes, pré- & fin d année) YIP Changement favorable: 32% Pas de changement: 58% Changement défavorable: 10% (Site 1, n=41, échelle à 5 points, pré-post) 23
École: résultats préliminaires de AS et du YIP (1) École et éducation YIP Changement favorable: 61% Pas de changement: 27% Changement défavorable: 12% (Site 1, n=41, échelle à 5 points, pré-post) Performance YIP Site 1: MPC pour 75% des cas (n=24, données des écoles, pré- programme) Assiduité scolaire Absentéism e AS AS pour 89% des cas (3 sites, n=106, suivi auprès des écoles 5 sem. post - fin d année scolaire) En moyenne, jeunes ont assisté à 95% de leurs cours et 36% ont une assiduité parfaite (3 sites, n=98, données des écoles) YIP Site 1: 57% jeunes ont un # jrs d école manqué < Site 2: 7% jeunes ont un # jrs d école manqué < (n=37 et n=14, données des écoles, pré- programme) 24
École: résultats préliminaires de AS (2) % des cours complétés AS 78% des jeunes ont complété tous les cours (3 sites, n=164, données des écoles) Comportement AS Changement favorable: 58,6% Pas de changement: 27,9% Changement défavorable: 13,5% (3 sites, n=111, suivi avec écoles en fin d année scolaire) Actions disciplinaires Récidive suspension AS Changement favorable: 59,5% Pas de changement: 28,8% Changement défavorable: 11,7% (3 sites, n=111, suivi avec écoles en fin d année scolaire) AS Oui: 47% Non: 53% (3 sites, n=121, suivi avec écoles en fin d année scolaire) 25
Références (1) Burrows, M.H. (2003). Evaluation of the Youth Inclusion Programme: End of Phase One Report, Londres: Youth Justice Board. www.yjb.gov.uk/publications/resources/downloads/yip-evaluation03.pdf C.A.C. International (2006). Rapport final d évaluation du programme Alternative Suspension, présenté au ministère de la Sécurité publique et de la Protection civile Canada et au ministère de la Sécurité publique du Québec. CNPC (2013). Séance d élaboration de propositions, FAPC, du 4 au 27 mars 2013, SGDDI #781197. CNPC (2013). Résultats du programme Youth Inclusion Program Canada atlantique, L Épreuve des faits, Sommaires d évaluation, SE-2013-34. Conseillère en évaluation du CNPC: Danièle Laliberté. http://www.securitepublique.gc.ca/cnt/rsrcs/pblctns/rslts-yth-nclsn-prgrm/index-fra.aspx CNPC (2013). Résultats du programme Alternative Suspension, L Épreuve des faits, Sommaires d évaluation. Conseillère en évaluation du CNPC: Danièle Laliberté. Sous presse. CNPC (2012). Fiche de mise en œuvre des programmes prometteurs et modèles pour prévenir la criminalité 2012, Automne 2012. http://www.publicsafety.gc.ca/cnt/rsrcs/pblctns/mplmnttn-fct-shts-2012/index-fra.aspx#toc-03 CNPC (2008). Programmes prometteurs et modèles pour prévenir la criminalité - volume I. http://www.securitepublique.gc.ca/cnt/rsrcs/pblctns/prmsng-mdl-vlm1/index-fra.aspx 26
Références (2) Fishbein, D. et D. Boylan (1998). Enough is Enough. Neighborhood Prevention Initiatives in the Washington/Baltimore Region, Washington/Baltimore HIDTA, 1998 Prevention Report. Fishbein, D. et D. Boylan (1997). Enough is Enough. Neighborhood Prevention Initiatives in the Washington/Baltimore Region, Washington/Baltimore HIDTA, 1997 Prevention Report. Mackie, A., Burrows, J., & Hubbard, R. (2003). Evaluation of the Youth Inclusion Programme. London: Youth Justice Board. http://www.yjb.gov.uk/en-gb/yjs/prevention/yip/ Mackie, A., Hubbard, R., & Burrows, J. (2008). Evaluation of the Youth Inclusion Program: Phase 2. London: Youth Justice Board. NCPC (2013). Summary of Preliminary Evaluation Findings: Leadership & Resiliency Program (LRP). Conseillère en évaluation du CNPC: Giselle Rosario. Sous presse. NCPC (2013). Summary of Preliminary Evaluation Findings: Alternative Suspension (AS). Conseillère en évaluation du CNPC: Danièle Laliberté. Sous presse. NREPP (2013). SAMHSA s National Registry of Evidence-based Programs and Practices, Substance Abuse and Mental Health Services Administration (SAMHSA), U.S. Department of Health and Human Services. http://nrepp.samhsa.gov/ 27
Références (3) NRG Research Group (2013). Youth Inclusion Program Evaluation: Second Annual Report. Submitted to NCPC by Nathalie Gagnon and Lesley Duncan. SGDDI #796749. Conseillère en évaluation du CNPC: Danièle Laliberté ( daniele.laliberte@sp.gc.ca ) R.A. Malatest & Associates Ltd (2013). Multi-site Evaluation of the Alternative Suspension Program, First Annual Evaluation Report. Submitted to NCPC by Trudy Johnson. SGDDI #773877. Conseillère en évaluation du CNPC: Danièle Laliberté ( daniele.laliberte@sp.gc.ca ) R.A. Malatest & Associates Ltd (2013). Leadership and Resiliency Program, 1 st Annual Inter-site Evaluation of the Leadership and Resiliency Program, March 2013. NCPC. SGDDI #795661. Conseillère en évaluation du CNPC: Giselle Rosario ( giselle.rosario@sp.gc.ca ) Smith-Moncrieffe, D. (2013). «Méthodes de synthèses novatrices», Conférence de la Société canadienne d évaluation, Centre des conférences d Ottawa, le 21 février 2013. SGDDI #771248. Welsh, B. C. (2007). L'approche scientifique en prévention du crime: fondements, tendances, résultats et implications pour le Canada. Rapport final préparé à l'intention du Centre national de prévention du crime, Sécurité publique Canada. http://www.publicsafety.gc.ca/cnt/rsrcs/pblctns/vdnc-prvntn/indexfra.aspx 28