Rapport de validation du Questionnaire sur l Environnement Socioéducatif des écoles secondaires (QES-secondaire)

Transcription

1 GRES Groupe de recherche sur les environnements scolaires Rapport de validation du Questionnaire sur l Environnement Socioéducatif des écoles secondaires (QES-secondaire) Michel Janosz, Ph.D. Christiane Bouthillier, M.Sc. École de Psychoéducation Groupe de recherche sur les environnements scolaires Université de Montréal Montréal Février 2007 Ce projet de recherche et de développement a été réalisé grâce aux subventions octroyées par le Centre national de prévention du crime du gouvernement du Canada, en collaboration avec le ministère de la Sécurité publique du Québec, dans le cadre du Programme de partenariat en prévention du crime (dossier # 3550-U3), ainsi que par la ministère de l Éducation, des Loisirs et Sport du Québec, Direction de l adaptation scolaire et des services complémentaires.

2

3 Table des matières Liste des tableaux...iii Avant-propos... VI Remerciements... XIV Introduction Contexte théorique Développement et description de l instrument Phases de développement et stratégie de partenariat L instrument de mesure Descriptions opérationnelles des échelles de mesure initiales et des indicateurs Description des échelles de mesure initiales... 9 Le climat de l école, composition des échelles de mesure initiales...10 Les pratiques éducatives de l école, composition des échelles de mesure initiales...14 Les pratiques organisationnelles, composition des échelles de mesure initiales Description des indicateurs de problèmes...24 Problèmes scolaires perçus et agis...24 Problèmes de violence perçus et subis...26 Sécurité des lieux...32 Accessibilité aux drogues Méthodologie et résultats Procédure et échantillon Procédure et échantillon des écoles Procédure et échantillon des répondants Analyses et résultats Caractéristiques descriptives des énoncés liés à une échelle de mesure Validité de construit : analyses factorielles exploratoires...52 Élèves : le climat de l école...54 Élèves : les pratiques pédagogiques...57 Élèves : le climat de l école et Les pratiques pédagogiques inclus ensemble...62 Membres du personnel : le climat de l école...69 Membres du personnel : Les pratiques éducatives...73 Membres du personnel : les pratiques organisationnelles...80 Membres du personnel : les pratiques organisationnelles ainsi que les relations entre les membres du personnel et les relations entre les membres du personnel et la direction...83 Membres du personnel : mise en commun du climat et des pratiques de l école Caractéristiques descriptives des échelles de mesure Fidélité temporelle Transformation des scores de moyennes en catégories «cliniques» et leurs caractéristiques Analyses de validité de construit convergente Les indicateurs de problèmes perçus Appréciation du QES-secondaire selon ses utilisateurs Participants Motif premier d utilisation du QES-secondaire Intérêt manifesté par le milieu envers le projet QES-secondaire Appréciation du questionnaire et de son administration Formation et initiation à l interprétation des résultats Présentation des résultats Appréciation des résultats Développement et validation du QES-secondaire I

4 Appréciation de l utilité des résultats Satisfaction globale de la démarche Discussion Annexe 1 : Janosz, M., Georges, P., & Parent, S. (1998). L environnement éducatif à l école secondaire : un modèle théorique pour guider l évaluation du milieu. Revue Canadienne de Psychoéducation, 27(2), Annexe 2 : Questionnaire sur l Environnement Socioéducatif (version écoles secondaires), version élèves Annexe 3 : Questionnaire sur l Environnement Socioéducatif (version écoles secondaires), version membres du personnel Références Développement et validation du QES-secondaire II

5 Liste des tableaux Tableau : Échelles de mesure du QES-secondaire, phase 3, avant les tests de validation... 7 Tableau : Indicateurs de problèmes du QES-secondaire, phase Tableau : Caractéristiques de l échantillon école (n=160), rang mère sans diplôme et parents inactifs Tableau : Caractéristiques de l échantillon école (n=160), rang du seuil de faible revenu Tableau : Caractéristiques de l échantillon école (n=160), région administrative Tableau : Caractéristiques des répondants, échantillon des élèves Tableau : Caractéristiques des répondants, échantillon des membres du personnel Tableau : Moyennes et écart-types des énoncés du QES-secondaire utilisés dans les analyses factorielles 44 Tableau : Structure factorielle (matrice des patrons) des énoncés du climat de l école du QES-secondaire des élèves (méthode de axes principaux, rotation oblique oblimin) Tableau : Valeurs propres, variance expliquée et corrélation entre les facteurs, climat de l école du QESsecondaire des élèves Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles du climat de l école du QES-secondaire des élèves dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés des pratiques de l école du QESsecondaire des élèves (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, climat de l école du QESsecondaire des élèves Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles des pratiques de l école du QES-secondaire des élèves dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés du climat et pratiques de l école du QESsecondaire des élèves (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, pratiques de l école du QES-secondaire des élèves Tableau : Coefficients de congruence des échelles du climat et des pratiques de l école du QES-secondaire des élèves dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés du climat de l école du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, climat de l école du QESsecondaire des membres du personnel Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles des climats de l école du QES-secondaire des membres du personnel dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés des pratiques éducatives de l école du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, pratiques éducatives du QES-secondaire des membres du personnel Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles des pratiques éducatives du QES-secondaire des membres du personnel dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés des pratiques organisationnelles de l école du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, pratiques organisationnelles de l école du QES-secondaire des membres du personnel Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles des pratiques organisationnelles de l école du QES-secondaire des membres du personnel dans les deux échantillons 82 Développement et validation du QES-secondaire III

6 Tableau : Structure factorielle (matrice des patrons) des énoncés des pratiques et climats organisationnels du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, pratiques et climats organisationnels de l école du QES-secondaire des membres du personnel Tableau : Consistance interne (Alpha de Cronbach) et coefficients de congruence des échelles des pratiques et échelles de climat organisationnels du QES- secondaire des membres du personnel dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés des climats et pratiques éducatives (excluant les climats et pratiques organisationnels) du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, climats et pratiques éducatives excluant les climats et pratiques organisationnels) du QES-secondaire des membres du personnel Tableau : Coefficients de congruence des échelles des climats et pratiques éducatives (excluant les climats et pratiques organisationnels) du QES-secondaire des membres du personnel dans les deux échantillons Tableau : Structure factorielle (matrice des patrons) des énoncés des climats, pratiques éducatives et pratiques organisationnelles du QES-secondaire des membres du personnel (méthode des axes principaux, rotation oblique) Tableau : Valeurs propres, variance expliquée et corrélations entre les facteurs, climats, pratiques éducatives et organisationnelles du QES-secondaire des membres du personnel Tableau : Coefficients de congruence des échelles des climats, pratiques éducatives et organisationnelles du QES-secondaire des membres du personnel dans les deux échantillons Tableau : Moyennes et écart-types des échelles de mesure du QES-secondaire, au niveau individuel Tableau : Corrélations de Pearson entre les échelles de moyennes pour le QES-secondaire des élèves, au niveau individuel (n=80915) Tableau : Corrélations de Pearson entre les échelles de moyennes pour le QES-secondaire des membres du personnel, au niveau individuel (n=8795) Tableau : Caractéristiques des répondants ayant participé à l exercice de stabilité temporelle Tableau : Moyennes et écarts-types des échelles de mesure du QES-secondaire à la passation 1 et Tableau : Corrélations de Pearson entre les scores des échelles obtenus lors des deux moments de passation du QES-secondaire Tableau : Minimums, maximums, moyennes, écart-types et médianes des échelles de mesure de proportion, au niveau école, de perception négative Tableau : Corrélations de Spearman entre les échelles de proportion, au niveau école, de perception négative des élèves (n=160 écoles) Tableau : Corrélations de Spearman entre les échelles de pourcentage de perception négative selon les membres du personnel de l école (n=160) Tableau : Composition et consistance interne (Alpha de Cronbach) des mesures auto-révélées, agrégées au niveau école, utilisées pour évaluer la validité convergente Tableau : Minimums, maximums, moyennes, écarts-types et médianes des mesures, au niveau école, utilisées pour évaluer la validité convergente Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent un pourcentage de réussite sous et au-dessus ou égal à la médiane (méd.=77,1%) en mathématiques de secondaire 5 aux épreuves uniques du ministère de l Éducation Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent un pourcentage de réussite sous et au-dessus ou égal à la médiane (81,8%) en français global de secondaire 5 aux épreuves uniques du ministère de l Éducation Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent un pourcentage de réussite sous et au-dessus ou égal à la médiane (85,8%) en mathématiques selon les notes auto-révélées Développement et validation du QES-secondaire IV

7 Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent un pourcentage de réussite sous et au-dessus ou égal à la médiane (84,3%) en français selon les notes auto-révélées Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent une somme de la fréquence des indisciplines scolaires auto-révélés des élèves sous et au-dessus ou égal à la médiane (5, min. =0, max.=24) Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent une variété de victimisation auto-révélée des élèves sous et au-dessus ou égal à la médiane (1,8, min. 0, max.=10) Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles qui affichent une variété de victimisation auto-révélée des membres du personnel sous et au-dessus ou égal à la médiane (1,1, min.=0, max.=11) Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles dont les élèves affichent un effort dans leurs tâches scolaires sous et au-dessus ou égal à la médiane (2,8, min.=1, max.=4) Tableau : Différence de moyennes (pourcentage des répondants ayant une perception négative de la dimension) entre les écoles dont les membres du personnel affichent un épuisement professionnel auto-révélé sous et au-dessus ou égal à la médiane (1,6, min.=1, max.=4) Tableau : Minimums, maximums, moyennes, écarts-types et médianes des proportions, de niveau école, de perception fréquente des indicateurs de problèmes perçus Tableau : Corrélations de Spearman entre la proportion de perception, de niveau école, négative du climat et des pratiques de l école et fréquente des comportements d indiscipline scolaire Tableau : Corrélations de Spearman entre la proportion de perception, de niveau école, négative du climat et des pratiques de l école et fréquente des problèmes de violence de gravité mineure Tableau : Corrélations de Spearman entre la proportion de perception, de niveau école, négative du climat et des pratiques de l école et fréquente des problèmes de violence de gravité majeure Tableau 4.1 : Caractéristiques des répondants qui ont participé au sondage sur leur satisfaction de l outil QESsecondaire Tableau 4.2 : Motif premier d'utilisation du QES-secondaire Tableau 4.3 : Intérêt démontré envers le projet QES-secondaire Tableau 4.4 : Satisfaction du format et de l administration du questionnaire QES-secondaire Tableau 4.5 : Corps d emploi des participants des écoles à la formation ou à l initiation sur l interprétation clinique des résultats du QES-secondaire Tableau 4.6 : Utilité de la formation ou l initiation à l interprétation des résultats du QES-secondaire Tableau 4.7 : Commentaires sur la formation ou initiation à l interprétation des résultats du QES-secondaire Tableau 4.8 : Réactions affectives de l auditoire lors de la présentation des résultats du QES-secondaire Tableau 4.9 : Diversité des thèmes abordés dans le QES-secondaire Tableau 4.10 : Évaluation de la justesse des résultats issus du le QES-secondaire Tableau 4.11 : Appréciation de l utilité des résultats issus du le QES-secondaire Tableau 4.12 : Démarches découlant des résultats issus du QES-secondaire Tableau 4.13 : Démarches découlant des résultats issus du QES-secondaire Développement et validation du QES-secondaire V

8 Avant-propos Avant-propos Vue d ensemble du questionnaire d évaluation de l environnement socioéducatif Le Questionnaire d évaluation de l environnement socioéducatif (QES) est un outil qui sert à documenter la qualité de certaines caractéristiques de l environnement scolaire. Fruit d une collaboration entre chercheurs universitaires et intervenants scolaires et sociaux, le QES a été développé pour répondre à la fois aux besoins de la recherche et à ceux de la pratique. Outil de mesure permettant de mieux étudier le rôle de l environnement scolaire sur la réussite et l adaptation des élèves, le QES se veut aussi utile pour soutenir les intervenants scolaires dans leurs efforts de planification et d évaluation de leurs interventions éducatives. Le présent document rapporte les opérations et les analyses qui ont permis de vérifier et de tester la validité de l instrument. Au préalable, cet avant propos permet au lecteur d avoir une vision d ensemble de l outil et de son contexte d utilisation par les praticiens du milieu scolaire. Historique du projet Le programme de recherche et de développement du QES a débuté au milieu des années 1990, mais a connu son véritable envol durant l année scolaire , grâce à une importante subvention du Centre national de prévention du crime ( ) et au soutien du ministère de l Éducation du Québec ( ). D autres partenaires institutionnels, comme les Directions de santé publique de Montréal-Centre et de la Montérégie, les Directions régionales du ministère de l Éducation (Montréal et Montérégie en particulier), la Centrale des syndicats du Québec et nombre de ses syndicats locaux affiliés, ont aussi joué un rôle déterminant dans la réalisation du QES, à différentes étapes de son développement. Évidemment, ce projet n aurait jamais vu le jour et ne serait pas parvenu à maturité sans la collaboration de plus d une centaine d écoles primaires et de plus de 250 écoles secondaires réparties dans au-delà d une cinquantaine de commissions scolaires au Québec. En contrepartie de l accueil et des ressources des écoles et des commissions scolaires (coûts des photocopies et de la saisie des données), l équipe de recherche s engageait à traiter les réponses aux questionnaires, à produire un bilan personnalisé des résultats de chaque école, à former des membres du personnel du milieu afin qu ils soient en mesure d interpréter les bilans, rédiger un rapport et communiquer les résultats aux écoles. Ce processus collaboratif permettait non seulement d améliorer d année en année le contenu et le format des questionnaires, mais aussi de vérifier la pertinence, Développement et validation du QES-secondaire VI

9 Avant-propos l utilité et les limites du QES pour les écoles. Ainsi, le QES actuel correspond-il à la quatrième révision de la version destinée aux écoles secondaires et à la troisième de celle destinée aux écoles primaires. Vision et assises théoriques de l instrument Le contenu du QES s appuie sur un modèle théorique inspiré d'une recension des écrits scientifiques qui concernent l influence de l environnement scolaire sur l adaptation et la réussite des élèves (Janosz, Georges et Parent, ). Ce modèle incorpore diverses composantes du milieu scolaire en les distinguant selon leur nature et leur utilité pour guider l intervention : le climat de l école, les pratiques éducatives et de gestion, les problématiques perçues et vécues dans l école. Dimension du climat de l école. La première grande dimension mesurée dans le QES est celle du climat de l école. Cette dimension renvoie à la perception qu ont les élèves ou les membres du personnel de leurs interactions et de la façon dont ils sont traités et considérés. C est une mesure qui relève du sentiment, de l impression générale. L évaluation du climat vise à offrir une appréciation rapide de la qualité de l environnement éducatif et, plus spécifiquement, de la qualité de son potentiel éducatif. Par potentiel éducatif, nous entendons la capacité de l école à stimuler, à sécuriser et à soutenir les élèves. Le climat scolaire n est pas unidimensionnel. Nous pensons qu il s exprime à travers cinq sous-dimensions ou «sous-climats» : 1) le climat relationnel qui, lui-même, se décline en quatre volets en fonction des acteurs considérés (relations entre les élèves, entre les élèves et les enseignants, entre les membres du personnel, entre les membres du personnel et la direction); 2) le climat de sécurité; 3) le climat de justice; 4) le climat éducatif; et 5) le climat d appartenance 2. Dimension des problèmes perçus ou vécus. Si la mesure du climat offre un aperçu rapide de la qualité du potentiel éducatif de l école, elle manque cependant de finesse pour permettre de cerner la nature et la gravité des problèmes dans l école. Cette section du questionnaire permet donc de mesurer la perception de l existence en s appuyant sur la fréquence, par exemple de certains problèmes potentiellement présents à l école : l indiscipline des élèves, les comportements violents (selon leur degré de gravité), la présence de gangs déviants, l accessibilité aux drogues, la perception d insécurité liée à certains lieux ou moments de vie de l école, etc. En plus de reposer sur la perception, l évaluation de certains problèmes se fonde aussi sur des faits, soit : l agir (c est-à-dire 1 Janosz, M., Georges, P., & Parent, S. (1998). L environnement éducatif à l école secondaire : un modèle théorique pour guider l évaluation du milieu. Revue Canadienne de Psychoéducation, 27(2), Voir le manuel d analyse et d interprétation du QES (Janosz, Duval et Bouthillier, 2004) pour obtenir plus de détails sur le contenu du QES. Développement et validation du QES-secondaire VII

10 Avant-propos combien d individus ont commis de tels actes et à quelle fréquence ils l ont fait) et la victimisation (c est-à-dire combien d individus ont été victimes de tels comportements et à quelle fréquence ils l ont été). Ces informations additionnelles permettent alors d objectiver davantage la gravité de la situation à l école (par exemple, les individus peuvent penser que les problèmes sont fréquents alors qu ils ne touchent qu une minorité). Dimension des pratiques. La troisième dimension mesurée par le QES concerne le domaine des pratiques, c est-à-dire ce que les enseignants, la direction et d autres membres du personnel font dans le quotidien; ce qui, plus directement que le climat, devrait influencer les apprentissages et la conduite des élèves. Bien entendu, il existe des liens importants entre le climat organisationnel, la nature ou l ampleur des problèmes à l école et les pratiques éducatives ou de gestion. Le choix de découper ainsi l environnement social et éducatif de l école repose sur la prémisse qu en matière d intervention organisationnelle, c est sur la pratique des gens qu on peut et qu on doit intervenir en priorité, et non sur leurs impressions générales 3. Le modèle théorique proposé par Janosz, Georges et Parent (1998) stipule ainsi que c est en modifiant ou en améliorant la qualité des pratiques éducatives et de gestion (en fait, ce sur quoi l école a du pouvoir) que l on peut, plus durablement, réduire les problèmes à l école et améliorer son climat. Donc, si la qualité du climat scolaire traduit la qualité du potentiel éducatif de l école, ce sont cependant les pratiques des intervenants qui assurent, au quotidien, la stimulation, la sécurité ou le soutien des élèves. Cette position ne devrait cependant en aucun cas être comprise comme une indication à privilégier l intervention organisationnelle au détriment de l intervention individuelle auprès des élèves. Au contraire, l intervention sur l organisation et l environnement scolaire doit être menée simultanément et en complémentarité au soutien individuel que commandent certains élèves éprouvant davantage de difficultés à rencontrer les exigences normatives de l école (apprentissage, discipline). En matière de pratiques éducatives, le QES se penche plus particulièrement sur les éléments suivants : l encadrement général des élèves (les règles et leur application); les occasions fournies aux élèves pour s engager dans la vie de l école (activités parascolaires, consultations); la gestion des apprentissages et la gestion des comportements en classe; le soutien offert aux élèves en difficulté; les interventions en situation de crise; les collaborations entre l école et les familles ainsi qu entre l école et la communauté. 3 Nous reconnaissons, par ailleurs, que le changement d attitudes ou de croyances doit parfois être préalable à un changement de pratique. Développement et validation du QES-secondaire VIII

11 Avant-propos l utilité et les limites du QES pour les écoles. Ainsi, le QES actuel correspond-il à la quatrième révision de la version destinée aux écoles secondaires et à la troisième de celle destinée aux écoles primaires. Vision et assises théoriques de l instrument Le contenu du QES s appuie sur un modèle théorique inspiré d'une recension des écrits scientifiques qui concernent l influence de l environnement scolaire sur l adaptation et la réussite des élèves (Janosz, Georges et Parent, ). Ce modèle incorpore diverses composantes du milieu scolaire en les distinguant selon leur nature et leur utilité pour guider l intervention : le climat de l école, les pratiques éducatives et de gestion, les problématiques perçues et vécues dans l école. Dimension du climat de l école. La première grande dimension mesurée dans le QES est celle du climat de l école. Cette dimension renvoie à la perception qu ont les élèves ou les membres du personnel de leurs interactions et de la façon dont ils sont traités et considérés. C est une mesure qui relève du sentiment, de l impression générale. L évaluation du climat vise à offrir une appréciation rapide de la qualité de l environnement éducatif et, plus spécifiquement, de la qualité de son potentiel éducatif. Par potentiel éducatif, nous entendons la capacité de l école à stimuler, à sécuriser et à soutenir les élèves. Le climat scolaire n est pas unidimensionnel. Nous pensons qu il s exprime à travers cinq sous-dimensions ou «sous-climats» : 1) le climat relationnel qui, lui-même, se décline en quatre volets en fonction des acteurs considérés (relations entre les élèves, entre les élèves et les enseignants, entre les membres du personnel, entre les membres du personnel et la direction); 2) le climat de sécurité; 3) le climat de justice; 4) le climat éducatif; et 5) le climat d appartenance 2. Dimension des problèmes perçus ou vécus. Si la mesure du climat offre un aperçu rapide de la qualité du potentiel éducatif de l école, elle manque cependant de finesse pour permettre de cerner la nature et la gravité des problèmes dans l école. Cette section du questionnaire permet donc de mesurer la perception de l existence en s appuyant sur la fréquence, par exemple de certains problèmes potentiellement présents à l école : l indiscipline des élèves, les comportements violents (selon leur degré de gravité), la présence de gangs déviants, l accessibilité aux drogues, la perception d insécurité liée à certains lieux ou moments de vie de l école, etc. En plus de reposer sur la perception, l évaluation de certains problèmes se fonde aussi sur des faits, soit : l agir (c est-à-dire 1 Janosz, M., Georges, P., & Parent, S. (1998). L environnement éducatif à l école secondaire : un modèle théorique pour guider l évaluation du milieu. Revue Canadienne de Psychoéducation, 27(2), Voir le manuel d analyse et d interprétation du QES (Janosz, Duval et Bouthillier, 2004) pour obtenir plus de détails sur le contenu du QES. Développement et validation du QES-secondaire IX

12 Avant-propos point il est d accord ou non avec cette affirmation (échelle en quatre ou six points, selon la version). Dans la section des problèmes, le répondant est invité à préciser à quelle fréquence il perçoit certains problèmes, à quelle fréquence il en est victime ou, dans le cas de certaines questions aux élèves, à quelle fréquence il commet certains actes. L analyse et l interprétation du QES Les résultats du QES sont présentés sous deux formats complémentaires. Le premier consiste en une série de figures et de tableaux, regroupés par sections thématiques (climats, problèmes, pratiques), et dans lesquels on retrouve les résultats de toutes les échelles de base du QES. Les résultats sont présentés pour l ensemble des élèves, pour l ensemble des membres du personnel, puis sous forme de regroupement des élèves par année scolaire. Le second format consiste en une série de tableaux croisés qui donnent la distribution des répondants (élèves ou membres du personnel) pour chacune des questions du QES, ce qui permet d en approfondir l analyse lorsque nécessaire. Développement et validation du QES-secondaire X

13 Avant-propos La plus grande partie des résultats est présentée à partir de graphiques (voir le modèle ci-dessous). Les résultats affichés indiquent soit le pourcentage d individus qui ont une perception négative (bande grise) et mitigée (bande blanche) de la dimension évaluée, soit le pourcentage d individus pour qui les problèmes perçus sont fréquents (bande grise) et occasionnels (bande blanche). Il est donc important de comprendre que la section comprise entre les bandes blanches et le score maximal (100 %) correspond au pourcentage d individus pour qui la dimension évaluée est jugée positive ou non problématique. Ainsi, dans l exemple ci-dessous, le premier histogramme de gauche illustre les résultats des élèves par rapport au climat relationnel entre les élèves. Selon ces résultats, 10 % des élèves ont une perception négative du climat et 25 % en ont une perception mitigée, c est-àdire ni franchement négative, ni franchement positive. On comprendra donc que 65 % des élèves perçoivent positivement le climat relationnel entre les élèves. Afin de faciliter l interprétation des résultats, des barèmes (zone de force, zone de vulnérabilité et zone problématique) ont été établis sur la base d un consensus entre éducateurs d expérience et représentés au moyen de lignes pointillées. Lorsque les données recueillies le permettront (c est-à-dire lorsque nous aurons un échantillon représentatif des écoles québécoises), nous tenterons d établir des barèmes ou des normes empiriques. L analyse du QES consiste d abord à décrire les résultats observés en notant les principales forces, vulnérabilités et problématiques de l environnement scolaire (analyse normative), tout en tenant compte du contexte spécifique de l école. Ensuite, l analyste compare les scores obtenus par les élèves à ceux qui prévalent chez les membres du personnel ou entre les élèves des différentes années scolaires (analyse comparative). L analyste est alors à la recherche des convergences et des divergences dans les perceptions et il les confirme ou les infirme à l aide des faits recueillis lors d une entrevue auprès d acteurs du milieu. Enfin, l analyste, seul ou de concert avec des membres de l équipe-école, propose des liens entre les différentes dimensions et travaille à développer, à enrichir ou à réajuster des pistes de réflexion et d action (analyse synthèse). Utilités du QES Le QES a été conçu comme un outil d accompagnement du processus d intervention de milieu, il a été développé pour soutenir l établissement, le suivi et l évaluation des effets des plans d'action de l école (par exemple, les plans de réussite). Il a pour buts de faciliter l identification tant des forces que des Développement et validation du QES-secondaire XI

14 Avant-propos problèmes que rencontre l école, de faire ressortir les convergences et les divergences de points de vue à cet égard et de mettre en lumière les forces et les vulnérabilités des pratiques éducatives du milieu. Au début de la planification d un plan d action, le QES peut être utilisé comme outil diagnostique complémentaire aux autres sources d information, afin de mieux déceler les forces et vulnérabilités de l école. Les milieux qui ont expérimenté le QES ont souvent fait état de son utilité en ce qui concerne la mobilisation des membres du personnel autour d une réflexion sur leur école et son devenir. L utilisation récurrente du QES permet aussi d évaluer les effets des interventions ou encore la présence de conditions essentielles (de bonnes relations entre les membres du personnel, par exemple) à une mise en œuvre réussie des interventions qui visent l ensemble de l école. Les retombés du projet QES Ce projet de partenariat entre l équipe de recherche et différents acteurs du milieu scolaire offre des retombées substantielles. D'abord, il n'existe aucun instrument de mesure, validé à partir de l expérience québécoise, qui permet d'évaluer l'environnement socioéducatif des écoles. De plus, aucune étude systématique sur l'évaluation des problèmes de violence, ainsi que de ceux qui y sont associés (tel que la drogue, le vandalisme, etc.), n'a été effectuée auprès des écoles du Québec. Par ses opérations de validation, le projet deviendra une des études épidémiologiques les plus importantes n ayant jamais vu le jour au Québec sur la violence à l école. Les retombées locales du projet sont, de plus, non négligeables : les écoles qui utilise le QES se dotent d un outil qui leur permet d établir un bilan de leur environnement socioéducatif et d explorer des pistes concrètes d action. Le projet a aussi offert aux milieux participants une formation et une supervision clinique de manière à développer un réseau d analystes présents dans plusieurs commissions scolaires du Québec. Limites et exigences du QES L utilisation du QES comporte des limites et des exigences qu il importe de bien connaître pour en tirer le plus grand bénéfice possible. Tout d abord, cet outil permet une vision globale de l environnement scolaire, sous de multiples aspects. En contrepartie, il approfondit peu chacune des dimensions. Le QES ne documente pas l ensemble des dimensions et des indicateurs liés à la réussite. Il est absolument essentiel de compléter l analyse du QES par plusieurs autres sources d information. Cet Développement et validation du QES-secondaire XII

15 Avant-propos instrument prend une «photo» de la situation, à un moment donné de l histoire de l école. Il ne permet pas d expliquer pourquoi les choses sont ainsi. Le QES, en raison de sa complexité, nécessite une formation préalable à son utilisation ainsi que des habiletés de synthèse élevées. De plus, l expérience des dernières années a démontré qu une bonne analyse du QES commande une maîtrise du modèle théorique ainsi que des connaissances sur le rôle de l environnement scolaire et sur l étiologie des problèmes d adaptation (scolaires et psychosociaux) chez les jeunes. L analyste doit posséder aussi une expérience ou des connaissances relatives à l intervention en milieu scolaire. De plus, il est nécessaire de disposer d un minimum de compétences en matière d évaluation et d analyse psychométrique. Enfin, le bilan soumis à l analyse comporte de nombreuses données. Il est essentiel que l analyste ait un excellent esprit de synthèse et qu il ou elle soit capable de discriminer les informations de première importance des informations secondaires. Si la personne qui interprète les résultats du QES et qui rédige le rapport est aussi celle qui présente les résultats à l école (ce qui est habituellement le cas), il sera très important qu elle se sente à l aise dans un rôle de conseiller auprès d une direction d école; qu elle ait de la facilité à communiquer, même dans des situations tendues ou potentiellement conflictuelles; qu elle sache reconnaître les signes de résistance, les accepter et les gérer Enfin, le QES n a été ni conçu, ni validé pour évaluer un individu. Le QES ne peut pas et ne doit pas être utilisé à une telle fin. Développement et validation du QES-secondaire XIII

16 Remerciements Remerciements Le Questionnaire sur l'environnement Socioéducatif, version pour les écoles secondaires (QESsecondaire) a vu le jour grâce au soutien de nombreux acteurs gouvernementaux, scolaires, syndicaux et universitaires : tous soucieux de faire de l'école un milieu de vie toujours plus stimulant et sécuritaire. Un chemin incroyable a été parcouru entre 1997, année où la première version du questionnaire a été soumise au test de la réalité avec l'aide, l'énergie et la vision de Patricia Georges, alors étudiante de maîtrise en psychoéducation, et 2004, année de lancement public de cet instrument expérimenté dans plus de 350 écoles primaires et secondaires au Québec. Nous tenons d'abord à remercier très sincèrement toutes les écoles et les commissions scolaires, malheureusement trop nombreuses pour être nommées ici, qui, par leur collaboration et l'engagement de leurs précieuses ressources, ont permis d'expérimenter les différentes versions de l'instrument. C'est grâce au soutien du Centre national de prévention du crime et à sa subvention octroyée dans le cadre de la Stratégie nationale sur la sécurité communautaire et la prévention du crime (Justice Canada, Solliciteur général du Canada) que le développement du QES-secondaire a pu connaître son essor. Cette aide financière a ainsi permis de faire fructifier les efforts des partenaires de la première heure qui ont suffisamment cru en ce projet pour engager les ressources humaines et financières nécessaires à son démarrage : l'institut de recherche pour le développement social des jeunes, la Table provinciale de concertation sur la violence, les Directions de santé publique de Montréal-Centre et de la Montérégie. Merci infiniment pour votre confiance. Nos remerciements vont aussi aux différents corps policiers du Québec et en particulier au Service de police de la ville de Montréal qui ont collaboré à la cueillette de données critiques pour les opérations de validation du QES-secondaire. Nous remercions aussi la Centrale des syndicats du Québec et les multiples syndicats locaux affiliés qui ont spontanément offert et maintenu leur appui au projet tout au long de ces années et qui en ont grandement facilité le démarrage et l'implantation. Ce projet de recherche et de développement a aussi grandement bénéficié du soutien financier et professionnel du ministère de l'éducation, des Loisirs et du Sport du Québec (MELS). Nous tenons ainsi à remercier la Direction de l'adaptation scolaire et des services complémentaires (DASSC) pour avoir cru en ce projet, et à souligner l'implication formidable des membres de l'équipe du Service régional de soutien sur les troubles du comportement, qui ont favorisé et soutenu la diffusion et Développement et validation du QES-secondaire XIV

17 Remerciements l'expérimentation du QES-secondaire dans les différentes régions du Québec. Un merci tout spécial aussi aux Directions régionales du MELS de Montréal et de la Montérégie qui nous ont si bien épaulés. Enfin, un grand merci au Centre de transfert pour la réussite éducative du Québec (CTREQ) qui a rendu possible le passage de ce projet de recherche vers un produit accessible à l'ensemble des écoles du Québec, en assurant le développement du QES-secondaire en une version entièrement accessible via Internet, jumelé à un système de gestion et de présentation des résultats. Cette nouvelle version de l instrument, portant le nom de QES-WEB, est maintenant distribuée par la Société GRICS sous la forme d'une licence. Des modalités permettent maintenant à l'ensemble des écoles du Québec d'y avoir accès. Un merci tout particulier à Andrée Duval qui, tout au long du développement de ce projet, a investit une énergie incalculable pour nous soutenir dans le développement de l instrument, nous appuyer dans sa promotion, y apporter des améliorations. C est sous la responsabilité d Andrée Duval qu a pris forme la formation et la supervision à l analyse clinique du QES de plus d une centaine d intervenants scolaires. Tout au long de son développement le QES-secondaire a pu reposer sur le soutien et l'appui de plusieurs organismes, mais il est principalement le fruit de rencontres et de collaborations, parfois courtes, d'autres fois plus longues et certaines toujours actuelles. Nous ne saurions dresser la liste de toutes ces personnes, cependant nous ne saurions non plus passer sous silence le nom de plusieurs d'entre elles qui ont particulièrement marqué la vie de ce projet. À vous toutes, nos plus sincères remerciements. Développement et validation du QES-secondaire XV

18

19 Introduction Introduction Ce rapport documente la validation psychométrique du Questionnaire sur l Environnement Socioéducatif dans sa version pour les écoles secondaire (QES-secondaire). Ce questionnaire, dont une version pour les élèves et une version pour les membres du personnel, offre aux écoles qui l utilisent un portrait, sous la forme de graphiques et de tableaux, de leur environnement socioéducatif (le climat de l école, ses pratiques éducatives et les problèmes scolaires et sociaux auxquels elle est confrontée). Ce profil de l environnement scolaire permet d apprécier le vécu des acteurs du milieu, tout en juxtaposant les résultats des membres du personnel à ceux des élèves. Il est de même possible d étudier les résultats de certains sous-groupes de répondants. Le QES-secondaire peut être utilisé pour soutenir des processus d interventions de milieu et guider l établissement de plans d action. Ce rapport se divise en quatre grandes sections. La première présente le contexte théorique sousjacent à l instrument de mesure. La seconde section vise à rendre compte du développement de l instrument et du déroulement de ses opérations de validation. Aussi, cette portion du rapport opérationnalise les diverses composantes du questionnaire en offrant une définition des mesures ainsi qu une description des énoncés et de leurs choix de réponses. La troisième section aborde la méthodologie (c'est-à-dire la procédure de recherche et la description de l échantillon), de même que les résultats de la validation proprement dite. La validité de l instrument est appréciée par le biais d analyses factorielles exploratoires et des analyses de consistance interne. Une évaluation de la stabilité temporelle des échelles de mesure est effectuée à partir de corrélations test-retest. Des analyses de validité convergente sont présentées pour explorer le lien entre les mesures du QES-secondaire et d autres types d informations sur les écoles. Ceci permet de s assurer que les échelles de mesure du QES-secondaire entretiennent des relations cohérentes à celles prévues par le modèle théorique. Enfin, les relations qu entretiennent les échelles du climat et des pratiques avec les indicateurs de problèmes perçus du QES-secondaire sont explorées. La dernière section du rapport s attarde aux résultats d un sondage sur la satisfaction des utilisateurs du QES dans les écoles secondaires. Développement et validation du QES-secondaire 1

20 Contexte théorique 1. Contexte théorique Le contexte théorique du Questionnaire sur l Environnement Socioéducatif, version secondaire, peut être apprécié à partir de l article suivant, disponible à l annexe 1 : Janosz, M., Georges, P., & Parent, S. (1998). L environnement socioéducatif à l école secondaire: un modèle théorique pour guider l évaluation du milieu. Revue Canadienne de Psycho-Éducation, 27 (2), Développement et validation du QES-secondaire 2

21 Développement et description de l instrument 2. Développement et description de l instrument 2.1 Phases de développement et stratégie de partenariat Le QES-secondaire a vu la naissance de son précurseur en 1998 sous le nom du questionnaire Le climat de l école. Cet instrument est le point de départ du développement du QES-secondaire à la fois au niveau théorique (car il est issu d une revue de la littérature en la matière, Janosz, Georges & Parent, 1998) et empirique (ce questionnaire a été administré à quelques écoles, ces données ont permis de déterminer les propriétés psychométriques de certaines échelles de mesure qui visaient à rendre compte du construit théorique). Depuis , il y a eut trois versions du QES-secondaire qui illustrent son développement en trois phases : phase 1, phase 2 et phase 3. Chaque version est le fruit d un partenariat entre des membres de l équipe de recherche, des professionnels du milieu de l éducation et de divers collaborateurs (du milieu de la santé, de la sécurité publique, etc.). Ces versions furent soumises à des analyses factorielles exploratoires et des analyses de consistance interne. Des tests préliminaires de validité ont aussi été effectués. 4 À la phase 1 du projet, l instrument Le climat de l école fut enrichi pour voir naître la première version du QES-secondaire. L opération s est effectuée dans le cadre d un comité de développement composé de membres de l équipe de recherche de l université, de professionnels oeuvrant dans les écoles ou les commissions scolaires, de la Direction régionale du ministère de l Éducation de Montréal ainsi que de la santé et de la sécurité publique. Ce comité s est rencontré à une quinzaine de reprises pour réviser l instrument Le climat de l école, notamment en développant des questions supplémentaires pour les échelles de mesure existantes et pour de nouvelles dimensions théoriques. Ensuite, les énoncés furent soumis à une critique de la part des membres du comité de développement de manière à estimer leur à propos, leur validité de contenu, le vocabulaire utilisé et leur clarté. Un pré-test de cette version préliminaire de l instrument a été effectué auprès d élèves de secondaire 1 (dont quelques uns en adaptation scolaire), de manière à s assurer que la clientèle la plus jeune touchée par cet instrument comprenait bien les énoncés et comment y répondre, trouvait le contenu pertinent, appréciait la mise en page du questionnaire et était en mesure d y répondre à l intérieur d une période de classe de 60 minutes. 4 Janosz, M. (2000, Novembre). The Montreal School Environment Project : The theoretical model and the validity of the School Socioeducational Environment Questionnaire. The Annual meeting of the American Society of Criminology, San Francisco. Développement et validation du QES-secondaire 3

22 Développement et description de l instrument Après quelques modifications, cette version du questionnaire a été administrée durant l année scolaire auprès de 50 écoles secondaires (nombre d élèves participants, n=28308; nombre de membres du personnel participants, n=2689) de la région de Montréal, de la Montérégie et du Centredu-Québec. Compte tenu des ressources limitées, de l ampleur des activités et de la volonté de maintenir un niveau élevé d appropriation du projet par les commissions scolaires et les écoles, nous avons instauré la structure opérationnelle et de coordination suivante. Chaque commission scolaire participante devait libérer un ou plusieurs intervenants-pivot (d une demi-journée à 2 jours par semaine) pour coordonner l implantation du projet auprès des différentes écoles de sa commission scolaire. Ce ou ces intervenants ont aussi été formés pour devenir des personnes-ressources au sein de leur commission scolaire. De plus, chaque école devait nommer un responsable interne pour planifier et superviser la collecte des données (le responsable-école). Les intervenants-pivot étaient étroitement soutenus par la coordonnatrice de recherche. Les responsables-école étaient, quant à eux, assistés par les intervenants-pivot et l équipe de recherche. De nombreux documents et guides de travail ont été rédigés et des dizaines de rencontres d information ont eu lieu pour soutenir les écoles dans leur démarche. Les commissions scolaires ont assumé les frais de photocopies des questionnaires, l achat et la saisie des feuilles-réponses mécanographiques ou des questionnaires. Les données ont été transmises à l équipe de recherche qui en a assuré le traitement statistique et qui a préparé les bilans de chacune des écoles. Le développement du volet «clinique» s est effectué de façon concomitante à la collecte des données. En concertation avec le groupe de travail, l équipe de recherche a développé une procédure de présentation des résultats aux écoles sous la forme d un bilan. Ce dernier contient plusieurs séries de graphiques et tableaux qui décrivent le climat de l école, les problèmes auxquels elle est confrontée et la qualité de ses pratiques éducatives. Le groupe de travail a conçu une logique de présentation, sous la forme d un cartable contenant les résultats évaluatifs, des documents de synthèse, des documents didactiques et l identification de pistes prioritaires d intervention. Les intervenants-pivot furent formés à l analyse et à l interprétation clinique des résultats et ont bénéficié d une supervision de la part de l équipe de recherche. De plus, une initiation à la lecture des résultats du QES-secondaire fut offerte à des intervenants issus des écoles pour permettre aux milieux participants de s approprier le contenu et d entreprendre un processus d intervention de milieu soutenu par les conclusions de leur bilan. Suite à la réception de leur bilanécole (les résultats et leur analyse clinique), il appartenait aux écoles de travailler sur l ensemble des résultats reçus, de même qu à développer des actions en lien avec ceux-ci. Cette version de la phase 1 du questionnaire fut soumise à des analyses factorielles exploratoires, des analyses de consistance interne, des analyses de validité convergente et une validation temporelle. Le but était de bien cerner les différentes échelles et de retirer les énoncés qui contribuaient peu ou pas à l instrument ou qui jouaient un rôle ambigu (mesuraient plus qu une dimension). Développement et validation du QES-secondaire 4