Partie 1 LE TEST «LE STAGIAIRE EN CLASSE : PERCEPTION DES ÉLÈVES» LES FONDEMENTS METHODOLOGIQUES La position du problème Jean D. Bélanger, professeur Mario Labbé, assistant de recherche Outre l'enseignant associé et le superviseur, la seule autre source susceptible de fournir au stagiaire une information pertinente sur ses interventions en classe, est le groupe d'élèves avec lequel il travaille (ou auquel il s'adresse). C'est la seule source d'information d'ailleurs qui est continuellement présente en classe compte tenu qu'il est demandé au stagiaire de parvenir à prendre charge de la classe, seul, en l'absence de ses deux principaux formateurs. Il devient donc indispensable sinon des plus utiles d'interroger ces élèves sur les différents rôles joués auprès d'eux par le stagiaire. Mais sont-ils aptes à fournir une telle information? Peut-on se fier à ce qu'ils vont dire? Sans hésitation, nous répondons oui... si nous leur posons les bonnes questions. C'est pourquoi des recherches susceptibles de répondre à ces différentes interrogations ont été entreprises. Elles ont conduit à l'élaboration du test standardisé dont il est question dans les pages qui suivent. Les objectifs poursuivis - Connaître les perceptions des élèves quant aux interventions du stagiaire lors de son passage en classe. - Fournir au stagiaire le modèle théorique sous-jacent au test, dans le but de lui : permettre de dégager les principales caractéristiques de ses interventions en classe et de remédier aux problèmes qu il rencontre; servir de cadre de discussion avec son enseignant associé; servir de modèle d'analyse dans la rédaction de son travail. Les sources de rétroaction Dès lors que les résultats des recherches montrent la «constance» de l'instrument et la fiabilité du jugement des élèves, une nouvelle source de rétroaction apparaît dans le processus d'interaction des différents acteurs du stage d'enseignement. Ainsi, du modèle de supervision de Stones où le stagiaire est en interaction avec son superviseur et son enseignant associé, on passe à un modèle centré sur le stagiaire où plusieurs sources de rétroaction (schéma b) sont maintenant à sa disposition pour lui permettre de développer son savoir pratique. - Sources de rétroaction a) Modèle de Stones (1983) b) Modèle de Jean D. Bélanger (1996) (triade) Enseignant associé Stagiaire Superviseur Enseignant(s) associé(s) Superviseur Stagiaire Groupe(s) d élèves Stagiaire(s) Direction d école Formateur(s) universitaire(s)
Partie 1 Champs de rétroaction (modèle de Jean D. Bélanger 1996) Cependant ces différents acteurs formulent leurs rétroactions à partir de leur différent lieu d observation de la situation éducative couvrant ainsi ce qu on pourrait appeler des champs de rétroaction de différentes amplitudes qui varient en fonction de la proximité de ladite situation. Comme le montre le schéma suivant, parce qu il est au coeur de la situation éducative et parce qu il en est partie prenante, le champ de rétroaction de l élève en est aussi le plus restreint. Champs de rétroaction Formateurs de l Université Direction d école Superviseur. supervision à l école. séminaires - rencontres Enseignants associés. supervison individuelle et jumelée Stagiaires. autosupervision. supervision entre pairs Élèves. rétroaction spont.. test de perception Mais cette restriction du champ d observation peut être compensée par l utilisation d un outil comme le «test de perception» qui permet à l élève de se distancier de l action et d élargir ainsi son champ de rétroaction. Quand ce test est administré à tous les élèves d une même classe, le champ d observation est d autant plus élargi et les rétroactions validées par le nombre (d élèves). Malgré tout, ce champ de rétroaction restera toujours relativement restreint. Cependant l utilisation de cette même grille, le test de perception, par le stagiaire (en plus des élèves et de l enseignant associé) permettra à son tour de se distancier de l action et de confronter sa perception de la réalité de la classe avec les acteurs les plus immédiatement concernés par son activité d enseignant-stagiaire et ainsi de mieux objectiver sa pratique.
Partie 1 La validation du test Les travaux qui ont conduit à l'élaboration de ce test se situent dans le courant des recherches américaines qui avaient pour objectif de fournir des instruments du même genre destinés à des étudiants des collèges et des universités. Inspiré au départ d'un des tests les plus connus de la littérature scientifique celui du professeur Aleamoni de l'université de l'arizona (dont une version française est utilisée pour les cours de l'université Laval), cet instrument a subi de nombreuses modifications tout au long de son élaboration. En effet, des 21 questions du test d'aleamoni nous n'avons gardé que trois items qui furent reformulés pour des raisons de contexte socio-culturel. Pour en arriver à la version actuelle le test a été soumis à plusieurs épreuves de vérification. Il a d'abord été soumis à une pré-expérimentation pendant l'année scolaire 1988-1989 dont les analyses statistiques ont démontré que les élèves de première et de deuxième secondaire se comportaient de la même façon que les étudiants universitaires pour les items du test d'aleamoni. Des recherches sur le niveau de langage de chacun des items ont été réalisées auprès des élèves de ces mêmes niveaux au trimestre d'automne 1989 et ont permis de faire les modifications nécessaires à l'amélioration de l'instrument. Il a aussi été soumis à la critique d'un groupe d'enseignants associés dont les commentaires ont été d'une grande utilité. Finalement, il a été expérimenté auprès de 10 000 élèves ayant rencontré quelque 225 stagiaires à l'hiver 1990. Les analyses statistiques sont venues confirmer la validité du test en fournissant des résultats supérieurs à ceux des tests de référence tant pour sa cohérence interne que pour sa structure. Le test a donc été utilisé de nouveau à l'automne 1990 et à l'hiver 1991, dans plus de 450 classes, avec des résultats comparables à ceux de l'année précédente. Depuis, il a été administré à quelque 100 000 élèves par année qui ont reçu des stagiaires des programmes du C.E.C., du C.E.S. et de la mineure en pédagogie du B.E.S. Les résultats observés ne font que confirmer ceux de l année 1990-1991, démontrant ainsi la constance de l instrument. En conséquence, validité et constance fondements de ce genre d instrument nous permettent de penser qu il peut être utilisé avantageusement si on en respecte l esprit et les consignes. N.B. : Pour l édition de 1998, le test a été revu et corrigé dans son ensemble à partir des résultats compilés des années précédentes. Les caractéristiques du test L'instrument dont il est question est un test de perception c'est-à-dire un test qui demande des réponses spontanées, sans hésitation. Ce sont les premières impressions qui donnent les meilleurs résultats dans ce genre de test. Ces résultats vont permettre de constater dans quelle mesure les élèves ont perçu favorablement ou défavorablement les différentes attitudes et interventions du stagiaire pendant son passage en classe, à l'occasion des stages d'enseignement. Il a les limites qu'ont les élèves dans leur capacité d'observation et les questions ont été épurées en conséquence. Il ne peut donc couvrir tous les aspects de l'intervention didactico-pédagogique. Si la vérité du jugement porté par les élèves est toute relative, on ne peut mettre en doute la sincérité des répondants (dans leur ensemble). En conséquence, le stagiaire devrait accepter ces résultats comme relativement significatifs d'autant plus qu'il jouit d'un préjugé favorable de la part des élèves (attribuable à la complicité entre étudiants). Il devrait donc interpréter les résultats avec une certaine rigueur et dans un esprit positif : a) s'il est d'accord avec un jugement défavorable des élèves, il devrait se dire qu'il y a un certain travail à faire en rapport avec le contenu de l'énoncé de l'item;
Partie 1 b) s'il n'est pas d'accord avec le jugement des élèves, il devrait se demander pourquoi il est perçu de cette façon. C'est donc un instrument d'évaluation formative pour le stagiaire qui n'a pour autre but que de lui permettre de faire les ajustements nécessaires à la réussite de sa formation pratique. En aucun cas, il ne doit servir à l'évaluation sommative, c'est le travail de réflexion sur les résultats destiné au superviseur qui sera évalué comme tel.
Partie 2 LE TEST «LE STAGIAIRE EN CLASSE : PERCEPTION DES ÉLÈVES» LES FACTEURS ET LES ITEMS Les facteurs sont des regroupements d'items qui ont des liens entre eux et qui décrivent divers aspects des principales composantes d'un test. Les analyses statistiques permettent de dégager cinq (5) grands facteurs regroupant les 40 items de ce test, favorisant ainsi une meilleure compréhension de l'appréciation des élèves. LA DESCRIPTION DES FACTEURS Facteur A: Appréciation globale des cours Un stagiaire qui obtient une note élevée à ce facteur a, dans l'ensemble, donné de bons cours c'est-àdire des cours intéressants et efficaces. Ses cours sont intéressants dans la mesure où le stagiaire suscite l'enthousiasme chez les élèves et leur donne envie d'en savoir plus. Ils sont efficaces dans la mesure où les activités pédagogiques aident les élèves, leur permettent d'apprendre et de mieux réussir. Facteur B: Gestion de la classe Un score élevé à ce facteur indique que le stagiaire a fourni un encadrement propice au travail dans la gestion de sa classe. Cet encadrement exige qu'il sache se faire respecter et qu'il soit très attentif à ce qui se passe dans sa classe afin de bien contrôler la situation. Ainsi peut-il éviter les pertes de temps et faire travailler les élèves dans le calme. Facteur C: Connaissance de la matière et habiletés de communication Un stagiaire qui obtient un score élevé à ce facteur a fait montre d'une bonne connaissance de la matière et des habiletés nécessaires à l'enseigner. Ce stagiaire a fourni des explications en quantité suffisante et a bien choisi ses exemples, ce qui a semblé faciliter son enseignement. Mais il a aussi utilisé un langage clair et précis tant dans ses questions que dans ses consignes tout en comprenant bien le langage des élèves, appuyant ainsi son enseignement sur une communication efficace. Facteur D: Adaptation aux rythmes et difficultés d'apprentissage Une note élevée à ce facteur indique que le stagiaire a tenu compte des rythmes et des difficultés d'apprentissage de ses élèves en donnant du temps à ceux qui sont plus lents et en occupant les plus rapides. Par ailleurs, il a su aussi adapter ses interventions pour répondre aux élèves qui ont eu des difficultés, tout en faisant montre de compréhension et d'encouragement devant leurs problèmes. Facteur E: Les échanges en classe: règles et attitudes Pour ce facteur, une note élevée indique que le stagiaire a démontré des attitudes de tolérance et d'équité qui ont su créer un climat de bonne entente avec les élèves. Pour y arriver cependant, il a dû laisser un droit de parole aux élèves mais s'est donné des règles pour régir les échanges en classe. LA PRESENTATION DES DONNEES STATISTIQUES Les résultats au test sont présentés sous forme de tableaux statistiques regroupés sur 3 feuilles (pour un groupe-classe). Le traitement des données par ordinateur fournit ces résultats pour chacun des items (ou questions), des sous-facteurs et des facteurs et ce, pour chacun des 2 groupes-classes (s'il y a lieu), l'enseignant associé et le stagiaire.
LA COMPOSITION DES FACTEURS FACTEUR A: L'appréciation globale des cours 1) L'intérêt - La motivation 1 - Ses cours étaient intéressants. 36 - Son enseignement nous donnait envie d'apprendre. 5 - Avec le stagiaire, nous avions toujours envie d'en savoir plus. 13 - Il posait les bonnes questions pour nous faire réfléchir. 2) L'efficacité 40 - Dans l'ensemble, le stagiaire a donné de bons cours. 17 - Ses cours ne m'ont pas appris grand-chose. 25 - Ses cours m'ont aidé à mieux réussir. 4 - Ses explications nous aidaient vraiment. 22 - Les exercices ne m'ont pas aidé à comprendre. FACTEUR B: La gestion de la classe 1) Les modes de fonctionnement 3 - Souvent, le stagiaire ne voyait pas ce qui se passait dans la classe. 6 - Le stagiaire savait se faire respecter. 12 - Avec le stagiaire, il y avait des problèmes de discipline. 21 - Le stagiaire obtenait facilement le silence en classe. 26 - Le stagiaire se "faisait avoir" par les élèves. 2) Le climat de travail 29 - Il a réussi à nous faire travailler. 32 - Il n'y avait pas de perte de temps pendant ses cours. 39 - Avec le stagiaire, nous pouvions travailler dans le calme. FACTEUR C: La connaissance de la matière et les habiletés de communication 1) La matière et sa présentation 8 - Le stagiaire connaissait bien sa matière. 23 - Il pouvait répondre à n'importe quelle question en relation avec la matière. 30 - Le stagiaire n'expliquait pas assez. 24 - Quand il expliquait, il donnait des exemples variés. 38 - Il choisissait les bons exemples pour nous faire comprendre. 2) La compréhension du langage utilisé 2 - Ses questions étaient claires et précises. 10 - Il nous expliquait clairement ce qu'il fallait faire. 16 - Quand le stagiaire s'exprimait, nous le comprenions. 7 - Le stagiaire comprenait nos questions. FACTEUR D: L'adaptation aux rythmes et aux difficultés d'apprentissage 1) Les rythmes d'apprentissage 14 - Généralement, il nous laissait le temps de terminer notre travail. 20 - Quand nous avions terminé un travail, il savait nous occuper. 27 - Le stagiaire s'assurait que tous les élèves avaient compris avant de continuer. 33 - Il nous laissait du temps pour répondre à ses questions. 2) Les difficultés d'apprentissage 28 - Quand nous avions des problèmes, il nous comprenait. 9 - Quand nous avions des difficultés, il savait nous encourager. 34 - Quand nous faisions des erreurs, il nous les expliquait. 18 - Lors de ses corrections, il faisait des commentaires utiles. FACTEUR E: Les échanges en classe: règles et attitudes 19 - Le stagiaire a permis aux élèves de s'exprimer en temps et lieu. 11 - Le stagiaire donnait la parole à tout le monde. 37 - Il questionnait toujours les mêmes élèves. 31 - Le stagiaire traitait tout le monde de la même façon. 15 - Le stagiaire s'entendait bien avec les élèves. 35 - Il était patient avec nous.
Partie 3 LE TEST «LE STAGIAIRE EN CLASSE : PERCEPTION DES ÉLÈVES» LE GUIDE D'ADMINISTRATION Jean D. Bélanger, professeur Mario Labbé, assistant de recherche Remarques préliminaires Un test étant par définition un examen standardisé, il importe que chaque administrateur (enseignant associé) donne les mêmes consignes à chaque groupe d'élèves. Même si l'enseignant doit donner des explications supplémentaires, il lui faut s'en tenir à l'esprit des consignes afin de sauvegarder la validité des résultats. C'est un test de perception, il faut y répondre spontanément, sans hésiter. Ce sont les premières impressions qui donnent les meilleurs résultats dans ce genre de test. Le test est imprimé sur une feuille recto-verso et comprend 40 items. Les élèves devraient prendre une vingtaine de minutes, au maximum, pour y répondre. LE TEST EST ADMINISTRÉ EN L'ABSENCE DU STAGIAIRE En aucun cas, les résultats ne devraient servir à des fins d évaluation sommative. Objectifs - Connaître les perceptions des élèves quant aux interventions du stagiaire lors de son passage en classe. - Permettre au stagiaire d'identifier ses points forts et ses points faibles quant à ses interventions en classe. Consignes générales à donner aux élèves AVANT LA DISTRIBUTION DES TESTS Il s'agit de répondre à un questionnaire intitulé «Le stagiaire en classe : perception des élèves». Le but est de fournir aux élèves l'occasion de donner leur appréciation de l'enseignement du stagiaire afin de lui permettre d'identifier ses points forts et ses points faibles à la suite de son passage dans la classe. Pour atteindre ce but, l'entière collaboration des élèves est nécessaire. Écouter les consignes suivantes et répondre le mieux possible. Répondre librement à chacune des questions. Ce questionnaire est anonyme. Comme il n'y a pas de temps limite, lire attentivement toutes les questions. Ce questionnaire doit être rempli individuellement, ne pas discuter des réponses avec les voisines ou les voisins.
À LA SUITE DE LA DISTRIBUTION DES TESTS 1 re étape : LIRE LES CONSIGNES ÉCRITES SUR LE TEST AVEC LES ÉLÈVES 1. Répondre sans hésiter à toutes les questions. 2. Ne donner qu'une seule réponse à chaque question. 3. Utiliser un crayon à mine HB. 4. Bien effacer les réponses à changer, s'il y a lieu. 5. Ne pas plier, froisser ou tacher cette feuille. 6. Noircir complètement le cercle : exemple 2 e étape : EXPLIQUER AUX ÉLÈVES L ÉCHELLE D APPRÉCIATION Ce questionnaire comprend des énoncés avec lesquels on peut être en accord ou en désaccord, mais il y a 4 façons d'exprimer son avis : Ex.: Réponses données par les élèves à la question «Le stagiaire était sûr de lui.» TA A D TD Élève no 1 Élève no 2 Élève no 3 Élève no 4 L'élève no 1 nous indiquerait ici qu'il percevait le stagiaire comme «très sûr de lui». Alors que l'élève no 2 nous indiquerait que le stagiaire semblait «assez sûr de lui». Quant à l'élève no 3, il nous indiquerait qu'il percevait le stagiaire comme «timide ou gêné». Alors que l'élève no 4 nous indiquerait que le stagiaire était plutôt «très timide ou très gêné». Ainsi pour chaque question, l'élève doit d'abord se demander s'il est en accord ou en désaccord avec l'énoncé. S'il décide qu'il est en accord, il devra alors se demander s'il est en accord totalement ou en partie seulement. Il fera de même s'il est en désaccord. Pour ce faire, il répondra comme indiqué sur son questionnaire. Noircir le cercle dans la colonne appropriée, sous : TA A D TD Si vous êtes tout à fait d'accord Si vous êtes partiellement en accord Si vous êtes partiellement en désaccord Si vous êtes tout à fait en désaccord On ne doit pas répondre aux questions des élèves concernant le sens des énoncés. 3 e étape : DEMANDER AUX ÉLÈVES DE COMPLÉTER LE TEST
Partie 4 LE TEST «LE STAGIAIRE EN CLASSE : PERCEPTION DES ÉLÈVES» LES INSTRUMENTS D'ANALYSE Tableau 6 L EXPLICATION DES DONNEES STATISTIQUES (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) NO TA A D TD N MOY E.T. FAV MOYG DIFF.M A1 FACTEUR A ex.: 1 7 16 6 1 30 2.97 0.76 76.67 3.21-0.24* Colonne 1 NO : identification du facteur et du sous-facteur (A1-A2), numéro de l'item (en chiffres), identification du sous-total (ST) et du total (T) en lettres Colonnes 2-3-4-5 TA, A, D, TD : distribution de fréquence des cotes données par les élèves du groupe-classe concerné Colonne 6 N : nombre d'élèves ayant répondu à l'item Colonne 7 MOY : moyenne des résultats pour le groupe-classe (maximum 4) Colonne 8 E.T. : écart-type pour le groupe-classe Colonne 9 FAV : pourcentage de réponses favorables au stagiaire pour le groupe-classe, c'est-àdire la proportion de cotes TA et A (ou TD et D pour les items inversés) Colonne 10 MOYG : moyenne générale pour l'ensemble des stagiaires (Cette moyenne permet au stagiaire de se situer par rapport à ses pairs) Colonne 11 DIFF.M : espace réservé pour inscrire la différence entre la moyenne du groupe-classe étudié et la moyenne générale * Cette valeur ne sera pas donnée dans les tableaux statistiques; vous aurez donc à la calculer. Les items inversés ou négatifs Les distributions de fréquence sont données à partir des réponses originales alors que les moyennes, écarts-types et pourcentages favorables et défavorables tiennent compte des inversions effectuées pour les items «négatifs». Ce sont les items où les cotes TD et D sont favorables et les cotes TA et A sont défavorables (ex. : «Le stagiaire n'expliquait pas assez» ou «Avec le stagiaire, il y avait des problèmes de discipline»). Il y a 7 items de ce type et ils sont identifiés par un astérisque(*) (items 3-12- 17-22-26-30-37).
Partie 4 Tableau 7 L EXPLICATION DES VALEURS STATISTIQUES La moyenne Pour les besoins du calcul de la moyenne, l'échelle d'appréciation utilisée distribue les points de la façon suivante : Items réguliers TA = 4 Items inversés TD = 4 A = 3 D = 3 D = 2 A = 2 TD = 1 TA = 1 La moyenne maximale est donc de 4. Notez bien qu'une échelle de 1 à 4 a comme point milieu 2,5 et non 2,0 (cas d'une échelle de 0 à 4). Une moyenne de 2,5 équivaut à 50 % et une moyenne de 3,25 équivaut à 75 %. L'écart-type Plus l'écart-type est petit, plus les élèves ont perçu de la même manière (et coté de la même manière). Plus l'écart-type est grand (maximum 1,5), plus il y a de divergence dans la perception des élèves. Le pourcentage Le pourcentage des réponses favorables est obtenu à partir de l'addition des réponses TA et A (ou TD et D pour les items inversés). Il en est de même avec le pourcentage des réponses défavorables, obtenu en additionnant D + TD (ou A + TA pour les items inversés). Un pourcentage défavorable, égal ou supérieur à 25% signifie que le quart des élèves a perçu un problème par rapport à cette question. Compte tenu de l'importance de ce pourcentage, il serait bon de s'interroger sur le problème signalé. Cependant, l'interprétation du pourcentage de réponses défavorables n'est pas exactement la même pour tous les items. Exemple 1: à la question 12, «Avec le stagiaire, il y avait des problèmes de discipline». Si 25% ou plus des élèves ont donné une réponse défavorable, cela ne veut pas nécessairement dire que le stagiaire a eu des difficultés avec le quart des élèves. Il se peut qu'un ou deux élèves seulement soient la source du problème, mais cela influence défavorablement le quart des élèves. Une absence d'intervention appropriée pourrait bien conduire 50% ou 75% de la classe à avoir une perception défavorable quelques jours ou quelques semaines plus tard... avec les conséquences qui en découlent. Exemple 2: à la question 30, «Le stagiaire n'expliquait pas assez». Dans ce cas, si 25% des élèves ont donné une réponse défavorable, cela veut dire que le quart des élèves considèrent ne pas avoir reçu assez d'explications.
Partie 4 Tableau 8 L ETUDE DES FACTEURS ET DES ITEMS L étude des moyennes des facteurs permet de situer le stagiaire par rapport à l ensemble des stagiaires. Il faut d abord situer la moyenne des résultats de chacun des ses groupes-classes par rapport à la moyenne des résultats de l ensemble des stagiaires pour chaque facteur étudié puis comparer ses deux groupes-classes. Q. La moyenne des résultats de son groupe-classe est-elle égale, supérieure ou inférieure à la moyenne des résultats de l'ensemble des stagiaires? Alors, comment l'expliquer? L étude des sous-facteurs L étude des sous-facteurs permet d expliquer les résultats pour le facteur. Il faut comparer la moyenne des sous-facteurs à la moyenne du facteur. Ex.: Facteur A - Appréciation globale Q. Quel résultat au sous-facteur explique le mieux le résultat au facteur? Est-ce celui de l'intérêt (ST-1) ou de l'efficacité (ST-2)? L étude des items L étude des items permet de nuancer et de compléter les explications des résultats des facteurs et des sous-facteurs et d identifier les points forts et les points faibles par rapport à chaque facteur. Il s agit de déterminer les points forts et les points faibles à partir de l analyse des items. Q. Quels sont les deux items pour lesquels les résultats sont les meilleurs? Quels sont les items présentant les résultats les plus faibles? Les résultats les meilleurs ou les plus faibles ne sont pas déterminés en comparant uniquement les moyennes individuelles (en valeur absolue) à l intérieur du facteur mais plutôt en comparant les différences entre la moyenne individuelle et la moyenne générale de chaque item de ce facteur. N.B. : L'analyse des items doit toujours se faire en relation avec les résultats de l'ensemble des stagiaires. En effet, les items présentant des difficultés différentes, le moins bon résultat à un item pour un facteur donné peut être supérieur au résultat de l'ensemble des stagiaires et pourrait même être un point fort. Ex.: À la question 5, «Avec le stagiaire, nous avions toujours envie d en savoir plus», il ne faudra pas se surprendre d'avoir un résultat inférieur aux autres questions, c'est la même chose pour tous les stagiaires. C'est une des choses les plus difficiles à faire dans l'enseignement. Un seuil à considérer L identification des items défavorables à 25% permet de déceler des problèmes particuliers. Il faut donc rechercher et identifier les items dont le pourcentage d élèves «défavorables» est égal ou supérieur à 25% (ou tout près).