1. Concepts et écrits

Transcription

1 MODÉLISATION PRÉDICTIVE DU RENDEMENT DES ÉLÈVES DE L ONTARIO : APPROCHE PRATIQUE ET INDIVIDUELLE PERMETTANT DE CIBLER LES INTERVENTIONS PÉDAGOGIQUES Serge Boulé Centre canadien de leadership en évaluation sboule@lecle.com, Mario Gagnon Ministère de l éducation de l Ontario mario.gagnon@ontario.ca Mots-clés : Modèle prédictif, prédicteur, predictive model, tests à grande échelle, évaluation Résumé. Les conseils scolaires de l Ontario sont tenus d assurer l amélioration du rendement des élèves étant sous leur autorité. L utilisation d une approche prédictive permet d anticiper le rendement aux tests de l Office de la qualité et de la responsabilité en éducation (OQRE) en fonction des résultats sur les bulletins scolaires antérieurs des élèves. L analyse de régression logistique binaire permet d établir les probabilités individuelles de réussite. Des équations sont développées pour chaque test de l OQRE de chaque niveau (3e, 6e, 9e et 10e), pour chaque filière d étude (théorique ou appliquée) et pour chaque sexe. Les résultats de ces analyses sont par la suite discutés en communauté d apprentissage professionnel (CAP) afin de déployer des interventions ciblées. Les CAP favorisent la prise de décision fondée sur des données probantes. Il est considérablement avantageux et économique de pouvoir anticiper les résultats des élèves à partir d'une source déjà existante de données comme le bulletin sans avoir à administrer à grande échelle des tests diagnostiques supplémentaires. 1. Concepts et écrits Nous présentons une approche qui utilise les données du bulletin scolaire afin d'estimer la probabilité qu a chaque élève d atteindre la norme préétablie lors de tests à grande échelle. Cette information est utilisée par le personnel enseignant et la direction de l école dans le but de déterminer et d implanter des mesures de remédiation spécifiquement liées à l amélioration du rendement des élèves. Cette approche est développée à la demande d intervenants du milieu. Il s agit d une recherche de type appliqué. Les résultats obtenus par les tests à grande échelle du rendement des élèves représentent des indicateurs clés de la performance d'un système scolaire (Anderson, Rogers, Klinger, Ungerleider, Glickman & Anderson, 2006). Ces tests vont de concert avec les exigences d imputabilité accrue imposées. Étant donné que les conseils scolaires et les écoles sont de plus en plus tenues responsables du rendement de leurs élèves, la prise de décision fondée sur des données probantes devient essentielle (Earl & Katz, 2008). Dans ce contexte, la modélisation prédictive constitue une source importante d information (Education Commission of the States, 2000). L'approche proposée repose sur les données disponibles dans les bulletins d élèves et dans les écoles. L administration a priori de tests diagnostiques à grande échelle supplémentaires n est pas requise. L anticipation du rendement des individus n a rien de nouveau (Binet & Simon, 1904; von Mayrhauser, 1992; Spearman, 1904a; Yerkes, 1919; Wainer, 2000). Wainer (2000) explique que, dès 2200 av. J.-C., les Chinois mesurent des performances précises afin de prédire chez les mêmes individus des performances considérées connexes. Entre 1880 et 1900, F. Galton, J.M. Cattell et autres chercheurs tentent de prédire, avec peu de succès (Gullickson, 1950), le rendement des étudiants au collège à partir de nouvelles mesures de l'intelligence. Les contributions de Binet et Simon (1904), de Spearman (1904), de Terman et Childs (1912) et de Yerkes (1919) aident à établir les fondements et les rôles de la théorie classique des scores et des analyses statistiques en éducation. Des adaptations du test de Binet et Simon sont utilisées pour produire le Army Alpha (von Mayrhauser, 1992), puis le

2 premier Scholastic Aptitude Test (SAT) (Wainer, 2000). Toutes ces initiatives ont pour but d anticiper la performance à court et à moyen terme des individus. La modélisation prédictive est encore utilisée dans de nombreuses institutions post-secondaires afin de prédire le rendement scolaire des candidats (Amodeo, Marcus, Thornton & Pashley, 2009; Bassiri & Schulz, 2003; Beecher & Fischer, 1999; Bender & Garner, 2010; Noble, 2000, 2003; Ziomek & Andrews, 1996; Zwick & Sklar, 2005) ou l achèvement des programmes d études (Allen, Robbins & Sawyer, 2010; Beecher & Fischer, 1999; Boujut & Bruchon-Schweitzer, 2007; Cohn, Cohn, Balch, & Bradley, 2004). De nombreux facteurs liés au rendement des élèves font l objet d études ou sont utilisés à titre de prédicteurs. Hattie (2009) réalise une importante méta-analyse portant sur le rendement des élèves. Hattie note cependant que la généralisation de ses résultats est limitée puisqu ils sont tirés de groupes anglophones et de pays très développés. Cette étude aide toutefois à identifier des prédicteurs potentiels. Hattie constate que le rendement antérieur déclaré par l élève constitue le facteur ayant le plus d'impact sur le rendement des élèves. Cette observation est corroborée par plusieurs études qui identifient le rendement antérieur des élèves parmi les meilleurs prédicteurs du rendement ultérieur des élèves (Bassiri & Schulz, 2003; Beecher & Fischer, 1999; Bender & Garner, 2010; Campbell & Fuqua, 2008; Cohn, Cohn, Balch, & Bradley, 2004; Geiser & Santelices, 2007; Noble, 2000, 2003; Rogers, Ma, Klinger, Dawber, Hellsten, Nowicki, & Tomkowicz, 2006; Ziomek & Andrews, 1996; Zwick & Sklar, 2005). Le rendement antérieur des élèves peut être défini de plusieurs manières et le contexte des études doit être pris en considération lors de l'interprétation des résultats. Dans leurs modèles prédictifs, diverses études utilisent la moyenne pondérée cumulative des élèves (MPC) au secondaire (Beecher & Fischer, 1999; Geiser & Santelices, 2007), au collège ou à l université (Allen et al, 2010, Boujut & Bruchon- Schweitzer, 2007) ou dans des cours portant sur des sujets précis (Klapp Lekholm & Cliffordson, 2009). L étude de Bacon et Bean (2006) suggère que l'utilisation d'un nombre maximum de notes permet d augmenter la fidélité de la MPC, mais que les notes plus récentes représentent des prédicteurs plus valides. D'autres études, pour ne mentionner que celles-ci, utilisent des tests d aptitudes ou des tests du rendement tels que l'american College Testing Program (ACT) (Bassiri & Schulz, 2003), le SAT (Cohn et al., 2004), le Law School Admission Test (LSAT) (Amodeo, Marcus, Thornton & Pashley, 2009), le Graduate Record Examination (GRE) (Feeley, Williams & Wise, 2005) et le Graduate Management Admission Test (GMAT) (Koys, 2010) dans leurs modèles prédictifs. Pour leur part, Beecher et Fischer (1999) tentent d utiliser le nombre de cours pris par l élève dans les filières théoriques, esthétiques et pratiques à l'école secondaire afin de prédire le rendement et l achèvement de la première année de collège. Finalement, ils ne retiennent pas cette variable dans leurs modèles prédictifs. Similairement, Hattie (2009) examine l utilisation des filières à titre de prédicteurs et constate qu'elles ont peu d'effets sur le rendement. Certaines études examinent l'impact d inclure le genre des élèves dans leurs modèles, mais souvent sans résultats significatifs (Anderson et al., 2006; Beecher & Fischer, 1999). À ce sujet, il est important de noter que les tests à grande échelle font habituellement l objet de vérification pour fonctionnement différentiel selon le genre. D autre part, lorsque Bender et Garner (2010) étudient les prédicteurs de la MPC de la première année au collège, ils produisent des modèles prédictifs pour chaque genre et trouvent suffisamment de différences pour justifier l utilisation de modèles distincts. En utilisant un modèle hiérarchique linéaire au niveau de l'élève, de la salle de classe et de l école, Rogers et al. (2006) étudient l'impact de près de 150 variables lors de prédictions du rendement dans les langues et les mathématiques. Ils constatent que les différences entre les filles et les garçons varient selon les disciplines.

3 L'impact des variables liées au statut socio-économique (SSE) sur le rendement est également largement étudié. Dans leurs modèles multi-niveaux, Rogers et al. (2006) identifient que le nombre de parents au niveau des élèves et la participation des parents au niveau de la classe ont une influence significative sur le rendement des élèves autant dans les langues qu en mathématiques. Rogers et al. constatent que de nombreuses variables liées au SSE de l'école, qui sont utilisées afin d estimer le SSE des élèves, ne sont pas incluses dans leurs modèles une fois que le rendement antérieur des élèves est ajouté. Zwick et Grief Green (2007) étudient l'impact du SSE sur la MPC au secondaire lorsque les écoles sont regroupées ou analysées individuellement. Zwick et Grief Green suggèrent que ce regroupement explique l exclusion des variables SSE dans les modèles prédictifs. Caro, McDonald et Willms (2009) constatent que l'écart de rendement entre un SSE faible et un SSE élevé demeure stable entre l âge de 7 et 11 ans, mais s'élargit à un rythme croissant entre l âge de 11 à 15 ans. Les écrits rapportent d'autres prédicteurs potentiels tels que certains facteurs psychosociaux (FPS) qui sont en l occurrence le sentiment d'efficacité personnelle, l'intérêt pour l'école, l'anxiété et la personnalité des étudiants. En utilisant seulement des FPS dans leur modèle prédictif, Boujut et Bruchon-Schweitzer (2007) constatent qu une impulsivité faible et une affectivité positive élevée représentent des prédicteurs de l'achèvement de la première année des étudiants universitaires européens. Allen, Robbins et Sawyer (2010) constatent que les FPS représentent une valeur ajoutée aux prédictions de l achèvement du programme fondées sur les prédicteurs traditionnels. Dans le contexte des élèves du secondaire au Canada (Anderson et al., 2006) et des étudiants universitaires en Europe (Boujut & Bruchon-Schweitzer, 2007), une augmentation de l'utilisation du soutien pédagogique serait liée à une baisse du rendement. Cette relation négative n'est pas clairement expliquée par ces études. L'un des principaux FPS étudiés dans de nombreux contextes est l'effet de la motivation des élèves sur le rendement (Allen et al, 2010; Bender & Garner, 2010; Boujut & Bruchon-Schweitzer, 2007; Hattie, 2009). Dans les cycles de scolarité obligatoire, Klapp Lekholm et Cliffordson (2009) trouvent des différences significatives entre les notes attribuées par le personnel enseignant aux filles et aux garçons dans diverses disciplines. Cependant, ces différences seraient fortement atténuées par l intérêt général des élèves et leur motivation. Similairement, Bender et Garner (2010) rapportent des différences au niveau de la motivation des filles et des garçons. L approche que nous proposons opte pour l utilisation de données déjà existantes. Comme Allen et al. (2010) l expliquent, l utilisation de données déjà existantes n engendre pas de coût additionnel pour l'institution en matière de tests supplémentaires ou pour les élèves en matière de temps consacré à ces tests. Par conséquent, ces auteurs suggèrent que la précision et la valeur ajoutées aux prédictions par les résultats des tests supplémentaires doivent être évaluées en fonction des coûts liés à l obtention de ces données et de ces mesures additionnelles. Par ailleurs, comme mentionné précédemment, l'impact des variables SSE lors de la prédiction du rendement des élèves est limité une fois que le rendement antérieur des élèves est ajouté au modèle (Rogers et al, 2006). La comparabilité des notes attribuées dans différentes écoles ou conseils scolaires représente un problème potentiel lors de l'utilisation de données déjà existantes. Les données provenant des bulletins scolaires des élèves sont facilement accessibles. Des inquiétudes quant à leur fidélité sont cependant soulevées (Cizek, 2009; Geiser & Santelices, 2007; Zwick & Grief Green, 2007). Dans le contexte des tests à grande échelle standardisés, Anderson et al. (2006) trouvent une stabilité étonnante du rendement des élèves entre les écoles. La synthèse de Hattie (2009) conclut que les facteurs liés à l école ont les effets les moins importants. Lors de l'étude de la MPC de 4 années d étudiants du premier cycle, Bacon et Bean (2006) observent une fidélité de 0,94. Ces études ne comparent cependant pas directement les écoles ayant des caractéristiques différentes, que Zwick et Grief Green exposent comme étant problématiques. À cet effet, Willingham, Pollack et Lewis (2002) et Boulé

4 (2011; 2012) proposent d ajuster les notes des bulletins en appliquant une correction qui compense pour les différences de sévérité dans l attribution de notes par le personnel enseignant et ramène ainsi les notes sur une échelle comparable entre les écoles. 2. Méthode L approche proposée utilise des données provenant du bulletin scolaire lors de la modélisation prédictive du rendement des élèves de 3 e, 6 e, 9 e et 10 e années aux tests à grande échelle de l Office de la qualité et de la responsabilité en éducation (OQRE) qui sont administrés chaque année en Ontario. Tous les élèves de la province pour les niveaux sélectionnés sont testés, ce qui représente une cohorte d'environ élèves de langue anglaise et élèves de langue française par niveau. En anticipant la probabilité de réussite d'un élève, il est possible de cibler les élèves nécessitant une attention particulière et de maximiser leurs chances de réussite. L'approche proposée est le résultat des travaux de recherche de Boulé (2011; 2012) qui ont débuté en Elle est actuellement appliquée dans neuf conseils scolaires représentant plus de élèves de l'ontario. Il s'agit d'un programme de recherche qui applique le cycle d'amélioration continue planifier, faire, vérifier et ajuster (PFVA) de Shewhart et Deming (Chardonnet & Thibaudon, 2003). L'approche débute par un volet quantitatif et passe ensuite à la mise en œuvre en alignant la méthode avec le cadre d imputabilité d'un conseil scolaire et le soutien apportés à ses écoles. La première section donne un aperçu général de l'approche. Ensuite, les données sur lesquelles l'approche est fondée sont passées en revue. Enfin, les méthodes statistiques adoptées dans cette approche afin de prédire la probabilité de succès sont discutées. 2.1 Description de l'approche Les étapes associées à cette approche sont nombreuses. La première étape est l établissement de cibles de rendement pour les écoles, qui sont des niveaux de rendement réalistes que les écoles tentent d atteindre. Ces cibles sont déterminées statistiquement et sont basées sur un nombre de prémisses. Cette étape coïncide avec la collecte des données du bulletin scolaire des élèves et des résultats antérieurs obtenus aux tests de l'oqre. Une fois que ces données sont obtenues, les modèles prédictifs peuvent être construits. Par la suite, la probabilité de réussite de chaque élève est fournie à leur conseil scolaire respectif. Les représentants des conseils scolaires analysent ces prédictions avec les directions d'école. Les écoles peuvent alors cibler certains élèves et discuter des interventions pédagogiques appropriées lors des réunions de groupes telles que les communautés d'apprentissage professionnelles telles que suggérées par Dufour, Dufour et Eaker (2008). Les écoles sont encouragées à mettre en place des réunions et des tableaux de pistage afin d'assurer un suivi continu des élèves ciblés. 2.2 Données Cette approche utilise les notes des bulletins à l élémentaire et au secondaire, les habiletés d'apprentissage et les habitudes de travail. Elle s'appuie sur la prémisse qu'il y a corrélation entre les notes du bulletin et les résultats aux tests de l'oqre (Ross & Gray, 2008). Ce lien peut être statistiquement démontré. Une analyse des données provenant de plus de écoles élémentaires de l'ontario montre un lien étroit entre les données du bulletin et les résultats aux tests de l OQRE pour les élèves de 3 e année. Dans ce cas, 474 écoles ont des résultats de l'oqre en dessous de 50 % alors que seulement 9 écoles élémentaires ont des résultats au bulletin en dessous de 50 %. Pourtant, la relation entre les deux méthodes d'évaluation est assez forte, avec une valeur R 2 de 0,27. Pour la cohorte de , neuf conseils scolaires participent à cette approche. Cela comprend près de 200 écoles élémentaires représentant élèves de 3 e année et élèves de 6 e année. Au

5 niveau du secondaire, plus de 50 écoles participent, ce qui comprend élèves de 9 e année et élèves de 10 e année. 2.3 Modélisation prédictive Cette approche utilise la méthode de régression logistique binaire afin de prédire la probabilité de réussite des élèves aux prochains tests de l OQRE. Cette méthode est robuste par rapport aux exigences de conformité aux postulats de l analyse multi-variée. Elle peut également utiliser des variables continues, catégorielles ou dichotomiques comme prédicteurs. Ce type d'analyse est fréquemment utilisé pour anticiper le rendement scolaire (Allen et al, 2010; Amodeo et al, 2009; Boujut & Bruchon-Schweitzer, 2007; Geiser & Santelices, 2007; Noble, 2000, 2003). Des modèles de régression logistique distincts sont utilisés pour chaque test de l'oqre (lecture, écriture et mathématiques) de 3 e et 6 e année, pour les garçons et les filles et pour chaque filière pour les élèves de 9 e et 10 e année. La tendance historique à l'échelle provinciale, qui montre des différences notables dans la performance entre les garçons et les filles, justifie l'utilisation de modèles distincts pour les filles et les garçons. Les tableaux de classification, indiquant le pourcentage de classification correcte, et la vérification de la qualité de l'ajustement, sont utilisés afin de sélectionner les meilleurs modèles prédictifs disponibles. Dans l approche proposée, la règle de parcimonie ne constitue pas un critère de sélection des modèles. Comme il sera décrit ultérieurement dans le texte, les variables indépendantes utilisées comme prédicteurs constituent une source d information additionnelle lors de la sélection d interventions pédagogiques de remédiation appropriées. Les pourcentages de classification correcte pour la cohorte de sont tous au-dessus de 80 %, à l exception des prédictions pour les tests en 9 e année qui présentent un pourcentage un peu plus bas. La moyenne des pourcentages de classification correcte pour l'ensemble des 20 modèles de régression logistique binaire utilisés est de 82,4 % et certains modèles atteignent des pourcentages dans les 90 %. Des prédicteurs additionnels sont présentement examinés afin d'atteindre des pourcentages de classification correcte plus élevés pour les modèles de la 9 e année. Une fois que des modèles satisfaisants sont produits, les équations de régression sont utilisées afin de créer des listes de prédiction du rendement des élèves lors des prochains tests à grande échelle de l OQRE. 3. Résultats Cette section présente d abord une description du déroulement de cette méthode, avec des exemples des informations qui sont transmises aux conseils scolaires et à leurs écoles. Par la suite, les résultats d une analyse d'impact préliminaire sur des données de la cohorte de d un conseil scolaire précis sont discutés. Bien qu il soit impossible d attribuer l amélioration du rendement des élèves à une seule stratégie, ces résultats reflètent des changements dans les pratiques de ce conseil scolaire qui coïncident avec la mise en œuvre de l'approche. 3.1 Cibles Les résultats des élèves aux tests de l'oqre de l'année précédente sont utilisés afin de déterminer des cibles raisonnables de rendement pour les élèves actuels de l école. Ces cibles sont déterminées statistiquement en utilisant une équation qui prend en considération les données de chaque école. Cette équation est basée sur quatre prémisses (1) il est attendu que les écoles font des progrès, et ce, indépendamment de leurs résultats antérieurs (2) la cible respecte le point de départ de l'école (3) les écoles évaluent leurs progrès en fonction de leurs propres résultats et de leurs circonstances particulières (4) les jugements de valeur sont exclus. Ces cibles de rendement prennent la forme du pourcentage d'élèves qui devraient atteindre ou dépasser la norme provinciale dans chaque école. Ce

6 pourcentage permet d estimer le nombre d élèves qui doivent atteindre la norme provinciale de manière à ce qu une école parvienne à sa cible. Cette méthode permet donc d'estimer une cible réaliste, qui facilite une amélioration progressive. De plus, elle est harmonisée avec les résultats des analyses prédictives. 3.2 Anticipation du rendement des élèves En lien avec le concept de prise de décision fondée sur des données probantes par les écoles (Earl & Katz, 2008; Education Commission of the States, 2000; Kerr, Marsh, Ikemoto, Darilek & Barney, 2006), l'approche actuelle peut être considérée comme une valeur ajoutée aux sources d informations disponibles. Avec les outils d'évaluation à leur disposition, les enseignants peuvent généralement prévoir de manière fiable la performance des élèves dès la mi-octobre. En outre, les analyses des résultats de l'oqre des années antérieures peuvent aider à identifier les tendances. Les prévisions statistiques du rendement des élèves de cette approche peuvent aider les enseignants à prendre des décisions pédagogiques de remédiation plus éclairées. D'autres informations peuvent être obtenues grâce à ces analyses. En analysant les données du bulletin, il est possible de déterminer la probabilité qu'un élève atteigne la norme provinciale sur un test de l'oqre. Il est également possible d'identifier les compétences et les habiletés à développer qui sont fortement corrélées avec cette probabilité de réussite. Si un lien de causalité entre les prédicteurs et le rendement d'un élève sur les tests de l'oqre ne peut être établi avec certitude, il est concevable que des interventions pédagogiques ciblées, fondées sur les prédicteurs identifiés, puissent conduire à un impact positif sur le rendement des élèves. Par conséquent, agir sur les prédicteurs qui ont potentiellement un impact, pourrait potentiellement contribuer à améliorer le rendement des élèves. Pour cette raison, une liste de prédicteurs fait également partie de l'information offerte aux conseils scolaires. En lien avec cette approche, les cibles et les prédictions du rendement des élèves sont des éléments pertinents à prendre en considération lors de l'élaboration d'un cadre d'amélioration du conseil. En utilisant les données disponibles dans le cadre de la prise de décisions fondées sur des preuves, les directions et le personnel enseignant peuvent discuter et interpréter les données afin de cibler les élèves (van Barneveld, 2008). En outre, les données supplémentaires pertinentes concernant les évaluations et le rendement des élèves ciblés, ainsi que le type de soutien individuel proposé, peuvent être déterminés et identifiés dans un tableau de pistage. Le tableau de pistage facilite les suivis et permet aux superviseurs d obtenir des informations sur les progrès des élèves ciblés lors de chaque visite. 4. Étude d'impact Cette approche propose une procédure de mise en œuvre qui favorise le travail en équipe et la prise de décisions fondée sur des preuves. Les analyses préliminaires présentées dans cette section proviennent d'un conseil scolaire qui met en œuvre le ciblage d élèves en fonction du rendement anticipé et d'autres informations disponibles. Les résultats pour la cohorte affichent une tendance intéressante. Historiquement, on constate qu'environ 50 % des écoles atteignent ou dépassent leurs objectifs de rendement. Dans le conseil scolaire étudié, 66 % des écoles atteignent ou dépassent leurs cibles de 3 e année et 62 % atteignent ou dépassent leurs cibles de 6 e année, pour un total combiné de 64,6 %. Les résultats de l'oqre pour les élèves ciblés sont tout aussi révélateurs. En principe, si les interventions pédagogiques prévues pour les élèves ciblés n ont aucun effet, la régression linéaire devrait donner des résultats similaires pour les groupes d'élèves ciblés et non ciblés. Dans la figure 1, nous notons une différence entre le coefficient de détermination (R 2 = 0,195, p <,001) des élèves qui ne sont pas ciblés (n = 106) par rapport au coefficient de détermination (R 2 = 0,015, p <,571) de ceux

7 qui sont ciblés (n = 24). Nous notons que 19 des 24 élèves ciblés atteignent ou dépassent la norme provinciale. Les cinq élèves dont les résultats aux tests de l OQRE ne satisfont pas à la norme atteignent néanmoins le niveau 2+. Ceci suggère que le personnel de l'école, grâce à leurs interventions pédagogiques prodiguées aux élèves ciblés, peut possiblement avoir un effet modérateur sur les prévisions et peut potentiellement aider les élèves ciblés à atteindre des résultats plus élevés que ceux anticipés. Nous constatons un phénomène similaire avec tous les résultats aux tests de l'oqre analysés. Figure 1 : Différence de scores obtenus par les élèves ciblés et ceux non ciblés L'approche prédictive permet également d estimer la probabilité moyenne des élèves d'atteindre la norme provinciale lors des tests de lecture en 6 e année de l'oqre. Dans le tableau 1, nous notons que la probabilité moyenne d'obtenir ou de dépasser la norme provinciale chez les élèves ciblés est de 69,1 % par rapport à une probabilité de 86,9 % pour le groupe non ciblé. Après les interventions pédagogiques des écoles, le score moyen brut des élèves ciblés est de 3,2, ce qui est près de la note moyenne de 3,6 obtenue par les élèves non ciblés. La différence entre ces deux scores bruts n'est pas significative (χ2 (1, 130) = 1,68, p <,20), ce qui suggère que les élèves ciblés qui ont reçu un appui additionnel réussissent mieux qu anticipé.

8 Tableau 1 Test de l OQRE en lecture en 6e année a Nombre d'élèves Probabilité moyenne d'atteinte de la norme (niveau 3) Groupe non ciblé ,8 % 3,6 Groupe ciblé par l'école 20 69,1 % 3,2 a - 90,4 % de précision chez les filles et 85,2 % chez les garçons Score brut moyen obtenu au test de l'oqre Dans ce cas, le conseil scolaire utilise les données de l'approche prédictive afin de cibler spécifiquement les élèves avec une faible probabilité d'atteindre les normes provinciales. Les interventions ciblées semblent avoir un impact positif sur le rendement des élèves ciblés. Dans ce conseil scolaire, le personnel scolaire (enseignants, directions, superviseurs) est réceptif à la démarche et intègre des données supplémentaires dans sa prise de décisions. L'engagement du personnel d un conseil scolaire, de l'équipe de gestion et du personnel enseignant et de direction semble être une condition sine qua non pour une mise en œuvre efficace de l'approche. 5. Conclusion Cette approche est en lien avec le cadre d efficacité des écoles de la maternelle à la 12 e année recommandé par le ministère de l'éducation de l'ontario. Elle permet à chaque école, et par extension, à chaque conseil scolaire, de procéder à une auto-évaluation dans un contexte de régulation des pratiques tout en prévoyant des ajustements. Cette approche et sa mise en œuvre s améliorent au fil des ans. L'engagement du personnel dans cette démarche progresse. Bien qu il ne soit pas possible d'attribuer l amélioration d une école à un seul facteur comme l'approche proposée, nous notons que les résultats annuels aux tests de l OQRE augmentent avec constance au cours des quatre dernières années. Comme expliqué précédemment, l'utilisation du cycle PFVA de Shewhart et Deming permet l amélioration continue de la recherche et de la mise en œuvre de l'approche. L'importance de cette recherche provient du fait qu elle démontre l'applicabilité de la modélisation prédictive du rendement futur des élèves sur le terrain et la volonté du personnel enseignant et des superviseurs à utiliser ce type d'approche au niveau des écoles et du conseil lors de la planification de l amélioration du rendement des élèves. 6. Références Allen, J., Robbins, S. B., & Sawyer, R. L. (2010). Can measuring psychosocial factors promote college success? Applied Measurement in Education, 23(1), Amodeo, A., Marcus, L. A., Thornton, A. E., & Pashley, P. J. (2009). Predictive validity of accommodated LSAT scores for the entering law school classes. Newtown, PA : Law School Admission Council. Anderson, J. O., Rogers, W. T., Klinger, D. A., Ungerleider, C., Glickman, V., & Anderson, B. (2006). Student and school correlates of mathematics achievement : Models of school performance based on pan-canadian student assessment. Canadian Journal of Education, 29(3), Bacon, D. R., & Bean, B. (2006). GPA in research studies : An invaluable but neglected opportunity. Journal of Marketing Education, 28(1),

9 Bassiri, D., & Schulz, E. M. (2003). Constructing a universal scale of high school course difficulty. ACT research report series. No. ACT-RR Iowa City ACT. Beecher, M., & Fischer, L. (1999). High school courses and scores as predictors of college success. Journal of College Admission, (163), 4-9. Bender, D. S., & Garner, J. K. (2010). Using the LASSI to predict first year college achievement : Is a genderspecific approach necessary? AERA conference, Denver : Colorado. Binet, A., & Simon, T. (1904). Méthodes nouvelles pour le diagnostic du niveau intellectuel des anormaux. L'Année Psychologique, 11(1), Boujut, É., & Bruchon-Schweitzer, M. (2007). Rôle de certains facteurs psychosociaux dans la réussite universitaire d'étudiants de première année. L'orientation scolaire et professionnelle, 32(2), Boulé, S. (2011). Anticipation du rendement des élèves. Monographie n o 1 hors série. Ottawa : CFORP. Boulé, S. (À paraître en 2012). Approche prédictive visant l amélioration du rendement des élèves : Manuel technique et statistique. Ottawa : CLÉ. Campbell, K. C., & Fuqua, D. R. (2008). Factors predictive of student completion in a collegiate honors program. Journal of College Student Retention : Research, Theory & Practice, 10(2), Caro, D. H., McDonald, J. T., & Willms, D. (2009). Socio-economic status and academic achievement trajectories from childhood to adolescence. Canadian Journal of Education, 32(3). Chardonnet, A. & Thibaudon, D. (2003). Le guide du PDCA de Deming : Progrès continu et management. Paris : Éditions d Organisation. Cizek, G. J. (2009). Reliability and validity of information about student achievement : Comparing large-scale and classroom testing contexts. Theory into Practice, 48(1), Cohn, E., Cohn, S., Balch, D. C., & Bradley, J., Jr. (2004). Determinants of undergraduate GPAs : SAT scores, high-school GPA and high-school rank. Economics of Education Review, 23(6), Dufour, R., Dufour, R. & Eaker, D. (2008). Revisiting Professional Learning Communities at Work : New Insights for Improving Schools. Bloomington : Solution-tree. Earl, L. M., & Katz, S. (2008). Leading schools in a data-rich world. California : Thousand Oaks. Education Commission of the States. (2000). Informing practices and improving results with data-driven decisions. ECS Issue Paper, 25. Feeley, T. H, Williams, V. M., & Wise, T. J. (2005). Testing the Predictive Validity of the GRE Exam on Communication Graduate Student Success : A Case Study at University at Buffalo. Communication Quarterly, 53(2), Geiser, S., & Santelices, M. V. (2007). Validity of high-school grades in predicting student success beyond the freshman year : High-school record vs. standardized assessments as indicators of four-year college outcomes. Berkeley : Center for Studies in Higher Education. Gulliksen, H. (1950). Theory of mental assessments. New York : Wiley. Hattie, J. (2009). Visible learning :A synthesis of over 800 meta-analyses relating to achievement. Routledge : London, New York. Kerr, K. A., Marsh, J. A., Ikemoto, G. S., Darilek, H. & Barney, H. (2006). Strategies to promote data use for instructional improvement : Actions, outcomes, and lessons from three urban districts. American Journal of Education, 112, Klapp Lekholm, A., & Cliffordson, C. (2009). Effects of student characteristics on grades in compulsory school. Educational Research & Evaluation, 15(1), Koys, D. (2010). GMAT versus alternatives : Predictive validity evidence from Central Europe and the Middle East. Journal of Education for Business, 85(3),

10 Noble, J. (2000). Effects of differential prediction in college admissions for traditional and nontraditional-aged students. Iowa : ACT. Noble, J. (2003). The effects of using ACT composite score and high school average on college admission decisions for Racial/Ethical groups. ACT research report series. No. ACT-RR ).ACT. Rogers, W. T., Ma, X., Klinger, D. A., Dawber, T., Hellsten, L., Nowicki, D., & Tomkowicz, J. (2006). Examination of the influence of selected factors on performance on Alberta learning achievement assessments. Canadian Journal of Education, 29(3), Ross, J. A. & Gray, P. (2008). Alignment of scores on large scale assessments and report card grades. Alberta Journal of Educational Research, 54(3), Spearman, C. (1904). "General intelligence," objectively determined and measured. The American Journal of Psychology, 15(2), Terman, L. M., & Childs, H. G. (1912). A tentative revision and extension of the Binet-Simon measuring scale of intelligence. Journal of Educational Psychology, 3(2), van Barneveld, C. (2008). Using data to improve student achievement. Monographie What Works? Research into Practice, 15. von Mayrhauser, R. T. (1992). The mental testing community and validity : A prehistory. American Psychologist, 47(2), Wainer, H. (2000). Computerized adaptive testing : A primer (2nd Ed.). N.J. : Lawrence Erlbaum Associates. Willingham, W. W., Pollack, J. M., & Lewis, C. (2002). Grades and assessment scores : Accounting for observed differences. Journal of Educational Measurement, 39(1), Yerkes, R. M. (1919). Report of the psychology committee of the national research council. Psychological Review, 26(2), Ziomek, R. L. & Andrews, K. M. (1996). Predicting the college grade point averages of special- tested students from their ACT assessment scores and high school grades. Iowa : American College Testing Program. Zwick, R., & Greif Green, J. (2007). New perspectives on the correlation of SAT scores, high school grades, and socioeconomic factors. Journal of Educational Measurement, 44(1), Zwick, R., & Sklar, J. C. (2005). Predicting college grades and degree completion using high school grades and SAT scores : The role of student ethnicity and first language. American Educational Research Journal, 42(3),