CREÉ. La méthode de conversion des cotes de rendement au collégial (cotes R) en moyennes cumulatives en pourcentage (MC) Denis Savard Serge Sévigny

Transcription

1 La méthode de conversion des cotes de rendement au collégial (cotes R) en moyennes cumulatives en pourcentage (MC) Denis Savard Serge Sévigny Communauté de recherche et d entraide en éducation

2 Question de recherche Quels paramètres doit-on appliquer aux cotes R des finissants de cégep pour les convertir en moyennes cumulatives en pourcentage qui soient équivalentes à celles des finissants des écoles secondaires des autres provinces canadiennes? Intérêt: sélection dans les programmes contingentés octroi de bourses, de prix palmarès d établissements mesure de la performance des établissements, des systèmes

3 Objectif de l atelier Présenter les fondements de la formule de conversion adoptée par les universités du Québec dans le cadre du palmarès des universités du magazine Maclean s.

4 Formule de conversion de l UdeM (1) (appliquée jusqu en 2003) MC = 75,72 + k (CRC -25,55) 75,72, soit la moyenne observée des MC pour l ensemble des finissants du collégial en 1999.

5 Formule de conversion de l UdeM (2) MC = 75,72 + k (CRC -25,55) 25,55, soit la moyenne observée des CRC pour l ensemble des finissants du collégial en 1999.

6 Formule de conversion de l UdeM (3) MC = 75,72 + k (CRC -25,55) k, la valeur du rapport t/s, où s et t représentent respectivement les écarts types des CRC et des MC tels que calculés en La valeur de cette constante a été estimée à 4.

7 Contestation de la formule de l UdeM (1) MC = -26,48 + 4,0 CRC (UdeM) La formule produit, au niveau des scores individuels convertis, des valeurs aberrantes : les valeurs de CRC au dessus de 32 se traduisent par une MC supérieure à 101,52.

8 Contestation de la formule de l UdeM (2) MC = -26,48 + 4,0 CRC (UdeM) La valeur de la constante est probablement trop élevée; sur la base de la documentation consultée cette constante devrait avoir une valeur moindre.

9 Contestation de la formule de l UdeM (3) MC = -26,48 + 4,0 CRC (UdeM) La constante devrait avoir une valeur moindre, estimée à k=1,4. MC = 39,95 + 1,4 CRC (Maclean s)

10 Contestation de la formule de l UdeM (4) MC = -26,48 + 4,0 CRC (UdeM) Cette valeur s appuie sur des informations à l effet que le 80e percentile des CRC des diplômés en sciences (CRC = 32) correspond à une moyenne cumulative brute de 84,8 %. MC = 39,95 + 1,4 CRC (Maclean s)

11 Contestation de la formule de l UdeM (5) MC = -26,48 + 4,0 CRC (UdeM) La valeur de k réduit l occurrence de valeurs aberrantes : une CRC de 45 correspond à une MC de 103 % (au lieu de 154 %, comme c est le cas dans la formule de conversion de l UdeM) MC = 39,95 + 1,4 CRC (Maclean s)

12 Formules de conversion UdeM vs Maclean s MC CRC UdeM Maclean's

13 Pourquoi convertir les cotes R? (1) Puisque la moyenne cumulative brute au collégial de chaque étudiant est théoriquement connue, pourquoi ne pas calculer la moyenne de ces moyennes cumulatives brutes et la rapporter directement à Maclean s plutôt que de passer par une conversion des cotes R qui tente d estimer cette même information avec plus ou moins de précision?

14 Pourquoi convertir les cotes R? (2) Au-delà du consensus sur les effets bénéfiques de la cote R: 1. les différences dans les cursus; 2. les différences dans les populations de référence; et, 3. les différences dans les échelles utilisées.

15 Impacts de l application de la formule de conversion du Maclean s (1) UdeM Québec F Colombie Britannique Québec A Saskatchewan Ontario Canada (excluant Québec) Nouvelle-Écosse Alberta Manitoba 86,73 86,59 86,07 85,30 84,71 84,59 84,08 83,46 82,

16 Impacts de l application de la formule de conversion du Maclean s (2) Maclean s Colombie Britannique 86,59 Saskatchewan Ontario 85,30 84,71 Canada (excluant Québec) 84,59 Nouvelle-Écosse 84,08 Alberta 83,46 Manitoba 82,70 Québec (A) 81,62 Québec (F) 79,

17 Études de validité concourante Conseil des ministres de l éducation du Canada (CMEC) Educational Testing Services (ETS) International Association for the Evaluation of Educational Achievement (IEA) Organisation de coopération et de développement économiques (OCDE)

18 Résultats des élèves québécois francophones (CMEC) 1er en écriture chez les étudiants de 16 ans (2002); 1er en écriture chez les 13 ans (2002); 1er en mathématiques (contenu) chez les 13 ans (2001); 2e en mathématiques (résolution de problèmes) chez les 13 ans (2001); 1er en sciences (épreuve pratique) chez les 16 ans (1999); 3e en sciences (épreuve écrite) chez les 16 ans (1999); 3e en sciences (épreuve écrite) chez les 13 ans (1999); 1er en lecture chez les 16 ans (1998); et 1er en lecture chez les 13 ans (1998).

19 Résultats des élèves québécois (international) 2e en mathématiques (derrière le Japon; 1er parmi toutes les populations occidentales); 4e en sciences (après la Corée, le Japon et l'alberta); et 4e en écriture (à la suite de l'alberta, la Finlande et la Colombie- Britannique).

20 Ogive logistique (1) 1,00 0,50 c a 0,00-3,0-2,0-1,0 0,0 1,0 2,0 3,0 b Y = c +((1-c) /(1+ e-1,7 a (z-b) ))

21 Ogive logistique (2) Où, le paramètre a est une valeur proportionnelle à la pente au point d inflexion de l ogive; le paramètre b, la valeur de l abscisse au point d inflexion; le paramètre c, la valeur de la limite de l asymptote inférieure (la valeur limite de l asymptote supérieure étant égale à 1,0); et z, le score z de la cote R à convertir référence de 2002, moyenne = 28,15, écart type = 4,04, n = 9244 dossiers de nouveaux entrants aux universités Laval, de Montréal (sans HEC et polytechnique) et de Sherbrooke.

22 Ogive logistique et courbe normale: exemples du Maclean s Maclean's- 1. Moyenne à l'entrée Maclean's- 2. Proportion d'étudiants présentant une moyenne supérieure à 75 % à l'entrée 12,0 3,0 10,0 8,0 2,0 6,0 4,0 1,0 2,0 0,0 81,0 82,0 83,0 84,0 85,0 86,0 87,0 88,0 89,0 Maclean's (normale) Logistique (1,0,0) 0,0 80,00 85,00 90,00 95,00 100,00 Maclean's (normale) Logistique (1,0,0)

23 Paramètres de conversion Pour obtenir une pente = 1,4, la valeur du paramètre a qui correspond à une telle pente, compte tenu de la distribution observée et de la valeur des autres paramètres, s établit à a =0,4. b = 1,05: distance, exprimée en écart type (8,44), entre la moyenne cumulative brute des cégépiens (75,72 %) et la moyenne canadienne excluant le Québec des entrants universitaires (84,59 %). c = 0,6, valeur qui traduit la limite inférieure de la moyenne cumulative pour être admis directement du collège à l université dans un programme de baccalauréat (60 %).

24 Logistique vs Maclean s y = 1,40x + 46,85 R 2 = 0,99 90 MC y = 1,40x + 39, CRC Maclean's Logistique (0,40;-1,05;0,60) Linéaire (Logistique (0,40;-1,05;0,60))

25 Comparaison UdeM, Maclean s, Logistique Tableau 1. Comparaison des moyennes cumulatives des universités francophones telles que calculées par les conversions Maclean s, UdeM et logistique (automne ) Université N Moyenne Moyenne cumulative convertie Cote R Maclean's UdeM Logistique Laval ,82 78,90 84,81 85,79 Sherbrooke ,75 78,80 84,51 85,67 UdeM (UdeM) ,72 80,15 88,39 87,09 Ensemble ,15 79,36 86,12 86,26

26 Références (1) Association des universités et des collèges canadiens (AUCC) (2002). Maclean's Survey Results Data. Fichier Excel mis à jour annuellement. Ottawa (ON). Conférence des recteurs et des principaux d université du Québec, CREPUQ (2000). La cote de rendement au collégial ce qu elle est, ce qu elle fait Document approuvé le 30 novembre 2000 par le comité de gestion des bulletins d études collégiales. Montréal (QC). Conseil des ministres de l'éducation du Canada (CMEC) (1998). PIRS - Programme d'indicateurs du rendement scolaire Évaluation en mathématique. Toronto (OT). Page , Conseil des ministres de l'éducation du Canada (CMEC) (1999). PIRS - Programme d'indicateurs du rendement scolaire Évaluation en lecture et écriture. Toronto (OT). ISBN Page , 113, , , 133, 134. Conseil des ministres de l'éducation du Canada (CMEC) (2000). PIRS - Programme d'indicateurs du rendement scolaire Évaluation en sciences. Toronto (OT). ISBN Pages Conseil des ministres de l'éducation du Canada (CMEC) (2001). PIRS - Programme d'indicateurs du rendement scolaire Rapport sur l'évaluation en Mathématiques III. Toronto (OT). Pages 124 et 131. Conseil des ministres de l'éducation du Canada (CMEC) (2002). PIRS - Programme d'indicateurs du rendement scolaire Écriture III. Toronto (OT). Pages Développement des ressources humaines Canada (DRHC), Statistiques Canada (Statcan) et Conseil des ministres de l'éducation du Canada (CMEC) (2000). À la hauteur: La performance des jeunes du Canada en lecture, en mathématiques et en sciences - Étude PISA de l'ocde - Premiers résultats pour les Canadiens de 15 ans - Les points saillants. Ottawa (ON). Adresse internet: Pages 4, 6.

27 Références (2) Educational Testing Service (1989). A World of Differences - An international Assessment of Mathematics and Sciences (IAEP' 88). Princeton (NJ). ISBN Figure 1.1, p. 14 et Figure 4.1, p. 36. Lord, F.M. (1980). Applications of item response theory to practical testing problems. Educational Testing services, Laurence Erlbaum Associates Publishers, ISBN X. Ministère de l'éducation du Québec (2000). Les élèves québécois excellent en mathématiques- Communiqué de presse (7 décembre 2000). Gouvernement du Québec, Québec (QC). Annexes 1 et 2. Ministère de l Éducation du Québec (2003). Indicateurs de l'éducation, édition Gouvernement du Québec, Québec (QC). Registrariat de l Université de Montréal (2001). Méthode de calcul des indicateurs de Maclean's. Université de Montréal, Montréal (QC). Savard, D. (2003). La méthode de conversion des cotes de rendement au collégial (cotes R) en moyennes cumulatives en pourcentage (MC). Bureau de planification et de recherche institutionnelle (BPEI), Fondements et pratiques en éducation, Université Laval, Québec (QC). Savard, D. (2003). Résultats comparatifs obtenus par le Québec à diverses épreuves de rendement scolaire - Concordance avec la méthode de conversion proposée par le Maclean's. Bureau de planification et de recherche institutionnelle (BPEI), Fondements et pratiques en éducation, Université Laval, Québec (QC). Sévigny, S. (2006). Évaluation à grande échelle de l'écriture - Validité des comparaisons entre les scores holistiques d'élèves canadiens anglophones et francophones. Thèse de doctorat. Faculté des Sciences de l'éducation, Université Laval, Québec (QC).

28 Cette présentation peut être consultée sur le site Communauté de recherche et d entraide en éducation

29 Chercheurs Équipe de chercheurs : Denis Savard et Serge Sévigny Denis Savard Serge Sévigny Professeur Département des Fondements et pratiques en éducation, Tour des sciences de l éducation, bureau 446, Université Laval, Québec (Québec), G1K 7P4 Téléphone : (418) poste Denis.Savard@fse.ulaval.ca Professeure Département des Fondements et pratiques en éducation, Tour des sciences de l éducation, bureau 450, Université Laval, Québec (Québec), G1K 7P4 Téléphone : (418) poste 4043 serge.sevigny@fse.ulaval.ca