Evaluation practices to support learning in the classroom: How to assess competencies in arithmetic?

Transcription

1 Evaluation practices to support learning in the classroom: How to assess competencies in arithmetic?

2 Framework Educational psychology Teacher assessment Specificity: resolution of arithmetical verbal problems at the end of primary school Key competencies, Knowledge and Skills Cognitive and motivational variables Cognitive variables concern mainly those at stake in the process of resolution (understanding and automatisms) associated with situated motivational variables such as task attraction or failure fear.

3 Conceptual process model Taken into account by the explicit and by the implicit meaning of the statement Phenomenon under investigation Situated motivational variables: task attraction, failure fear, Understanding Mathematical model Arithmetical fact Algorithm of resolution Performance Result Execution

4 Method : Tasks, scores and cognitive clues Complex Task (CT) 1 unworked complex arithmetical words problem Degree of progress Decomposed Task (DT) Automatism Tasks (AT) 5 arithmetical words problems making up CT 1 measure of modelling 1 mental calculation quiz 1 speed competition concerning the elementary skills for CT Clues of statements explicit understanding Clues of statements implicit understanding Score mental calculation Score speed competition

5 Method : Motivational Clues Mathematics General questionnaire Self-related beliefs in mathematics Questionnaire before the CT Feeling of specific selfefficacy in this task Mathematics Final questionnaire Reported effort Failure fear Feeling of specific failure fear in this task Perception of action control Failure fear regarding mathematical assessment Task attraction

6 Studies used Study pupils of the canton of Geneva distributed over 16 classrooms of 7P Harmos (10-11 y) in 15 primary schools. Study pupils of the canton of Geneva distributed over 4 classrooms of 6P (9-10 y - 1 in Educational Priority (REP)) and 4 classrooms of 7P (10-11 y - 3 in REP). Study 3 93 pupils of the canton of Geneva distributed over 6 classrooms of 7P (10-11 y) Study pupils of the canton of Geneva distributed over 10 classrooms of 7P (10-11 y) in 8 primary schools (5REP and 5 ORDI)

7 Results : Performance An important rate of omission for the complex task [Studies: 1,3,4] Only 10 % of the pupils solved four fifth of the task and no more than 80 % of the pupils made more than half of the expected procedures to solve it A rate of errors of contagion between the various parts of the same task [Studies: 1,3,4] A hierarchy of the performances: AT performance > DT performance > CT performance [Studies: 1,2,3,4]

8 Results : Cognitive variables [Study 3] Arithmetical fact Complex to Simple : r(43)=.354, p< Simple to Complex : r(43)=.303, p<.05. ; General : r(86)=.306, p<.001. But (R 2 de 9 à 12.5) Algorithm of resolution No significant relation Measure of modelling Clues of statements implicit understanding Complex to Simple : r(43)=.344, p<.05. R 2 = Simple to Complex : r(43)=.461, p<.05. R2 = 21.2 ; General : r(86)=.401, p<.001. R 2 = 16 Clues of statements explicit understanding Complex to Simple : r(43)=.556, p<.05. R 2 = 30- Simple to Complex : r(43)=.463, p<.05. R 2 = 21.4 ; General : r(86)=.509, p<.001. R 2 = 25.9

9 Results : Motivational variables [Study 1] m r R 2 Feeling of specific self-efficacy in this task ** 21,44 Failure fear in mathematical assessment ** 20,07 Self-related beliefs in mathematics ** 19,62 Failure fear ** 18,66 Task attraction ** 10,30 Feeling of specific failure fear in this task ** 8,29 Perception of action control * 2,04 Reported effort

10 Results : Motivational variables [Study 2] 45 % of 163 pupils have already lost a part of illusion concerning their capacities in mathematics, being translated in an average or even poor selfefficacy. About 40 % worry about a possible failure in mathematics. Near a 1/3 declare not (or no longer) to be sufficiently in control of their action in mathematics. About 20 % have not much attraction, or no attraction at all for mathematics. About 40 % of the pupils declare not to like when they have to repeat something that they learnt in math and both in 5 P and in 4 P these percentages are always a little higher in ordinary than in REP. Attraction for the simple applications: 9 out of 10 pupils declare that they appreciate this type of exercises and more than half of them really enjoys it. Attraction for the resolution of problems: pupils stemming from the ordinary declare themselves the most attracted by this type of task.

11 Results : Factors loadings [Study 1] Bloc A : School marks November school marks March school marks Bloc B : Motivational variables Math self-efficacy Math fear failure Math assessment fear failure Reported effort Perception of action control Bloc C : Cognitive variables Measure of modelling, Clues of statements implicit understanding, Clues of statements explicit understanding

12 Results : order of tasks [Study 3] Pupil performance in the complex task doesn t differ whether they receive this CT first or last. No effect of the order of the tasks on the feeling of selfefficacy in the complex task, nor on the fear of the specific failure in this task. A significant effect of the specific attraction in the task for the complex-simple condition.

13 Results : Students at risk [Study 4] Performance in the various tasks and the role of first language Significant effect concerning the performance in mental calculation No effect concerning the performances in the complex task, neither in the decomposed task, nor in the written calculation Performance in the various tasks and the distinction REP Ordinary No significant difference concerning the various performances according to the network of schooling If the competence " to solve a complex problem " was only taken into account to decide on the success or on the failure, numerous pupils would be in failure

14 Discussion : What are the schooling factors that enhance youth achievement? To aim at the equality of the achievement via the competencies-based approach? Implementation of educational policies and reforms Pedagogical practices Knowledge of the processes Consideration of cognitive indicators Understanding of the explicit and the implicit of the statements Arithmetical fact and Algorithm of resolution Consideration of motivational variables Mathematics self-efficacy Task attraction Feeling of specific failure fear in this task Evaluation forms (mainly formative)

15 Thank you!

16 References Study 1 Marcoux, G. (2012). Tâches scolaires et mobilisation adaptée des procédures : quels paramètres sont influents? Thèse de doctorat, Faculté de Psychologie et des Sciences de l Education, Université de Genève (Suisse), archives ouvertes : Study 2 Marcoux, G. (2012). Différences entre élèves dans trois types de tâches en mathématiques : quelques variables à prendre en compte pour éviter d engendrer des inégalités (pp ) In J. Beckers, J. Crinon et G. Simons (Ed.), Approche par compétences et réduction des inégalités entre élèves : de l analyse des situations scolaires à la formation des enseignants. Bruxelles : De Boeck. Study 3 Marcoux, G. (2014). Résolution de problèmes arithmétiques dans le cadre d une approche par compétences : ordre des tâches et parts d influence de quelques facteurs cognitifs et motivationnels. Les Cahiers des Sciences de l Education, 36, Study 4 Marcoux, G., Dutrévis, M., & Crahay, M. (à paraître). Apprentissage et inégalités dans l enseignement primaire : le cas du Canton de Genève. In G. Felouzis & G. Goastellec (Eds), Grandir en Suisse : des inégalités scolaires aux inégalités sociales. Berne : Peter Lang.

17 Complex task

18 Decomposed task

19 Measure of modelling indication

20 Automatisms Tasks Mental calculation quizz Speed competition concerning the elementary skills for CT

21 General questionnaire Mathematics 3 En classe, certains élèves aiment quand ils doivent répéter ce qu ils ont appris par cœur en math (par exemple les tables de multiplication) D'autres n aiment pas quand ils doivent répéter en classe ce qu ils ont appris par cœur en math je suis O O O O comme eux un peu comme eux un peu comme eux comme eux 4 En classe, certains élèves aiment lorsqu ils doivent appliquer quelque chose qu ils connaissent déjà dans un nouvel exercice de math D'autres n aiment pas appliquer ce qu ils connaissent déjà dans un nouvel exercice de math en classe je suis O O O O comme eux un peu comme eux un peu comme eux comme eux 5 En classe, certains élèves aiment les exercices où il faut trouver la réponse en mélangeant plusieurs choses qu ils ont apprises en classe (par exemple les problèmes) D'autres n aiment pas ces exercices je suis O O O O comme eux un peu comme eux un peu comme eux comme eux

22 Questionnaire in the Introduction of the CT Comment te sens-tu pour faire cet exercice de math tout seul? O O O O calme plutôt calme un peu nerveux très nerveux As-tu peur de ne pas arriver à faire cet exercice? O O O O très peur assez peur un peu peur pas peur As-tu envie de faire cet exercice de math? O O O O très envie assez envie un peu envie pas envie Auras-tu du plaisir à faire les calculs de l'exercice de math? O O O O beaucoup assez un peu pas du tout Est-ce que ça t'ennuie de faire cet exercice de math? O O O O beaucoup assez un peu pas du tout Comment trouves-tu cet exercice de math? O O O O très facile assez facile un peu difficile difficile Penses-tu que tu peux réussir cet exercice de math? O O O O entièrement un peu pas trop pas du tout Penses-tu que tu es assez fort pour faire cet exercice de math tout seul? O O O O très fort assez fort un peu fort pas fort Aimes-tu ce genre d exercice? O O O O j adore j aime j aime pas trop je déteste Trouves-tu que c est utile de faire ce type d'exercice en math? O O O O très utile un peu utile pas très utile inutile Comment trouves-tu cet exercice de math? O O O O très intéressant intéressant pas trop intéressant pas intéressant

23 Final questionnaire Mathematics Tu penses que tu as réussi la tâche 1 O O O O très bien assez bien pas trop bien pas bien tâche 2 O O O O très bien assez bien pas trop bien pas bien tâche 3 O O O O très bien assez bien pas trop bien pas bien tâche 4 O O O O très bien assez bien pas trop bien pas bien Penses-tu que tu étais assez fort pour faire la tâche 1 O O O O très fort assez fort un peu fort pas fort tâche 2 O O O O très fort assez fort un peu fort pas fort tâche 3 O O O O très fort assez fort un peu fort pas fort tâche 4 O O O O très fort assez fort un peu fort pas fort As-tu aimé la tâche 1 O O O O j ai adoré aimé un peu aimé pas trop j'ai détesté tâche 2 O O O O j ai adoré aimé un peu aimé pas trop j'ai détesté tâche 3 O O O O j ai adoré aimé un peu aimé pas trop j'ai détesté tâche 4 O O O O j ai adoré aimé un peu aimé pas trop j'ai détesté