Evaluations européennes. 1. Introduction. Master 2 : 2010

1 Evaluations européennes 1. Introduction Master 2 : 2010

Présentation 2 Introduction: du Niveau Seuil au CECR Le CECR dans l évaluation de l oral Evaluation des langues en Europe Tâches de production orale Échelles et descripteurs du CECR Production orale : les mesures globales et qualitatives Tâches pratiques d évaluation L évaluation d autres compétences

Evaluation des langues en Europe 3 Du Niveau Seuil au CECR Outils d évaluation: Auto-évaluation: DIALANG Le Portfolio des Langues CECR et certification Intégration du CECR dans les programmes

Niveau Seuil et CECR 4 Le Niveau Seuil du Conseil de l Europe: Van Ek & Alexander (1975) pour la version anglaise Coste et al. (1976) pour la version française Définir les objectifs de l apprentissage des langues en Europe: Les situations dans lesquelles la langue sera utilisée Les activités linguistiques dans lesquelles l apprenant sera engagé Les fonctions linguistiques qu il aura à remplir Ce qu il sera capable de faire par rapport à chaque thème Les notions générales qu il sera capable d exprimer Les notions spécifiques (liées aux thèmes) Les formes linguistiques qu il sera capable d employer Son degré d aptitude

Niveau Seuil et évaluation 5 Les objectifs de l évaluation devraient être les mêmes que les objectifs de l enseignement, pour qu il n y ait pas de conflit entre les deux. Il est possible que des tests entièrement nouveaux devront être élaborés pour accompagner des méthodes fonctionnelles, car nous nous intéressons en fin de compte non pas aux connaissances de l étudiant, mais à ses performances. Van Ek & Alexander (1975: 250) Elaboration des descripteurs (Can Do Statements) du CECR

Exemples de descripteurs Prendre part à une conversation 6 A1 C2

Forces et faiblesses du CECR 7 convergence entre enseignement et évaluation descripteurs valables pour toutes les langues possibilités d autoévaluation pas de mesures quantitatives relation entre échelles globales et qualitatives nuances sémantiques entre descripteurs interprétations divergentes?

Interpréter les descripteurs 8 Aisance à l oral B2 C1 C2

Interpréter les descripteurs 9 Aisance à l oral C1 C2 B2

Outils d évaluation: DIALANG 10 Outil d auto-évaluation diagnostique; test adaptif en ligne: http://www.dialang.org 2 tests préalables: Test initial de niveau (vocabulaire) Auto-évaluation (pour chaque compétence) 5 tests principaux: Compréhension orale Expression écrite Compréhension écrite Structures grammaticales Vocabulaire Disponible dans 14 langues européennes. Mais le serveur est actuellement inaccessible.

Portfolio Européen des Langues 17 Passeport des Langues Vue d'ensemble des capacités de l'apprenant en différentes langues à un moment donné (certifications officielles, compétences langagières, expériences d'apprentissage linguistiques et interculturelles significatives). Biographie Langagière Favorise l'implication de l'apprenant dans la planification de son apprentissage, dans la réflexion sur cet apprentissage et dans l'évaluation de ses progrès. Dossier Sélection des matériaux qui serviront à documenter et à illustrer les acquis ou les expériences mentionnées dans la Biographie Langagière ou le Passeport.

22 PEL: Biographie Langagière (modèle d extrait)

23 PEL: Biographie Langagière (modèle d extrait)

CECR et certification Français: DELF et DALF 24 source: CIEP - http://www.ciep.fr

CECR et certification Anglais: IELTS 25 IELTS: International English Language Testing System CPE: Cambridge Proficiency in English etc. BEC: Business English Certificate CELS: Certificate in English Language Skills NQF: National Qualifications Framework CEF: Common European Framework source: IELTS - http://www.ielts.org/researchers/common_european_framework.aspx

CECR et certification Anglais: TOEIC et TOEFL 26 source: ETS technical reports

CECR et certification Espagnol: Instituto Cervantes 27 Nivel Denominación Diplomas de Español C2 C1 B2 B1 A2 A1 Maestría Dominio operativo eficaz Avanzado Umbral Plataforma Acceso Diploma de Español (Nivel superior) Diploma de Español (Nivel intermedio) Diploma de Español (Nivel inicial)

CECR et certification Certification nationale: CLES 28 CECR C2 Certificat de Compétence en Langues de l Enseignement Supérieur Ces certifications nationales ont-elles un avenir? Duplication de l effort d évaluation Faible reconnaissance internationale Comparabilité des critères CLES C1 CLES 3 B2 CLES 2 B1 CLES 1 A2 A1

29 Les niveaux du CECR

Les niveaux intermédiaires 30 Une approche «flexible» selon les besoins Permet d établir des bandes plus ou moins étroites Des niveau «plus»: A2+, B1+, B2+ Autres exemples de branchement:

Application du CECR: France 31 Les objectifs à atteindre ont été définis par rapport au CECR de la façon suivante : A1 à la fin de l'école primaire, B1 à la fin de la scolarité obligatoire, B2 à la fin des études secondaires, dans la voie générale ou technologique

Application du CECR: Finlande 32 Langue Ecouter Parler Lire Ecrire Anglais A B2.1 B2,1 B2.1 B2.1 Autres A B1.1 B1.2 B1.1 B1.2 B1.1 B1.2 Anglais B1 B1.2 B1.2 B1.2 B1.2 Anglais B2 B1.1 B1.1 B1.1 B1.1 Autres B2 A2.2 A2.1 A2.2 A2.2 B1.1 A2.1 A2.2 Anglais B3 B1.1 A2.2 B1.1 B1.1 Autres B3 A2.1 A2.2 A2.1 A2.1 A2.2 A1.3 A2.1 A = 10-12 années B1 = 8 années B2 = 6 années B3 = 3 années source: Sajavaara Langages, Littératures, 2005, CEL/ELC Sociétésworkshophttp://www.celelc.org/

Application du CECR: Angleterre 33 National Curriculum Levels General Qualifications Languages Ladder stages CEF (approx) 1-3 Entry 1-3 Breakthrough: 1-3 A1 (A2) 4-6 Foundation GCSE (Year 10) Preliminary: 4-6 A2 (B1) 7 - EP Higher GCSE (Year 11) Intermediate: 7-9 B1 AS/A/AEA (Year 13) Advanced: 10-12 B2 Proficiency: 13 Mastery: 14 C1 C2

Qu en est-il réellement? 34 Finlande: fin secondaire France: début supérieur (Bac+1) la tâche

Qu en est-il réellement? 35 B1 A1

Contrôle: travail du semestre 36 1. évaluation et annotation d échantillons de FLE 2. évaluation de vos propres échantillons: choisir un ou plusieurs apprennants élaborer/adapter une tâche appropriée enregistrer (video ou audio) la production évaluer et annoter avec l outil en ligne

37 Evaluations européennes 2. Tâches de production et échelles d évaluation Master 2 : 2010

Tâches de production orale 38 Monologue Présentation, récit, argumentation, exposé, etc. Message téléphonique Interaction (avec un examinateur ou entre candidats) Conversation simulée, jeu de rôle, discussion, etc. Tâches définies par niveau ou «multi-niveaux» Evaluation immédiate ou en différé (entretien enregistré)

39 Exemple de tâche: GCSE foundation - année 10 / 3ème Fiche du candidat (en L1) A2

40 Exemple de tâche: GCSE foundation - année 10 / 3ème Fiche de l examinateur Jeu de rôle 1/6 A2

41 Exemple de tâche: GCSE foundation - année 10 / 3ème Fiche du candidat (en L1) A2

42 Exemple de tâche: GCSE foundation - année 10 / 3ème Fiche de l examinateur Jeu de rôle 6/6 A2

43 Exemple de tâche: GCSE higher tier - année 11 / 2 de Fiche du candidat (en L1) B1

44 Exemple de tâche: GCSE higher tier - année 11 / 2 de Fiche de l examinateur B1

45 Exemple de tâche: GCSE - année 10/11 (3 ème / 2 de) Conversation simulée A2/B1

46 Exemple de tâche: GCSE - année 10/11 (3 ème / 2 de) Conversation simulée A2/B1

47 Exemple de tâche: DELF A1 Fiche du candidat A1

48 Exemple de tâche: DELF A1 Fiche de l examinateur A1

52 Exemple de tâche: DELF B1 Fiche du candidat B1

53 Exemple de tâche: DELF B1 Fiche de l examinateur B1

56 Exemple de tâche: DALF C1 Fiche du candidat C1

57 Exemple de tâche: DALF C1 Fiche de l examinateur C1

60 Evaluations européennes 3. Echelles et descripteurs du CECR Master 2 : 2010

Appliquer les échelles du CECR 61 Echelles globales et qualitatives Evaluation en ligne avec WebCEF Exemples de production orale en français

62 Les échelles du CECR applicables à la production orale Echelle globale (production et réception) 1. Production orale (échelle générale) 1a. Monologue (description / exposé) 1b. Interaction générale Conversation / échange d information 2. Echelles qualitatives: étendue, correction, aisance, (interaction), cohérence 3. Compétences (étendue générale) vocabulaire, grammaire, phonologie, cohérence, aisance, précision

Critères quantitatifs et qualitatifs 63 Les descripteurs du CECR associent deux types de critères: Quantitatifs mesurer le nombre de fonctions, notions, thèmes etc. que l apprenant est capable de traiter. Qualitatifs mesurer le degré d efficacité et de précision B1: Peut assez aisément mener à bien une description directe et non compliquée de sujets variés dans son domaine en la présentant comme une succession linéaire de points. A2: Peut décrire ou présenter simplement des gens, des conditions de vie, des activités quotidiennes, ce qu on aime ou pas, par de courtes séries d expressions ou de phrases non articulées.

Critères quantitatifs et qualitatifs 64 Les descripteurs du CECR associent deux types de critères: Quantitatifs mesurer le nombre de fonctions, notions, thèmes etc. que l apprenant est capable de traiter. Qualitatifs mesurer le degré d efficacité et de précision B1: Peut assez aisément mener à bien une description directe et non compliquée de sujets variés dans son domaine en la présentant comme une succession linéaire de points. A2: Peut décrire ou présenter simplement des gens, des conditions de vie, des activités quotidiennes, ce qu on aime ou pas, par de courtes séries d expressions ou de phrases non articulées.

Relation entre les échelles 65 Linéarité: un apprenant à un niveau donné (par exemple C1) doit-il nécesssairement être capable de faire tout ce qui est associé aux niveaux inférieurs (A2-B2)? Pondération: avoir un niveau global donné (par exemple C1) implique-t-il d avoir un niveau C1 pour tous les aspects de la production orale? Pour une discussion de ces questions, voir: Hulstijn (2007) The shaky ground beneath the CEFR: Quantitative and qualitative dimensions of language proficiency. Modern Language Journal 91

Variabilité des apprenants 66 Capable de faire beaucoup de choses; excellente qualité linguistique Capable de faire beaucoup de choses; qualité linguistique médiocre Capable de faire pas mal de choses; qualité linguistique moyenne Quantité Qualité + + + - = = Capable de faire peu de choses; excellente qualité linguistique - + Capable de faire peu de chose; qualité linguistique médiocre - - Comment évaluer le niveau global des profils 2, 3 et 4?

La pondération des échelles 67 En principe, appliquer d abord l échelle globale Les échelles subordonnées permettent de confirmer (ou non) Ov: globale (overall) Ra: étendue (range) Ac: correction (accuracy) Fl: aisance (fluency) Co: cohérence

CECR: echelle globale 68

Production: échelle générale 69

Monologue: description 70

Monologue: expose 71

Interaction 72

Interaction: conversation 73

Interaction: echange d information 74

75 Echelles qualitatives: C

Echelles qualitatives: B 76 étendue correction aisance interaction cohérence

Echelles qualitatives: A 77 étendue correction aisance interaction cohérence

Competences: etendue generale 78

Vocabulaire 79

Grammaire 80

Phonologie 81

Cohesion 82

Aisance 83

Precision 84

Aides pour l utilisation du CECR 85 Illustrations des niveaux européens (DVD, fiches de commentaire) http://www.coe.int/t/dg4/linguistic/illustrations_fr.asp Manuel pour relier les examens de langues au CECR CEFTrain: http://www.ceftrain.net/

86 WebCEF Un environnement web pour l évaluation collaborative de la compétence orale. Développer une communauté où les enseignants pourront partager leurs évaluations et les faire valider par leurs collègues européens. Des outils pour le partage et l annotation d échantillons de productions orales sur internet.

Pour qui 87 Enseignants de langues en Europe (tous niveaux) Pour comparer leurs évaluations avec celles de leurs collègues européens. Enseignants en formation, et leurs formateurs Pour appliquer et affiner leurs techniques d évaluation dans un environnement collaboratif. Apprenants de langues Pour évaluer leurs productions et les comparer avec celles d autres apprenants

Deux composantes 88 Vitrine Échantillons représentatifs de productions orales aux différents niveaux du CECR, évalués et annotés par des évaluateurs de différents pays Communauté d utilisateurs Évaluation collaborative d échantillons téléchargés par les utilisateurs eux-mêmes

Comment ça marche 89 Enregistrer un échantillon de production orale Décrire la tâche, et télécharger les documents associés Télécharger l échantillon (fichier vidéo ou audio) Evaluer et annoter l échantillon, à l aide de la grille en ligne Publier l évaluation (accord de participation signé par l apprenant)

Exemple 90

Echantillon Enregistrement fait avec un caméscope ou webcam Téléchargé sur le site du projet, qui le transforme automatiquement en format Flash 91

Publier un échantillon 92 Définir la tâche (si elle n existe pas déjà) Télécharger le fichier son/vidéo Evaluer l échantillon en ligne Les copies d écran illustrent ce processus

93 Se connecter http://flashdev.open.ac.uk/webcef/main.php

94 Changer la langue d interface manage groups edit your user account interface language / langue pour l interface

95 Gestion des groupes et des échantillons

Définir la tâche 96

Télécharger l échantillon 97

Evaluer l échantillon 98

Assessment form 99

Résumé de l évaluation 100

Evaluation annotée 101

Ouvert à la communauté 102 L échantillon est maintenant disponible et les autres membres du groupe peuvent le comparer à leurs propres échantillons faire leur propre évaluation de l échantillon voir les évaluations collectives de l échantillon utiliser la même tâche pour enregistrer leurs propres échantillons

Evaluation collective 103