Evaluation et Certification

Transcription

1 Evaluation et Certification SLIDE 1 Tout d abord, mes remerciements aux organisateurs multiples de cette journée d études pour l invitation à venir ici aujourd hui. Et mes excuses aux collègues nonanglicistes, car mes connaissances en allemand ou en espagnol, par exemple, ne me permettent pas de commenter les épreuves de ces langues. Ceci dit, certaines des certifications que je vais mentionner existent pour plusieurs langues et les cadres théoriques restent inchangés : c est notamment le cas pour le DCL et le CLES. La recherche-action part toujours d un constat sur le terrain pour rechercher des réponses éventuelles à ce constat. Si je me pose des questions sur l évaluation et la certification, c est parce que je constate que cela reste une question épineuse dans beaucoup d universités et autres institutions tertiaires, en France, comme ailleurs. La toile de fond à cette présentation est donc la réalité sur le terrain, ou plutôt sur plusieurs terrains. Que veulent les universités et les employeurs et est-ce les mêmes souhaits dans les deux cas? Que veulent les étudiants? Comment les étudiants et les enseignants vivent-ils les différents modes d évaluation? Quels enjeux pour les acteurs impliqués dans ces évaluations? Mon point de départ pour cette présentation est lui-même sujet à question pourquoi cherche-t-on une certification en langues? Cette présentation est conçue à partir de réponses à cette question : 1. Les étudiants ont besoin d une certification reconnue afin de pouvoir soit entrer dans la vie active, soit poursuivre des études dans une autre institution, et ceci en France, comme à l étranger. Cependant, la majorité de nos étudiants ne ciblent pas un séjour d études dans un pays étranger alors, on a peut-être tort de baser nos évaluations certificatives sur ce qui est accepté comme preuve de compétence en langues par une université. 2. La situation historique, où chaque institution évalue le niveau en langues de ces étudiants en utilisant des tests locaux, ne peut pas subsister pour la simple raison déjà évoquée cela veut dire quoi, 13/20 en anglais à Nantes, par exemple? L évaluation locale ou «maison» n est pas reconnue à la même hauteur que les évaluations nationales et internationales. Mais il y a une autre question veut-on évaluer ou certifier? Cette question a été posée sur l annonce de cette journée d études en opposant une évaluation «maison» à une évaluation certificative externe. SLIDE 2 Commençons par des définitions courantes des deux termes. Vous savez, les anglais aiment jouer, aiment l interaction, alors, je vous invite à réfléchir deux secondes sur vos propres définitions des deux termes certification et évaluation.... Ensuite, je vous invite à les comparer avec les définitions données ailleurs et avec les Jemma Buck, MCF- Anglais, Université de Nantes 1

2 représentations d autres enseignants. Pour ce faire, je fais appel aux représentations recueillies des congressistes APLIUT de juin L évaluation est définit par le CECRL comme un recueil systématique d informations de toute nature (qualitatives, quantitatives...). «Il est désormais admis qu une évaluation, pour être valide, exige que l on dispose d un échantillon de types représentatifs du discours». Le cadre identifie 26 types d évaluation sur une liste non-exhaustive. Les représentations des congressistes APLIUT incluent la notion d un processus global, mais aussi d appréciation de la performance d un apprenant, un niveau de compétence. Par contre, on retrouve également les notions de norm referencing, ou comment l individu se place par rapport à ses paires, et criterion refencing, sa performance dans l absolu. Les mots clés semblent être «échantillonnage» et «interprétation pour prise de décision». Le CECRL définit la certification comme «l attestation de savoir-faire caractérisant la mise en oeuvre de la compétence en langue, critérié ou calibré, étalonné.» Autrement dit, et on retrouve cette représentation de la certification reflété chez nos collègues, c est l attestation d un niveau selon une norme, c est accrédité par un organisme, souvent externe mais pas toujours, cela intervienne en fin de parcours, c est binaire (on l a, on ne l a pas). Par contre, la notion d obligation est souvent absente des représentations de nos collègues. Dans le secteur LANSAD on peut avoir sa licence ayant échoué au niveau de l anglais, par exemple. Le deuxième élément un peu étonnant, c est que la certification n est pas forcément corrélée avec des notes. Les mots-clés semblent être «sommative» et «attestation selon une norme». Notez que les mots contrôle, épreuve, test, examen, n apparaissent pas ici. Ces mots sont lourds de sens, surtout les deux premiers, avec des notions de sanction, de validation, et la valeur juridique mais aussi de soumission on se soumet à un contrôle. Epreuve et contrôle semblent être associée à une évaluation sommative, tandis que test et examen s associent plus facilement à une évaluation formative. Les mots test et examen renvoient à une image de bilan. J aimerais ici jouer à l avocat de diable et demander : dans les évaluation récentes de fin de premier semestre dans vos établissements, quel mot avez-vous choisi épreuve, examen, test, contrôle? SLIDE 3 La recherche que j ai effectué pour ma thèse m a emmenée à rebrasser un chemin que certains entre vous ont déjà emprunté. Face à une situation où les apprenants étaient insatisfaits de l évaluation de leurs compétences en langues avec des effets très néfastes sur l apprentissage en termes de motivation et volonté de participer activement au cours, il a fallu que je propose autre chose comme évaluation. Je ne veux pas passer en revue tout le cadre théorique sur l évaluation, mais certaines notions sont importantes pour ce que je vais dire par la suite. Je ne veux surtout pas apprendre à des singes à faire des grimaces, ou aux grand-mères de Jemma Buck, MCF- Anglais, Université de Nantes 2

3 sucer les oeufs, comme on dit dans mon pays, mais voici les notions qui servent de toile de fond à ma réflexion. Une sorte de lexique pour mon discours. En anglais, le terme «stakeholders» est utilisé pour désigner tous ceux qui ont un rôle à jouer le candidat, l enseignant, l institution, l employeur,... Le terme «acteurs impliqués dans l évaluation» sera utilisé dans mon discours. Je reviens dans quelques instants sur les différents modes courants d évaluation et les arguments pour ou contre chacun d entre eux. D abord, la faisabilité de l évaluation est importante. La faisabilité de la part du candidat, bien sûr, mais aussi de la part de l institution : une évaluation trop coûteuse en heures d enseignement, ou trop coûteuse sur le plan financier, ou trop coûteuse sur le plan matériel, ne va pas plaire aux divers acteurs de l évaluation. Du moment que l on considère un test comme un instrument de mesure, les deux concepts de fiabilité et validité entrent en jeu. La validité se décompose en plusieurs types. Une évaluation qui correspond aux théories qui sous-tendent l apprentissage et l acquisition sera mieux appréhendée par les acteurs ce serait la validité théorique. Dans la situation où se trouvent la plupart des étudiants, ce sont les validités prédictive et faciale qui remontent en importance. En ce qui concerne la validité prédictive, il s agit de la valeur de la mesure pour prédire la capacité du candidat à employer la langue dans une situation réelle. Plusieurs travaux de recherche ont établi la corrélation, ou manque de corrélation, entre le score TOEFL et la compétence une fois l étudiant étranger inscrit dans une université. La validité prédictive est plus élevée dans un test de performance. Quant à la validité faciale, un employeur potentiel ou une université d accueil qui ne reconnaît pas le diplôme offert par l étudiant va utiliser ceci comme une raison pour ne pas accepter sa candidature. Parmi les sources de cette validité faciale, le CLES fait appel aux réactions des candidats, mais on peut aussi inclure les réactions des évaluateurs, des administrateurs et des autres acteurs de l évaluation. Le concept de validité faciale est souvent évoqué en considérant la validité des tests communicatifs avec leur contenu proche de l emploi réel de la langue et leur accent sur le monde réel. Cette validité faciale peut influencer la validité de la réponse aussi, car si le candidat ne croît pas dans la validité de l évaluation, il ne va pas utiliser toute sa capacité pour répondre aux questions. Il se contentera d une réponse minimale, constat récurrent dans quelques évaluations locales le test est pris comme un exercice où il suffit d avoir 10 sur 20. Quant à la fiabilité, il y a plusieurs facettes encore. Un candidat qui passe deux fois une épreuve pour le même certificat, ou deux épreuves du même niveau, aura-t-il le même résultat? Est-ce que l épreuve répond à des normes de certification? La fiabilité intra- et inter-examinateurs aussi est à mettre en question. Comment l assurer? La suite de ce discours décrit les différentes certifications sur le marché avant de les comparer sur des continua de validité, faisabilité et fiabilité. Jemma Buck, MCF- Anglais, Université de Nantes 3

4 SLIDE 4 Revenons maintenant sur les différents modes d évaluation qui mènent vers une certification. Il semblerait qu il y a deux modes bien distincts dans les évaluations certificatives : les tests de connaissances, où le savoir empirique et académique, une connaissance de la langue en tant que système, résultera en un bon score, et les tests de compétence, qui mettent l accent sur les autres savoirs, le savoir-faire, savoir agir, savoir-être, savoir interagir et savoir apprendre, où la langue est à utiliser. Dans un test de connaissance, les différentes compétences sont évaluées séparément il y a l épreuve de compréhension de l écrit avant ou après, mais distincte de la compréhension de l oral ou l expression écrite. L épreuve de connaissance grammaticale qui figure dans le TOEIC, le TOEFL, le WELT et beaucoup d autres certifications, est le plus souvent composé d items discrets, sans lien entre eux. Il s agit d une gymnastique intellectuelle. Le candidat a un objectif scolaire réussir l épreuve. Il n y a aucune raison pour qu il comprenne quoi que ce soit dans le document. Il ne s y engage pas. Je n ai pas pu vérifier le contenu du nouveau test de Speaking and Writing du TOEIC, mais le site web parle de 11 questions pour l oral et 8 pour l écrit. Il ne parle pas de tâches. Et il faut reconnaître que la majorité des candidats TOEIC vont se limiter aux parties de compréhension. La majorité des évaluations certificatives, même celles ou les «questions» portent sur un texte et sont, donc contextualisées, adoptent les modes suivants pour tester la compréhension : - des QCM et pourtant il est bien reconnu qu un QCM ne donne pas de résultats valides et fiables, même en compréhension, sauf si les réponses offertes diffèrent peu et demandent une compréhension plus fine de la part du candidat. Ayant échoué plusieurs fois dans la tâche, je peux vous confirmer qu un bon QCM est très difficile à concevoir. - des réponses en Vrai/Faux qui donnent des résultats plus fiables et valides si la question demandent aussi une justification ou offre une troisième possibilité qui est l absence d information. Cette justification peut se faire sous forme de «drag and drop». - des textes à trous qui donnent des résultats un peu plus valides et fiables parce qu il faut avoir compris le sens de la phrase pour pouvoir trouver le mot juste mais est-ce qu on teste la compréhension ou le lexique? - l appariement de débuts et fin de phrases mais est-ce qu on teste la compréhension ou la grammaire? Si le candidat peut mettre en oeuvre ses connaissances grammaticales afin de trouver la bonne réponse, alors on ne teste pas la compréhension. - la discrimination auditive qui ne teste pas la compréhension proprement dit mais les connaissances de la phonologie de la langue Ces exercices de compréhension évaluent plutôt les capacités de reconnaissance lexicale que la compréhension. Si on compare cette batterie d exercices à nos critères de validité, elle aurait un score très bas, sauf pour la validité faciale. Jemma Buck, MCF- Anglais, Université de Nantes 4

5 Pourquoi? Parce que cela correspond aux représentations des candidats de ce qu est un test. Même le CLES utilisent cette batterie d exercices. Mais il existe une bonne raison pour opter pour ce genre d exercice. La notation de questions fermées, de QCM et de Vrai/Faux est beaucoup plus facile et peut se faire par ordinateur, et pour les questions de faisabilité institutionnelle, le coût en heures enseignant est réduit. Qui plus est, la fiabilité inter- et intra-examinateur est garantie. L importance de ces aspects de la faisabilité et de la fiabilité dans le choix de type d évaluation est nonnégligeable. Pour toutes ces épreuves de connaissances, l exercice et l input constituent les seules formes de différentiation. Et la réponse est correcte, ou non. Il n y a pas de place pour la nuance. Je vais faire une petite parenthèse : les démarches d enseignement ne font pas partie de mon discours aujourd hui, mais la moitié du mon travail concerne ces démarches et on doit se poser la question de l effet de retour d une évaluation en items discrets sur les démarches d enseignement. Je ne vais pas aller plus loin. Seul le DCL et le CLES optent pour un test intégré de performance. Pourquoi? On a déjà évoqué la question de ce qu on teste lors d une épreuve dite «compréhension» si le moyen de l évaluer fait recours à l écrit. Le DCL surtout souscrit à la notion que la compréhension est interne et que ce qu on peut évaluer, c est ce qu on fait avec ce qu on a compris. Le candidat a une bonne raison pour effectuer la partie «compréhension» de l épreuve. Il a besoin d effectuer les tâches de compréhension pour alimenter sa production et interaction écrites et orales. Le DCL diffère du CLES car il n y a pas de questions directes le candidat dispose de feuilles de guidage de sa sélection, tri et hiérarchisation des items qu il considère pertinents à sa mission. Il n y a pas de résultat incorrect, du moment où le candidat est en mesure de l argumenter, justifier, fournir des preuves tirées de sa compréhension. Ce qui est intéressant ici, c est que la situation n a guère évolué depuis que Chalhoub-Delville (2001) a remarqué la pénurie d exemples de l évaluation par les tâches. Ce mode d évaluation reste l exception, et non la règle. Avant d examiner le cas des tests intermédiaires, nous allons examiner de plus près le CLES et le DCL, les deux exceptions à la règle les plus intéressantes. Les deux prétendent d évaluer ce dont le candidat est capable de faire dans une situation authentique. Tous les deux utilisent le mode scénario, même si le scénario CLES est moins élaboré que le scénario DCL. Le candidat effectue une séries de tâches dans le but d accomplir une mission. Nous avons déjà vu que le CLES diffère du DCL dans sa batterie d exercices de compréhension, mais une autre différence non négligeable est ce que j appelle différenciation par résultat. Un candidat CLES 1 a, ou n a pas, le certificat au niveau B1 et en fait, le taux de validation tourne autour de 40%. Un candidat DCL peut avoir son diplôme au degré 1, 2, 3 4 ou 5, selon sa performance. Encore une grande différence entre le CLES et le DCL : l interaction n intervient qu au CLES 2. Quant à la faisabilité de la tâche par le candidat, lors du scénario DCL, c est lui qui gère le temps imparti aux phases de compréhension, Jemma Buck, MCF- Anglais, Université de Nantes 5

6 tandis que lors du CLES, cette gestion est imposée. Deuxième aspect de la faisabilité à mentionner : lors de l interaction en CLES 2, deux candidats font un jeu de rôle. Or, si un des candidats est plus faible / ne joue pas son rôle / domine /... cela peut nuire à la performance de l autre candidat. D où l importance d une démarche d enseignement qui prépare les candidats à ce genre de tâche. L effet de retour des évaluations qui comportent un élément d interaction est de recentrer l apprentissage sur l oral. Ayant vu les deux exemples franco-français de ce type d évaluation, le CLES et le DCL, tournons vers les autres exemples de l évaluation certificative qui comportent des tâches. SLIDE 6 Des tests intermédiaires entre les deux modes déjà évoqués existent. En ce qui nous concerne, les tests de UCLES qui correspondent aux attentes de nos étudiants sont le CAE (Cambridge Advanced English), CPE (Cambridge Proficiency in English), et le IELTS. Dans les deux premiers cas, il y a 5 épreuves, y compris une épreuve de connaissances grammaticales et une interaction orale. Ces dernières diffèrent des interactions CLES et DCL. Les candidats font les jeux de rôles sans que ce soit la suite logique des autres épreuves. Autrement dit, c est une tâche décontextualisée. Le tout prend presque 6 heures, ce qui représente un investissement énorme de la part du candidat. Pour le IELTS, l épreuve dure moins longtemps, et inclut une partie interactive. Cependant, il s agit toujours de la même batterie d exercices qu on a vu auparavant, sans objectif réel. Si on parle du coût financier de certains diplômes, le coût du TOEIC est assez élevé (50 à 80 euros par candidat). Avec le rajout du nouveau test d expression, le coût s élève rapidement. Le DCL est relativement peu cher, à environ 70 euros par candidat. Le CLES, encore une fois, est difficile à chiffrer. A Poitiers, pour le CLES 1, nous avons réussi, par le biais du multimédia, à le réduire à environ 25 euros sans frais de gestion. Les certifications les plus chers sont le CAE, à environ 140 euros et le IELTS, dont le coût peut s élever à 175 euros. Mais qui devrait payer pour la certification de nos étudiants? Et les institutions universitaires françaises, devraient-elles déléguer la certification des compétences en langues à des organismes privés? Si la mission de nos universités est de certifier la compétence de nos étudiants en Géographie, sciences de la vie... pourquoi pas leurs compétences dans les outils de communication nécessaire pour rentrer dans la vie active? C est surtout d une grande importance dans le secteur LANSAD. SLIDE 6 Si l évaluation est perçue comme formative, cela implique un retour et donc une justification de l attribution de la note. La certification, elle, est souvent sans retour autre que l attribution du certificat. Les étudiants ont intérêt de demander comment ils sont notés. Dans les représentations recueillies, le mot barème est souvent évoqué par rapport à la certification et par rapport à l évaluation. En attribuant plus de points à une réponse considérée plus difficile à trouver, une forme simple de la Jemma Buck, MCF- Anglais, Université de Nantes 6

7 pondération entre en jeu. Le TOEIC/TOEFL utilise un barème très simple d attribution de points, les autres certifications mentionnées optent pour un barème et une attribution du certificat plus compliqués, à l aide de grilles de critères et indicateurs de performance. Les grilles de ce type ne sont pas uniquement le ressort de la certification, on les trouve également dans les domaines de l apprentissage sous forme d auto évaluation et de bilan en amont ou en aval d une formation (par exemple, DIALANG, ALTE et les grilles du CECRL. Tandis que le rôle des grilles dans la certification se limite, dans la plupart des cas, aux tâches d expression et d interaction, ils existent aussi pour la compréhension. Vous n avez qu à regarder les grilles du CECRL pour un éventail très large de ces grilles. Mais le grand problème avec les grilles c est les indicateurs de performance choisis. C est quoi, un bon indicateur? Selon le CECRL, il est court, précis, simple à comprendre, exprimé en terme positifs et indépendant. Mais la rédaction des indicateurs n est pas une chose facile. Ceux qui ont analysé plus finement les grilles du Cadre ont trouvé des instances de manque de cohérence, par exemple. Certains indicateurs que j ai choisis pour les grilles de mes évaluations locales n étaient pas rédigés en termes positifs. Se limiter à 28 mots n est pas chose facile. Les grilles du CLES sont plutôt réductrices. Mais ce que mes étudiants ont surtout apprécié, c est le retour, le feedback reçu par rapport aux évaluations. Les étudiants que j ai gardé année sur année, ont eu l occasion d écouter l enregistrement de leur discussion avec, sous les yeux, la grille de notation avec les justifications de la prise de décision. Il s agit d un travail personnel qui demande un certain recul de leur part. SLIDE 7 Donc, si on revient à nos concepts-clés, l évaluation DCL et CLES qui se situe le plus à droite sur le continuum «items discret... tâche complexe» ont des emplacements différents sur d autres continua. Les emplacements sont les miens, et vont, je l espère, provoquer une discussion. Les évaluations comme le TOEFL gagnent en faisabilité institutionnelle et en fiabilité inter et intra examinateur. Le CLES gagne par rapport au coût financier mais perd en termes de coût en heures enseignant. SLIDE 8 Quant à la validité (sous toutes ses formes, malgré un manque de validité faciale par rapport aux acteurs externes comme les employeurs et les universités autres que françaises) le DCL et le CLES sortent gagnant. Cependant, quelle est la valeur d un certificat qu il soit reconnu par les stakeholders? Qu il soit soutenu par le Ministère? Comme je l ai dit précédemment, toute décision concernant l évaluation et la certification est un compromis. Jemma Buck, MCF- Anglais, Université de Nantes 7

8 SLIDE 9 Vu le fait que je travaillais jusqu à récemment dans un IUT de communication et nouvelles technologies, mon intérêt s est tourné vers l emploi de l outil multimédia comme médiateur de l évaluation. Nous n avons pas le temps ici de tout dire, mais l emploi des outils TICE pour l évaluation date de très longtemps. En ce qui concernent les langues, la plupart des tests qui adoptent la même batterie d exercices que le TOEIC etc. ne semblent ni intéressants, ni valides. Mais les mêmes questions de validité, fiabilité et faisabilité doivent être posées. Dans le cas de la compréhension de l écrit, par exemple, la fatigue et la difficulté lié à une lecture sur l écran peut invalider le résultat. Mais le multimédia offre plus de possibilité de textes authentiques, et on peut considérer la production écrite synchrone comme une tâche plus réaliste. L outil multimédia est surtout utile dans la standardisation des résultats et des opportunités, dans l analyse statistique de certains paramètres comme le temps nécessaire pour la réponse, et dans le stockage des données. Mais, veut-on tester le temps de réponse? Un lecteur lent n est pas forcément un mauvais lecteur... L outil multimédia ne peut que comparer une donnée avec une autre. Il ne peut pas tester. Cependant, l outil multimédia peut servir dans la conception et la médiation d une évaluation. Si Poitiers a réduit le coût de passation du CLES à 23 euros, c est grâce à l emploi de cet outil. L outil multimédia donne accès aux documents sonores et écrits, ainsi qu aux feuilles de guidage lors d une évaluation du mode scénario, et peut également servir de matériel enregistreur de l interaction. SLIDE 10 J aimerais terminer cette contribution en parlant de l avenir de l évaluation, avec une sorte de liste des souhaits, ou wish-list, mais aussi des questions auxquelles j aimerais avoir des réponses. L idée souvent promulguée d une certification européenne de compétence en langues est intéressante. On pourrait ainsi faire de la concurrence à ETS. Si l ETS et UCLES ont une valeur sur le marché, c est grâce en partie aux noms des instituts d éducation derrière eux. Dans la plupart des cas actuels, aucune mention n est faite sur le diplôme de l étude d une langue étrangère dans le secteur LANSAD. La langue étrangère est le plus souvent inclus dans un module qui s appelle outils de communication. Autrement dit, un étudiant peut compenser ses lacunes en LE par une bonne note en TIC, par exemple. En tant qu enseignante dans le secteur LANSAD, je voterai pour une évaluation et certification distinctes de leur diplôme. Mon opinion personnelle est que pour une évaluation idéale, il faut une multiplicité de mesures. SLIDE 10 Pour terminer : quand un de mes étudiants me pose la question d une certification en langue, il est étonné d entendre qu il y en a plusieurs, et que tout dépend de ce qu il veut faire avec son diplôme. Je lui apprends, souvent, l expression anglaise Jemma Buck, MCF- Anglais, Université de Nantes 8

9 «horses for courses» (selon mon dictionnaire, cela se traduit en français par «la solution idoine») - il faut choisir son évaluation selon ses besoins et selon les autres acteurs impliqués. Référence bibliographique Chalhoub-Delville, M «Task-based assessments: characteristics and validity evidence» In Bygate, M., Skehan, P. & Swain, M. (eds). Researching Pedagogic tasks : Second Language Learning, Teaching and Testing. London : Harlow Pearson : Jemma Buck, MCF- Anglais, Université de Nantes 9