Les tests ETS Europe - France de A à Z TOEIC. Test de Français International. TOEIC Bridge

Transcription

1 Les tests ETS Europe - France de A à Z TOEIC Test de Français International TOEIC Bridge

2 Le TOEIC Test of English for International Communication est un test développé par Educational Testing Service, Princeton, Etats-Unis. Educational Testing Service, ETS, le logo ETS, et TOEIC sont des marques commerciales déposées de Educational Testing Service. ETS Europe - France, filiale d ETS, est chargé de l administration des tests TOEIC en Europe. Copyright 1998 & 2002 par ETS Europe - France (Paris). Tous droits réservés. Imprimé en France. En Europe, les tests TOEIC sont administrés sous l égide de : ETS Europe - France.

3 AVANT PROPOS Les entreprises du monde entier ont compris que la pratique des langues étrangères est un facteur de réussite déterminant dans les échanges internationaux. Les tests TOEIC permettent aux entreprises d évaluer, suivant un standard unique, le niveau de compétences linguistiques dans les deux premières langues de communication internationale que sont l anglais et le français. Pour la langue anglaise, il s agit du «Test Of English for International Communication TOEIC» ; pour le français, il s agit du «Test de Français International - TFI». A l instar de toute autre compétence «If you can measure it, you can manage it 1». Ce guide a pour objectif de présenter les utilisations diverses de ces tests ainsi que les différents modes d administration et d organisations possibles. En fonction de vos besoins, les équipes ETS, présentes dans le monde entier, se feront un plaisir de vous expliquer comment utiliser au mieux ces tests, afin d optimiser le développement de vos politiques d évaluation linguistique, de recrutement et de formation. Nos conseillers répondront à toutes les questions que pourraient susciter la lecture de ce document. Pour tout complément d information, ou pour organiser une session de test, n hésitez pas à contacter le bureau ETS Europe le plus proche. La liste des représentants européens se trouve sur le site Ce site propose des liens avec les sites des centres de test agréés de certains pays d Europe. S il n existe pas encore de représentant local dans votre pays, les conseillers du siège à Paris répondront à vos demandes et vous orienteront. Pour toute session organisée hors d Europe, adressez vous à : ETS (Educational Testing Service) à Princeton aux Etats-Unis. Thierry Le Métayer Directeur France ETS Europe - France ETS Europe - France. 20 avenue du Maine, Paris, France. Téléphone : Télécopie : info@toeic-europe.com Internet : Educational Testing Service 664 Rosedale Road, Princeton, NJ 08540, USA. Téléphone : Télécopie : toeic@chauncey.com Internet : 1 Ce qui peut être mesuré, peut être géré Les tests ETS Europe - France de A à Z 1

4 SOMMAIRE 1 INTRODUCTION AUX TESTS TOEIC Le test TOEIC Le Test de Français International - TFI Les atouts des tests TOEIC et TFI Le contenu des tests Des tests conçus et gérés par ETS Le TOEIC Bridge : dernier né des tests TOEIC UTILISATION DES TESTS Les utilisateurs et les applications des tests Format et description des tests TOEIC et TFI Les compétences évaluées Processus de validation des tests Corrélation entre les scores et ceux obtenus lors d un entretien de compétence linguistique Des tests impartiaux et équitables La précision des résultats des tests TOEIC et TFI Pourquoi plusieurs versions de test? Des tests d évaluation et non des examens : Pas de notion d échec au TOEIC et au TFI Les universités étrangères reconnaissent-elles les scores TOEIC et TFI? Les tests TOEIC et TFI sont-ils homologués ISO 9000? La préparation aux tests A quel rythme les candidats peuvent-ils constater leurs progrès? CORRECTION ET RESULTATS Des scores distincts pour la compréhension orale et la compréhension écrite Comment le score est-il établi? Comment les résultats sont-ils communiqués? La durée de validité des résultats Des résultats confidentiels L interprétation des résultats L ORGANISATION DES SESSIONS Organiser une session de test Devenir centre agréé TOEIC/TFI Devenir centre de session publique TOEIC/TFI Les centres «Service Plus» en France La formation à l administration des tests Le rôle de l administrateur d une session de test La commande des tests Le contrôle et l expédition du matériel de test ETUDES DE CAS Sélectionner en vue d une formation technique Faire correspondre les compétences linguistiques avec les exigences professionnelles Réduire les coûts des procédures de recrutement Un score par type de poste ou de fonction Recruter dans une grande entreprise Mesurer les progrès conjointement avec le TOEIC et le TFI Préparer des étudiants à des entretiens de stage Construire des parcours individualisés de formation Gérer la formation INTEGRATION DU TEST A VOTRE ORGANISME Recommandations de communications en interne Communiquer sur les tests vers un public externe Publications et documents d information sur les tests Guides d apprentissage de la langue anglaise et de préparation au TOEIC ANNEXES Comment se préparer au TOEIC? Feuille de réponse TOEIC Le Calendrier des procédures Les tests ETS Europe - France de A à Z 2

5 1 INTRODUCTION AUX TESTS TOEIC 1.1 Le test TOEIC Le Test of English for International Communication (TOEIC ) évalue l aptitude à communiquer en anglais. Destiné aux non-anglophones, il mesure précisément les compétences en anglais courant de toute personne évoluant dans un environnement professionnel international. Créé en 1979, le TOEIC est à ce jour le test d évaluation d anglais professionnel le plus utilisé au monde. En 2002, 3 millions candidats ont passé le test qui compte par ailleurs plus de organismes clients sur les cinq continents. 1.2 Le Test de Français International - TFI Le Test de Français International (TFI), créé en 1998 sur le modèle du test TOEIC, a pour objectif de mesurer et certifier le niveau de français des personnes non-francophones quel que soit leur niveau. Le TFI évalue l aptitude à communiquer en français dans des situations professionnelles quotidiennes et internationales. Le TOEIC et le TFI ne requièrent aucune connaissance en vocabulaire spécialisé, hormis le vocabulaire usuel de la vie courante professionnelle. 1.3 Les atouts des tests TOEIC et TFI Les tests TOEIC et TFI : Valident les acquis et évaluent de manière objective l anglais et le français, tels qu il sont pratiqués dans le monde du travail ; Se distinguent par leur grande fiabilité. Les versions de tests étant calibrées, la signification des scores d une version de test à une autre est exactement identique et cohérente. Sont disponibles sur simple demande et à un prix raisonnable ; 0ffrent des résultats accompagnés d un compte-rendu dans des délais très courts ; Fournissent une grille d interprétation des niveaux standardisée qui aide à déterminer le niveau linguistique requis pour des tâches à caractère professionnel. Les scores s inscrivent sur une échelle de mesure continue qui permet de suivre et de comparer les progrès de chaque personne testée ; Normes internationales de compétence en langue anglaise et française, ils permettent d inscrire un niveau de compétence reconnu à l échelle internationale sur le portfolio européen ou un CV. Le TOEIC est actuellement le test d anglais qui fait référence dans le monde Les tests ETS Europe - France de A à Z 3

6 1.4 Le contenu des tests Les tests TOEIC et TFI ont été élaborés pour répondre aux besoins et exigences du monde professionnel. Les questions s inspirent d expressions types, écrites et orales, recueillies dans différents pays où l anglais et le français sont utilisés dans le monde du travail. Ces questions font référence à de nombreux domaines et situations, telles que : Recherche et développement : recherche, développement des produits ; Repas : repas d affaires et informels, cocktails, réceptions, réservation d une table de restaurant ; Divertissements : cinéma, théâtre, musique, art, expositions, musées, media ; Finances et budgets : banque, investissements, taxes, comptabilité, facturation ; Gestion : contrats ; Santé : assurances, chez le médecin et le dentiste, à la clinique ou à l hôpital ; Bâtiment et immobilier : construction, achat et location, gaz et électricité ; Au bureau : conseil d administration, comités, lettres, messages téléphoniques, fax et courriers électroniques, équipement et meubles du bureau, le fonctionnement interne ; Gestion du personnel : recruter, licencier, départs à la retraite, salaires, promotions, offres d emploi, candidatures, primes, pensions ; Achats : commande de fournitures, expéditions et livraisons, factures ; Activités techniques : électronique, technologie, ordinateurs, équipement et procédés de laboratoires, spécifications techniques ; Voyages : train, avion, taxis, bus, bateaux, billets, horaires, annonces en gare et aéroport, location de voiture, réservation d hôtel, retards et annulation. Les candidats ne sont pas tenus de connaître un vocabulaire très spécialisé (commercial, juridique ou technique). Les tests s adressent aux personnes de tous niveaux (faux-débutant à avancé), issues de toutes les catégories socio-professionnelles. La langue évaluée est internationale et donc non spécifiquement celle d un pays anglophone ou francophone. Les concepteurs ont donc écarté tout ce qui est trop connoté par rapport à une culture donnée. Ainsi, sont absentes toutes expressions idiomatiques trop spécifiquement américaines ou britanniques, et pour le TFI trop spécifiquement françaises ou canadiennes. Il a également été tenu compte du fait que les candidats étaient de langues maternelles différentes, donc ne réagissaient pas de façon homogène aux items. 1.5 Des tests conçus et gérés par ETS Educational Testing Service, organisme privé à but non lucratif, se consacre depuis plus de 50 ans à l élaboration d évaluations académiques et professionnelles ainsi qu'à la recherche en matière de psychométrie et de politique éducationnelle. Nombre de ses programmes de certification sont célèbres de par le monde, à l instar du TOEFL (Test Of English as a Foreign Language), du SAT (Scholarship Admission Test) ou du GMAT (Graduate Management Administration Test) Les tests ETS Europe - France de A à Z 4

7 Chaque année, ETS administre et corrige environ 12 millions de tests et examens dans le monde, dont un million comprennent des questions ouvertes. Educational Testing Service (ETS) a élaboré le test TOEIC dans les années 70, à la demande du Ministère du commerce international du Japon (MITI). Au fil des années, le test TOEIC a été adopté dans de nombreux pays et est rapidement devenu la norme internationale d'évaluation des compétences en anglais dans des contextes à caractère professionnel. Le Test de Français International a, quant à lui, été conçu en 1998, à la demande et avec le concours de groupes français (Groupe Renault, Lafarge ), et d organismes canadiens et suisses qui souhaitaient évaluer le niveau de français de leurs collaborateurs, de la même manière qu ils le faisaient avec le TOEIC : évaluer des compétences en deux langues différentes mais suivant les mêmes normes et sur la même échelle de mesure. Depuis janvier 2003, les tests TOEIC, TOEIC Bridge et TFI sont de nouveau édités et diffusés dans le monde par la Division «Teaching & Learning» d ETS, après avoir été confiés de 1996 à 2002 à The Chauncey Group International Ltd, filiale spécialisée dans le développement de certifications ayant pour but d'accréditer et de certifier des compétences à caractère professionnel. La Division «Teaching & Learning» regroupe à présent tous les tests de langues conçus par ETS, et notamment le TOEFL. En Europe, la diffusion des tests TOEIC et TFI est assurée par une filiale d ETS : ETS Europe Global BV dont le siège social est situé à Paris. L équipe de ETS Europe Global BV dispose de représentants dans la plupart des pays d Europe : Allemagne, Belgique, Espagne, France, Grèce, Hongrie, Irlande, Italie, Lettonie, Lituanie, Luxembourg, Monaco, Pays-Bas, Portugal, Royaume-Uni, Suisse. L administration du test dans les autres pays d Europe est directement gérée par le siège social de ETS Europe Global BV (Liste des représentants disponible sur Le TOEIC Bridge : dernier né des tests TOEIC Le TOEIC Bridge, disponible depuis janvier 2003, a été conçu pour mieux accompagner et évaluer les personnes de niveau débutant à pré-intermédiaire. L utilisation du TOEIC Bridge s avère idéale pour les élèves du secondaire et les étudiants, mais aussi pour les salariés disposant d une connaissance basique de la langue. Il valide les 250 premières heures de formation. Le TOEIC Bridge évalue principalement les connaissances en anglais général et les questions du test se concentrent sur les sujets et contextes abordables pour les personnes de niveau débutant ou pré-intermédiaire. L échelle sur laquelle les candidats sont évalués est spécifique au TOEIC Bridge. Elle offre une progression plus rapide et visible que celle du TOEIC. Elle contribue de ce fait à une plus grande motivation des apprenants. Contenu du test et déroulement d une session Le test TOEIC Bridge est à la portée des petits niveaux et plus court que le TOEIC. Il dure moins d une heure et se compose de 100 questions : 50 questions de compréhension orale avec support audio ; 50 questions de compréhension écrite. Une session dure moins d 1h30, soit un maximum de 30 mn de formalités et de présentation du test, suivie de 25 mn pour la partie de compréhension orale, et 35 mn pour la partie de compréhension écrite Les tests ETS Europe - France de A à Z 5

8 L attestation ( Score Report ), remise à chaque candidat, indique un score total s échelonnant entre 20 et 180 points (10 à 90 points pour chacune des deux sections du test). Afin d accompagner les progrès et de personnaliser le parcours pédagogique, les compétences en grammaire, vocabulaire, compréhension orale et compréhension écrite sont évaluées et indiquées sur l attestation suivant une notation allant de 1 à 3. Quand il atteint le score maximum du TOEIC Bridge, l apprenant peut aborder plus séreinement le test TOEIC complet. Il accéde à peu près au niveau 1 de la grille TOEIC. Pour tout complément d information, veuillez consulter le Manuel du Candidat du TOEIC Bridge, ou vous connectez sur Des tests échantillon peuvent vous être adressés par le représentant ETS local Les tests ETS Europe - France de A à Z 6

9 2 UTILISATION DES TESTS 2.1 Les utilisateurs et les applications des tests Entreprises et autres organisations Les tests sont principalement utilisés dans les entreprises, cible pour laquelle ils ont été conçus. De très nombreuses multinationales et PME, mais aussi de grandes instances gouvernementales y ont recours parce qu ils représentent pour elles une norme unique et standard. Le TOEIC et le TFI constituent, tous deux, des outils fiables de gestion pour les professionnels des ressources humaines. Ils leur permettent de s engager dans des décisions stratégiques tant au niveau du recrutement, de la mobilité que de la formation. Ils sont, par exemple, fréquemment utilisés pour les applications suivantes : Recrutement, promotion et affectation du personnel : Le TOEIC et le TFI peuvent être utilisés afin d établir des normes de compétence (scores) par type de poste. Les scores peuvent ensuite intervenir en tant que critères pour faciliter les décisions en matière de formation, de recrutement, de promotion... ; Formation technique : Si une formation technique doit être dispensée en anglais ou en français, le score TOEIC ou TFI permet de déterminer si la personne concernée maîtrise suffisamment la langue pour pouvoir y participer. Il est aussi plus facile d évaluer le profit qu elle en tirera ; Affectation à l étranger : Les scores TOEIC et TFI déterminent si un collaborateur est capable de travailler et de communiquer efficacement dans le cadre d un poste basé dans un pays où l anglais ou le français est couramment utilisé comme langue de travail et d échanges ; Formation linguistique : Les scores permettent d identifier les employés pour lesquels un complément de formation à la langue anglaise ou française s impose. Grâce aux niveaux TOEIC et TFI, il est possible de fixer des objectifs personnalisés et de suivre les progrès accomplis par le stagiaire ou l étudiant ; Certification des compétences : Valider les compétences acquises, soit dans le cadre d expériences professionnelles, soit dans le cadre de la formation initiale ou continue. Organismes de formation Pour les écoles de langues, les tests constituent d excellents outils pédagogiques et de précieux étalons d évaluation des compétences à l entrée et à l issue d une formation. De nombreux centres agréés TOEIC/TFI proposent ces tests aux entreprises et personnes privées parce qu ils représentent une évaluation indépendante, objective et externe à leur organisme. Certains encouragent les responsables de formation à intégrer les tests TOEIC et TFI dans leur offre de formation, afin de démontrer l efficacité de leurs enseignements Les tests ETS Europe - France de A à Z 7

10 Les programmes de formation d anglais ou de Français Langue Etrangère utilisent fréquemment le test TOEIC ou le TFI avec les objectifs suivants : Placement des apprenants par groupes de niveaux : Les scores TOEIC et TFI favorisent le placement des anciens comme des nouveaux étudiants/stagiaires dans des groupes de niveaux de formation linguistique appropriés ; Suivi des progrès : Les progrès accomplis par les groupes d apprenants peuvent être suivis en leur faisant passer plusieurs fois le test (sous des versions distinctes) et en observant l évolution de leurs scores, sous condition d un nombre suffisant d heures de formation entre chaque passage de tests (lire le paragraphe 2.13) ; Evaluation de l efficacité d un programme : Si tous les étudiants sont soumis au test TOEIC ou TFI au début et à la fin d un stage de formation, la progression de leur score permet de déterminer si l objectif est atteint et d évaluer l efficacité du programme. Universités et établissements d enseignement supérieur Un nombre croissant de filières universitaires et d instituts d enseignement supérieur intègrent le TOEIC comme un des pré-requis pour l obtention de leur diplôme. Ces institutions reconnaissent ainsi l importance de la langue anglaise dans le monde économique d aujourd hui et abordent le test comme un outil propre à favoriser l intégration des nouveaux diplômés dans l univers professionnel. Nombre de ces établissements proposent à présent aux étudiants étrangers non-francophones de valider leurs acquis en français à la fin de leur séjour d études ou de stage avec le TFI. Transition entre les études et le monde du travail : certaines écoles et filières universitaires délivrent leurs diplômes aux étudiants sous condition d obtention d un score minimum au TOEIC. D autres choisissent d intégrer le test à leurs programmes et de le faire passer à l ensemble de leurs promotions à différents stades du cursus. Ceci garantit aux employeurs que les diplômés seront professionnellement opérationnels en anglais ; Vérification des niveaux des étudiants avant leur départ dans un pays anglophone ou francophone, ou encore à leur retour. 2.2 Format et description des tests TOEIC et TFI Les tests TOEIC et TFI sont des tests QCM (questions à choix multiple). Corrigés par lecteur optique, ils assurent des résultats objectifs, fiables et rapidement disponibles. Le test TOEIC Le TOEIC dure deux heures. Il se compose de deux sections comprenant un total de 200 questions à choix multiples, soit : 100 questions de compréhension orale avec support audio ; 100 questions de compréhension écrite. Une session dure 2h30, soit 30-mn de formalités et de présentation du test, suivies de 45 mn pour la partie orale (Listening Comprehension) et 75-mn pour la partie écrite (Reading Comprehension) Les tests ETS Europe - France de A à Z 8

11 Le test TFI Le Test de Français International dure 1h50. Il se compose de deux sections comprenant un total de 180 questions à choix multiples, soit : 90 questions de compréhension orale avec support audio ; 90 questions de compréhension écrite. Une session dure environ 2h20, soit 30 mn de formalités et de présentation du test, suivies de 42 mn pour la partie orale et 68 mn pour la partie écrite. Pour tout complément d information, veuillez consulter le Manuel du Candidat correspondant à chacun des tests, ou connectez-vous sur Vous y trouverez des exercices type en ligne qui vous familiariseront avec les tests. Des tests échantillon donnent également un aperçu du type de questions rencontrées. Ils peuvent vous être adressés par le représentant TOEIC / TFI local. 2.3 Les compétences évaluées Les entreprises commanditaires du TOEIC et du TFI avaient besoin d un service simple, rapide, fiable et d un coût abordable. Les tests ont donc été élaborés pour ne tester directement que les compétences de compréhension orales et écrites. En effet, un test d expression orale et écrite est beaucoup plus long et onéreux, tant en terme d administration et d évaluation que de notation. Il manque souvent d objectivité et de fiabilité, faute de normes pertinentes. Les tests TOEIC et TFI offrent une évaluation indirecte de la production orale et écrite. Des études, conduites sur ces tests dans le monde entier, et sur un vaste échantillon de personnes, ne possédant pas l anglais ou le français comme langue maternelle, ont confirmé le lien étroit entre les résultats du test TOEIC et les réelles compétences orales. Des études ont démontré la même relation avec les compétences écrites (voir le chapitre 6 pour les détails relatifs à un échantillon d études). 2.4 Processus de validation des tests Un test est considéré comme valide s il évalue réellement ce qu il est censé évaluer : par exemple, un niveau de compétence dans un domaine défini. Il est considéré comme fiable, si d une version de test à l autre, la mesure est stable, c està-dire que l on retrouve la même échelle de résultats. La première version du TOEIC fut administrée au Japon en 1979 à un échantillon de 2710 candidats. Les scores obtenus n étaient pas des scores bruts mais des scores échelonnés. Les scores bruts, obtenus sur chaque nouvelle version du test, furent ensuite paramétrés par rapport à ceux obtenus lors de la première administration du test. Il est en effet important de comprendre que le score total des points ne représente pas le nombre de bonnes réponses. Préalablement à l administration d une version de test, chaque item (question du test) est prétesté et analysé pour s assurer qu il est compréhensible, le moins ambigu possible, qu il n y a qu une seule bonne réponse et qu il est conforme à l esprit du test. Dans une deuxième phase, les items sont prétestés sur un échantillon de candidats correspondant à la population visée par le test. Cela permet d identifier le niveau de difficulté de l item Les tests ETS Europe - France de A à Z 9

12 Afin de compléter l étude initiale de validation du test, des exercices de production orale ou écrites furent donnés à des candidats ayant passé le TOEIC pour mesurer directement les quatre compétences : compréhension orale et écrite, expression orale et écrite. Ils comprenaient toutes sortes d exercices. De plus, 500 candidats passèrent également le TOEFL afin d établir une corrélation de mesure entre les deux tests. Le TOEFL avait été choisi car il était, à cette époque, le test d anglais le plus utilisé au monde avant que le TOEIC ne dépassa les candidats en Le rapport de P. Woodford 1 fait un compte-rendu très détaillé de toutes ces données comparatives et des résultats obtenus. 2.5 Corrélation entre les scores et ceux obtenus lors d un entretien de compétence linguistique La mesure directe utilisée pour tester le niveau d expression orale fut le ILR/LPI (ILR/ Language Proficiency Interview), le doyen de tous les entretiens linguistiques, utilisé aux Etats-Unis par des agences gouvernementales, des grandes entreprises et universités. Le LPI est une évaluation orale, fiable et extrêmement rigoureuse, reposant sur l échelle de l Interagency Language Roundtable (ILR à l origine des niveaux utilisés par le Conseil de l Europe). Les examinateurs certifiés sont eux-mêmes évalués pour contrôler s ils ont bien assimilé le critère de réussite utile à l évaluation et à la notation d un entretien oral, et s ils sont capables d obtenir un échantillon représentatif du niveau de langue d un candidat. Chaque entretien dure entre 20 et 40 minutes selon le niveau et est enregistré. Dans la pratique, l entretien est alors évalué par un deuxième expert afin de déterminer si les deux experts sont en accord. S ils ne le sont pas, un troisième expert sera interpellé afin d évaluer à nouveau l échantillon et pour résoudre le désaccord. C est ainsi que le LPI a été appliqué pour valider la prédiction du niveau de production orale fournie par le TOEIC et, plus récemment, pour étalonner la première version du TFI sur la même échelle de niveaux TOEIC. Le test TOEIC Afin de confirmer la corrélation entre les scores de compréhension orale du TOEIC et l aptitude des candidats à s exprimer en anglais, ETS a réalisé une étude plus approfondie sur un échantillon de 393 candidats originaires de 4 pays : Mexique, France, Arabie Saoudite et Japon Les candidats ont d abord passé un entretien oral selon une méthodologie reconnue : le Language Proficiency Interview (LPI). Chaque entretien a été mené par un examinateur formé et certifié, seul moyen d assurer la fiabilité des évaluations. Le niveau des candidats a été établi sur une échelle de zéro à cinq (échelle de l Interagency Roundtable). 2. Suite à l entretien oral, les candidats ont passé le TOEIC, test standardisé. Les résultats de l entretien oral ont ensuite été mis en corrélation avec les scores obtenus à la partie compréhension orale du TOEIC. Cette étude a démontré que même si le TOEIC ne contrôle pas directement un niveau d expression orale, il existe néanmoins une forte corrélation entre la compréhension orale et l expression orale. Nous pouvons ainsi prédire avec fiabilité le niveau d expression d un candidat TOEIC (voir graphique ci-dessous). 1 An Introduction to TOEIC : The Initial Validity Study ; PE. Woodford ; TOEIC Research Summary, 1982, 16 pp 2 Relating TOEIC scores to oral proficiency interview ratings, TOEIC Research Summary N 1, Wilson Kenneth ; 1993 ; 11 pp 2005 Les tests ETS Europe - France de A à Z 10

13 Corrélation entre les résultats obtenus au LPI et au TOEIC 1. Degré de Probabilité L axe horizontal représente le résultat TOEIC, les courbes les résultats LPI. L axe vertical indique le degré de certitude avec lequel on peut affirmer qu un candidat possède un certain niveau LPI par rapport à Score obtenu au TOEIC en nombre de points Lecture du graphique : Pour connaître le degré de certitude avec lequel un résultat TOEIC équivaut à un niveau LPI, prenez une règle et situez-la verticalement sur le résultat TOEIC qui vous intéresse. Repérez l endroit où la règle croise la ligne des niveaux LPI, et placezla ensuite horizontalement. Le degré de certitude est exprimé à gauche de l axe vertical. Exemples : Pour un résultat de 255 points, on peut affirmer à 70% de certitude qu un candidat a le niveau LPI 1. En pratique, c est ce degré de certitude qui est retenu pour établir notre feuille d interprétation. Pour être certain à 100% qu un candidat a le niveau 1, partez de 100% à gauche, repérez l endroit où la courbe du niveau requis est atteint, puis descendez aux résultats TOEIC. Avec un score de 500 points au TOEIC, on est sûr à 100% que le candidat possède au moins un niveau 1. Notons toutefois, que la recherche de «certitude» qu un candidat possède le niveau 1 exclut un grand nombre de candidats n atteignant pas les 500 points, et qui pourtant possèdent un niveau d anglais de 1+, voire 2. Cette mixité de niveaux pour un critère donné subsiste quelle que soit la mesure (ou test) employée. L examinateur peut varier le mélange des niveaux présents à chaque critère défini, mais ne peut le supprimer. Il est ainsi recommandé de mesurer la fiabilité, l écart-type et d autres paramètres d un test, afin d établir en connaissance de cause son critère décisionnel. La validation du test TFI Comme pour le TOEIC, l une des étapes essentielles de la validation du test TFI a impliqué une évaluation orale standardisée d un pourcentage significatif du nombre de candidats au test, selon la méthode du Language Proficiency Interview (voir LPI data-collection guidelines). Ainsi, avec le concours des différents partenaires impliqués dans le développement du projet, une équipe de dix experts (professeurs de langues, directeurs d école, responsables de ressources humaines, cadres) fut constituée afin de mener à bien ces entretiens oraux standardisés. Ces personnes, issues d horizons et de pays différents, mais ayant tous en commun une expérience dans le FLE, ont tout d abord été formées pour mener ces entretiens oraux par un évaluateur francophone certifié LPI 2. 1 TOEIC Research Report, Kenneth M. WILSON ; Princeton, USA, Ed. ETS, Cet évauateur est expert de test pour l un des instituts de l Interagency Language Roundtable, enseignant dans une université en Californie Les tests ETS Europe - France de A à Z 11

14 A l issue de cette formation intensive d une semaine, les participants ont eu à mener un certain nombre d entretiens et à évaluer des entretiens déjà enregistrés, afin d être certifiés pour mener les entretiens oraux, nécessaires au pilotage du TFI. Début juillet 2000, les épreuves du test pilote furent envoyées à tous les correspondants associés au projet et le test administré à 923 personnes partout dans le monde. Ce pilotage a été mené en partenariat avec des établissements d enseignement supérieur, des centres d enseignement du FLE (Alliances Françaises), ainsi que le Groupe Renault-Nissan qui a permis à ETS de «tester» le test sur un échantillon de personnes en activité professionnelle en France, Suisse, Turquie et en Slovénie. Les premiers résultats en pourcentage de bonnes réponses furent communiqués aux candidats (voir TFI preliminary data analysis). En parallèle, les évaluateurs certifiés ont mené des évaluations orales sur un échantillon de candidats dont la langue maternelle était d origines très diverses (12 langues en tout). Le caractère international du groupe normatif est un plus, puisque le TFI est en premier lieu un test normatif. Un groupe de référence international reflète la population cible. Le recoupement et l étalonnage furent achevés en décembre Chaque entretien a été enregistré et réévalué par un deuxième examinateur. Les normes LPI exigent toutefois le contrôle d un troisième expert si les deux premiers ne sont pas d accord. Ce contrôle a eu lieu et la fiabilité inter-examinateur s est établie à 0,98. Pour l échelonnage de la première version du test TFI, ETS a testé plus de 900 candidats, répartis sur au moins cinq continents, et montrant une distribution linguistique internationale. Pour le calibrage des diverses versions du TFI prévues, ETS recoure également à une population d origines géographiques les plus variés possibles. 2.6 Des tests impartiaux et équitables A l instar de tous les tests ETS, chaque nouvelle version des tests TOEIC et TFI est soumise à une «étude d impartialité» (Fairness review), dirigée par des psychométriciens et concepteurs de test, en collaboration avec des observateurs indépendants. L adéquation de tous les items (questions) à une utilisation internationale peut ainsi être établie. Tout est mis en œuvre pour veiller à ce que les tests soient équitables et culturellement pertinents pour les candidats du monde entier. L équipe de développement des tests veille particulièrement à : Eviter les régionalismes, des particularismes ou connotations culturelles trop spécifiques à un seul pays (vocabulaire, syntaxe, locutions idiomatiques...) ; Eviter les contextes culturellement spécifiques ou susceptibles d être étrangers aux candidats appartenant à certaines cultures ; Utiliser, de manière équilibrée, des noms correspondants à différentes nationalités ; Utiliser, de manière équilibrée, des voix et des noms correspondant aux deux sexes ; Faire référence à des lieux, personnes ou événements connus dans de nombreux pays ; Eviter les situations trop spécifiques à un domaine d activité Les tests ETS Europe - France de A à Z 12

15 2.7 La précision des résultats des tests TOEIC et TFI Les tests TOEIC et TFI constituent des indicateurs extrêmement fiables de la compétence en langues anglaise et française. Des recherches approfondies ont mis en lumière la relation étroite entre les scores des tests et ceux de nombreux autres systèmes d évaluation des compétences en langue anglaise ou française. Une telle corrélation démontre la validité de l évaluation linguistique des tests. Pour tout complément d information sur la fiabilité 1 et la validité 1 des tests TOEIC et TFI, veuillez consulter les résumés d études mentionnés dans le chapitre 6.2. Les tests TOEIC et TFI sont certes d une très grande fiabilité, mais aucun test ne peut prétendre à une précision et une cohérence absolues en terme d évaluation des compétences. Les scores obtenus par une personne passant le test plusieurs fois, sous différentes versions et à intervalles réduits, seront voisins d une valeur moyenne dite «true score» (vrai score). La fiabilité du TOEIC et du TFI est calculée d après le coefficient de fiabilité KR-20 (Kuder & Richardson, 1937) qui atteste de la consistance des réponses fournies par le candidat à toutes les questions de chaque partie du test ainsi que de l homogénéité du contenu du test. Le coefficient se mesure sur une échelle allant de 0.00 (absence de fiabilité) à 1.00 (fiabilité parfaite). Plus l index se rapproche de 1.00, plus les scores fournis peuvent être considérés comme exempts d erreur de mesure. Dans le cas du TOEIC, l index s élève à pour le score total et entre 0.91 et 0.93 pour chaque partie. Selon les normes courantes d évaluation, il convient d utiliser et de communiquer des scores ayant un index de fiabilité supérieur à KR20 Reliability Coefficients for the TOEIC Test Listening Comprehension 0.92 Reading Comprehension 0.93 Total Test 0.96 L écart-type, c est à dire, l erreur standard de mesure, est, pour un candidat passant plusieurs versions du test, de ±25 points pour chaque partie du test, et de ±35 points lorsque l on mesure le progrès, et que l on compare le niveau de divers candidats. Quant au score total (la somme des deux scores partiels), l écart-type est de ±35 points. La courbe de Gauss ci-dessous présente le pourcentage des candidats ayant obtenu un score se situant entre un à trois écartstype de leur «score vrai». Les points TOEIC indiqués correspondent aux écarts-type pour une section donnée. Les ±23 points indiqués correspondent à l erreur standard de mesure avant qu elle ne soit arrondie à ±25 points. Par exemple : Lors d un premier passage de test, le candidat obtient 325 points à la partie «compréhension orale». Son score vrai se situe entre 300 et 350 points. Lors d un deuxième passage, le même candidat majore son score de 90 points pour atteindre 415. Son score réel se situe entre 390 et 440. Lors de la définition des critères de sélection ou d objectifs, il peut s avérer utile d y intégrer l écart-type. 1 GLOSSAIRE : Fiabilité : indication du niveau de cohérence ou de stabilité des notations d'un test. Validité : correspondance entre ce que le test évalue et ce qu'il est censé évaluer Les tests ETS Europe - France de A à Z 13

16 Consultez votre représentant TOEIC pour des conseils sur la fiabilité du test lorsque le progrès est évalué. Pour en savoir plus, consultez le «Technical Manual», document également téléchargeable sur Pourquoi plusieurs versions de test? Les tests TOEIC existent sous de nombreuses versions. Ceci permet aux représentants ETS d éviter qu un même candidat ne repasse le test sous une même version. De cette manière, il est impossible d améliorer son score en se contentant de mémoriser le contenu et les questions d un test, plutôt qu en améliorant ses compétences en anglais ou en français. Pour chaque version, l échelle des résultats repose sur une étude pratiquée sur un échantillon représentatif de candidats, ce qui garantit la stricte équivalence des résultats entre les différentes versions. L un des points forts des tests TOEIC et TFI réside dans le fait que chaque nouvelle version fournit des résultats équivalents aux tests précédents. Un résultat donné signifie ainsi toujours le même niveau de compétences linguistiques, quelle que soit la version utilisée. Pour ce faire, chaque nouvelle version fait intervenir un choix d items, issus de tests antérieurs (equating), qui permettent d évaluer précisément la difficulté d une version de test par rapport aux autres. Les scores bruts 1 peuvent alors, au moyen d une formule statistique, être convertis en scores TOEIC équivalents calibrés, afin que le score du candidat ne dépende pas de la difficulté de la version de test passée, mais de sa maîtrise de la langue. Ainsi des résultats équivalents assurent un niveau de langue équivalent. 1 GLOSSAIRE : Score brut : nombre total de réponses exactes des candidats Score TOEIC ou TFI : résultat communiqué aux candidats, calculé à partir d'une conversion statistique du score brut. Equivalence : procédé statistique permettant de fusionner deux échelles de notation 2005 Les tests ETS Europe - France de A à Z 14

17 2.9 Des tests d évaluation et non des examens : Pas de notion d échec au TOEIC et au TFI. Les tests TOEIC et TFI ont été élaborés dans le but d évaluer le niveau des compétences en langue anglaise et française des personnes pour lesquelles ces langues sont (ou peuvent devenir) professionnellement indispensables. Ces tests de compétence normatifs n ont pas été conçus pour être des examens qui évaluent un niveau atteint. Cela signifie qu il n y a avec le TOEIC et le TFI ni «notation de réussite», ni «notation éliminatoire». Les scores permettent de situer les compétences d un candidat au moment du test. Certaines entreprises et universités utilisent les tests pour établir leurs propres normes et, à ce titre, peuvent exiger de leur personnel un score minimum référence. Ceci n implique pas qu un candidat puisse réussir ou échouer au test. Il s agit simplement de vérifier que la personne possède ou non le niveau exigé par l organisme Les universités étrangères reconnaissent-elles les scores TOEIC et TFI? Les tests TOEIC et TFI évaluent la langue, telle qu elle est pratiquée dans le monde de l entreprise. Ils n ont donc pas pour premier objectif d être utilisés comme critères de sélection pour l admission à des programmes académiques. Cependant un nombre croissant d institutions en Europe et dans le monde, acceptent les scores TOEIC et TFI des étudiants désirant accéder à leurs programmes de 3ème cycle «postgraduate» ou encore aux filières de type professionnel (DESS, MBA...). Pour l anglais, le TOEFL (Test of English as a Foreign Language) demeure cependant le test référence pour accéder aux programmes «undergraduate 1» des universités nord américaines. Au Royaume-Uni et en Australie, les établissements exigent plus fréquemment les notations IELTS (ou un bon niveau «Advanced» ou «Proficiency» attribué par UCLES). Les scores TOEIC peuvent être joints au dossier d admission, accompagnés de la grille d interprétation. Le test TOEFL a, comme le TOEIC, été créé par Educational Testing Service mais à l attention des étudiants non-anglophones désirant accéder aux facultés et universités d Amérique du Nord. Les objectifs respectifs des deux tests étant très différents, le concept, la nature, le contexte et les niveaux de compétence mesurés le sont également. Bien que leurs échelles de résultats diffèrent, certaines études ont révélé un degré de corrélation entre les niveaux de compétences évalués par chacun des tests (cf études Saegusa 1983, Berquist 1996). Il est cependant difficile d établir une équivalence absolument rigoureuse. Pour tout complément d information sur le TOEFL en Europe, veuillez contacter : Thomson Prometric/PTC Registrations - Europe, Noorderwagenplein 6, P.O. Box 2024, 8223 AL, Lelystad, Pays Bas Tél. : euregs@thomson.com) Commission Franco-américaine 9, rue Pierre Chardin Paris France Tél : ou depuis la France (2,23 F/minute) Le test TFI devient lui aussi une référence dans les universités et organismes de formation francophones. Certains centres de langues universitaires français, suisses et canadiens utilisent le test pour évaluer le niveau des étudiants en début et fin de séjour dans le pays. 1 1er cycle d étude universitaire durant entre trois et quatre ans 2005 Les tests ETS Europe - France de A à Z 15

18 2.11 Les tests TOEIC et TFI sont-ils homologués ISO 9000? Le contrôle de qualité des tests ne repose pas sur les normes industrielles générales. La qualité des tests s articule autour des normes psychométriques spécifiques d ETS «Standards for Quality and Fairness», remises à jour en Ces normes équivalent ou dépassent les normes Standards for Educational and Psychological Testing, publiées conjointement par The American Educational Research Association, The American Psychological Association et The National Council on Measurement in Education La préparation aux tests Les tests TOEIC et TFI ne reposent sur le contenu d aucun cours ou manuel de langue anglaise ou française. Il s agit d une évaluation des compétences générales en anglais ou en français, et de l aptitude globale à utiliser ces langues en milieu professionnel. L amélioration des compétences peut prendre un certain temps. Elle est généralement le fruit de la pratique et de l étude de la langue. Les tests TOEIC et TFI n exigent aucune formation ou préparation spécifique. Les scores d une personne évoluent au même rythme et dans le même sens que ses compétences en langue. Les candidats sont néanmoins invités à lire le Manuel du Candidat avant chaque session de test ou à se connecter sur le site internet Ils se familiariseront avec le contenu et la présentation du test. Les candidats ont également intérêt à s immerger dans la langue le plus souvent possible et de façons aussi diversifiées que possible. La lecture, la télévision, les enregistrements vidéo, les cours d anglais et la conversation avec les amis et collègues sont autant d exemples de pratique de la langue. Pistes de préparations au TOEIC Néanmoins certaines maisons d édition proposent des ouvrages de préparation au test TOEIC. Parmi eux, le Guide Officiel de préparation au TOEIC, rédigé par ETS en collaboration avec Peterson s/thomson Learning. Ce livre est le seul accrédité par les concepteurs du test. ETS publie par ailleurs une collection d ouvrages «Tools for the TOEIC test» pouvant aider à l apprentissage de la langue anglaise. Ceux-ci sont décrits dans le chapitre 6.3. En annexe de ce guide, vous trouverez une liste d ouvrages recommandés par des enseignants afin de mieux accompagner leurs stagiaires dans l apprentissage de la langue en vue du passage du test TOEIC. ETS n accrédite, ne cautionne ou ne recommande aucune école ni aucun support d étude (autres que ceux qu il publie), prétendant préparer aux tests TOEIC et TFI, ou assurant que son utilisation permet d améliorer les résultats obtenus Les tests ETS Europe - France de A à Z 16

19 2.13 A quel rythme les candidats peuvent-ils constater leurs progrès? Les progrès en langue exigent généralement beaucoup de pratique et d étude. Ils dépendent de différents facteurs, tels que la motivation, la langue maternelle, la pratique, le nombre et la fréquence des heures de cours, l exposition préalable à la langue, le type et la qualité de la formation et des instructeurs. Il est donc difficile d établir exactement la durée d étude nécessaire pour que les progrès puissent être observés. Cependant grâce à des études réalisées, les services ETS recommandent aux candidats, dont la langue maternelle est d origine latine ou germanique, de ne pas repasser un test avant d avoir suivi 60 heures de formation (et/ou pratiqué la langue), s ils souhaitent observer une réelle amélioration de leur score. Pour les langues maternelles plus éloignées de l anglais et du français (asiatiques, slaves, arabes...), il est souvent préférable de porter cette durée de formation à 100 heures Les tests ETS Europe - France de A à Z 17

20 3 CORRECTION ET RESULTATS 3.1 Des scores distincts pour la compréhension orale et la compréhension écrite Chaque candidat reçoit trois scores : Un score pour la compréhension orale ; Un score pour la compréhension écrite ; Un score total, égal à la somme des scores précédents. Les scores de chaque section vont de 5 à 495 points, le score total s échelonne de 10 à 990 points. Les candidats affichent souvent des scores de compréhensions orale et écrite relativement proches. Cependant un candidat, qui a appris l anglais sur le terrain, peut atteindre un score total de 600 points en ayant cumulé 400 points en compréhension orale et seulement 200 en compréhension écrite. Ces données peuvent être utilisées, en corrélation avec le score global, dans une option d affectation, de formation ou une autre décision en matière de ressources humaines. 3.2 Comment le score est-il établi? Chaque candidat inscrit lui-même ses réponses à l aide d un crayon à papier, sur une fiche destinée à être lue par correcteur optique. A l occasion de la session de test, des informations relatives à l apprentissage de l anglais des candidats ainsi que l utilisation qu ils en font, sont également recueillies à l aide d un questionnaire confidentiel. Les réponses et les informations personnelles sont ensuite lues par un scanner et enregistrées par le système IOPS (Integrated Operations Processing and Scoring). Ce système est conçu pour enregistrer toutes les données du test, identité et réponses incluses, afin d analyser les informations puis de produire des statistiques à l attention des représentants TOEIC et de leurs clients. 3.3 Comment les résultats sont-ils communiqués? Une fois les tests corrigés, la liste des résultats (Score Roster) est envoyée au client, sous forme de tableau. Ce tableau est à usage interne et ne peut constituer une présentation «officielle» des résultats obtenus individuellement par les candidats. Les clients peuvent choisir de faire délivrer à leurs candidats : soit un Certificat / Certificate of Achievement, soit une Attestation simplifiée personnelle / Score Report. A la demande du client, les services ETS peuvent fournir certains rapports statistiques complémentaires, tels que les résultats obtenus par tous les candidats d une entreprise pendant une période donnée Les tests ETS Europe - France de A à Z 18

21 Descriptif des résultats / Score Roster Le tableau descriptif des résultats remis à la personne commanditaire de la session de tests comprend les éléments suivants : Résumé des scores de la session (date de session, nombre de candidats, score le plus élevé, score le plus bas, le score moyen) ; Scores individuels (compréhension orale, compréhension écrite et score total) ; Scores individuels déjà obtenus précédemment : score moyen, répartition de fréquence et plage de scores (sur demande) ; Scores obtenus par une même institution toutes sessions confondues (sur demande). Attestation de niveau / Score Report Cette attestation succincte, destinée aux candidats, mentionne les scores de la partie de compréhension orale, de compréhension écrite ainsi que le score total individuel, la date et le lieux de passage du test. Certificat / Certificate of Achievement Le certificat fait état des scores de compréhension orale, de compréhension écrite et du score total du candidat. Certaines entreprises choisissent le certificat afin de procéder à une remise officielle des résultats, ou bien pour manifester leur reconnaissance aux employés qui ont atteint un objectif visé. Les demandeurs d emploi préfèrent souvent présenter un certificat aux employeurs potentiels. En Europe, les candidats détenant un «Score Report» peuvent acquérir un certificat moyennant finance. 3.4 La durée de validité des résultats Les résultats demeurent valides aussi longtemps que le niveau d anglais ou de français du candidat reste le même. La compétence pouvant cependant augmenter ou décliner avec le temps, un résultat est d autant plus susceptible de constituer une indication valide de compétence qu il est récent. Bien que de nombreuses entreprises conservent indéfiniment les résultats TOEIC dans des fichiers personnels, les services TOEIC recommandent souvent que les candidats passent à nouveau le test TOEIC. Consultez-nous si la dernière épreuve remonte à plus de deux ans. 3.5 Des résultats confidentiels ETS et ses représentants sont soucieux du respect de la vie privée. Les résultats des tests sont confidentiels et uniquement délivrés aux candidats, au personnel autorisé des organismes clients ou à ETS. Les entreprises recrutant du personnel peuvent demander à leur bureau TOEIC la confirmation des résultats présentés par les candidats lors d une entrevue. Les informations personnelles réunies lors du test sont traitées anonymement et ne sont utilisées qu à des fins statistiques et de recherche : elles ne sont jamais divulguées à des tiers Les tests ETS Europe - France de A à Z 19