Guide de Formation de l Agent

Transcription

1 Guide de Formation de l Agent Ce guide contient les informations nécessaires aux organismes agréés en tant qu AGENT BULATS Édition en français Business Language Testing Service Cambridge ESOL Examinations 1 Hills Road Cambridge CB1 2EU United Kingdom Tel Fax bulats@ucles.org.uk UCLES 2004 EMC/2692/4Y08

2 Sommaire Généralités 1 Questions fréquemment posées à propos de BULATS 4 2 Concurrence et autres produits d évaluation 9 3 Interprétation des résultats de BULATS 12 4 Contrôle de qualité et validation du test 15 Système BULATS 5 Logistique opérationnelle 20 6 Liste des supports techniques pour le Test Informatisé BULATS 21 7 Information sur la tarification 23 8 Utilisation du site Internet par les agents 24 Guide du Marketing 9 Importance de la planification Stratégie de vente Pistes et prospects Relations publiques Développement d une liste media Publipostage Publicité Préparation d un événement ou d une rencontre avec le client Glossaire 42 Support Marketing 18 Liste des clients Témoignages 47 guide de formation de l agent bulats 1

3 Autres documents administratifs disponibles Guide pour l Administration des Tests Consignes pour les Surveillants du Test Standard Consignes pour les Surveillants du Test Informatisé Consignes pour les Correcteurs Informations sur les Tests d Expression Orale et d Expression Écrite pour les agents Exemple d un Rapport de Test Informatisé Guide de l Utilisateur du Test Informatisé Guide EFLCOMMS 2 guide de formation de l agent bulats

4 Généralités guide de formation de l agent bulats 3

5 1 Questions Fréquemment Posées à propos de BULATS Q R De quelle manière les tests BULATS sont-ils liés aux autres tests de langue? Les liens entre BULATS et les autres tests de langue BULATS s inscrit dans le Cadre des niveaux de langues de Cambridge ESOL Examinations qui est reconnu dans le monde entier. Cambridge ESOL est membre de ALTE - l Association des centres d évaluation en langues en Europe qui comprend vingt-huit membres institutionnels évaluant leur propre langue en tant que langue étrangère. Actuellement, vingt-quatre langues sont représentées. Intégré au système d évaluation de Cambridge ESOL, BULATS est lié aux niveaux de compétence décrits à la fois dans le Cadre de référence des examens de langues de ALTE et le Cadre européen commun de référence. Ces niveaux sont basés sur le travail du Conseil de l Europe et fournissent une référence internationale et multilingue permettant d établir des comparaisons en termes de compétence langagière dans différentes langues. Un document joint illustre la manière dont d autres certifications en langue sont liées au même Cadre ALTE. Comment ces liens s établissent? Les différentes langues de BULATS sont liées par : le Cadre de référence des examens de langues de ALTE qui décrit chaque niveau dans chaque langue, une base commune de descripteurs de compétence qui sont validés par des tests pour chaque langue, des spécifications de test standardisées pour les différentes langues. Les Tests Standards BULATS sont liés au Cadre ALTE grâce à l utilisation de «tests-ancres» et d analyses statistiques faites en fonction des résultats d expérimentations. Ces «testsancres» ont pour rôle de mesurer la difficulté de chaque question en relation avec une échelle donnée. Cette échelle a été prédéfinie à partir d une recherche portant sur plus de 1000 candidats et couvrant un large éventail de nationalités et tous les niveaux de compétence. Concernant les Tests d Expression Orale et d Expression Écrite, les niveaux sont établis par comparaison avec des résultats standards d une grande banque de données de résultats existant depuis de nombreuses années et consacré aux Tests d Expression Orale et Écrite. 4 section 1: questions fréquemment posées à propos de bulats guide de formation de l agent bulats

6 Q Pourquoi les entreprises n utiliseraient-elles pas les tests des écoles de langue locales? R produire des tests de langue fiables et pertinents relève de l expertise; utiliser des tests produits par des écoles de langue ou des consultants, dont les compétences se situent dans la formation et non dans la production de tests, aura des conséquences sur la qualité des résultats dues à des défauts d élaboration tels que des questions avec plus d une réponse ou des questions sans réponse correcte, des questions faisant intervenir des connaissances générales ou culturelles plutôt que des compétences langagières, des questions orientées sur des compétences insignifiantes plutôt que sur des compétences clés, des questions dans lesquelles le candidat peut deviner la réponse sans comprendre le texte, des erreurs de frappe et des erreurs linguistiques, etc. les écoles de langue ou les consultants ne sont pas en mesure de faire les recherches nécessaires pour établir une échelle donnée de compétence langagière qui sous-tende les résultats du test cela veut dire qu il n existe pas de base réelle pour déclarer avec assurance quel niveau de compétence est indiqué par des scores particuliers. BULATS se base sur une échelle de compétences langagières et cette échelle peut être reliée aux certifications en langues reconnues en Europe. les écoles de langue ou les consultants ne sont pas en mesure d expérimenter leurs tests de façon aussi extensive que pour BULATS. Dans la plupart des cas, les écoles de langue ou les consultants n expérimentent pas du tout leurs tests. les écoles de langue ou les consultants ne sont pas capables de mesurer la difficulté exacte de chaque question du test et sont donc dans l incapacité de prouver que les différentes versions d un test sont équivalentes. Ils sont également incapables de lier leurs certifications aux Cadres de ALTE et du Conseil de l Europe. BULATS peut fournir des tests calibrés en anglais, en français, en allemand et en espagnol. BULATS est complètement indépendant de la formation proposée. Les entreprises peuvent être absolument certaines que les résultats fournis par BULATS ne sont influencés par aucun autre intérêt tel que le besoin de prouver qu une formation est performante ou qu une formation supplémentaire est nécessaire, etc. Q R Combien d heures d enseignement sont nécessaires pour franchir un niveau de ALTE? Il est impossible de répondre ici avec clarté car cela dépend d un certain nombre de variables : a. l intensité de la formation (100 heures de formation continue pourront être moins efficaces que 100 heures à temps partiel) ; b. les occasions de pratiquer la langue en-dehors de la formation (spécialement si les stagiaires se trouvent dans un pays ou une entreprise où la langue cible est parlée) mais aussi le temps passé dans des centres de ressources en accès libre, l importance de la pratique individuelle sous forme d exercices, etc. ; c. la qualité de la formation ; d. la motivation et l aptitude de l apprenant ; e. le niveau de départ les débutants progressent plus rapidement que les apprenants avancés. guide de formation de l agent bulats section 1: questions fréquemment posées à propos de bulats 5

7 Mais, en principe, d après le Conseil de l Europe, l apprenant moyen franchit un niveau au bout de 180 à 200 heures d apprentissage, ceci incluant le travail individuel. Un employé à temps plein avec une formation de trois heures de cours plus une ou deux heures de pratique individuelle par semaine, aura probablement besoin d une année pour passer à un niveau supérieur d ALTE. Q Comment sont calculés les scores sur l échelle standardisée? R Voir Chapitre 3 : «Comprendre les résultats de BULATS». Q Quelle est la relation entre les scores BULATS et les autres certifications? R Voir Chapitre 3 : «Comprendre les résultats de BULATS». Q Qu est-ce qu un «bon résultat»? R BULATS donne des informations sur le niveau de compétence de chaque candidat dans la langue testée. Cela ne dit pas ce qu est un «bon» niveau. Les candidats sont placés sur une échelle de six niveaux et chaque niveau est décrit de façon claire et concrète pour les clients. Q À quel point les résultats du test sont-ils fiables? R Mesure de fiabilité Une évaluation de la fiabilité du test indique à quel point une différence de score dans un test est significative, le résultat n est pas une question de chance. L évaluation de la fiabilité la plus répandue pour ce type de test est le coefficient alpha, un nombre compris entre 0 et 1, pour lequel une valeur proche de 1 indique une haute fiabilité. Les tests BULATS ont des coefficients alpha au-dessus de 0.9, ce qui les met en conformité avec les standards internationaux de fiabilité admis pour ce type de tests. Marges d erreur Pour BULATS, on peut être sûr que le niveau 3 est clairement distinct du niveau 5. À des niveaux voisins, par exemple 3 et 4, un élément de doute persistera autour du score de césure. L erreur standard de mesure (ESM) pour un test BULATS est d environ 4 points sur l échelle du résultat général qui va de 0 à 100. C est pourquoi nous recommandons que, lorsque les clients prennent d importantes décisions sur la base de ces seuls scores, ils s autorisent une marge de 5 points de part et d autre des niveaux de référence pour le score général final. Pour plus de fiabilité, il serait souhaitable de demander aux candidats d affiner leurs résultats par la poursuite de l évaluation. Par conséquent, on conseillera aux clients d évaluer la production des candidats. Les tests de production conviennent particulièrement à la partie la plus élevée de l échelle (niveaux 3 à 5). Ces tests fournissent une indication des forces et des faiblesses dans différentes compétences en plus du niveau. Scores des Sections Les scores des sections sont moins précis que le score général. Pour chaque score de section, nous recommandons une marge de 5 points de part et d autre des niveaux de référence, c est-à-dire qu une marge de 5 points dans le score d une section est acceptable. 6 section 1: questions fréquemment posées à propos de bulats guide de formation de l agent bulats

8 Q R De quelle manière les Descripteurs de Compétence sont-ils liés aux résultats du test? Comment peut-on prouver que quelqu un ayant un Niveau 3 BULATS peut habituellement réaliser les mêmes tâches qu une personne ayant le First Certificate in English (FCE), etc.? Les Descripteurs de Compétence ont été produits à l origine en analysant le contenu des certifications en langue générale et en déduisant pour chaque niveau les compétences évaluées reflétant les compétences de la vie réelle. Résultant de recherches extensives, une Échelle Commune de Capacités en Langues a été produite par Cambridge ESOL. Il s agit d une échelle sur laquelle tous les niveaux de capacités en langue peuvent être placés. À la base de cette hypothèse, malgré les variations observées dans les compétences des candidats dans des domaines particuliers, nous pouvons résumer leur capacité générale en un seul score. Deux candidats pourront avoir la même capacité générale bien que l un soit plus fort en expression orale et que l autre soit meilleur en compréhension écrite. Il est alors possible d observer la correspondance entre les scores obtenus par les candidats à des types de tests particuliers et leur score général. Grâce à cette analyse, on constate que certains types de tests correspondent tout à fait à la capacité générale. Quand cela est possible, il est préférable de tester toutes les compétences pertinentes ; mais si cela n est pas réalisable, on peut utiliser les types de tests qui correspondent le plus à la capacité générale. Q R Quel niveau un responsable doit-il avoir pour travailler avec un locuteur natif, en particulier en compréhension orale? À titre de suggestion, et en supposant que ce responsable ait besoin de fonctionner de façon indépendante pour effectuer des tâches habituelles de manager ou de direction, on recommande que l apprenant se situe au Niveau 3 au minimum, et de préférence au Niveau 4. Cette suggestion s appliquera aussi à l expression orale de façon presque automatique. Cependant, elle ne s appliquera pas systématiquement à l expression écrite, particulièrement dans le cas où ce responsable doit seulement rédiger des notes courtes des mails par exemple. Une réponse plus précise dépendra des tâches impliquées et du degré d indépendance et de responsabilité que le cadre a dans ces tâches. Voici quelques exemples des types de tâches que nous distinguons du point de vue du niveau langagier : demander des services liés au travail fournir des services liés au travail participer à des réunions et des séminaires suivre une démonstration faire une présentation comprendre la correspondance écrire des fax, des lettres, etc. comprendre des rapports, des journaux, etc. comprendre des avis et des consignes prendre des messages téléphoniques passer des coups de téléphone prendre des dispositions pour un voyage et un hôtel guide de formation de l agent bulats section 1: questions fréquemment posées à propos de bulats 7

9 Avec des informations plus détaillées sur les tâches et les responsabilités, il sera possible de donner une réponse plus précise et utile. Q R Les candidats doivent-ils attendre un certain temps avant de repasser le test? Si oui, pourquoi? Officiellement, il n y a pas de laps de temps minimum obligatoire avant qu un candidat repasse un test BULATS. Cependant, nous conseillons aux clients de ne pas présenter à nouveau les candidats au test avant qu ils n aient accompli au moins 100 heures de formation sur une période de plus de trois mois. Ceci parce que BULATS n a pas été élaboré pour détecter de petits progrès de capacité. Si un candidat repasse le test au bout d un court intervalle, il se peut qu il obtienne le même score ou même un score plus bas. Occasionnellement, des candidats demandent à repasser le test parce qu ils sentent qu ils n ont pas été performants de façon significative lors de la première session pour des raisons de santé ou de mauvaise compréhension de ce qu on leur demandait, ou toute autre raison. On se trouve ici dans une situation différente puisque le but du deuxième test n est pas de rétablir un quelconque progrès sur une période courte. Par conséquent, nous ne déconseillerons pas particulièrement cette pratique - bien que le client reste libre de ne pas laisser les candidats choisir cette option. 8 section 1: questions fréquemment posées à propos de bulats guide de formation de l agent bulats

10 2 Concurrence et autres produits d évaluation Ce chapitre donne des informations sur les principaux concurrents du test BULATS en anglais ainsi que des informations sur les autres produits de Cambridge ESOL en comparaison avec la concurrence. Les concurrents 1. TOEIC Le TOEIC (le Test Of English for International Communication) est un test papier produit par le Groupe Chauncey, filiale de ETS de l Université de Princeton, USA. ETS est une des plus grandes organisations pédagogiques d évaluation au monde, avec des ressources considérables ainsi que de l expérience dans la commercialisation des tests. Le TOEIC est un test papier à choix multiple d une durée de 2 heures avec une section de compréhension orale (100 questions) et une section de compréhension écrite (100 questions). En tant que test de compétences langagières, il est obsolète et de nombreux utilisateurs sont mécontents de la divergence entre les résultats du test et les capacités réelles des candidats dans des situations de communication authentiques. Cependant, ses points forts résident dans trois domaines i. Il est le leader du marché pour les évaluations en langue en entreprise : le TOEIC est utilisé par de nombreuses entreprises dans le monde (environ 1400 y compris les jeunes entreprises récemment cotées en bourse) et est donc très répandu dans les cercles d affaire internationaux. Il réunit plus de 2 millions de candidats par an mais la grande majorité de ceux-ci se trouve en Corée et au Japon. ii. Ses ressources : faisant partie de l ETS et grâce à une clientèle cible bien définie, le TOEIC peut investir de nombreuses ressources dans la commercialisation et la promotion du produit. Le TOEIC peut employer de nombreux vendeurs à temps plein dans de nombreux pays dans le monde. iii. Son prix : le TOEIC est un test bon marché et doit normalement pouvoir réussir à rester compétitif vis-à-vis des concurrents sur la seule base de son prix. Ses principales faiblesses sont i. L utilisation exclusive de questions à choix multiple pour tester les compétences de compréhension. Les employeurs constatent souvent que ceux qui obtiennent des résultats élevés au TOEIC ne sont en fait pas capables de communiquer sur le lieu de travail. ii. Aucune option de test d expression orale ou écrite : si des entreprises ont besoin d évaluer des compétences en expression orale ou écrite, elles doivent rechercher d autres tests qui ne sont pas systématiquement liés aux scores du TOEIC. iii. Le test n est pas informatisé : un test informatisé offre aux entreprises de nombreux avantages, en particulier la souplesse et la fonctionnalité, de même que les avantages d une évaluation adaptative. iv. Le manque de pertinence : le TOEIC a tout d abord été élaboré pour le Japon et la Corée. De nombreux exemples, noms et illustrations reflètent ce choix, ainsi que le fait que le TOEIC guide de formation de l agent bulats section 2: Concurrence et autres produits d évaluation 9

11 convienne davantage à des apprenants en anglais de niveau inférieur. Il en résulte que le TOEIC convient beaucoup moins à d autres marchés tels que l Europe et l Amérique du Sud. 2. Bright Le test Bright (aussi appelé Bright Executive ou Bright Evolution) est un test informatisé multilingue produit par Mahoney Training Consultants (MTC). Disponible auprès de quelques cabinets de recrutement ou de formation, il est orienté vers des créneaux du marché tels que la banque, l industrie et le domaine militaire. Ses forces : i. Bon logiciel ; ii. Prix attractif (tarif d une licence : environ 450 livres) ; iii. Premier sur le marché en France et au Royaume-Uni ; iv. Multilingue. Ses faiblesses : i. Une évaluation non valide : les tests du logiciel ont été produits par des non-spécialistes de l évaluation en langues et n ont pas été correctement validés. Les résultats des tests sont donc très discutables. ii. Un champs d action limité à la France, le Royaume-Uni, la Suisse et l Espagne. 3. ELSA Il s agit d un test des compétences de compréhension écrite/compréhension orale en anglais, produit par LCCI et actuellement disponible dans un petit nombre de pays : l Allemagne, l Extrême-Orient et l Argentine. Sa force : i. Il peut être meilleur marché que le TOEIC. Sa faiblesse : i. Sa grande similitude avec le TOEIC : les entreprises choisissent plutôt le TOEIC qui est plus connu. Les autres tests et examens produits par Cambridge ESOL Les certifications de langue générale et de langue professionnelle (BEC) Les certifications de langue générale en anglais langue étrangère sont celles pour lesquelles l Université de Cambridge ESOL est la plus connue. Elles sont largement utilisées par les écoles de langue dans le monde entier et presque tous les professionnels en anglais langue étrangère les connaissent bien. De plus, Cambridge ESOL propose une série de certifications en anglais des affaires appelée BEC (Business English Certificates). Le tableau ci-après illustre de quelle manière chaque certification est reliée au Cadre des Niveaux de ALTE. Toutes ces certifications sont fondamentalement différentes de BULATS parce que ce sont des certifications diplômantes. Cela signifie que les dates et lieux des passations sont rigoureusement définis, que la correction et la notation sont centralisées à Cambridge et que les diplômes sont imprimés à Cambridge. Les certifications diplômantes exigent que tous les candidats passent toutes les parties du test y compris un test d expression orale. Il en résulte beaucoup moins de souplesse dans le système et le processus pourra paraître trop lent par 10 section 2: Concurrence et autres produits d évaluation guide de formation de l agent bulats

12 rapport à la plupart des besoins des entreprises. Les certifications diplômantes sont destinées à des personnes qui suivent en général des cours dans des écoles de langue, qui ont besoin de montrer leur diplôme à d éventuels employeurs, à des directeurs d études pour leur admission à l université, etc., comme preuve de leur capacité langagière. BULATS, par contre, est élaboré pour être un service souple pour les entreprises qui ont besoin rapidement d information sur leurs équipes, leurs stagiaires ou les demandeurs d emploi. De plus amples informations sur tous les examens de Cambridge ESOL sont accessibles sur le site guide de formation de l agent bulats section 2: Concurrence et autres produits d évaluation 11

13 3 Comprendre les resultats de BULATS Les résultats sont donnés de la manière suivante : Le Test Standard Niveaux 0 à 5 : 0 = débutant, 5 = avancé Ceci est à mettre en relation avec le Cadre des Niveaux reconnu par l Association des centres d évaluation en langues en Europe (ALTE). Score général C est un score sur une échelle de 0 à 100. La relation entre score et niveaux est détaillée dans le tableau suivant : Niveau ALTE Cadre commun de niveau européen Échelle des scores BULATS Descriptionde niveau de compétence Examens de Cambridge ESOL correspondant à ces niveaux 5 C Avancé supérieur CPE 4 C Avancé CAE, BEC Higher 3 B Intermédiaire supérieur FCE, BEC Vantage 2 B Intermédiaire PET, BEC Preliminary 1 A Elémentaire KET 0 A Débutant Score de Section C est un score concernant les deux parties du test : la compréhension orale et la compréhension écrite et connaissance de la langue. Descripteur de Compétence Il s agit d une description de ce qu un candidat peut habituellement faire à un niveau donné quand il utilise la langue en contexte professionnel. 12 section 3: Interprétation des résultats de bulats guide de formation de l agent bulats

14 Le Test d Expression Orale Niveau Déjà décrit pour le Test Standard, excepté que chaque niveau est subdivisé en trois niveaux intermédiaires au moyen des signes +, =, -. Par exemple : 3 + signifie Niveau 3 fort, 4 = signifie Niveau 4 moyen et 5 signifie Niveau 5 faible. Les critères suivants sont utilisés dans le Test d Expression Orale pour déterminer le niveau général d un candidat : Étendue des compétences linguistiques/grammaire et vocabulaire; Exactitude de la langue; Capacité à exprimer ses opinions; Prononciation; Capacité à dialoguer avec une autre personne. Descripteur de compétence Il s agit d une description de ce qu un candidat peut habituellement faire à un niveau donné quand il utilise la langue en contexte professionnel. Le Test d Expression Écrite Niveau Déjà décrit pour le Test d Expression Orale. Scores de chacune des tâches du test On attribue aux candidats les mêmes scores de 0 à 5 pour chacune des tâches du test. Ces scores n apparaissent pas dans l évaluation globale, le résultat figurant dans le rapport de test. Descripteur de compétence Il s agit d une description de ce qu un candidat peut habituellement faire à un niveau donné quand il utilise la langue en contexte professionnel. Notes Additionnelles Ces notes contiennent des informations que les agents trouveront utiles pour répondre aux questions des clients. Toutefois, on conseille aux agents de ne pas donner cette partie du document telle quelle car ces informations pourraient amener à quelques malentendus si elles circulaient dans un public plus large. Les scores correspondent à des points sur une échelle et ne sont pas la somme des réponses correctes. Le système que nous avons adopté pour rapporter les résultats est la façon la plus précise et la plus fiable de rendre compte des capacités des candidats. Pour le niveau global obtenu, nous utilisons une échelle de 0 à 100. Ceci ne représente ni la somme des réponses correctes ni un guide de formation de l agent bulats section 3: Interprétation des résultats de bulats 13

15 pourcentage de celles-ci mais réellement des niveaux de capacité chaque point représente un niveau différent de capacité. Puisque les items des tests présentent différents niveaux de difficulté de capacité, il ne serait pas cohérent d afficher le résultat comme le pourcentage des réponses correctes. En conséquence, nous avons établi une échelle sur laquelle chaque point représente un niveau différent de capacité. Puis nous effectuons un grand nombre d expérimentations et d analyses statistiques pour mettre au point la manière dont les résultats de chaque test correspondent à cette échelle. Dans un test, 50% de réponses correctes vous amèneront au point 35, et dans un autre test, 50% de réponses correctes vous amèneront au point 40 ceci parce que le deuxième test est plus difficile et donc, obtenir 50% indique un niveau de capacité plus élevé que dans le test plus facile. Ceci s applique à la fois au test dans son intégralité comme à chacune des sections : la section de compréhension orale dans un test peut être plus facile ou plus difficile que dans un autre test. Dans la plupart des examens, cela ne sera jamais porté à votre connaissance on vous communiquera seulement votre pourcentage de scores corrects et vous n aurez simplement pas de chance si vous êtes tombé sur un test plus difficile. Mais, dans notre système, nous mesurons la difficulté exacte de chaque question et travaillons à sa mise au point jusqu à ce que nous réussissions à ajuster les scores sur l échelle des capacités. L important est qu un score représente le même niveau de capacité indifféremment quelle que soit la difficulté du test (dans son intégralité ou dans chaque section). 14 section 3: Interprétation des résultats de bulats guide de formation de l agent bulats

16 4 Contrôle de qualité et validation du test Les tests qui sont proposés par BULATS sont soumis à des procédures rigoureuses de contrôle de qualité à toutes les étapes de la production. Contrôle de qualité dans la production des tests 1. L équipe des rédacteurs de test Les personnes qui produisent les tests BULATS sont des experts en élaboration de tests de langue ; elles ont travaillé sur d autres tests de langue produits par les différents producteurs de tests (Cambridge ESOL, l Alliance française, le Goethe-Institut et l Université de Salamanque). De plus, ils reçoivent des consignes très détaillées sur ce qu ils doivent produire et ces consignes ont été standardisées dans les différentes langues. 2. Révision et édition Après que les rédacteurs de test ont élaboré le matériel de test, celui-ci est vérifié à plusieurs étapes de la production par une équipe expérimentée de concepteurs de tests qui contrôle un grand nombre d éléments : i. D une manière générale, les tests doivent être validés en termes de niveau, de pertinence et d authenticité, être dégagés de tout parti pris culturel, etc. ii. Ensuite, ils sont vérifiés à un niveau plus approfondi : chaque item doit se situer à l intérieur du degré de difficulté voulu ; chaque réponse doit être claire, précise et sans ambiguïté ; les textes doivent être réalistes, cohérents et bien choisis ; tous les items doivent correspondre à l ensemble des spécifications des tests ; etc. iii. Puis, ils sont produits et rigoureusement contrôlés pour y détecter d éventuelles erreurs de saisie et de mise en page. 3. Expérimentation Les questions du test sont alors expérimentées (dans différents formats) sur environ 300 étudiants qui ont un profil semblable à ceux qui sont amenés à passer les tests BULATS. Nous analysons leurs résultats pour obtenir des informations statistiques objectives sur : i. la difficulté de chaque item, ii. la façon adéquate de distinguer les candidats forts des candidats faibles, iii. les défauts éventuels dans un des items (ou dans une réponse du corrigé). guide de formation de l agent bulats section 4: Contrôle de qualité et validation du test 15

17 À partir de ces informations, nous pouvons constituer des tests fiables, au bon niveau, et assurer une bonne interprétation des résultats du test. 4. Détermination des standards Parmi les items qui ont été expérimentés, nous sélectionnons ceux qui conviennent le mieux pour construire le test définitif. Puisque les frontières de niveaux doivent être fixées avant que les candidats BULATS passent le test, nous avons besoin de vérifier doublement la difficulté du test. Les tests sont donc expérimentés à nouveau (dans leur forme définitive) avec des étudiants idoines de manière à ce que nous puissions valider les frontières de niveaux avec une plus grande exactitude. Standardiser les résultats Mesurer précisément la capacité d un candidat dépend de la connaissance exacte que l on a de la difficulté du test. Cela se fait au moyen de la détermination des standards et des expérimentations au cours desquelles chaque item est présenté à un grand nombre de candidats habituels et leurs résultats sont analysés. Ces informations seules ne suffisent pas parce que nous devons prendre en compte les moindres différences entre les divers groupes qui prennent part aux expérimentations et à la détermination des standards. Nous faisons cela en utilisant un test-ancre pour que les résultats de l expérimentation correspondent à une échelle standardisée. Celle-ci a été établie après des recherches à Cambridge ESOL et elle est utilisée pour ses principales certifications. La recherche a été élaborée sur les résultats d un millier de candidats couvrant un large éventail de nationalités et passant à chaque niveau un test-ancre commun. À partir de cette recherche, il nous est possible de relier les tests BULATS à l échelle standardisée en utilisant des items communs pendant l expérimentation. Nous standardisons aussi chaque version du test passé par des personnes identiques en créant des liens entre les lieux où les mêmes candidats passent différentes versions du test ; cela sert à confirmer que le positionnement de chaque version est équivalent. Fiabilité La fiabilité d un test est la cohérence de sa mesure. Quand on interprète les résultats d un test, il est important d avoir confiance dans le fait qu une différence de score est significative et ne résulte pas du hasard. Plus le test est fiable, plus vous pouvez avoir confiance dans la comparaison des résultats entre différents candidats ou entre différentes sessions de test. Même si la fiabilité est essentielle, il est important de se souvenir que cela ne devrait pas être la seule raison de choisir un test plutôt qu un autre. La mesure de fiabilité est toujours affectée par le nombre d items dans le test ; pour obtenir une haute fiabilité, un test peut utiliser de nombreux types d items courts et rapides. Toutefois, ce ne sera peut-être pas le type d item le plus utile et le plus pertinent du point de vue des besoins langagiers des candidats dans la vie réelle. L évaluation d un test doit viser à la fois sa fiabilité et sa validité sa pertinence concernant ce qui doit être évalué. [NB : La fiabilité est aussi affectée par le choix des candidats impliqués dans l expérimentation et n est donc pas une statistique qualifiée]. Interpréter les résultats Le service BULATS permet d expliquer ce que signifient les résultats du test par la description de ce que les candidats peuvent habituellement faire à différents niveaux dans la langue testée. Ces descriptions sont appelées «Descripteurs de Compétence» et apportent une part essentielle à la compréhension des résultats du test. Les Descripteurs de Compétence décrivent 16 section 4: Contrôle de qualité et validation du test guide de formation de l agent bulats

18 ce que les candidats peuvent habituellement faire pour chaque niveau quand ils utilisent la langue étrangère au travail. Ces Descripteurs de Compétence couvrent des domaines tels que réunions et séminaires, correspondance, fournir ou demander des services liés au travail, rapports, présentations et démonstrations, ainsi que parler au téléphone. Le lien entre les scores du test BULATS et les Descripteurs de Compétence a été établi après une recherche sur la validation. Les Descripteurs de Compétence actuels sont basés sur une étude de validation initiale conduite dans un certain nombre de pays européens. L étude a analysé les résultats d une série d items évalués de la même échelle standardisée que BULATS ; résultats obtenus par plus de 200 personnes dans sept pays. Elle a comparé ces résultats avec l évaluation de leur capacité réelle en anglais, - évaluation réalisée par leur responsable dans le cadre professionnel. Les évaluations des responsables avaient pour référence les Descripteurs de Compétence. En général, la corrélation entre les résultats et les évaluations des responsables s est révélée particulièrement remarquable alors même que les responsables n étaient ni formés ni accoutumés à l usage des Descripteurs de Compétence. Contrôle de qualité et standardisation pour les examinateurs : les Tests d Expression Orale et d Expression Écrite BULATS Le contrôle de qualité des Tests d Expression Orale et Écrite pour BULATS est obtenu grâce à un système de formation et de certification. Les examinateurs/correcteurs doivent suivre une procédure de certification rigoureuse avant de pouvoir évaluer les candidats. De plus amples informations se trouvent dans une documentation séparée. guide de formation de l agent bulats section 4: Contrôle de qualité et validation du test 17

19 Système BULATS guide de formation de l agent bulats 19

20 5 Logistique opérationnelle Réseau de distribution Le réseau de distribution varie d un pays à l autre. Dans certains pays, c est un distributeur qui fournit les tests aux agents. Mais dans la plupart des pays, les agents traitent directement avec Cambridge ESOL. Gestion des stocks des tests informatisés On fournit aux distributeurs un certain nombre de «packs» de logiciels. En général, le distributeur fournit à chaque agent une certaine quantité de ces «packs». Les distributeurs remplacent les «packs» dès qu ils sont vendus. Placer les commandes Quand un acheteur désire acheter un test, l agent fournit le «pack» de logiciel et aide à l installation. L agent envoie une commande au responsable KoBaLT (à l Université de Cambridge ESOL) d un certain nombre de passations de test. KoBaLT envoie par les passations de test commandées dans un programme que l on peut facilement télécharger dans le programme d évaluation déjà installé. KoBaLT envoie habituellement cela par à l agent qui l envoie/ l apporte au client. Si l agent le souhaite, KoBaLT peut l envoyer directement au client. Facturation KoBaLT émet les factures sur la base des commandes traitées dans le mois. S il n y a pas de distributeur, l agent est facturé directement. S il y a un distributeur, KoBaLT facture normalement celui-ci qui, à son tour, facture l agent. «Exemples de tests» Ce sont des tests qui sont prêtés à un acheteur et limités avec cinq passations gratuites à télécharger. Cependant, depuis que les agents peuvent fournir des disques de démonstration à télécharger gratuitement et faire eux-mêmes une démonstration du programme, il y a peu de chances que des «exemples de tests» soient demandés. Retour des données du test Comme il est stipulé au paragraphe 27 de la fiche d inscription, les agents doivent renvoyer les données recueillies lors des passations du test à intervalle régulier. Les données EFLCOMMS et les fichiers registres produits par le Test Informatisé doivent être renvoyés tous les trois mois. Les Feuilles de Réponses, les Tests d Expression Orale et Écrite doivent également être renvoyés à intervalle régulier. 20 section 5: logistique opérationnelle guide de formation de l agent bulats

21 6 Liste des supports techniques pour le Test Informatisé BULATS Plusieurs niveaux de support technique sont fournis : Niveau 1 : Le support en accès libre Niveau 2 : L agent Niveau 3 : Le support technique dans le pays Niveau 4 : Le support technique KoBaLT Niveau 5 : Le développeur de logiciel Niveau 1 Le support en accès libre Le Guide de l Utilisateur fournit des informations détaillées sur le logiciel incluant un guide d intervention de base. Le site permet l accès à des informations plus précises et plus récentes sur la manière de résoudre les problèmes techniques que les utilisateurs peuvent avoir. Cette information est disponible tant pour une vue d ensemble dans la partie du site accessible au public que dans celle réservée aux utilisateurs (pour des questions plus spécifiques). Toutes les réponses aux nouvelles questions sont automatiquement transmises sur le site. Niveau 2 De l Agent à l utilisateur Les agents apportent aux acheteurs un support technique de base installer le logiciel, aider l utilisateur à comprendre les informations données dans le Guide de l Utilisateur ou sur le site et si possible répondre à toute autre question. Niveau 3 Du support technique dans le pays du distributeur à l agent ou l utilisateur Dans le cas où ni l agent ni le Guide de l Utilisateur ni le site ne répondent aux questions de l'utilisateur, celui-ci peut contacter le support technique dans le pays s il y en a un. Niveau 4 De KoBaLT au support technique dans le pays S il n y a pas de support technique dans le pays ou si ce dernier ne peut pas répondre à une question ou résoudre un problème, il faut contacter le Responsable du support technique à Cambridge ESOL. Soit ce Responsable fournit une solution, soit il effectue une recherche pour résoudre le problème et apporter une réponse, soit il renvoie le problème au Niveau 5. S il a besoin de plus d information, il envoie un mail à l utilisateur pour obtenir des données pertinentes. guide de formation de l agent bulats section 6: Liste des supports techniques pour le Test Informatisé bulats 21

22 Niveau 5 Du développeur de logiciel à KoBaLT Si le Responsable de support technique KoBaLT ne peut pas répondre à la question posée, il/elle contactera le développeur de logiciel qui convient pour trouver une solution. 22 section 6: Liste des supports techniques pour le Test Informatisé bulats guide de formation de l agent bulats

23 7 Information sur la tarification Les modalités de tarification sont déterminées par KoBaLT en accord avec le distributeur (ou les agents quand il n y a pas de distributeur). Détails sur lesquels il est nécessaire de se mettre d accord : Les frais spécifiés/indiqués aux clients potentiels, en monnaie locale ; les prix maximum et minimum (dans les limites des contraintes légales du pays) ; les différentes catégories de clients et les critères de variation du prix en fonction de cela ; les critères des prix de gros ; les détails concernant les marges spécifiques pour les agents de ce pays et toutes les variations possibles pour différents types d agents. Prix de vente en gros pour les agents Le prix de vente en gros pour l agent reste le même durant toute l année. Il est déterminé par le distributeur (ou par KoBaLT quand il n y a pas de distributeur régional). guide de formation de l agent bulats section 7: information sur la tarification 23

24 8 Utilisation du site internet par les agents Le site de BULATS apporte aussi bien aux agents qu aux acheteurs potentiels d utiles informations concernant la promotion et le fonctionnement de BULATS. Information aux acheteurs Le site est utile aux agents car il fournit l information dont un acheteur potentiel peut avoir besoin. Les acheteurs le voient comme un grand avantage leur permettant d accéder eux-mêmes à l information chaque fois qu ils en ont besoin. Cela signifie également que l agent passe moins de temps à répondre à des questions courantes (étant donné que les réponses ont des chances de se trouver sur le site), ce qui libère plus de temps pour faire de nouvelles ventes. Le site fournit aussi au client potentiel la capacité de localiser et contacter l agent le plus proche. Tests spécimens Des tests spécimens pour les versions standard anglaises, françaises, allemandes et espagnoles de BULATS sont disponibles pour une lecture en format PDF sur le site. Cela donne une vue d ensemble utile du format du Test Standard et du type de tâches que les candidats rencontrent au moment de passer le test. Des exemples de Tests d Expression Orale et Écrite sont également disponibles en tant que version de démonstration du Test Informatisé. Les corrigés et les transcriptions des enregistrements pour les tests spécimens peuvent également être consultés et des échantillons de cassettes ou CD audio sont disponibles sur demande. Ouvrages suggérés Les tests du BULATS sont conçus pour donner un aperçu des compétences linguistiques du candidat ; par conséquent, nous ne recommandons pas au candidat une préparation spécifique pour ce test. Cependant, si un candidat voulait perfectionner ses compétences linguistiques, une sélection d ouvrages est également disponible sur le site afin de fournir plus d informations aux clients potentiels ainsi qu aux agents. Site internet destiné aux agents Le site contient une zone d accès protégée par un mot de passe et réservée aux agents. Cette zone fournit des renseignements complémentaires concernant, par exemple, des informations sur l évolution du produit, la formation, etc. La zone fournit aussi une documentation utile en format PDF à télécharger, y compris : Le Guide du Candidat Les Consignes pour les Surveillants Le Guide pour l Administration du Test Le Guide de l Utilisateur du Test Informatisé Les présentations de BULATS 24 section 8: utilisation du site Internet par les agents guide de formation de l agent bulats

25 Guide du marketing Ces consignes ont été élaborées à l'attention des fournisseurs sans ou avec peu d'expérience dans le domaine de la vente ou du marketing. Un glossaire est disponible à la fin de ces consignes. guide de formation de l agent bulats 25

26 9 Importance de la planification Avant de lancer une campagne promotionnelle faire un publipostage, passer des annonces, ou prospecter par téléphone - il est nécessaire que vous ayez réfléchi à votre stratégie. Il est courant que de bonnes activités promotionnelles restent sans effet pour n avoir pas été convenablement coordonnées avec les autres aspects de la campagne. Un exemple est donné à la page suivante. La première chose essentielle est de clarifier les objectifs. Est-ce une campagne pour faire connaître le BULATS, pour vous faire connaître en tant que revendeur BULATS, générer des enquêtes à partir d un segment particulier du marché, ou est-ce pour persuader les prospects de devenir clients? Deuxièmement, soyez clair sur les moyens que vous pouvez engager dans le programme promotionnel en terme d argent et de disponibilité du personnel. Troisièmement, comprenez votre marché. Qui sont tous vos clients potentiels? Ont-ils tous les mêmes raisons de s intéresser à BULATS? Répondront-ils tous aux mêmes activités promotionnelles? Si la réponse à chacune de ces questions est «non», alors vous devez déterminer comment classer les différents groupes de votre marché potentiel par catégories voilà vos «segments de marché». Une fois que vous avez déterminé vos segments de marché, vous devez choisir ceux sur lesquels vous concentrer lesquels sont les plus susceptibles d acheter BULATS, auxquels avez-vous un meilleur accès, lesquels auront la meilleure valeur stratégique pour vous? Pratiquez une communication mixte : utilisez différents média pour transmettre le message publipostage, entretiens, publicités dans les journaux/magazines ou articles, site Internet, appels téléphoniques. Quelles approches seraient appropriées aux segments de marché qui vous intéressent dans votre pays? Une fois réglées ces questions d approche générale, réglez les détails si les articles de journaux vous semblent être une bonne idée, quels journaux, quels aspects présenter dans l article ou le dossier («Nouveau service d évaluation informatisé disponible» ou «KoBaLT désigne XXX comme vendeur de son nouveau test)? Évaluez l efficacité du programme. Il est très important de décider à l avance de la façon dont vous évaluerez le succès du programme promotionnel cela permet de vous concentrer sur ce que vous en attendez réellement. Vos chances de réaliser de meilleurs programmes à l avenir dépendent de votre capacité à évaluer vos essais précédents et à identifier vos atouts et vos faiblesses. Si votre objectif est d augmenter la notoriété du produit, faites le nécessaire pour que chacun appelle à son tour des compagnies du segment de marché, avant et après le programme promotionnel. Si le but est de générer des pistes, comparez le nombre de pistes avant et après le programme. 26 section 9: importance de la planification guide de formation de l agent bulats

27 Exemple de programme Mois Se faire embaucher comme revendeur Formation Se procurer les calendriers éditoriaux et des contacts dans les relations publiques pour cibler les publications Contacter des associations commerciales pour avoir des informations générales et les programmes des colloques Obtenir des informations concernant les salons Préparer des listes de diffusion pour la campagne de publipostage Faire paraître l autorisation de publication annonçant l habilitation de revendeur Dernière semaine : Envoyer la première série de lettres proposant une démonstration du produit Semaine 1 : Donner suite aux appels téléphoniques répondant au premier publipostage. Organiser des entretiens Envoyer la deuxième série de lettres Semaine 2 : Donner suite aux appels téléphoniques répondant à la deuxième série de lettres envoyées Cibler les publications pour que les annonces concernant le produit soient passées au cours du sixième mois Déterminer une date et un lieu pour que le colloque puisse avoir lieu au cours du neuvième mois Faire les préparatifs pour le colloque Faire paraître les annonces du produit dans les publications ciblées Cibler les publications pour que les annonces concernant le colloque soient passées au plus tard le huitième mois Mois Semaine 1 : Envoyer aux visiteurs de marque les invitations annonçant le colloque Semaine 2 : Donner suite aux appels téléphoniques répondant à l annonce du colloque Faire paraître les annonces concernant le colloque dans des publications cibles Cibler les publications afin que les annonces relatives au produit soient passées au cours du dixième mois Commencer les préparatifs afin que le salon ait lieu pendant le onzième mois Une semaine avant le colloque : Confirmer le nombre de personnes et les réservations Colloque Une ou deux semaines plus tard : Exploiter les pistes et les contacts avec les clients Déterminer une étude de cas pour les clients existants Semaine 1 : Préparer la construction d un stand pour le salon Faire paraître les annonces concernant le produit dans des publications ciblées Attirer les prospects jusqu à votre stand Écrire, confirmer définitivement, et approuver l étude de cas pour les clients existants Choisir un média approprié pour la répartition des études de cas Envoyer les études de cas à la presse et aux clients potentiels concernés Participer au salon Semaine 1 : Envoyer une série de lettres proposant une démonstration du produit Semaine 2 : Donner suite aux appels téléphoniques répondant à la série de lettres guide de formation de l agent bulats section 9: importance de la planification 27

28 10 Stratégie de vente Ce chapitre décrit les quatre étapes essentielles du processus de vente qui peuvent être appliquées à tout processus de vente : 1. Identifier vos clients. 2. Comprendre leurs enjeux. 3. Identifier leurs exigences. 4. Leur vendre la solution. Identifier vos clients Quel est le profil du client idéal? Prenez chacun des segments-clés que vous avez identifiés et déterminez ce qui ferait un client probable. Un exemple est donné ci-dessous : Segment Intérêt potentiel pour BULATS Sources de noms/ informations Critères Organismes spécialisés dans la formation Ont déjà des contratsclés avec des compagnies et veulent améliorer le service qu elles offrent Pages jaunes, contacter des compagnies importantes pour les noms ; chambre de commerce Travailler avec des compagnies importantes et rentables ; offrant des services de qualité (pas des services bon marché) Organismes importants de formation en langue Principalement centrés sur le marché de l éducation, mais qui cherchent à se positionner dans le marché commun Pages jaunes ; annonces dans les journaux étudiants ; association de professeurs Bonnes références de formations de langue ; entreprises de petite taille mais en expansion Importantes compagnies internationales Ont du personnel ayant besoin de rester en liaison avec d autres dans une langue étrangère ; ont également des antennes à l étranger Bibliothèque annuaires du commerce, Internet Associés dans d autres pays ; plus de 300 employés ; suivre des cours de langue pour le milieu professionnel; travailler avec plus d un organisme de formation en langues Compagnies spécialisées dans l exportation Besoin de personnel ayant des compétences linguistiques Bibliothèque annuaires du commerce, Internet Suivre des cours de langue pour le milieu professionnel; recruter du personnel ayant des compétences en langues étrangères ; affaires principalement dans l exportation 28 section 10: stratégie de vente guide de formation de l agent bulats

29 Prenez également en considération les critères de qualification suivants : Les secteurs dans lesquels vous avez des compétences personnelles L existence de problèmes d affaires que vous pouvez résoudre avec les Tests Informatisés (fusion de sociétés commerciales, contrôle de la qualité des formations de langue, lancement d opérations dans un nouveau pays) Problèmes fonctionnels (placement des étudiants dans des groupes d apprentissage, introduction d un nouveau langage opérationnel, évaluation de l efficacité de ce langage dans différents lieux) Valeurs et attitudes proches des vôtres. Comprendre leurs enjeux Utilisez Internet, la bibliothèque et la propre documentation des compagnies pour mieux comprendre l environnement commercial du client. Cherchez à comprendre l industrie dans laquelle ils travaillent quelles sont les tendances, la nouvelle législation gouvernementale, les nouvelles évolutions techniques, les menaces envers les acteurs-clés du moment, les opportunités pour les nouveaux venus? Comprenez la compagnie son histoire, sa culture, ses produits et services, son marché cible, les concurrents et sa stratégie commerciale générale. Identifier leurs exigences En général, quels problèmes pourraient être résolus par BULATS? Souvenez-vous que les problèmes existent à des niveaux différents la compagnie peut avoir un problème général qui nécessite d améliorer les compétences linguistiques de son personnel, quand le manager (qui, comme vous vous en doutez, est le décisionnaire-clé) cherche à démontrer que les cours suivis par les employés les font généralement progresser afin que la compagnie continue à investir dans le programme d entraînement. Affinez cette analyse par le nombre de candidats testés annuellement, les besoins/demandes potentiels, la fréquence des tests, ce qui motive le test d un candidat, la situation des candidats, et les sessions de tests. Des renseignements concernant les tests existants utilisés pour évaluer l efficacité de la langue sont également requis sur papier ou ordinateur prix et coût actuel, degrés de satisfaction et bien sûr, degré de motivation du client à chercher des alternatives. À ce stade, des questions terre-à-terre peuvent être posées pour qualifier un client potentiel avant ou pendant les réunions commerciales : Budget : Y en a-t-il un? Délai d achat Y en a-t-il un d établi? Est-il applicable? Concurrence Y en a-t-il? Si oui, déterminez leurs stratégies de vente. Puis recherchez des informations concernant le concurrent. Décisionnaire Est-ce votre contact? Qui est en charge du budget? Qui approuve? Qui peut influencer la décision d acheter? Statut Le client potentiel cherche-t-il à utiliser le programme à des fins publicitaires, en accompagnement de KoBaLT? (Contactez le bureau européen de KoBaLT s il s agit d une demande d un client). Engagement Le client potentiel acceptera-t-il de fournir les faits et les chiffres concernant les besoins de sa société? D organiser les prochaines réunions avec des employés compétents? guide de formation de l agent bulats section 10: stratégie de vente 29