De la qualité de conception de tests standardisés dans l enseignement à la qualité de tests utilisés en entreprise

Transcription

1 L EVALUATION STANDARDISEE DE QUALITE A PORTEE DES ENTREPRISES Sylvie-Anne Piette, chercheur HEC-ULG, coordinatrice pour HEC-ULG d e-c&qcst ; Salvatore Tinnirello, chercheur HEC-ULG ( ), chercheur SMART-ULG; Anne Mutsers, chercheur HEC-ULG, Jean-Luc Gilles, coordinateur général d e-c&qcst, Professeur, responsable académique du SMART-ULG ; Pascal Detroz, directeur du SMART-ULG; Marc Pirson, coordinateur de l équipe informatique du SMART-ULG. Créer des tests pour évaluer les pré -requis ou les acquis d une formation, évaluer certaines des composantes des compétences nécessaires à un poste, à un profil de compétences nécessite la mise en place d un processus de conception précis, rigoureux et scientifiquement valide, adapté aux pratiques des entreprises. La plateforme Internet de construction et de gestion de la qualité des tests standardisés (e- C&QCST electronic Construction and Quality Control in Standardized Testing) répond à ce besoin. De la qualité de conception de tests standardisés dans l enseignement à la qualité de tests utilisés en entreprise Le SMART 1 -ULG a conçu, expérimenté et validé, depuis de longues années, un cycle de construction de tests standardisés en spirale qualité assurant un haut niveau de qualité pour chacune de ses étapes : de l analyse initiale à la communication des résultats aux personnes évaluées (voir cycle complet à la figure 2 plus loin dans l article). Il y a deux ans, cette équipe a voulu rassembler dans un support unique (plateforme web-based) l ensemble de ce cycle afin de faciliter l approche globale de la démarche par les utilisateurs. La rencontre avec la «cellule compétences» de HEC - Ecole de Gestion de l Université de Liège (HEC-ULG) a permis d envisager un élargissement du public d utilisateurs, partant de l hypothèse que les besoins des formateurs en entreprise étaient relativement proches de ceux recensés auprès des enseignants. C est ainsi qu est né, en 2003, le projet e-c&qcst subsidié par la Direction Générale des Technologies, de la Recherche et de l Energie de la Région Wallonne de Belgique dans le cadre du programme WIST. Dès le démarrage du projet, la cellule HEC-ULG a contacté ses «collaborateurs entreprises» afin d ancrer la démarche de recherche dans une réalité de terrain. Une première réunion a été 1 Système Méthodologique d Aide à la Réalisation de Tests, une Unité de Soutien Logistique et de Recherche (USLR-SMART) de l Université de Liège propose des services pour ses enseignants mais aussi pour des institutions privées et publiques belges et étrangères à la construction d évaluations de qualité. 1

2 organisée avec l aide d Epsilon 2, association francophone des métiers de la formation, puis de nombreux autres contacts ont été entrepris afin de couvrir tous les secteurs a priori utilisateurs de ce type de testing (par exemple, le secteur de l interim). Un groupe d entreprises intéressées a ainsi été constitué afin d identifier l organisation de leur dispositif d évaluation standardisée et d évaluer leurs problématiques actuelles et à venir. Des procédures d expérimentation de la plateforme ont ensuite été mises sur pied. Les chercheurs HEC-ULG se sont rendus sur le terrain au fur et à mesure de la conception et informatisation par l équipe du SMART afin de leur renvoyer un maximum d informations issues des utilisateurs entreprises. La cellule HEC-ULG expérimente la conception et teste la programmation auprès d entreprises issues des secteurs banques et assurances, industrie, intérim, recrutement et, des administrations publiques actives dans la formation. Six partenaires sont actuellement actifs dans le cadre du projet. Le SMART expérimente parallèlement la plateforme dans le monde académique auprès de professeurs de l enseignement supérieur universitaire et non universitaire. Les pratiques RH en matière de Gestion des compétences : l évaluation comme outil central de ces pratiques. La première réflexion menée par l équipe de HEC-Ecole de Gestion de l'université de Liège portait sur les types d évaluation rencontrés en entreprise afin de vérifier si un outil de développement d évaluation standardisée avait du sens par rapport aux pratiques existantes. Des données ont été recueillies au départ de la littérature et par analyse des pratiques de terrain. En voici quelques résultats 42 % des entreprises interrogées dans le cadre d une enquête en Belgique francophone (Berenschot 3 ) affirment l intérêt de gérer les compétences de leur personnel. C est l évaluation des «prestations», autrement dit des «performances» qui est le plus souvent au centre des processus mis en place. Les grilles d évaluations analysées par l équipe montrent que les savoirs, les compétences et performances sont mélangés au sein d un même document d évaluation, ne permettant pas une utilisation fine des résultats. Si ces résultats sont peu utilisés dans une logique de développement des personnes et de leur potentiel, ils le sont par contre pour établir une sorte de «reconnaissance» versus «sanction», c'est-à-dire pour exercer une pression morale sur les travailleurs ou pour recruter du personnel pariant que le milieu de travail permettra aux compétences globales ainsi détectées de s exprimer. En n évaluant que des actions complexes ou en «jugeant» des personnes au travers des observations plus ou moins intuitives, l entreprise se prive d informations capitales pour la mobilité des salariés, pour évaluer le potentiel de ceux-ci, pour développer des compétences-clés pour l avenir stratégique de l entreprise. En effet, même si la compétence ne peut s exprimer que BERENSCHOT Belgium. Les pratiques de la GRH

3 dans un environnement donné, sur une tâche spécifique, ses composantes de savoirs et savoirfaire constituent le cœur de ce qui sera transférable d un contexte à un autre. La cellule a dès lors émis l hypothèse qu un testing de ces savoirs et savoir-faire, centré sur des objectifs précis et concrets analysés dans des contextes généraux (socle de savoirs) ou plus spécifiques (mise en situation les plus proches possibles de la réalité de terrain) serait une source d informations précise pour une gestion par les compétences de l entreprise. Un testing permettrait de repérer plus objectivement un niveau d acquis de connaissances et/ou de savoir-faire au moment de la passation du test. Dans la figure ci-dessous, apparaissent en grisé, les processus de gestion des compétences que la cellule HEC-ULG a relevé chez les partenaires entreprises du projet comme pouvant être facilités par l utilisation de testing. Entourés de rouge, d autres processus non cités par le terrain et qui pourtant pourraient aussi être facilités par l utilisation de testing. Développement d activités nouvelles Obtention d un avantage concurrentiel Obtention d une certification qualité Mise en place d une politique de gestion des carrières Amélioration de la qualité des recrutements Démarche compétence Préparation à l évaluation des métiers Organisation de la mobilité au sein de l entreprise Optimisation des budgets de formations Organisation de la transmission des savoirs Révision du système de rémunération Réorganisation du travail Constitution d équipes projets Décentralisation de la gestion RH Gestion anticipée de la pyramide des ages Objectifs possibles d une démarche compétence décrits dans : S. Briet, Clefs pour une démarche compétence, FFSA, Figure 1 : Enjeux d évaluation susceptibles d être facilités par l utilisation de testing Envisageons, à titre d exemple, trois de ces enjeux : Amélioration de la qualité des recrutements Les compétences-clés d un métier peuvent être identifiées : ce sont les compétences jugées critiques et nécessitant dès lors une évaluation de haut niveau de qualité, la plus objective possible. Elles sont tantôt très spécifiques (l entreprise court un risque si elle perdait cette compétence), tantôt générales, inter-métier, nécessaires parce que dans le cœur du métier. La 3

4 qualité de l analyse de ces compétences est primordiale pour que les techniques de recrutement soient efficaces. Sous ces compétences se cachent généralement des comportements complexes mais aussi des savoirs et savoirs-faire identifiables et mesurables à partir de tests. Optimisation des budgets de formation et amélioration du processus de formation En amont de la formation, l évaluation des pré requis permet d assurer une formation répondant aux besoins réels des apprenants et leur évite ainsi de perdre du temps précieux. Pendant la formation, les évaluations formatives permettent des prises de conscience chez les formés à partir du diagnostic de leurs acquis. A la fin de la formation, la garantie d une certification de qualité permet de valoriser les compétences et acquis réels des individus formés en vue d éventuelles prises de décisions (mutations, mobilité, choix de projets, ). Enfin, un des indicateurs de l efficacité de la formation ou de l enseignement est la plus-value mesurée au niveau des acquis des personnes formées. Cette plus-value se mesurera généralement par le transfert sur le terrain mais devrait aussi être évaluée indépendamment du contexte qui aura permis ou non plus l application des nouvelles compétences. Un testing paraît dès lors intéressant à utiliser. Mise en place d une politique de gestion des carrières et révision du système de rémunération La gestion des carrières et la rémunération sont chez deux de nos partenaires liées directement à l évaluation des compétences des salariés. Pour qu un système de test fonctionne correctement, il est primordial que les évalués soient convaincus que le système est «juste» et qu ils ont intérêt à l utiliser pour être ensuite mieux formés ou être reconnus compétents (ce qui peut correspondre à l octroi d avantages salariaux ou d enrichissement des postes). Pourquoi du testing standardisé en entreprise? Définissons tout d abord le testing standardisé : Nous appelons «testing standardisé» une épreuve qui évalue le niveau de capacité à réaliser une tâche, identique pour tous les individus qui la passent (même questions, mêmes consignes, mêmes conditions d administration en temps et en entraînement, et mêmes procédures de correction), et qui produit un résultat mesurable au moment du test. Ce type de testing permet l utilisation de nombreuses modalités de questionnement : questions à choix multiples, livres ouverts ou non, solutions comp lexes ou non, analyse de matériel, cas, film Ce testing standardisé peut être informatisé. Cela permet de contrôler d autant plus la situation de passation et de correction et permet également de gagner énormément de temps lorsque les effectifs sont no mbreux. Les questionnements fermés sont dès lors recommandés : les 4

5 compétences complexes devront être évaluées par d autres moyens complémentaires. Chaque système d évaluation offre des avantages. Il s agit de choisir un dispositif pour ce qu il offre de mieux dans le but de servir les objectifs de l évaluation. Descriptif de la plateforme e-cqcst La plateforme est conçue et programmée par le SMART pour répondre aux besoins des acteurs de l évaluation ainsi qu aux critères de qualité d une évaluation. Figure 2 : le modèle qualité et le processus CGQTS développés par le SMART (Gilles, 2002 ; Gilles & al., 2004, 2005) Pour permettre une utilisation efficace des résultats, un système d évaluation doit répondre à 8 critères qualité (Gilles, 1998, 2002; Gilles et Lovinfosse, 2004) : Clarifier et communiquer ce qu il veut mesurer, les résultats eux-mêmes et l utilisation de ceux-ci (critères de communicabilité, authenticité) ; Mesurer ce qu il prétend mesurer, et le mesurer suffisamment finement pour qu un diagnostic puisse être fait (critères de validité, sensibilité et diagnosticité) ; Obtenir des résultats équivalents pour une même personne si l évaluateur change ou si l évaluation était refaite le lendemain (critère de fidélité) ; Utiliser des procédures équitables (critère d équité) ; 5

6 Etre réalisable rapidement pour que les résultats gardent du sens par rapport à la réalité mesurée (critère de praticabilité et d authenticité). Au départ de procédures docimologiques permettant de maîtriser, quantifier et contrôler l atteinte des objectifs qualité dans le cadre des étapes de construction d une évaluation standardisée des compétences d apprenants, chacune des étapes est programmée. Les interfaces de la plate-forme e-c&qcst sont accessibles via l Internet et sont réalisées à l aide de logiciels libres. L architecture de la plate-forme électronique de construction et de gestion qualité de tests standardisés repose sur huit modules intégrés qui correspondent aux 8 étapes du modèle CGQTS du SMART (figure 2, ci-dessus): 1. l analyse de l enseignement ou de la formation en vue d en dégager les points à évaluer ; 2. la mise en forme des épreuves (conception des modalités de questionnement) ; 3. la construction de tests en mode sécurisé (banques de questions et contrôle qualité a priori) ; 4. l entraînement à l aide de «tests à blanc» en ligne ; 5. l aide à la mise en œuvre des tests certificatifs ou formatifs permettant entre autre la passation en ligne d examens (dans des environnements surveillés) ou le couplage avec d autres dispositifs d acquisition automatique des réponses tels que la lecture optique de marques ; 6. la correction des épreuves avec contrôle qualité a posteriori et possibilités de rectifications des scores ; 7. les feedbacks individualisés et personnalisés accessibles en ligne pour les apprenants ; 8. la macro-régulation avec récolte et analyse en ligne des avis des acteurs. Pour chacune des étapes, l utilisateur se voit proposer des tâches à réaliser. Il est soutenu dans son travail par une structuration des contenus à introduire et la construction progressive des caractéristiques du test (ou de l ensemble de tests, appelé épreuve) qu il veut créer. Chaque contenu est révisable, modifiable et cumulable permettant ainsi la construction progressive de banques de questions expérimentées et validées a priori et a posteriori, c est-à-dire suite à l expérimentation des questions lors d un test. Adaptation du modèle sous-jacent aux pratiques de l entreprise Une étude a été menée par l équipe HEC-ULG afin d identifier les spécificités à apporter à la plateforme par rapport au public entreprise. Ci-après quelques unes des analyses réalisées. 1. Les ressources humaines impliquées dans la création de tests 6

7 Figure 3 : Analyse des rôles intervenant dans la création des tests en entreprise 7

8 L équipe a, entre autre, cherché à identifier l ensemble des acteurs intervenant potentiellement dans la construction et la passation d un test en entreprise (voir figure 3). Ces informations du terrain ont été relayées vers l équipe du SMART afin qu elle envisage d éventuelles adaptations du cahier des charges. 2. Les ressources matérielles utilisées dans le testing La cellule HEC-ULG s est centrée sur les ressources matérielles utilisées par nos partenaires pour leur testing et plus largement dans leur gestion des compétences. En termes de ressources, nous avons observé que certains de nos partenaires travaillent ou désirent travailler avec des LMS (learning management system) ou LCMS (learnin g content management system). Cette information a été rapportée au SMART afin de chercher des solutions pour rendre la plateforme compatible (notamment les normes AICC & SCORM) avec ces environnements de plus en plus fréquemment utilisés par les grandes entreprises. 3. Les normes Les normes (telles que les normes SCORM ) visant à normaliser la création de contenus afin de les rendre interopérables dans les LCMS et LMS ont également été analysées par l ensemble de l équipe du projet. La cellule s est penchée avec l équipe du SMART sur les normes de qualité existantes sur le marché dans la formation afin de soutenir la conception de la plateforme pour qu elle rencontre, dans la mesure du possible, ces exigences. 4. Open source L analyse de la littérature a montré que l utilisation de logiciels open source ainsi que de logiciels libres dans la programmation correspond à une tendance actuelle, notamment dans le monde informatique. Ce n est pas qu un effet de mode ; cela assure aux entreprises une pérennité du logiciel. Ce type de programmation était prévu dès le départ du projet. L analyse de la littérature a renforcé l idée que ce choix était aussi porteur en terme d image de marque pour les utilisateurs entreprises. 5. Benchmarking avec les outils existants Dans l ensemble des logiciels analysés par la cellule HEC-ULG au départ des descriptions ou démonstrations en ligne, une série de fonctions plus ou moins bien remplies par ces outils a été identifiée :? Gestion de base de données des scores, exportation des résultats ;? Création de modes de questionnement variés (sur base de nombreux modèles) ;? Passation en ligne ;? Feed-back aux évalués ;? Rapports de résultats ;? Design personnalisé : possibilité de créer son design de tests et de rapports ;? Sécurisation des banq ues de questions et des accès (lors du testing par exemple) ;? Comparaison de profils à des profils types ;? Contenus de questions prédéfinis (test type). 8

9 Les sociétés qui désirent évaluer des candidats dans le cadre de recrutements ou de promotions internes (cette tendance ressort d ailleurs dans les préoccupations des entreprises partenaires sur le projet) ont à leur disposition un grand choix de tests standardisés ou de logiciels spécialisés. Cependant, derrière cet amoncellement de ressources se trouvent souvent des contenus prédéfinis spécifiques (test de personnalité par exemple) et un canevas méthodologique rigide. Selon cette première étude de la littérature, il existe de nombreux logiciels permettant de réaliser du testing standardisés. Ces logiciels permettent la rédaction et l assemblage de questions (sous différentes formes) afin de créer des tests. Ils permettent également, pour certains d entre eux, la passation en ligne et une analyse statistique des résultats. Les sociétés qui fournissent des services dans le domaine du testing présupposent que les responsables de formation sont des experts en docimologie, en édumétrie ou en pédagogie capables de concevoir des tests valides, des questions de bonne qualité. Une plate-forme contenant une méthodologie précise qui assure un haut niveau de la qualité du processus d évaluation et du produit de l évaluation (statistiques très fines permettant d évaluer la qualité des questions) a, d après notre étude, toute sa place sur le marché actuel du testing. Utiliser e-c&qcst Actuellement, la plateforme est toujours en cours de développement et d expérimentation. Lorsque la première version sera terminée, fin 2006, elle sera accessible à tous les utilisateurs désireux de concevoir des évaluations standardisées répondant au cycle qualité, pour les besoins directs de leur entreprise et/ ou institution. Un outil qui change les pratiques? L introduction d un outil tel que celui-ci oblige les acteurs à clarifier leurs rôles dans l évaluation, à objectiver les enjeux de l institution, à choisir des méthodes adaptées aux buts recherchés mais aussi aux limites des contextes. Ce qui se faisait, parfois intuitivement devra, avec l e-c&qcst, être choisi et décidé. Les apprenants, par exemple, pourront avoir la possibilité de consulter les objectifs, le type de questionnement, de s exercer à la passation d un test pour autant que l institution le veuille. La limite «des possibles» n est donc plus technique ou temporelle mais bien définie par les décideurs en toute connaissance de cause. Cette étude d impact sur les pratiques fera l objet d une prochaine analyse menée par l équipe du projet auprès des partenaires du monde des entreprises et du monde académique. Contacts : Coordination du projet e-c&qcst pour HEC-ULG Sylvie-Anne.piette@ulg.ac.be, chercheur HEC-ULG Coordination générale du projet e-c&qcst jl.gilles@ulg.ac.be, professeur, responsable académique du SMART-ULG 9