COMMISSION DE LA FONCTION PUBLIQUE DE MONTRÉAL Document approuvé le 4 mars 2015 VÉRIFICATION DE LA PREMIÈRE ÉTAPE DU PROCESSUS D ÉVALUATION DES COMPÉTENCES TESTS EN LIGNE (TEL) PROFESSIONNELS ET CADRES CONSEILS ADMINISTRÉ PAR LE SERVICE DES RESSOURCES HUMAINES
RAPPORT - LES TESTS ADMINISTRÉS EN LIGNE 1. CONTEXTE ET OBJECTIF DE LA VÉRIFICATION Au cours de 2014, un nouveau processus d évaluation des compétences a été mis en place pour le comblement des postes professionnels et cadres conseils par le Service des ressources humaines (SRH) de la Ville de Montréal. La Commission de la fonction publique de Montréal (CFPM) a donc réalisé la vérification de la 1 ère étape de ce processus comportant deux étapes d évaluation, soit les tests en ligne et l entrevue. Cette vérification vise à s assurer de la conformité de la 1 re étape du processus d évaluation des compétences quant aux valeurs d équité, d impartialité, de transparence et de compétence prévue à la Politique de dotation et de gestion de la main-d œuvre (PDGMO). Cette vérification a également pour objectif de donner un cadre de référence à plusieurs plaintes et signalements reçus de candidats professionnels, en 2014. Ce rapport fait état des constats, des avis et des recommandations de la CFPM sur l administration de cette 1 ère étape et sur la validité des tests en ligne (TEL) utilisés pour mesurer les compétences suivantes : Le sens de la clientèle L analyse Les connaissances linguistiques : test objectif ou rédaction française. Une description du processus de dotation des emplois professionnels et cadres conseils est présentée en annexe. 2. DÉMARCHE La CFPM a vérifié ce nouveau processus en examinant les TEL, les données statistiques et documents explicatifs fournis par le SRH. Des rencontres et échanges avec les intervenants du SRH ont également permis d obtenir des précisions sur ce processus d évaluation des compétences. De plus, la CFPM a fait appel à des avis professionnels 1 du domaine du développement d outils d évaluation des compétences ainsi qu à une firme spécialisée 2 en statistiques, afin d évaluer leurs répercussions auprès de divers groupes de candidats, notamment ceux concernés par l accès à l égalité en emploi. 1 Normand Pettersen, Ph,D. en psychologie industrielle et auteur d ouvrages de référence dans le domaine du développement d outils d évaluation des compétences et M. André Durivage, Ph.D. en psychologie, président d Epsi (firme spécialisée en évaluation et gestion des compétence) et professeur de l Université du Québec en Outaouais. 2 SolutionStat Inc,, compagnie issue du regroupement d experts statisticiens oeuvrant à Montréal. 2
3. CONSTATS, AVIS ET RECOMMANDATIONS GÉNÉRALES Depuis 2014, le SRH a ajouté des TEL afin d évaluer des compétences communes à un ensemble d emplois. D emblée, la CFPM considère que l ajout de ces tests constitue une amélioration du processus global. 3.1 Le caractère éliminatoire des TEL et le délai imposé aux candidats ayant échoué La CFPM reconnait la pertinence d évaluer, de façon éliminatoire, les compétences communes aux emplois professionnels et cadres conseils dans la mesure où celles-ci ont été jugées essentielles à l emploi et que les tests utilisés sont reconnus valides. À la suite d un échec à l un de ces tests, un candidat ne peut poursuivre le processus de dotation amorcé et un délai d un an avant qu il ne puisse postuler de nouveau à tout poste pour lequel ce test a été administré. Comme ces tests le sont pour la quasi-totalité des emplois professionnels ou cadres conseils, l enjeu d un échec est important. Toutefois, la CFPM est d avis que le délai d un an avant de pouvoir postuler à nouveau est raisonnable pour éviter l apprentissage, et équitable puisqu il est appliqué à tous les candidats. Ce délai est précisé dans la convention collective des professionnels et précisé dans certains affichages (notamment ceux visant des postes en ressources humaines), mais pas dans tous les cas. Sur le plan de la transparence, la CFPM considèrerait comme une amélioration que chacun des affichages qui ont recours à ces TEL mentionne qu un échec est en vigueur pour une durée d un an et qu une réussite l est pour 5 ans. 3.2 La qualité métrique des tests La conception de deux nouveaux tests d habileté, ceux de «sens de la clientèle» et «d analyse» a fait l objet d une démarche structurée par des firmes externes spécialisées en collaboration avec des experts de contenu de la Ville. Les tests de connaissances linguistiques, quant à eux, étaient déjà existants. Ils ont été révisés et modifiés par un expert externe de la langue française. Pour qu un test soit utile en sélection, il doit être valide, c est-à-dire mesurer la compétence qu il est censé mesurer, et le faire au niveau de «difficulté» approprié pour occuper les fonctions visées. Lors de sa vérification, la CFPM a constaté que les TEL s avèrent des outils mesurant le niveau de base des compétences retenues. Bien qu ils puissent être du bon degré de difficulté pour les emplois de premier niveau, ils ne le sont pas pour évaluer les compétences requises pour les emplois des niveaux supérieurs. Or, les TEL sont administrés à l ensemble des postulants à des emplois professionnels et cadres conseils, peu importe le niveau d emploi visé (par exemple, postes de premiers niveaux, de niveaux 2 ou de niveaux 3 chez les professionnels). 3
La CFPM est d avis qu il est préférable que les TEL soient développés de façon à mesurer d emblée la compétence selon le bon degré de difficulté pour l emploi. Cependant, si d autres outils permettent de le mesurer au niveau approprié ultérieurement, soit lors de l entrevue, la CFPM considère que la PDGMO est alors respectée. La décision de l employeur de prendre une mesure correspondant à des compétences de base pour l ensemble des postulants apparaît donc sa prérogative, en autant que l entrevue qui se déroulera en deuxième étape permette aux candidats de parfaire leur démonstration initiale, et ce, au bon niveau de difficulté. Les qualités métriques d un test ne dépendent pas simplement du niveau de difficulté du test, mais dépendent fondamentalement de la qualité de ses items (c est-à-dire des questions du test et de leurs choix de réponse). Ceux-ci doivent être rédigés selon les règles de l art. Pour y parvenir, le test doit passer par certaines étapes. De la conception avec des experts à l administration de versions finales, il doit être examiné attentivement et modifié en fonction des constats issus d analyses statistiques. Même lorsque sa version a fait l objet de pré-tests et qu elle est suffisamment appropriée pour être administrée officiellement à des fins d évaluation des compétences, il importe d analyser les résultats obtenus dès les premières administrations comportant un nombre suffisant de candidats en s interrogeant sur ce qu il mesure vraiment, sur les possibilités de le bonifier pour le rendre de plus en plus valide (ex : ajustements à la clé de réponses, annulation de questions, etc.), et de statuer sur le seuil de passage. Bien que les données des versions expérimentales aient été obtenues et analysées par les organismes les ayant développées, et bien que quelques données statistiques aient déjà été produites par le SRH, la CFPM constate que d autres analyses statistiques s imposent encore à la suite des versions administrées. En effet, même si la CFPM a fait la vérification statistique de certaines versions des tests, les formes équivalentes administrées devront aussi être analysées. De plus, les statistiques obtenues par la CFPM démontrent que des items 3 gagneraient à être bonifiés. À cet égard, dans la présente vérification, la CFPM a noté que certains tests produisent un effet défavorable, notamment sur les membres de communautés culturelles, c est-à-dire que ces derniers ont moins bien performé à ces tests que les non membres. S il advenait que ce résultat soit dû à un biais du test (occasionnant une performance moindre de ce groupe pour une raison autre que la compétence), sa révision deviendrait une urgence. Dans le même ordre d idées, d autres données révèlent que les candidats de l externe ont moins bien performés que ceux de l interne à certains tests. S il advenait que cela soit pour des considérations autres que leur compétence (par exemple, un manque d information sur des pratiques internes connues seulement des employés de la Ville), il deviendrait impératif de modifier les items affectant la performance des candidats de l externe. 3 La CFPM a transmis au SRH les résultats des analyses statistiques qu elle a obtenues relativement aux tests en ligne (TEL). Ces données statistiques permettent d identifier les items ou questions requérant des vérifications de conformité et des bonifications. 4
Recommandation 1 La CFPM recommande : de poursuivre les analyses statistiques entreprises dès que possible, afin d évaluer les qualités métriques des différents tests en ligne (TEL), et que ces derniers soient adaptés en conséquence, s il y a lieu, d ici la fin de l année 2015. de réduire le délai d attente à la suite d un échec à 3 mois, jusqu à ce que les correctifs requis soient apportés. 3.3 Le seuil de passage L administration de trois TEL mesurant respectivement le sens de la clientèle, la capacité d analyse et les connaissances linguistiques ont tous un seuil de passage unique fixé au 25 e percentile, c est-à-dire que les 25% des candidats les plus faibles sont éliminés pour chacun de ces tests. La mesure de la compétence Ce seuil unique pour tous les TEL préfixé au 25è percentile est une méthode qui ne permet pas de tenir compte des particularités des emplois ni de leurs besoins propres. À cet effet, M. Normand Pettersen 4 (2014) explique bien que cette approche ne permet pas de mesurer la compétence en fonction des exigences reliées à l emploi: «Si le percentile des candidats est calculé en fonction de la cohorte à un ou plusieurs concours, comment justifier a priori que 25% de ces personnes n auront pas la compétence requise pour le poste visé, alors que l on ne connaît pas encore le niveau de compétence de ces candidats et qu il peut varier d un concours à l autre?» En d autres termes, l élimination des 25% les plus faibles vise à écarter les moins performants au test ; cependant, il n est pas démontré que ces candidats sont tous incompétents pour l emploi, seulement qu ils sont les plus faibles comparativement aux autres. L inverse est aussi vrai. En effet, parmi les 75% qui réussissent, il n est pas démontré qu ils possèdent tous les compétences requises pour l emploi, mais seulement qu ils ne sont pas les plus faibles. Comme le spécifie Denis et autres 5 : «Le seuil de passage aux tests devrait provenir d une analyse rigoureuse des besoins organisationnels et être fixé en fonction de ce qui est requis pour répondre aux exigences du poste». 4 Avis de Normand Pettersen (2014) à la CFPM, concernant le test en ligne de jugement situationnel (TJS). 5 Denis, Pascale L., Asselin, Sophie, Paré, Frédéric, Évaluer vos candidats en toute légalité. Psychologie Québec, volume 30, no 4, juillet 2013. 5
Cependant, l approche actuelle utilisée s éloigne de ce principe puisque le seuil n est pas fixé en fonction du niveau de maîtrise requis pour exercer la compétence dans l emploi Considérant ce constat, la CFPM est d avis qu il serait préférable : que le seuil établi soit représentatif de ce qui est requis pour répondre aux exigences du poste. La PDGMO indique que : «Les outils d évaluation retenus (examens écrits, entrevues, etc.) permettent de mesurer le niveau de maîtrise recherché pour exercer les tâches du poste ou de l emploi. 6» En conséquence, si l employeur utilise la première étape pour éliminer les candidats les plus faibles, il devra s assurer que les candidats non éliminés aient le bon niveau de maîtrise des compétences lors de l entrevue. Dans le cadre de la vérification, la CFPM constate que le sens de la clientèle et de l analyse sont toutes deux évaluées à une deuxième reprise par l outil d entrevue. Cependant, les connaissances linguistiques ne le sont qu à une seule occasion. La CFPM considère nécessaire de varier le seuil de passage selon le besoin réel et spécifique de la compétence pour l emploi, lorsque cette compétence n est évaluée qu une seule fois, ce qui est le cas pour les tests de connaissances linguistiques. Pour ces derniers (le test objectif de connaissances linguistiques et celui de communication écrite), le 25è percentile ne permet pas de s assurer que les candidats qui réussissent possèdent le niveau de maîtrise des compétences requis. En conséquence, la CFPM actualise sa recommandation de 2012, laquelle se lit dorénavant comme suit : Recommandation 2 La CFPM recommande : de fixer le seuil de passage de façon à mesurer le bon niveau de maîtrise des compétences recherchées pour exercer les tâches du poste ou de l emploi, et ce, pour toutes les compétences essentielles qui ne sont mesurées qu à une seule étape (ex : l étape des tests en ligne). Note : Cette recommandation s applique à tous les processus d évaluation des compétences, quelle que soit la catégorie d emplois. 6 Politique de dotation et de gestion de la main-d œuvre de la Ville de Montréal, Art.10.2.2c, sept. 2011. 6
La réduction du bassin de main-d œuvre Les observations précédentes convergent vers le fait que la première étape du processus de dotation (les TEL) atteint avant tout un objectif de réduction des bassins de main-d œuvre contribuant à limiter le nombre de candidats à recevoir en entrevue. Ce choix de l employeur est en soi légitime. Les candidats qui échouent l étape des TEL faisant partie des 25% les plus faibles, selon la norme de référence, il est probable que la majorité d entre eux n aient pas les compétences requises pour l emploi. Toutefois, et particulièrement pour les candidats qui se situent légèrement en deçà du seuil de passage, cela n est pas une certitude, notamment pour les postulants aux postes d entrée. En conséquence, afin d éviter l élimination de tout candidat pour des raisons autres que la compétence, il est impératif que l employeur soit en mesure de démontrer, par les études requises (portant entre autre sur l absence de biais et sur l adéquation des normes élaborées), qu un candidat éliminé à la suite à un TEL ne l est pas simplement parce qu il est plus faible que les autres, mais bien parce qu il ne possède pas les compétences requises pour l emploi. La CFPM considère que l ensemble des conditions suivantes doivent être réunies pour que la réduction d un bassin de main-d œuvre puisse être effectuée selon les règles de l art en mesure et évaluation et pour que la PDGMO soit respectée : 3.4 La norme Que les tests soient valides, Que les processus d évaluation, dans leur globalité, permettent de s assurer que les candidats ont bien démontré leurs compétences. Que l employeur soit en mesure de démontrer que les candidats éliminés à la suite à l administration des TEL ne possèdent pas les compétences minimales requises pour l emploi. En mesure et évaluation, l administration d un test conduit à une interprétation des résultats. La méthode utilisée consiste à situer la performance de chaque personne «en fonction de la performance d un groupe témoin, dont la distribution des résultats constitue ce que l on appelle des normes. Chaque personne est comparée au groupe témoin et la signification accordée à son résultat est relatif à la performance de ce groupe.» 7. En d autres termes, la performance de chaque candidat est située en fonction de la performance du groupe-témoin à titre de «mesure de comparaison». Le résultat correspondant au seuil de passage est établi selon les résultats du groupe-témoin, qu on appelle aussi la norme. Dans le cadre de la présente vérification, compte tenu que les tests sont récents, tous les candidats de tous les secteurs d activités et de tous les niveaux d emplois confondus ont été regroupés de façon à constituer une seule et unique norme. En d autres termes, les résultats de ces divers candidats ont servi de «point de comparaison» pour établir la performance relative de 7 Pettersen, Normand (2000). Évaluation du potentiel humain dans les organisations, Presses de l Université du Québec, p. 265. 7
chacun d eux les uns par rapport aux autres et, éventuellement, serviront pour établir la performance relative de tout autre candidat qui subira ce même TEL dans l avenir. Or, la CFPM est préoccupée par le fait que des «sous-groupes» de candidats ayant servi à constituer une norme peuvent parfois faire augmenter la moyenne d un test en ligne, parce qu ils possèdent des caractéristiques contribuant à les favoriser. Par conséquent, en élevant la moyenne, d autres candidats se retrouvent à un rang percentile plus faible que celui qu ils auraient normalement obtenu et certains parmi eux peuvent injustement se retrouver sous le seuil de passage. C est notamment le cas des postulants pour les emplois en technologie de l information du niveau 1 qui ont échoué le test d analyse dans une proportion de 53% alors que ceux des emplois supérieurs l ont échoué à un moindre niveau, soit dans une proportion de 32% 8. Le test d analyse étant un test «de base», s il n avait été administré qu à ceux pour lesquels il s adresse véritablement, soit les postulants au niveau 1, ces derniers auraient réussi en plus grand nombre qu en étant comparés à ceux des niveaux 2 (dont la compétence de base est censée être acquise). Un autre exemple d une situation observée par la CFPM concerne un emploi d un domaine d expertise possédant des caractéristiques telles qu elles justifient que cet emploi soit retiré de la norme générale. C est le cas des «chargés de communication» qui possèdent un bac en communication et pour lesquels on administre le même test de rédaction française qu à des professionnels non spécialisés en ce domaine. En raison du défi peu élevé pour eux, les chargés de communication font augmenter la moyenne du groupe. La conséquence se fait sentir lors de l ordonnancement des candidats, puisque certains obtiennent un score sous le seuil de passage alors qu avec une moyenne sans les chargés de communication, ils auraient pu être au-dessus du seuil. Au cours de la vérification, la CFPM a donc constaté que divers sous-groupes de candidats performent moins bien à certains TEL que d autres sous-groupes. Il s avère important de chercher les causes potentielles de telles différences afin d identifier, le cas échéant, les composantes du test contribuant à les défavoriser ou de s interroger sur les regroupements de candidats effectués. Comme le souligne la Commission de la fonction publique du Canada : «Pour interpréter le résultat de la personne de façon significative, on doit le comparer à la distribution des résultats par d autres personnes, provenant de groupes professionnels similaires, ayant des antécédents scolaires semblables et évalués dans le même but» 9. Ce principe de la mesure et de l évaluation a été confirmé par M. André Durivage au cours d une conversation téléphonique : «Même si de prime abord un test a été conçu en ayant pour objectif 8 Ces pourcentages ont été calculés à partir de la forme 1 du test d analyse. 9 Commission de la fonction publique du Canada, Normes pour l élaboration et pour l utilisation des tests à des fins de nomination, septembre 2007. 8
de s adresser à une population en général, les données obtenues à la suite de son administration peuvent démontrer que certains sous-groupes se distinguent des autres. Une norme spécifique devrait normalement être établie pour ces derniers 10 à moins que d autres facteurs justifient le recours à la norme générale (ex. : groupe trop restreint pour en tirer des conclusions).» Malgré la validité d un test, l interprétation des résultats en fonction d une norme trop générale peut conduire à des décisions inéquitables et peut faire échouer un candidat compétent. La CFPM est d avis que malgré le percentile assez bas (25è percentile), des candidats suffisamment compétents pourraient être éliminés puisque leurs résultats sont interprétés à partir d une norme générale qui réfère à un large groupe dont les caractéristiques ne sont pas suffisamment homogènes. Ces candidats pourraient être privés de faire valoir leurs compétences à la 2 e étape du processus, soit l entrevue. Ainsi, il est possible pour un même test d avoir plus d une norme. Par exemple, un candidat pourrait postuler à deux emplois provenant de deux familles d emplois ayant chacune leur propre norme. Dans un tel cas, son résultat pourrait se positionner à des quartiles différents. Cependant, la CFPM est d avis que cette possibilité demeure faible compte tenu de la nature spécialisée des emplois, laquelle restreint de façon importante le mouvement d une famille à l autre. En conséquence, tant que des études à ce sujet ne seront pas concluantes, l intégration des résultats de sous-groupes de candidats non homogènes à d autres sous-groupes dans une norme globale est non conforme aux bonnes pratiques en mesure et évaluation et affecte la valeur d équité. Recommandation 3 La CFPM recommande : de mener des études afin d identifier toute différence significative entre des sousgroupes de candidats à un même test en ligne (par exemple, selon la famille d emplois concernée ou la provenance interne ou externe des candidats); d établir des normes appropriées 11 en fonction de regroupements de candidats qui ont des caractéristiques suffisamment homogènes (groupes professionnels similaires ayant des antécédents scolaires semblables et évalués dans le même but). s il y a lieu, apporter des correctifs aux outils d évaluation. 10 Résumé d un échange téléphonique tenu avec M. Durivage le 15 janvier 2015. 11 Les tests correspondant à des niveaux de base, les normes devront être constituées uniquement à partir des emplois de premiers niveaux; les postulants à des emplois supérieurs, bien qu exclus de la norme, pourront néanmoins y être comparés afin d éviter d avoir une norme spécifique pour eux. De cette façon, les postulants du niveau 1 ayant réussi pourront être exemptés des tests s ils postulent éventuellement à des emplois des niveaux supérieurs. 9
3.5 Les candidats visés par les TEL Un test est toujours conçu en fonction d un besoin particulier et d une population donnée. Cette population peut parfois être la population en général (par exemple, les professionnels et cadres conseils) ou parfois être plus spécifique (par exemple, les emplois en technologie de l information seulement), selon le besoin et les particularités propres à certains groupes de candidats. Le même test peut être tout à fait pertinent pour une catégorie de personnes, mais ne pas l être pour une autre. La CFPM s est penchée sur cette question. 3.5.1 LES EMPLOYÉS PERMANENTS QUI AURAIENT PU ÊTRE SOUSTRAITS DES TEL Les TEL administrés aux professionnels et cadres conseils sont des tests génériques. En ce sens, ils ne sont pas conçus pour un emploi en particulier, mais pour un ensemble d emplois devant avoir en commun la compétence évaluée. Ces tests sont administrés pour doter des postes permanents ou temporaires, professionnels ou cadres conseils, quel que soit le niveau d emploi. Les candidats proviennent tant d un bassin interne (employés temporaires 12 ou permanents, cols blancs ou professionnels, visant une promotion ou un changement d emploi latéral, etc.) qu un bassin externe. Considérant que les compétences évaluées sont d un niveau de difficulté correspondant à des emplois professionnels et cadres conseils de premier niveau 13, la CFPM aurait perçu positivement une décision de l employeur s il avait considéré de ne pas faire subir les tests en ligne aux employés professionnels ou cadres conseils permanents. En effet, ces compétences déjà évaluées antérieurement le seront à nouveau à l étape de l entrevue 14. Pour les candidats de l interne déjà nommés en permanence à titre de professionnels ou cadres conseils, l administration des TEL devrait en principe montrer un taux de réussite très élevé, ce qui les rendrait moins pertinents pour eux. Ces candidats ayant déjà été évalués lors d un processus d évaluation antérieur et ayant été qualifiés pour un poste équivalent au minimum à un poste d entrée des professionnels ou cadres conseils, les cas d échec ne peuvent s expliquer que par des erreurs de mesure 15 ou des mauvaises performances de leur part. Si l objectif est de réduire le bassin de postulants, la CFPM opterait pour d autres moyens de réduction que la réévaluation de mêmes compétences que celles de leur emploi actuel par des TEL «de base». Il s avèrerait plus pertinent d utiliser des tests adaptés au niveau de difficulté requis pour l emploi visé, soit des TEL spécifiques pour un professionnel niveau 2 ou 3. Il demeure la prérogative de l employeur de réévaluer les compétences génériques de l ensemble de ses employés qui souhaitent poser leur candidature à un nouveau poste. Toutefois, l échec 12 Incluant les occasionnels. 13 À l exclusion des connaissances linguistiques. 14 À l exception évidemment des connaissances linguistiques. 15 S étant produites lors d évaluations précédentes effectuées par les unités d affaires ou de l évaluation lors des TEL. 10
d un employé permanent soulèvera toujours un questionnement sur la cohérence entre deux résultats d évaluation des compétences, celui provenant du premier processus subi et celui des TEL. Lequel est le plus valide? La question reste entière et peut être la source de contestations légitimes des candidats touchés, particulièrement si le gestionnaire confirme que le rendement d un employé permanent ayant échoué un TEL est adéquat, et qu il a été constaté que ces tests nécessitent encore une validation. 3.5.2 LES EMPLOYÉS NOMMÉS TEMPORAIREMENT AVANT D AVOIR ÉTÉ ÉVALUÉS PAR LES TEL La CFPM a également constaté que des employés nommés temporairement depuis plusieurs années sans avoir été préalablement évalués ont finalement échoué un ou plusieurs tests en ligne. La Ville, à titre d employeur soucieux de ses ressources humaines, devrait éviter pareilles situations. Dans ce contexte particulier, la CFPM n aurait pas d objection à ce qu une mesure transitoire soit envisagée pour que les employés nommés temporairement depuis un certain temps soient soustraits de l étape des TEL. Pour éviter de reproduire une telle situation à l égard des employés temporaires, la CFPM insiste sur l importance de tenir les processus d évaluation des compétences préalablement à tout comblement temporaire, et ce, en conformité avec l esprit de la PDGMO. Recommandation 4 La CFPM recommande : d administrer préalablement, et à partir de maintenant, les TEL pour tout comblement temporaire aux candidats n ayant jamais été qualifiés. 3.5.3 LES EMPLOYÉS SOUSTRAITS AUX TEL Au cours de sa vérification, la CFPM a constaté que les emplois de professionnels ne sont pas tous soumis aux trois TEL. En effet, en se référant aux profils de compétences de l employeur, certains emplois sont soustraits des TEL en tout ou en partie. Les motifs invoqués pour justifier ces différences entre candidats réfèrent à un enjeu de pénurie de main-d œuvre ou une difficulté d attraction importante. Cet enjeu serait présent chez les deux groupes de candidats suivants : Les candidats membres d un ordre professionnel, lesquels sont assimilés aux pénuries de main-d œuvre et sont soustraits aux trois tests en ligne. des candidats postulant pour certains emplois de la famille de la technologie de l information considérés en pénurie, lesquels sont soustraits des TEL, sauf du test d analyse. En ce qui concerne les emplois dits «en pénurie» ou pour lesquels il y a une difficulté d attraction, la CFPM est préoccupée par l absence d encadrements dans la PDGMO. L imprécision qui en résulte peut être source d iniquité pour les candidats. 11
Les données relatives à ces pénuries ne permettent pas à la CFPM de s assurer qu il y avait effectivement des problèmes de recrutement de main-d œuvre. La pénurie devrait pourtant être démontrée pour que des mesures d exception s appliquent. Selon la CFPM, et par mesure d équité, un emploi en pénurie ne peut justifier une exemption d évaluation aux TEL. Toutefois, en cas de pénurie confirmée, la CFPM accueillerait favorablement une révision du seuil de passage permettant d inviter suffisamment de candidats à la deuxième étape du processus, soit l entrevue. Recommandation 5 La CFPM recommande : d administrer les TEL à tous les candidats, qu il y ait pénurie de main-d œuvre ou non. 4. CONSTATS ET RECOMMANDATIONS SPÉCIFIQUES À CHACUN DES TEL En mesure et évaluation, il est fréquent de bonifier les nouveaux outils de mesure ou même de plus anciens réutilisés à de nouvelles fins. Les analyses effectuées des outils d évaluation à la suite de leurs administrations permettent de déceler des zones d amélioration afin d augmenter la qualité de l outil d évaluation. Les commentaires qui suivent s inscrivent dans ce contexte propre de la mesure et de l évaluation et visent à faire part de constats qui pourront contribuer à augmenter la valeur prédictive des outils de mesure utilisés. 4.1 Test jugement situationnel (TJS) ou sens de la clientèle Le contenu du test préoccupe la CFPM de même que certains indices statistiques. Bien qu il ait été développé par une firme ayant respecté les principales étapes de conception, la représentativité des experts ayant collaboré à ce test comporte certaines lacunes, selon M. Pettersen 16. Ainsi, les items, les choix de réponses et l ordonnancement des réponses ont été développés par des gestionnaires provenant de certains secteurs d activités, alors que d autres secteurs n étaient pas représentés (tel le secteur informatique). De plus, aucun titulaire de postes n a participé à la conception de l outil d évaluation. La représentativité des experts de contenu ne permettant pas de bien couvrir l ensemble des domaines, des situations invoquées dans ce test pourraient ne pas être conformes à la réalité de certains emplois. À cet égard, voici les propos de M. Petterson: 16 Avis de M. Pettersen à la CFPM portant sur le TJS, 2014. 12
«Il serait également souhaitable d attester que les mises en situation et leurs choix de réponse sont suffisamment génériques pour être applicables à tous les emplois (p. ex., les directives données au comité au moment de la collecte des incidents critiques ou une démarche vérifiant cet aspect auprès d experts de contenu provenant de tous les emplois visés, etc.). Le Manuel technique semble indiquer que c est le concepteur du TJS qui a choisi les 28 mises en situation parmi l ensemble des incidents critiques recueillis. Si cela est exact, comment alors a-t-il pu faire ce choix en fonction de leur «applicabilité à un grand nombre d arrondissements/services», de surcroît tout en s assurant que «les choix de réponse représentent des niveaux d efficacité différents», s il n est pas lui-même un expert de contenu? Cet aspect est fondamental pour assurer qu il n y ait pas d emplois pour lesquels des candidats seraient désavantagés, et inversement.» Lors d analyses statistiques 17, la CFPM a constaté une différence significative entre la performance au test de candidats provenant de l interne et ceux de l externe. M. Petterson avait signalé sa préoccupation à ce sujet de la façon suivante dans son avis à la CFPM: «De la même manière, il serait utile de savoir comment les concepteurs du TJS se sont assurés que les mises en situations et les choix de réponse ne défavorisent pas les candidatures externes, ces personnes qui ne sont pas à l emploi de la Ville de Montréal et qui n ont donc pas eu l occasion d en apprendre la culture.» En effet, si le test est développé en s appuyant sur une culture interne, les candidats provenant de l externe peuvent moins bien performer; les candidats de l interne, en connaissant les «attitudes» attendues par la Ville en matière de sens à la clientèle ont davantage de chances de réussir que ceux de l externe qui les ignorent. Pour cette raison, le test doit être développé en faisant attention de ne retenir que des items «neutres», c est-à-dire dont les réponses seront les mêmes peu importe la provenance des candidats. La CFPM a également constaté une différence significative entre les candidats appartenant à une minorité ethnique et ceux n en faisant pas partie. Les membres à une minorité ethnique obtiennent une moyenne inférieure aux autres candidats. Par ailleurs, l analyse du profil d emplois des professionnels et cadres conseils démontre que le sens de la clientèle, tel qu évalué par le test de jugement situationnel (TJS), correspond essentiellement à la dimension «orientation-client» de cette compétence, requise uniquement pour les emplois de 1 er niveau. Pour ce qui est des emplois de niveaux supérieurs, c est la dimension «rôle-conseil» qui est exigée et non plus l orientation-client. Néanmoins, la CFPM considère acceptable que le TEL «sens à la clientèle volet orientation client» puisse éventuellement être administré à d autres candidats que ceux postulant à des postes d entrée, pourvu que la dimension «rôle-conseil» requise pour les niveaux supérieurs soit adéquatement évaluée en entrevue. 17 La CFPM a transmis au SRH les résultats des analyses statistiques qu elle a obtenues relativement aux tests en ligne (TEL). Ces données statistiques permettent d identifier les items ou questions requérant des vérifications de conformité et des bonifications. 13
Recommandation 6 La CFPM recommande : de réviser le contenu du test de jugement situationnel (TJS) sens de la clientèle, tant au niveau des items que de la clé de réponse, auprès d un nouvel échantillon d experts composé à la fois de titulaires permanents des postes visés que de leur supérieur immédiat ; ce comité devrait être pleinement représentatif des familles d emplois pour lesquels ce test est prévu. Par ailleurs, la CFPM relève que la durée du test est de 30 minutes pour répondre à 15 mises en situation, soit 2 minutes par item. Le test, qui prévoit un ordonnancement des réponses selon leur ordre d efficacité, complexifie la tâche des candidats. Ainsi, pour les15 mises en situations, 4 choix doivent être ordonnancés, ce qui revient, pour le candidat à fournir 60 réponses. Au gouvernement du Canada 18, pour 100 réponses à donner, les candidats ont 90 minutes à leur disposition, soit environ 1 minute par réponse. À la Ville, le ratio est de 30 secondes par réponse, soit la moitié moins de temps. La CFPM propose donc la bonification suivante : d augmenter la durée du test de jugement situationnel (TJS) sens de la clientèle de façon à ce que les candidats disposent d un ratio d environ 1 minute par choix devant être ordonnancé. 4.2 Test d analyse Le test d analyse constitue un outil d évaluation de qualité pour des professionnels et des cadres conseils de premier niveau d emplois compte tenu des sous-dimensions de la compétence «analyse» évaluée. Pour les emplois des niveaux supérieurs, le test d analyse ne permet pas de mesurer les sous-dimensions «synthèse» et «évaluation (sens critique)» essentielles pour répondre aux exigences des postes de niveaux supérieurs. Il serait souhaitable qu un autre test d analyse d un niveau plus approprié pour les emplois supérieurs soit créé. Toutefois, la CFPM est d avis qu un test d analyse de niveau de base peut être administré pour les emplois de niveaux supérieurs pourvu que les résultats des candidats soient interprétés à partir d un groupe de référence (correspondant aux postulants aux emplois d entrée) 18 http://www.sc-cfp.gc.ca/ppc-ccp/psc-tests-cfp/sjt-ejs-fra.htm 14
suffisamment homogène et que la compétence d analyse soit évaluée de nouveau en entrevue à un niveau approprié. Recommandation 7 La CFPM recommande : de s assurer que la compétence d analyse soit évaluée à un niveau approprié lors de l entrevue ou par un autre test en ligne que celui utilisé, plus conforme au niveau de difficulté de ces emploi, pour les emplois professionnels ou cadres conseils de niveaux supérieurs, La CFPM constate que la validité apparente de ce test est peu élevée pour des candidats qui postulent à un emploi en informatique. La validité apparente d un test est liée à la perception des candidats quant à sa pertinence par rapport à la compétence évaluée. Ce type de validité n a toutefois rien à voir avec la validité réelle du test. Les analyses statistiques obtenues par la CFPM démontrent que les postulants de la famille «technologie de l information» ont obtenu une moyenne plus faible au test d analyse que les autres familles d emplois. La raison la plus plausible est sans doute que le type d analyse des emplois informatiques (analyse logique de systèmes) correspond peu au type d analyse sollicité par le test (analyse de textes). Les autres familles d emplois ne semblent pas avoir fait face à cette difficulté d «adaptation» puisque le test constituait une épreuve d analyse plus «conventionnelle» pour eux. À cet égard, la CFPM propose la bonification suivante : de développer un nouveau test d analyse qui s apparente davantage au type d analyse qui se retrouve dans le domaine des emplois en informatique. Enfin, tout comme le test sens de la clientèle, la CFPM a constaté une différence significative entre la moyenne globale obtenue par les candidats n appartenant pas à une minorité ethnique ou visible et ceux y appartenant (voir la recommandation 1 à cet effet). 4.3 Test de connaissances linguistiques - test objectif Le test objectif de connaissances linguistiques est un test initialement élaboré pour des emplois cols blancs et leur est également encore administré. Une analyse des descriptions d emplois professionnels et de cadres conseils démontre qu il serait plus approprié, pour la majorité de ces emplois, d évaluer la capacité à bien rédiger en français plutôt que d administrer le test objectif de connaissances linguistiques. Considérant, encore une fois, que pour être conforme à la PDGMO, l évaluation doit permettre de mesurer le niveau de maîtrise des compétences requises pour 15
exercer les tâches de l emploi, la CFPM insiste sur l importance que le test de connaissances linguistiques soit en adéquation avec l emploi auquel il doit être administré. De plus, rappelons que puisque le seuil de passage a été fixé au 25è percentile dans le but de réduire les bassins, les candidats qui auront réussi les deux étapes du processus de dotation n auront toutefois pas démontré leur maîtrise de la compétence linguistique essentielle pour l emploi. La CFPM réfère donc le SRH à sa recommandation 2, laquelle se lit comme suit : de fixer le seuil de passage de façon à mesurer le bon niveau de maîtrise des compétences recherchées pour exercer les tâches du poste ou de l emploi, et ce, pour toutes les compétences essentielles qui ne sont mesurées qu à une seule étape (ex : l étape des tests en ligne). La CFPM a analysé la qualité métrique de deux des six formes (formes 1 et 3) du test connaissances linguistiques 19. Or, il est constaté que plusieurs bonifications sont requises. Dans les deux formes observées, seulement 50% des items sont en lien avec la réussite ou l échec au test. Le nombre d items ayant une valeur prédictive adéquate s en trouvant réduit, des répercussions sur la qualité de la mesure peuvent en découler. Recommandation 8 Considérant que des correctifs devront être apportés aux formes 1 et 3 du test «Langue française III» ; Considérant que la recommandation 2 du présent rapport devra être appliquée aux quatre autres formes du test, la CFPM recommande : de bonifier les formes 1 et 3 avant de les réutiliser et de s assurer de la qualité métrique des quatre autres formes avant une prochaine administration. de privilégier le test de communication écrite pour la majorité des emplois professionnels et cadres conseil et de réserver le test objectif à certains emplois d entrée qui requièrent peu de rédaction après s être assuré de l adéquation des compétences mesurés par ce test avec les descriptifs d emplois pour lesquels il est administré. 19 La CFPM a transmis au SRH les résultats des analyses statistiques qu elle a obtenues relativement aux tests en ligne (TEL). Ces données statistiques permettent d identifier les items ou questions requérant des vérifications de conformité et des bonifications. 16
4.4 Test de connaissances linguistiques - communication écrite Le test de communication écrite consiste à demander aux candidats de rédiger un texte d opinion sur un sujet d ordre général. Voici l information apparaissant dans le Guide du candidat (reçu préalablement par les candidats à leur résidence), et dans les Directives (lors de l administration du test) concernant les critères d évaluation et leur pondération. Guide au candidat Dimension 1 : Techniques du savoir-écrire 50% Dimension 2 : Normes et bon usage de la langue française 50% Sous- dimensions Respecter les règles de base de tout texte écrit : Introduction, développement, conclusion Faire des paragraphes en laissant les espaces requis entre eux Éviter le langage familier Faire des phrases complètes ; éviter la forme énumérative Respecter le nombre de mot - - - - - Faire attention aux coquilles, virgules, apostrophes, inversion de lettres d un mot, espaces après les signes de ponctuation - Directives du test Sous- dimensions Dimension 1 : Techniques du savoir-écrire - Recommandations : Respecter la structure de base de tout texte écrit et que la rédaction comporte un titre, une introduction, un développement et une conclusion Laisser des espaces requis entre chaque paragraphe Faire des phrases complètes ; éviter la forme énumérative Éviter le langage familier Pénalité de 10 points pour tout texte de moins de 250 mots ou de plus de 400 mots. - - - - - Dimension 2 : Normes et bon usage de la langue française Faire attention aux coquilles, virgules, apostrophes, inversion de lettres d un mot, espaces après les signes de ponctuation - 17
Ces informations s avèrent incomplètes en regard des dimensions et sous-dimensions évaluées, plus particulièrement en ce qui a trait aux directives du test. En effet, elles ne rappellent pas aux candidats le pointage de 50% attribué à chacune des dimensions et, en ce qui concerne la dimension 2, elles réfèrent davantage à des aspects secondaires (coquilles, virgules) que fondamentaux (orthographe, vocabulaire et syntaxe). Comme partie intégrante du test, les directives se doivent d être précises sur les éléments d évaluation. Rappelons que le guide qui donne cette information ne peut être apporté lors du test. Le but des directives est d informer les candidats de la tâche qu ils devront accomplir de façon telle qu ils puissent la réaliser en offrant la meilleure performance possible. Or, les directives, telles que rédigées, offrent fort peu de précision quant aux critères qui seront utilisés pour juger de la qualité de la rédaction. Les «techniques du savoir-écrire» et même les «normes et bon usage de la langue française» s avèrent des concepts à préciser, notamment pour des candidats non spécialistes de la langue française. De plus, les directives étant axées sur l opinion à exprimer, les candidats peuvent penser à tort que l accent sera mis sur les raisons justifiant leur opinion et passer beaucoup de temps sur cette facette. Les dimensions principales et secondaires évaluées devraient être mentionnées dans les directives, en toute transparence, ainsi que la pondération leur étant associée. Finalement, les directives devraient être modifiées afin de faciliter la compréhension des candidats en remplaçant les «techniques du savoir-écrire», par l «organisation et la qualité du discours écrit» et les «normes et bon usage de la langue française» par, notamment, «le vocabulaire, la syntaxe et l orthographe». Recommandation 9 La CFPM recommande : d intégrer aux directives les critères d évaluation ainsi que leur pondération respective afin que les candidats sachent précisément sur quoi porte leur évaluation; adapter le langage spécialisé afin qu il soit plus clair pour l ensemble des candidats. Un nouveau critère d évaluation qui n était pas utilisé antérieurement porte sur la «qualité de l argumentation». Cependant aucune échelle d évaluation n étant développée relativement à ce critère, il est difficile de se prononcer sur ce que vérifie exactement ce concept. En conséquence, la CFPM propose la bonification suivante : de définir plus clairement le concept de la dimension «qualité de l argumentation et modifier en conséquence les explications et exemples donnés dans le «guide au candidat». Selon la CFPM, la correction des copies des candidats pose un problème dans le cas où ceux-ci rédigent trop de mots. En effet, dans de tels cas, le SRH applique une pénalité de 10 points pour 18
non respect des directives et, de plus, corrige les erreurs contenues dans la portion de texte excédant de 75 mots le nombre de mots prévu aux directives. Pourtant, les documents de référence cités par le SRH dans le cadre de l élaboration de ce test ne font état d aucun organisme pénalisant les dépassements de mots. Ceci peut s expliquer par les raisons suivantes : Le candidat qui écrit plus de mots que prévu se pénalise par lui-même en augmentant d autant le risque de commettre des erreurs supplémentaires. Le candidat, en écrivant plus que requis, consomme du temps qu il aurait pu utiliser pour réviser sa copie et corriger des erreurs. Le test ne vise pas à évaluer la dimension «synthèse». Selon la CFPM, retirer 10 points à un candidat, peu importe qu il ait écrit quelques mots en trop ou une centaine, est sévère et peut contribuer à faire échouer des candidats qui maîtrisent la langue française. Pour assurer une correction plus précise et plus équitable, il serait approprié de graduer la pénalité selon le nombre de mots excédentaires. Une alternative à l application de cette pénalité serait de prévenir les candidats que le texte en surplus du nombre de mots demandés ne sera pas corrigé. De cette façon, le candidat se prive de points qu il aurait pu obtenir si l ensemble de sa copie avait été corrigée. Recommandation 10 La CFPM recommande : d établir une gradation de la pénalité de 10 points prévue pour un texte trop long ou de cesser la correction du texte après le nombre de mots exigés dans les directives. L objectif d un test de rédaction est d apprécier la capacité des candidats à organiser leur texte, à vérifier la qualité de leur discours et à s assurer de leur maîtrise des normes et bon usage de la langue française. En fonction de cet objectif, le temps qui leur est accordé devrait être suffisant pour permettre à l ensemble des candidats de faire leur tâche à leur satisfaction. Présentement, 75 minutes leur sont accordées pour un texte de 325 mots, ce qui apparaît relativement court. De plus, pour palier aux erreurs d inattention qui peuvent survenir avec un clavier d ordinateur, le Ministère de l Éducation accorde, une fois le temps écoulé, des minutes supplémentaires pour permettre la révision des erreurs de cet ordre. En conséquence, la CFPM propose les bonifications suivantes : d augmenter la durée du test afin de se rapprocher du temps moyen accordé par les autres organismes, soit environ 120 minutes pour un texte de 325 mots. d accorder du temps aux candidats à la fin de l épreuve afin de leur permettre de vérifier leurs fautes d inattention afin d éviter de les pénaliser pour des fautes non liées à la maîtrise du français. 19
La correction d un test de communication écrite comporte toujours une part de subjectivité, certaines de ses dimensions relevant nécessairement d un jugement d un spécialiste en la matière. Par exemple, la note accordée à la «clarté» d un texte dépend toujours, dans une certaine mesure, du correcteur. L un peut trouver une phrase légèrement plus claire qu un autre et accorder 1 point de plus. Une façon de réduire la subjectivité des correcteurs est l utilisation d échelles d évaluation, lesquelles précisent la répartition des points à attribuer pour les critères les moins objectifs. Or, l observation des outils utilisés pour la correction a permis de constater l absence de telles échelles d évaluation. Malgré tous les moyens déployés pour accroître l objectivité de l évaluation, certaines erreurs de mesure peuvent se produire malgré tout. Ces erreurs découlent de facteurs n étant pas liés à la performance réelle des candidats, tels le degré de sévérité du correcteur ou encore des erreurs d inattention du correcteur ou du candidat. Ces erreurs peuvent faire en sorte de faire échouer des candidats qui auraient autrement réussis ou, à l inverse, de faire réussir des candidats qui auraient dû échouer. Pour contrer ce type d erreurs, deux moyens sont préconisés par la CFPM : Réviser toutes les copies dont le résultat se situe à plus ou moins 5% du seuil de passage afin de s assurer qu aucune erreur de correction ne puisse occasionner des réussites ou échecs non fondés ; Prévoir une «zone frontière» sous le seuil de passage représentant l erreur de mesure potentielle afin d éviter de pénaliser un candidat qui aurait autrement réussi. Recommandation 11 La CFPM recommande : de développer une échelle d évaluation précise pour chacun des critères d évaluation associés à l «organisation et la qualité du discours». de réviser des copies dont le résultat se situe à plus ou moins 5% de la note de passage soit effectuée par un spécialiste de la langue française afin de déceler d éventuelles erreurs de correction. d appliquer une zone frontière compte tenu de la subjectivité inhérente à la correction de ce type de test, afin d éviter de pénaliser des candidats qui auraient subis des erreurs de mesure. 20
Un test de rédaction s avère pertinent pour la grande majorité des professionnels et cadres conseils puisque ceux-ci ont à produire régulièrement des travaux d écriture dans le cadre de leurs fonctions. Toutefois, le modèle de rédaction retenu, soit la production d un texte d opinion sur un thème général n apparaît pas toujours le meilleur choix possible. L observation des emplois visés par le test de rédaction démontre que cette tâche semble d un niveau de difficulté peu élevé quand on la compare aux autres activités d écriture qu ils doivent accomplir dans le cadre de leur travail (ex : rapports d expertise, communiqués de presse, etc.). Il y aurait lieu, de l avis de la CFPM, de hausser le niveau de difficulté demandé puisqu ils sont surtout appelés à émettre des avis et rapports d évaluation dont les assises sont l analyse, la synthèse et l esprit critique. Par exemple, pour l emploi de «chargé de communication» un test nettement plus difficile que la rédaction d une opinion serait requis pour démontrer la compétence. Dans plusieurs cas, l utilisation d un texte d opinion apparaît nettement inappropriée compte tenu de la complexité des travaux d écriture attendus dans leur emploi. Un autre type de communication aurait clairement dû être demandé. En effet, la CFPM a constaté qu il y aurait lieu de s interroger sur le niveau de difficulté lié à l épreuve selon l emploi. La moyenne obtenue de 74% et le point de coupure à 68% démontrent que le test est relativement facile. Recommandation 12 La CFPM recommande : de réviser le modèle actuel en intégrant d autres types de communication que le texte d opinion afin d évaluer l habileté à communiquer du candidat en fonction du besoin réel d écriture de l emploi. Cette révision doit également porter sur le niveau de difficulté requis pour effectuer les activités attendues, de même que sur la pondération des critères d évaluation. 21