Préparation en vue de l EFU de Pour bien comprendre la méthode d évaluation

Transcription

1 F O R M A T I O N Pour bien comprendre la méthode d évaluation

2 TABLE DES MATIÈRES I INTRODUCTION...2 II LE CENTRE DE CORRECTION PILOTE...4 III LA DÉCISION ULTIME : RÉUSSITE OU ÉCHEC...8 IV CONCLUSIONS DU JURY SUR LA MÉTHODE...14 V COMMENTAIRE SUR LA PERFORMANCE DES CANDIDATS...15 ANNEXE A ANNEXE B ANNEXE C CENTRE DE CORRECTION PILOTE SIMULATIONS ET GUIDES D ÉVALUATION...19 PERFORMANCE DES CANDIDATS À L ÉGARD DES INDICATEURS PRINCIPAUX PAR DOMAINE DE COMPÉTENCE PERFORMANCE DES CANDIDATS À L ÉGARD DES INDICATEURS PRINCIPAUX ET SECONDAIRES PAR SIMULATION Tous droits réservés 2002 L Institut Canadien des Comptables Agréés 277, rue Wellington Ouest, Toronto, Canada M5V 3H2 Imprimé au Canada

3 2 I INTRODUCTION Aperçu Au printemps 2002, l ICCA a publié Présentation générale du nouveau processus d évaluation uniforme. Cette publication explique l évolution du processus de formation professionnelle des CA vers une focalisation axée sur les compétences. Elle décrit aussi brièvement le nouveau processus d évaluation uniforme qui sera mis en œuvre pour déterminer si les candidats possèdent le niveau de compétence requis des CA en début de carrière. Le Jury d évaluation a été chargé de mettre au point une méthode d évaluation des compétences. Étant donné la nature et l ampleur des changements, le Jury a décidé de mettre à l essai la nouvelle méthode avant de l appliquer à l évaluation uniforme de En février 2002, le Jury a donc mis sur pied un centre de correction pilote faisant appel à certaines questions de l EFU de 2001 et regroupant un échantillon représentatif de réponses de candidats. Des correcteurs d expérience y ont appliqué la nouvelle méthode à l aide des nouveaux outils créés par le Jury. Afin de permettre aux candidats de mieux comprendre le fonctionnement du nouveau processus d évaluation, le présent rapport explique la méthode de façon assez détaillée, décrit la manière dont elle a été appliquée au centre de correction pilote, et présente d importantes leçons tirées de l exercice leçons qui, selon le Jury, seront utiles aux candidats. Les renseignements relatifs à la nouvelle méthode et à ses incidences s appliquent à l Évaluation uniforme à laquelle se présenteront les candidats à la profession de CA en Informations générales Une évaluation axée sur le CA de la Vision À la fin des années 1990, le Conseil d administration de l ICCA est arrivé à la conclusion que la profession de CA faisait face à des changements d une telle ampleur qu elle devait se doter d une vision qui la guiderait au XXI e siècle. Le rapport Vision qui a découlé de ce constat a établi les énoncés de Mission et de Vision suivants, qui décrivent la finalité et l orientation de la profession : Mission : Notre mission consiste à faciliter la prise de décisions et à améliorer la performance organisationnelle grâce à notre expertise en gestion financière, en certification et dans d'autres domaines spécialisés. Nous agissons avec intégrité et objectivité, et nous nous engageons à rechercher l'excellence et à servir l'intérêt public. Vision : Nous serons les chefs de file en matière de création, de validation et d'interprétation des informations qui servent à mesurer et à améliorer la performance organisationnelle, et nous représenterons le choix qui s'impose pour tous ceux qui ont besoin de services de gestion financière, de certification et d'autres services spécialisés.

4 Le Conseil d administration a, par la suite, approuvé l adoption d un processus d admission à la profession de CA fondé sur les compétences, considérant qu il s agit d un élément clé pour réaliser la Mission et la Vision. Cette approche précise les résultats attendus de la formation, ou ce qu une personne sait faire ou peut accomplir. La Grille de compétences et son incidence sur l évaluation Ce que le CA doit savoir faire ou pouvoir accomplir au moment de son admission à la profession est décrit dans la Grille de compétences des CA du Canada, publiée en septembre L adoption par la profession d une approche fondée sur les compétences, et la présentation des nouvelles règles de base dans la Grille de compétences, ont créé un tout nouveau contexte d évaluation pour les candidats à la profession de CA. Parmi les changements importants suscités par la Grille de compétences, notons les domaines élargis de compétence que sont les technologies de l information, la finance et l efficacité organisationnelle. La Grille de compétences intègre ces compétences élargies et limite la complexité inhérente à l élargissement des compétences en précisant que les compétences doivent être évaluées dans un contexte de «situation normale». En outre, elle exige que les compétences fondamentales et les compétences particulières soient évaluées de manière intégrée. Du fait de l adoption de la Grille de compétences par la profession, le Jury a dû repenser le processus d évaluation de fond en comble, ce qui a donné lieu à une nouvelle méthode et à la création de nouveaux outils de mise en œuvre. 3

5 4 II LE CENTRE DE CORRECTION PILOTE En février 2002, le Jury a organisé un centre de correction pilote en vue de mettre à l essai la méthode qu il avait élaborée. Un échantillon de réponses à l EFU de 2001 a été retenu et corrigé à l aide de la nouvelle méthode. Les objectifs visés par le centre de correction pilote, la démarche suivie ainsi que ses diverses composantes sont décrits de façon plus détaillée ci-dessous. Objectifs Le Jury a mis sur pied le centre de correction pilote parce qu il voulait vérifier : si les réponses individuelles des candidats pouvaient être évaluées au moyen de la nouvelle méthode d évaluation axée sur les compétences proposée par le Jury, et si un portrait composite valable de la compétence de chaque candidat pouvait être obtenu aux fins de la prise d une décision réussite/échec. Le Jury a prévu que cette vérification lui permettrait : d identifier les «leçons tirées» qui seraient utiles au Jury, aux formateurs et aux futurs candidats; d obtenir des informations qui seraient utiles pour déterminer un plan pour l évaluation de 2003; d examiner de plus près les préoccupations suscitées par la méthode; de réunir plus d informations sur la manière dont l excellence des candidats pourrait être reconnue. On n attendait pas du centre qu il permette d obtenir des réponses à toutes les questions que le Jury ou les formateurs sont susceptibles de se poser au sujet du nouveau processus en raison des limitations suivantes : le centre n était (et n est) pas un «outil parfait», car il ne couvrait pas bien tous les domaines de compétence. Les réponses utilisées avaient été rédigées par des candidats qui s étaient préparés pour un EFU traditionnel et non pour une évaluation axée sur les compétences; l ensemble de questions utilisé pour le centre pilote était différent de l EFU de Il excluait une question unidisciplinaire, une question multidisciplinaire, ainsi que les questions à choix multiples. De plus, la question globale ne représentait que 25 % de la note des candidats à l EFU de 2001, alors qu elle en représentait 33 % à l évaluation du centre pilote. Par conséquent, dans son analyse des résultats obtenus au centre pilote, le Jury s est focalisé sur l application de la nouvelle méthode d évaluation aux réponses individuelles. Les candidats qui ont démontré de la compétence ont-ils réussi? À l inverse, les candidats qui n ont pas démontré de compétence ont-ils échoué?

6 5 Démarche suivie au centre de correction pilote Pour réaliser la correction pilote, il a été nécessaire de recourir à des simulations (situations professionnelles représentatives des types de défis qui se posent aux CA en début de carrière). Les simulations utilisées au centre pilote ont été choisies parmi les questions de l EFU de 2001 jugées appropriées. Un guide d évaluation intégrant les nouvelles méthodes a été élaboré pour chacune des questions de l EFU de 2001 retenues. Les correcteurs ont reçu une formation sur les nouvelles méthodes, et la correction véritable de l échantillon de réponses a commencé une fois l uniformité assurée. Chacune des étapes de la démarche est décrite ci-dessous. Le Jury a élaboré un «profil réussite» et pris des décisions réussite/échec. Ces composantes de la démarche sont exposées au chapitre suivant du présent rapport. Choix de questions de l EFU de 2001 comme simulations Pour choisir les questions de l EFU de 2001 à utiliser dans la correction pilote, le Jury s est appuyé sur la Grille de compétences. Celle-ci précise les connaissances, les compétences et les attitudes qu on attend de tout CA au moment de son admission. Elle indique également : les «situations normales» dans lesquelles on attend de tous les CA débutants qu ils démontrent les compétences requises; le niveau de maîtrise que tous les CA débutants doivent démontrer à l égard de chaque compétence. Le Jury a passé en revue l EFU de 2001 pour déterminer quelles questions étaient appropriées pour le centre de correction pilote. Les questions à choix multiples ont d abord été éliminées. Puis la question 3 de l épreuve II a été écartée, parce qu il s agissait d une question unidisciplinaire en fiscalité, et que les connaissances vérifiées par la question étaient considérées comme excédant le niveau de compétence décrit dans la Grille de compétences. Enfin, la question 3 de l épreuve III, une question multidisciplinaire, a été écartée, parce que le scénario (une grande société ouverte) et la complexité cumulative des questions comptables en jeu constituaient une situation qui n est plus jugée appropriée, selon la nouvelle méthode, pour les CA en début de carrière. Toutes les autres questions ont été jugées appropriées pour utilisation au centre de correction pilote. Élaboration de guides d évaluation Le Jury a élaboré des guides d évaluation pour chacune des questions de l EFU de 2001 retenues aux fins de la correction pilote. Des guides d évaluation ont été préparés pour les indicateurs de compétence principaux et secondaires. Les indicateurs de compétence principaux répondent à la question : «Que ferait un CA compétent dans ces circonstances?» Les indicateurs de compétence secondaires répondent à la question : «Quels autres points pourrait soulever un CA?»

7 La différence entre les indicateurs principaux et secondaires tient au fait que les premiers sont plus cruciaux, dans la situation en cause, que les seconds. Autrement dit, si les questions identifiées dans les indicateurs principaux ne sont pas traitées, le CA pourrait, dans la vraie vie, nuire à sa carrière ou à un client. Les indicateurs secondaires ont trait à des questions qui, bien que pertinentes, ne doivent pas absolument être traitées. Chaque indicateur de compétence présenté dans les guides d évaluation est suivi d une description des questions qui pourraient être soulevées ou discutées et qui dénoteraient de la compétence. Finalement, les guides d évaluation comprennent des niveaux de performance clairement définis pour aider les correcteurs à évaluer la compétence d un candidat au regard des indicateurs. Cinq catégories de performance sont données pour chaque indicateur principal. La performance du candidat doit être classée dans l une des cinq catégories suivantes : Indicateur non traité Compétence minime En voie vers la compétence Compétent Hautement compétent Pour chaque indicateur secondaire, la performance du candidat doit être classée dans l une des quatre catégories suivantes : Indicateur non traité Compétence minime Compétent Hautement compétent (Le niveau «En voie vers la compétence» n est pas pertinent au stade où le Jury évalue la performance des candidats au regard des indicateurs secondaires. Ce stade est expliqué au Niveau 3 du Cadre décisionnel réussite/échec, ci-dessous.) Les simulations et les guides d évaluation utilisés au centre de correction pilote sont présentés à l Annexe A du présent rapport. Réponses à l EFU de 2001 retenues pour le centre de correction pilote Un échantillon représentatif de 203 réponses de candidats a été choisi pour la correction pilote, et les résultats de 2001 ont été utilisés pour valider la performance. Le Jury voulait s assurer que l échantillon couvrait toute la gamme des performances des candidats. De plus, l échantillon comportait la même proportion de réponses de francophones et d anglophones qu à l EFU de

8 7 Formation des correcteurs / démarrage / uniformité La correction pilote a eu lieu en février 2002, immédiatement après le centre d appel de l EFU de Les correcteurs d expérience qui ont participé au centre d appel ont également pris part au centre de correction pilote. Une séance de formation d une journée a été organisée avec chaque équipe de correcteurs (chacune était responsable d une question de l EFU de 2001). Il s agissait de familiariser les correcteurs avec les guides d évaluation qui avaient été préparés pour chaque question, puis de lire et de corriger à blanc les photocopies des réponses des candidats. Avant que la correction véritable commence, il y a eu entente sur ce qui permettrait de distinguer un candidat ayant atteint un certain niveau de performance plutôt qu un autre (par exemple, quels éléments devaient être présents dans une réponse pour que le candidat soit considéré comme «compétent» plutôt qu «en voie vers la compétence»). En outre, on a recherché et atteint l uniformité (c est-à-dire que les correcteurs d expérience et les permanents du Jury sont tous arrivés à la même opinion au sujet du niveau de performance démontré par un candidat donné). On a demandé aux équipes de correction de préserver l uniformité en discutant des réponses de candidats dont le classement exigeait une bonne part de jugement, ou des réponses qui dérogeaient au modèle habituel. De surcroît, les équipes de correction ont été encouragées à corriger une réponse en groupe à des intervalles de quelques heures pour veiller à ce que le jugement de l équipe demeure uniforme. Analyse des résultats par le Jury Une fois la correction véritable terminée, la prochaine présidente, le président actuel et les permanents du Jury ont consacré trois jours à analyser les résultats des candidats issus de la correction pilote. Le Jury s est ensuite réuni pendant deux jours pour étudier les résultats et les analyses.

9 8 III LA DÉCISION ULTIME : RÉUSSITE OU ÉCHEC Après avoir terminé la correction véritable au centre pilote, le Jury a passé en revue la performance de chaque candidat pour l ensemble des simulations afin de décider de la réussite ou de l échec du candidat. Cette décision a été arrêtée en comparant la performance du candidat au regard d un «profil réussite». Le Jury avait élaboré un profil réussite aux fins de la correction pilote. Il le fera chaque année pour l Évaluation uniforme. Les principes qui guident l élaboration d un profil réussite sont indiqués ci-dessous. Il a également été nécessaire, pour appliquer le profil réussite puis prendre la décision réussite/échec, de mettre au point un cadre décisionnel, qui est lui-aussi décrit ci-dessous. Le concept de «profil réussite» À l heure actuelle, le processus permettant de déterminer la réussite à l EFU s amorce comme suit : les candidats sont évalués sur la base de chaque élément de connaissance ou de compétence dont ils font preuve. Tout élément possible de connaissance ou de compétence valable est inscrit sur le barème de correction, et les correcteurs doivent prendre des centaines de petites décisions de type oui/non. Le candidat a-t-il démontré qu il possédait cet élément de connaissance ou de compétence? Le Jury pondère alors chacun des éléments en fonction de l importance de la connaissance ou de la compétence pour la question. Les points sont additionnés, et le candidat obtient une note qui classe sa performance par rapport à celle de tous les autres candidats. L évaluation de la compétence et le profil réussite La nouvelle évaluation axée sur les compétences ne repose plus sur de nombreuses appréciations individuelles, mais sur une appréciation visant à déterminer si la réponse du candidat à l Évaluation uniforme (c est-à-dire ses réponses aux simulations prises globalement) est conforme à un ensemble de caractéristiques, ou profil réussite, qui selon le Jury constitue la compétence. En somme, la performance du candidat correspond-elle au profil réussite? Dans l affirmative, le candidat réussit; dans la négative, il échoue. La décision en est donc une de réussite ou d échec global : le candidat est jugé compétent ou non. Il n y a aucun classement par rapport aux autres candidats. L élaboration d un profil réussite pour déterminer la compétence représente un défi considérable. Le Jury doit tenir compte de plusieurs éléments. Il doit considérer non seulement si le candidat a bien traité tous les domaines de compétences particulières, mais aussi la façon dont il a structuré ses réponses (valeurs et compétences fondamentales). En même temps, le Jury doit tenir compte du fait que diverses combinaisons de forces et de faiblesses relatives peuvent témoigner d une compétence adéquate et justifier une «réussite».

10 9 L exigence indiquée pour chaque élément du profil ne doit pas être trop élevée, étant donné que les candidats doivent satisfaire aux exigences fixées par le Jury pour chacun des éléments individuels du profil réussite. Ces éléments sont décrits-ci-dessous. Par conséquent, même s il peut sembler relativement facile de satisfaire à une exigence rattachée à un élément isolé, il reste que, comme ils doivent respecter toutes les exigences sans exception, les candidats sont confrontés à un défi plus important. Les éléments du profil réussite Pour définir le profil d un candidat compétent c est-à-dire, pour définir un profil réussite, le Jury s est inspiré de ce que l on attend d un CA de la Vision ainsi que de la Grille de compétences. Les trois éléments et le cadre décisionnel réussite/échec Pour satisfaire au profil réussite, la réponse du candidat doit comporter les éléments suivants : 1. Suffisance : la réponse doit être suffisante, c est-à-dire que le candidat doit faire preuve de compétence au regard des indicateurs principaux à suffisamment de reprises pour être jugé compétent. 2. Profondeur : la réponse doit être approfondie dans les domaines de la mesure de la performance et de la certification. 3. Étendue : la réponse doit couvrir largement tous les domaines de compétence. La performance de chaque candidat est évaluée au regard de ces trois éléments à l aide de mesures conçues par le Jury. Chacun des trois éléments représente un «niveau» ou un point de décision du cadre décisionnel appliqué par le Jury pour déterminer chaque réussite ou échec individuel. Le candidat doit obligatoirement satisfaire aux exigences du premier niveau pour passer au deuxième; il doit de même satisfaire aux exigences du deuxième niveau pour passer au troisième. (Le cadre décisionnel est expliqué en détail plus loin.) En plus de présenter les éléments du profil réussite indiqués ci-dessus, la réponse du candidat doit démontrer que celui-ci a fait preuve de compétence de façon uniforme. En d autres mots, un candidat ne peut compter sur des habiletés supérieures, en technologies de l information par exemple, pour compenser une sous-performance, disons, en fiscalité. Le candidat ne saurait non plus compter sur une performance exceptionnelle par rapport à un indicateur principal en certification, par exemple, pour compenser une sous-performance par rapport à d autres indicateurs principaux en certification.

11 10 Détermination du profil réussite Chaque année, le Jury concevra des mesures permettant d évaluer chacun des trois éléments constituant le profil réussite de l année considérée. Il est entendu que ces mesures varieront en fonction des compétences que cherche à vérifier l Évaluation uniforme de l année en cause. Mais les éléments sous-jacents resteront les mêmes d une année à l autre. La méthode utilisée par le Jury pour déterminer le profil réussite est expliquée ci-dessous. 1. Les candidats doivent démontrer une compétence suffisante dans le traitement des questions qui sont cruciales pour l analyse. Le candidat doit faire preuve de compétence au regard de l ensemble des indicateurs principaux. Le critère de suffisance est fixé aussi bas que possible pour permettre à la majorité des candidats de passer aux niveaux suivants. Comme il est d usage actuellement, le Jury continuera d ajuster ce critère pour tenir compte de la difficulté des simulations, etc. Pour mesurer la suffisance, une valeur numérique est attribuée aux niveaux de performance «en voie vers la compétence» et «compétent» associés à chaque indicateur principal. Au centre de correction pilote, les niveaux «en voie vers la compétence» et «compétent» associés aux indicateurs principaux de la question globale ont reçu une valeur de 4 et 8 points, respectivement. Dans le cas des autres simulations, les valeurs correspondantes étaient de 2 points pour «en voie vers la compétence» et de 4 points pour «compétent». Il est à noter que le niveau «hautement compétent» vaut le même nombre de points que le niveau «compétent». Cette pondération renforce l importance de l uniformité dans la performance du candidat par rapport à tous les indicateurs principaux. 2. Les candidats doivent démontrer une compétence approfondie dans le traitement des questions clés se posant dans les domaines de la mesure de la performance et de la certification. Cette exigence est renforcée par la pondération supérieure attribuée à ces domaines et se justifie du fait que ceux-ci demeurent les territoires de base de la profession de CA. Les candidats doivent faire preuve de compétence dans les domaines de la mesure de la performance et de la certification en analysant les questions, en les classant et en fournissant des conseils pratiques à leur égard. Il appartient au Jury de décider de ce qui constitue la «profondeur» requise. La question sera tranchée chaque année en fonction du nombre, de la qualité et du degré de difficulté des indicateurs principaux en mesure de la performance et en certification. L évaluation de la profondeur n est pas fonction d une valeur numérique donnée, mais plutôt du nombre de fois où un candidat fait preuve de compétence au regard des indicateurs principaux en certification et en mesure de la performance.

12 3. Le candidat doit faire preuve d une compétence étendue, parce qu un nouveau CA doit démontrer un certain niveau de compétence dans tous les domaines particuliers requis. La compétence doit être démontrée à l égard d un nombre plus élevé d indicateurs, mais selon un degré de performance moindre que pour la profondeur. Le Jury décidera chaque année de ce qui constitue l «étendue» requise, en fonction du nombre d indicateurs principaux et secondaires par rapport auxquels le candidat peut faire preuve de compétence dans chacun des domaines particuliers. Le Jury attribue une valeur numérique pour évaluer l étendue de la compétence dans chaque domaine particuliers. Les candidats qui ne font pas preuve d une compétence étendue au regard des indicateurs principaux ont une autre chance, puisque leur performance par rapport aux indicateurs secondaires est prise en compte. Les guides d évaluation permettront d assurer que les candidats qui réussissent ont fait preuve de compétence de façon uniforme. Ce résultat est obtenu au moyen d une pondération relative et de notes attribuées aux divers niveaux de performance associés à chaque indicateur. Les niveaux «compétent» et «hautement compétent» valent le même nombre de points. Cette pondération contraste avec l approche utilisée pour l EFU traditionnel, où un candidat pouvait cumuler suffisamment de points en réussissant très bien dans un domaine pour compenser une sousperformance dans un autre domaine. Avec la nouvelle méthode, la capacité de dépasser le niveau «compétent» pour un indicateur de performance donné ne compensera pas une mauvaise performance par rapport à un autre indicateur. Le candidat doit faire preuve de compétence de façon uniforme pour obtenir une réussite. Principe absolu Le Jury continuera de faire appel à son jugement dans la détermination du profil réussite afin d assurer que les candidats sont traités équitablement. Le cadre décisionnel réussite/échec Le cadre décisionnel réussite/échec se présente comme suit. 11

13 Notre cadre décisionnel 12 É C H E C NON NON Indicateurs principaux seulement NON La compétence démontrée dans l ensemble était-elle suffisante? OUI Les compétences démontrées en MP et en C étaient-elles suffisamment approfondies? OUI La compétence démontrée couvrait-elle largement les divers domaines? NON Niveau 1 Niveau 3 Niveau 2 Examiner les informations supplémentaires découlant des indicateurs secondaires afin de permettre de mieux évaluer l étendue des compétences 2 e évaluation de la question «La compétence démontrée couvrait-elle largement les divers domaines?». OUI OUI Secondaires C O N T R Ô L E D E L A Q U A L I T É R É U S S I T E

14 13 Niveau 1 Le premier critère est celui de la suffisance. Par rapport aux indicateurs principaux, le candidat démontre-t-il une compétence suffisante dans l ensemble? Il s agit d un critère numérique. Le Jury ne s attarde pas à la façon dont les points sont accumulés, mais évalue plutôt si une norme minimale de suffisance a été atteinte. Si le candidat satisfait à cette exigence, il passe au niveau 2. S il ne satisfait pas à cette exigence, il obtient un échec. Niveau 2 Le deuxième critère est celui de la profondeur. Par rapport aux indicateurs principaux, le candidat démontre-t-il de la compétence à suffisamment de reprises dans les domaines de la certification et de la mesure de la performance? Si le candidat satisfait à cette exigence, il passe au niveau 3. S il ne satisfait pas à cette exigence, il obtient un échec. Niveau 3 Le troisième critère est celui de l étendue. Tout d abord, le Jury n évalue la performance que par rapport aux indicateurs principaux. Le candidat a-t-il démontré un niveau minimal de compétence dans chacun des domaines particuliers, ou a-t-il systématiquement évité un domaine particulier dans l ensemble des simulations? Si la performance du candidat par rapport aux indicateurs principaux ne permet pas d établir sans équivoque l étendue de sa compétence, le Jury examine alors sa performance en ce qui a trait aux indicateurs secondaires. Si le candidat démontre une compétence étendue, il obtient une réussite. Dans le cas contraire, il obtient un échec. L Annexe B présente un tableau illustrant les résultats obtenus au centre de correction pilote. Le tableau résume la performance des candidats au regard des indicateurs principaux, analysée par domaine de compétence. L Annexe C comprend un tableau résumant la performance des candidats au regard des indicateurs principaux et secondaires, analysée par simulation.

15 14 IV CONCLUSIONS DU JURY SUR LA MÉTHODE Les conclusions globales du Jury sont présentées ci-dessous. L expérience du centre de correction pilote a donné au Jury l assurance recherchée que la nouvelle méthode d évaluation produit des résultats valables. Cette conclusion a été dégagée à la suite de la lecture des épreuves des candidats qui ont réussi et échoué selon la nouvelle méthode. Chaque fois, le Jury a pu constater que la mention de réussite ou d échec obtenue par le candidat était justifiée. La nouvelle méthode d évaluation est pratique. L examen peut être préparé et corrigé avec intégrité et uniformité. Les membres du Jury, les permanents, les correcteurs et les membres du Comité sur la formation et l admission ont tous été enthousiasmés par la nouvelle méthode. Prochaines étapes Le prochain défi que devra relever le Jury sera de faire en sorte que l «architecture» de l Évaluation uniforme de 2003 permette de dégager suffisamment d indicateurs principaux et secondaires pour évaluer la suffisance, l étendue et la profondeur des compétences. Pour l examen de 2002, le Jury ne publiera pas les Annales de l EFU traditionnelles. Il publiera plutôt l EFU de 2002, accompagné de guides d évaluation axés sur les compétences pour chaque question.

16 15 V COMMENTAIRE SUR LA PERFORMANCE DES CANDIDATS Les commentaires qui suivent visent à aider les candidats, les formateurs et les autres intéressés à comprendre les incidences de la nouvelle méthode d évaluation. Pour obtenir la mention réussite, les candidats doivent faire preuve d une compétence suffisante dans tous les domaines, en plus de formuler des réponses d une profondeur et d une étendue appropriées. Commentaires généraux On ne saurait trop insister sur l importance de donner des réponses bien étoffées, traitant de tous les éléments du profil. Comme l indiquent les commentaires figurant dans la section «Obstacles à la performance» ci-dessous, la méthode fait ressortir les lacunes par rapport aux exigences du profil réussite. La question globale revêt une importance accrue car, à partir de 2002, elle compte pour le tiers de l évaluation totale, comparativement au quart auparavant. Il est essentiel de livrer une performance satisfaisante dans tous les domaines, de façon uniforme. Une performance exceptionnelle dans un domaine ne permettra plus de compenser une sous-performance dans un autre domaine. Le candidat qui évite systématiquement un domaine ne pourra pas recevoir une mention réussite. Les valeurs et compétences fondamentales sont intégrées à la quasi-totalité des indicateurs de performance. Par conséquent, les connaissances particulières en elles-mêmes ne suffisent pas : c est la façon dont elles sont appliquées qui est importante. Les commentaires contradictoires, contraires à l éthique ou inappropriés pour quelque autre raison font obstacle à une bonne performance. Le manque d intégrité intellectuelle dans l ensemble de la réponse a une incidence sur l évaluation des valeurs et compétences fondamentales et des compétences particulières. En bref, les commentaires de cette nature réduisent les chances de réussite. L exactitude technique est importante, car elle entre en jeu à tous les niveaux de performance. Il n est plus possible d obtenir des points pour des éléments de réponse «faible». Actuellement, les correcteurs de l EFU peuvent accorder un point pour un élément même s ils jugent que la réponse du candidat est faible. Dans une évaluation axée sur les compétences, cette notion n a pas sa place. Le candidat est compétent ou ne l est pas. Obstacles à la performance Le Jury a analysé les résultats des candidats qui ont échoué à chaque niveau du cadre décisionnel pour déterminer s il était possible d en dégager des caractéristiques communes sur le plan de la performance. Voici un résumé des obstacles à la performance relevés.

17 16 Au niveau 1 du cadre décisionnel La question globale est une composante clé de la démonstration de compétence du candidat. En effet, comme la question globale offre à elle seule une part relativement élevée des occasions de faire preuve de compétence (le tiers), il est difficile de surmonter une mauvaise performance pour cette question. Par rapport aux autres, la question globale exige des candidats qu ils traitent plus d informations, intègrent une plus grande quantité de données et adoptent une optique plus large dans la formulation de leurs réponses. Ce sont des compétences clés dans le monde d aujourd hui. Une sous-performance pour la question globale est indicatrice de difficultés possibles en Les candidats qui, par le passé, obtenaient de bons résultats pour certaines questions de l EFU en recevant des points pour des sujets très accessoires (par exemple, listes de contrôle de vérification, récitation de PCGR) et en faisant des commentaires passe-partout, ne feraient pas preuve de compétence selon la nouvelle méthode. Les candidats qui répondent aux indicateurs principaux de cette manière ne sont plus jugés compétents dans le cadre de la nouvelle Évaluation uniforme; ils échouent au niveau 1. Les candidats qui n ont pas répondu aux attentes du Jury à l égard des questions de l EFU de 2001 n ont pas bien réussi au niveau 1 des simulations au centre de correction pilote. Au niveau 2 du cadre décisionnel Certification Les candidats dont la couverture de la certification était concentrée sur les procédés de vérification n ont pas été jugés compétents au regard des indicateurs principaux des simulations. Les guides d évaluation élaborés pour la correction pilote exigeaient que les candidats fassent la preuve de leur compréhension des questions de vérification, élaborent des stratégies de vérification et démontrent une bonne appréciation des risques de mission pour être jugés compétents quant à l un ou l autre des indicateurs principaux en certification. Le candidat qui ne démontre pas ces compétences ne fait pas preuve d une connaissance approfondie de la certification. Par exemple, l indicateur principal n o 1 pour la question 1 de l épreuve II exigeait que les candidats voient les changements importants intervenus au cours de l année et traitent des conséquences pour la vérification. Pour être jugés compétents, les candidats devaient identifier les questions de vérification et décrire leur signification en abordant le risque de mission connexe et l impact sur la clause restrictive. L indicateur secondaire n o 1, par ailleurs, exigeait que les candidats traitent en détail des procédés de vérification pertinents pour l un des éléments de risque identifiés. Les candidats qui se sont attaqués tout de suite au détail des procédés de vérification sans expliquer clairement pourquoi une question était importante non plus que son impact sur le risque et les clauses restrictives, ont raté une partie essentielle de la question.

18 Les candidats qui abordent la certification en mettant l accent sur une évaluation de l aspect PCGR d une question sans traiter des conséquences sur la vérification, de la difficulté de définir quels sont les éléments probants appropriés, ou du degré d assurance résultant, ne sont pas jugés compétents quant aux indicateurs en certification. Par exemple, pour la question 2 de l épreuve IV, l indicateur principal n o 2 exigeait que les candidats identifient les questions liées à la planification de la mission, aux procédés à utiliser et aux rapports. Pour être jugés compétents, les candidats devaient non seulement traiter des questions liées à l intégralité des produits et identifier les options de rapport, mais aussi traiter de certains des défis posés par l obtention d éléments probants. Les candidats qui n ont pas abordé ces défis ont été classés «en voie vers la compétence». Mesure de la performance Pour certaines questions de l EFU de 2001 (et des EFU précédents), les candidats pouvaient se contenter d aborder de façon générale toutes les questions de mesure de la performance identifiées, et ainsi s attendre à obtenir quelques points pour chacune. Dans le cadre de la nouvelle Évaluation uniforme, toutefois, cette stratégie ne suffit plus, car elle ne permet pas au candidat de démontrer sa profondeur d analyse ou sa capacité à classer les problèmes, tel que requis pour qu il soit jugé compétent. Les candidats doivent noter que seules les discussions sur les questions clés (indicateurs principaux) sont considérées lors de l évaluation de la compétence au niveau 2. Les candidats qui ont échoué au niveau 2 à cause de la mesure de la performance avaient tendance à accorder le même degré d importance à toutes les questions comptables relevées. Cette approche a nui à leur performance parce que, pour être jugé compétent, il fallait notamment démontrer une compréhension des questions et une capacité à les classer selon leur importance. Par exemple, la question 1 de l épreuve III comportait deux indicateurs de mesure de la performance : un principal et un secondaire. Ces deux indicateurs exigeaient que les candidats analysent les questions comptables. La différence entre les questions comptables abordées dans l indicateur principal par rapport à l indicateur secondaire concernait l importance relative du montant aux fins de l analyse. Les candidats qui ont passé plus de temps à analyser les questions comptables qui n avaient pas d effet important sur la déclaration de sinistre n auraient pas été jugés compétents selon la nouvelle méthode. Les candidats devaient fournir une analyse des questions importantes pour faire la preuve de leur compétence en mesure de la performance dans cette question. La question globale offre un autre exemple. L indicateur principal n o 3 a trait à l évaluation de la performance. La compétence des candidats dans ce domaine était évaluée selon leur traitement des principaux problèmes comptables (soit l acquisition du matériel de Sam, l acquisition des plants de vignes et les coûts de pré-exploitation). Les candidats qui se sont concentrés surtout sur les questions mineures (rénovations, barils, etc.) ont reçu la mention «compétence minime». Pour atteindre le niveau «compétent», les candidats devaient traiter en profondeur d au moins une question importante et analyser différentes options, ou prendre en considération les deux volets de l opération. Par «compétent», on entend la capacité d identifier les questions importantes et d en traiter suffisamment en profondeur. 17

19 Les candidats qui supposent qu il n y a qu «une seule bonne réponse» et qui, par conséquent, ne développent pas l analyse sur laquelle leur conclusion est fondée compromettent leurs chances de réussite. Par exemple, à la question 1 de l épreuve II, pour l indicateur principal n o 2, les candidats étaient tenus de discuter du traitement comptable des coûts de la garantie. Pour faire preuve de profondeur, ils devaient traiter de diverses estimations. Le fait de supposer que tel montant était correct ne suffisait pas pour démontrer la profondeur requise. La question 2 de l épreuve III présente un autre exemple. Pour l indicateur principal n o 2, les candidats devaient discuter des options en matière de traitement comptable. Le fait de supposer qu un traitement donné était approprié sans discuter des options n était pas suffisant pour faire preuve de compétence par rapport à cet indicateur. Par le passé, pour certaines questions de l EFU, les candidats pouvaient obtenir une bonne note en résumant leur compréhension d une situation sous la rubrique «Aperçu», puis en effectuant une analyse quantitative distincte ne comportant aucun renvoi à la situation en question. Dans le cadre de la nouvelle Évaluation uniforme, en l absence d une discussion plus large (par exemple, contexte, solutions de rechange, parti pris, absence de lignes directrices faisant autorité), il sera difficile d être classé «compétent». Une fois encore, pour certaines questions de l EFU par le passé, si le candidat formulait un énoncé correct, il obtenait un point selon le barème de correction, même si cet énoncé devait par la suite être contredit. Dans la nouvelle Évaluation uniforme, l évaluation de la compétence pour un indicateur donné tient compte de la totalité de la réponse du candidat. S il y a absence d intégrité intellectuelle dans une réponse prise dans son ensemble, il sera difficile pour le candidat d être classé «compétent». Au niveau 3 du cadre décisionnel Deux groupes de candidats ont échoué au niveau 3 : Le premier groupe était formé de candidats solides qui avaient fait preuve d une compétence suffisante dans l ensemble, et de profondeur dans les domaines de la mesure de la performance et de la certification. Cependant, après une analyse plus poussée des autres domaines de compétence particulière, on s est rendu compte que ces candidats avaient évité systématiquement au moins un domaine. Les simulations utilisées au centre de correction pilote comprenaient deux indicateurs principaux en finance. Ces deux indicateurs exigeaient que les candidats fassent une analyse des flux de trésorerie. Un des candidats ayant échoué au niveau 3 n a même pas tenté d effectuer aucune de ces analyses. Or, dans les deux cas, il s agissait d une exigence clé pour ces simulations. Selon la nouvelle Évaluation uniforme, les candidats doivent démontrer un certain niveau de compétence dans tous les domaines de compétence. Le candidat qui évite systématiquement un domaine n obtiendra pas la mention réussite. Le deuxième groupe était constitué de candidats dont l évaluation aux niveaux 1 et 2 était à la limite. Ces candidats ont échoué le niveau 3 parce qu ils n avaient fait preuve d aucune étendue en certification ou en mesure de la performance, les domaines de compétence clés. Dans l ensemble, ces candidats ont démontré une étendue et une profondeur inadéquates. 18

20 19 ANNEXE A CENTRE DE CORRECTION PILOTE SIMULATIONS ET GUIDES D ÉVALUATION