Evaluation de la compétence clinique en urologie : approche innovatrice basée sur l observation de la performance

u ARTICLES ORIGINAUX Progrès en Urologie (1997), 7, 581-589 Evaluation de la compétence clinique en urologie : approche innovatrice basée sur l observation de la performance Louis SIBERT (1), Paul GRAND MAISON (2), Bernard CHARLIN (2), Philippe GRISE (1) (1) Service d Urologie, Hôpital Charles Nicolle, Rouen, France, (2) Centre de Pédagogie en Sciences de la Santé, Faculté de Médecine, Université de Sherbrooke, Québec, Canada RESUME B u t s : Les auteurs présentent un pro j e t - p i l o t e d évaluation de la compétence clinique en urologie utilisant une méthode d évaluation basée sur l observation de la performance réelle. Matériel et Méthodes : Un examen clinique objectif et structuré (ECOS) appliqué à l urologie a été développé selon un canevas préétabli précis : 1) Identification des objectifs à évaluer. 2) Choix d un échantillonnage de situations cliniques représentatives de l activité urologique courante. 3) Construction, à partir de ces cas, de stations d interaction médecin-patient et stations de questions avec, pour chaque cas, pondération des objectifs, construction de grilles d observation et rédaction d instructions pour les candidats, les patients simulés et les observateurs. Résultats : Un circuit ECOS de 10 cas cliniques et 16 stations a été construit. Les principaux pôles d activités et contextes de pratique de l urologie sont représentés. Les objectifs investigations complémentaires, diagnostic et traitement ont reçu les pondérations les plus importantes. A partir de la note globale obtenue par candidat, le coefficient de fiabilité, la validité de contenu et de construit seront vérifiés. Conclusion : L établissement de la note de passage et les résultats attendus en terme de fiabilité, de validité, de faisabilité sont discutés. L ECOS a prouvé ses qualités psychométriques. Bien qu un seul instrument ne suffise pas, c est actuellement l outil de mesure qui se rapproche le plus de l évaluation idéale de la compétence clinique. S il prouve sa faisabilité, ce projet-pilote en urologie pourrait apporter un nouvel angle de vision sur les stratégies d évaluation et participer à la réflexion actuelle sur l enseignement de l urologie. Mots clés : Compétence clinique, évaluation, urologie. Progrès en Urologie (1997), 7, 581-589. Les programmes d enseignement médical visent à fournir des professionnels compétents, capables d oeuvrer dans le système de santé. L évaluation fait partie intégrante de ces programmes. Elle est utile à l étudiant en le stimulant et le guidant dans ses apprentissages ; elle est utile à l enseignant pour vérifier l atteinte des apprenti ssages et l efficacité de ses programmes. L évaluation vise à protéger la société en assurant la qualité des professionnels formés, à spécifier les standards de pratique de la profession et préserver l intégrité de celle-ci en s assurant de la valeur de ceux qui la pratiquent. Les recherches en pédagogie médicale, notamment dans le domaine de l évaluation, se sont particulièrement développées depuis les années 70, et leurs résultats sont appliqués avec succès par les principales facultés américaines et canadiennes depuis plus de 15 ans [6]. De plus en plus, les approches d évaluation utilisent l observation réelle de la performance du candidat en interaction avec des patients simulés ou non [30, 35]. En France, tout comme ailleurs, l évaluation de la performance et de la formation des urologues se doit d être de grande qualité afin d assurer la crédibilité de la profession et du processus de délivrance du diplôme. Le but de ce travail est d élaborer un projet-pilote d évaluation formative pendant l'internat, des compétences professionnelles en urologie centré sur l évaluation de la performance en situation clinique à l aide des techniques d examen clinique objectif et structuré (ECOS). Définition de la compétence clinique Toute démarche d évaluation planifiée et structurée doit amener à identifier précisément le domaine à évaluer (le quoi) avant de choisir l instrument de mesure le plus adéquat (le comment), en tenant compte des personnes à évaluer (le qui). La compétence comprend des connaissances (le savoir), des habiletés psychomotrices (le savoir-faire), et des habiletés interpersonnelles (le savoir-être). Ces 3 éléments sont intégrés dans la compétence clinique, qui selon NORMAN [21], comprend plusieurs attributs : les habiletés de recueil Manuscrit reçu : avril 1997, accepté : juin 1997. Adresse pour correspondance : Dr. L. Sibert, Service d Urologie, Hôpital Charles Nicolle, CHURouen, 1, rue de Germont, 76031 Rouen Cedex. 581

des données pertinentes lors de l interrogatoire et de l examen physique ; la connaissance et la compréhension des diverses conditions cliniques appropriées à la prise en charge des malades ; les habiletés personnelles et professionnelles qui se manifestent dans la relation avec le malade ; la capacité de résoudre les problèmes et le jugement clinique permettant d appliquer les connaissances au diagnostic, aux investigations complémentaires et à la prise en charge du patient ; les habiletés techniques nécessaires à l investigation et au traitement des malades. Le choix d une méthode d évaluation de la compétence clinique doit donc tenir compte de son caractère multidimensionnel. Par ailleurs, la compétence clinique est fortement reliée au contenu et les recherches en psychologie cognitive ont démontré que les performances pour résoudre des problèmes dépendaient dans une très large mesure, non pas d habiletés générales, mais plutôt de l application de celles-ci à la situation du contenu spécifique de chaque problème [14, 22, 27]. Critères de choix de l instrument de mesure Pour qu un instrument d évaluation soit efficace, il doit être valide et fiable [1, 4, 13, 23]. La validité d un instrument est le degré d adéquation entre ce que l instrument mesure et ce qu il a pour objet de mesurer. On distingue la validité de contenu (si le test couvre bien les aspects importants et pertinents des dimensions à évaluer), la validité prédictive (si le test permet de prévoir que les candidats qui réussissent ce test continueront d être compétents ultérieurement dans l activité évaluée ), la validité concourante (si les résultats du test sont associés de manière statistiquement significative aux résultats d une autre méthode évaluant le même domaine), la validité de construit (si le test permet de distinguer parmi des candidats de niveaux différents). Un instrument est fiable s il mesure une variable donnée de façon constante et reproductible. Les principaux éléments de fiabilité sont la fiabilité inter-juges, qui mesure la concordance dans l évaluation des performances des candidats par 2 juges différents ; et la fiabilité interne, méthode la plus employée, généralement mesurée par le coefficient α de Cronbach. Celui-ci évalue jusqu'à quel point tous les items d un test mesurent les mêmes caractéristiques ou les mêmes attributs [29]. La faisabilité (utilisation relativement aisée, coût raisonnable) doit également être pris en compte. Les instruments de mesure Les examens écrits Les questions à choix multiples (QCM) sont les plus utilisées. Elles peuvent couvrir un vaste éventail de connaissances factuelles ; faciles à corriger, elles permettent d évaluer un très grand nombre d étudiants à la fois. Les QCM sont fiables quand leur nombre est suffisant (> 100), leur validité est variable, cependant elles ont tendance à ne mesurer que la simple souvenance des faits plutôt que la capacité à analyser et résoudre les problèmes. Elles fournissent à l étudiant des choix plutôt que de lui demander de générer lui-même des réponses («cuing-effect») [23, 34]. Les questions à réponses ouvertes et courtes (QROC) sont des questions pour lesquelles l étudiant doit fournir une réponse courte corrigée avec une grille standardisée. Elles sont faciles à produire et sans «cuingeffect» ; à condition d être bien construites, elles peuvent permettre d évaluer la capacité d'analyse de problème. Leur fiabilité est relativement bonne, mais leur correction est cependant longue et plus difficile à standardiser [23, 34]. De nouveaux types de QROC ont été développés pour mesurer des niveaux cognitifs supérieurs à la simple mémorisation : les Questions d Analyse de Problèmes [6], les vignettes cliniques suivies de réponses ouvertes (SAMP) [10] ou des questions avec des éléments-clés [24]; les 2 derniers types de questions possèdent de bonnes caractéristiques psychométriques [2]. Les examens oraux Ils semblent valides pour évaluer certaines dimensions de la compétence clinique telles le jugement clinique, le recueil et la synthèse de données, la communication, l expression orale. Ils sont certainement utiles lors de l évaluation continue formative au cours du cursus. Mais bien que certains auteurs pensent pouvoir les améliorer en augmentant le nombre de problèmes cliniques par examen, en formant les examinateurs à l art de poser des questions ouvertes de haut niveau taxonomique [5], en structurant les examens et en définissant à l avance les réponses attendues et le niveau de performance acceptable [4], les qualités psychométriques des examens oraux restent globalement mauvaises. Leur objectivité, leur fiabilité et l objectivité de leurs corrections sont médiocres [19]. Ils sont soumis à des biais multiples, liés à l examinateur (excès de sévérité ou de clémence, effet de halo - l'examinateur est influencé par un élément autre que celui qui doit être mesuré), liés au candidat (anxiété). Souvent limités à l'utilisation d un seul problème, les examens oraux ne permettent pas d évaluer l ensemble de la compétence clinique [19]. L ECOS Les 25 dernières années ont vu un intérêt grandissant pour améliorer l évaluation de la compétence clinique des futurs médecins, manifestement incomplète. Ceci a entraîné le développement de méthodes d évaluation 582

basées sur l'observation de la performance réelle des étudiants en action avec des patients. L examen clinique objectif structuré ou ECOS a été développé par HARDEN en 1975 [11, 12] dans le but d évaluer toutes les composantes de la compétence clinique de façon planifiée et structurée par l observation directe des étudiants mis en situation clinique. Un examen ECOS est composé d une séquence de situations cliniques présentées dans différentes «stations» de quelques minutes chacune, constituant un «circuit» à travers lequel les étudiants font la rotation. Les candidats interagissent avec un patient simulé et standardisé et doivent compléter une série de tâches prédéterminées. Leur performance est évaluée par un observateur-examinateur qui utilise une grille d observation spécifique au contenu de la situation et aux tâches demandées. Dans certains cas, la station d interaction médecin-patient («station stimulus») est suivi d une station questionnaire ou le candidat répond à des questions écrites reliées aux informations qu il a obtenu à la station précédente. Peuvent être ainsi évaluées pour tous les cas, les habiletés de l interrogatoire, de l examen physique, des investigations complémentaires, de la conduite diagnostique et thérapeutique, de communication et organisationnelles ; couvrant ainsi pratiquement toutes les facettes de la compétence clinique. Depuis 20 ans cette technique d évaluation a connu un très fort engouement et s est développé de façon exponentielle. L ECOS a prouvé sa validité et émerge maintenant au sein des principales facultés nord-américaines et anglo-saxonnes comme le «gold-standard» pour évaluer la compétence clinique [15, 25, 30, 33, 35]. De nombreuses études ont montré qu'un nombre de cas suff i s a n t et la formation des observateurs assuraient la fiabilité des ECOS et que l utilisation de patients standardisés augmentait la validité de la mesure de la compétence clinique par cette technique [4, 26, 30, 33, 35]. Une expérience plus spécifique au Québec depuis 1990 [8, 9] et au Canada depuis 1992 [25] a confirmé la possibilité d utiliser l ECOS à une large échelle pour l obtention du permis d exercice de médecine de famille. Des études ont démontré la validité de contenu (8) et la validité de construit [3] de l examen ECOS. Une étude de validité concourante a démontré une bonne corrélation entre les résultats des candidats à l ECOS et ceux à l examen de certification du collège de médecine de famille du Canada [9]. Le coefficient de fiabilité des examens ECOS a également été jugé acceptable [26, 33]. MATERIEL ET METHODES Le processus de développement de l examen ECOS en urologie a été effectué en collaboration avec plusieurs groupes d urologues universitaires et d experts en pédagogie et en évaluation médicale de 2 centres hospitalo-universitaires. Il a été planifié et structuré selon des stratégies de mise au point d évaluation de la compétence clinique clairement délimitées [20] et suit un canevas préétabli précis [17]. Les principales étapes ont été les suivantes : Clarification de l objet de l évaluation La compétence clinique des internes inscrits au diplôme français d urologie. Choix d un échantillonnage de problèmes cliniques à résoudre Cet échantillonnage a été établi après avis d un groupe d internes en urologie en cours de cursus (besoins ressentis), après avis de 2 groupes d experts urologues universitaires de 2 centres hospitalo-universitaires (besoins démontrés et normatifs) et en fonction des connaissances théoriques attendues, basées sur le programme officiel de l Enseignement du Coll ège Français d Urologie [31] et les recommandations de la commission de l enseignement régional (besoins normatifs). Tous les cas ont été jugés pertinents par les experts-urologues sollicités. Identification des composantes de la compétence clinique à évaluer Selon les problèmes, les internes seront jugés compétents sur l interrogatoire, l examen physique, les examens complémentaires (stratégies d investi gation, indications et interprétations), la conduite diagnostique (positive et différentielle), la prise en charge thérapeutique et du suivi. Le niveau de performance souhaitée a été défini à l avance Celui nécessaire à une compétence professionnelle sécuritaire et performante pour une pratique correcte de l urologie. Développement de la table de spécification (Tableau 1). L examen ECOS comprendra un minimum de 10 épreuves et de 16 stations. La durée de toutes les stations a été fixé a 10 minutes avec une période-tampon de 2 minutes entre chaque station. Pour chaque cas clinique, ont été identifiés le symptôme clinique de présentation, le diagnostic sous-jacent, le contexte de pratique, l âge et le sexe du patient. La répartition de ces items vise à refléter l activité urologique adulte habituelle. Une représentation des principaux pôles d activité de l urologie a été assurée, en essayant de ne pas sur-représenter une discipline particulière tout en tenant compte de la fréquence de rencontre généralement admise en pratique courante. Les cas développés pour cet examen-pilote concernent la Cancérologie, l incontinence et l urodynamique, l an- 583

Tableau 1. Extrait de la table de spécification de l examen ECOS en urologie. Cas cliniques Epreuve Problème Pondérations des objectifs mesurés (%) St. Q. Obs. Contexte Age Sexe Int. Ex. Ph. Inv. Dg. TT. Com. Org. Dysurie, fièvre + + + Urg. 76 M - - 30 20 45-5 (HBP) Elévation isolée + - + Cs 62 M 25-25 - 30 15 5 des PSA Infertilité + + + Cs 28 M - 35 20 20 20-5 excrétoire Hématurie + - + Urg. 72 F - - 30 25 40-5 lésion vésicale Abréviations : St : Station stimulus Q : Station de question Obs : Observateur Urg : Urgence Cs : Consultation Int : Interrogatoire Ex. ph : Examen physique Inv : Investigations Dg : Diagnostic Tt : traitement Com : Communication Org : Habiletés organisationnelles HBP : Hypertrophie bénigne prostatique Tableau 2. Poids relatifs donnés à chaque objectif de l exa - men ECOS en urologie. Objectifs Poids relatifs % Interrogatoire 10% Examen physique 10% Habiletés techniques 5% Total 25% Examens complémentaires 20% Diagnostic 20% Traitement 25% Total : 65% Communication 5% Habiletés organisationnelles 5% drologie, la lithiase et l endourologie, la traumatologie, l infectiologie et pathologie bénigne (Figure 1). La pondération des objectifs mesurés à l intérieur d une épreuve est globale pour toute l épreuve, que l épreuve ait 1 ou 2 stations, et est calculée sur un maximum total de 100 [3, 4, 18]. La pondération des 2 stations pour une épreuve est donc variable. L objectif qui représente le «défi» (ou «challenge») pour le problème particulier recevra le maximum de points. L objectif communication-relation patient-médecin a été introduit dans les stations avec patients simulés. L objectif habiletés organisationnelles évalue la capacité du candidat à effectuer les tâches demandées de façon organisée, systématique et précise. Cet objectif est évalué dans toutes les épreuves et reçoit une pondération minimum de 5% des objectifs de l épreuve. Pour l ensemble de l examen les poids relatifs visés pour chaque objectif sont mentionnés sur le Tableau 2. L évaluation s adressant aux internes en urologie, les objectifs diagnostic, investigations et traitement ont les pondérations les plus élevés. La rédaction des feuilles de présentation de l'examen ECOS Pour chaque cas, elle doit suivre des règles bien établies dans un but de compréhension et de standardisation [28]. La feuille de présentation initiale doit mentionner le mode de présentation de l épreuve, le principal défi que le candidat a à relever dans l épreuve, la pondération des objectifs, la présence d un observateur et d un patient standardisé, le matériel nécessaire. Les instructions aux candidats se doivent d être le plus claires possible dans le but d éviter toute difficulté de compréhension de la part du candidat. Les phrases utilisées comme instructions sont le plus standardisées possibles. La gri lle d observation : Le nombre opti mal d items à utiliser dans une grille d'un examen ECOS se situe entre 15 et 25. Tout élément inclus dans la grille doit être un élément observable précisément. Il est cependant i mportant de ne pas «surdétailler» les d i fférents it ems d observation, entraînant ainsi une «banalisat ion» de la grille d observati on. L o b j e c t i f est de favoriser les candidats qui ont une approche peut-êt re moins dét aill ée mais pl us spécifique, tenant compte des éléments clés (Figure 2). Chacun des items et des objectifs reçoit une pondération dépendant de sa pertinence en fonction de la situation clinique présentée. 584

Figure 2. Exemple de grille d observation. Les cas sont traduit en scénarios précis décrivant l histoire clinique auxquels sont ajoutés les instructions aux patients simulés qui sont rédigées en tenant compte qu on s adresse à des non-urologues, voire des personnes qui n ont pas de connaissance médicale particulière. Les stations de questions : Pour toute question, il est important de spécifier le nombre d items de réponses demandées ainsi que leurs pondérations. Les questions posées doivent être des QROC, si possible de haut niveau taxonomique et majoritairement directement reliées au problème de la station stimulus précédente. La somme des meilleures réponses égale la valeur maximale de la question. Praticabilité Figure 1. Circuit ECOS en urologie. Les instructions aux observateurs décrivent les comportements attendus des candidats et permettent de standardiser l évaluation. L examen ECOS pourra se dérouler lors d une journée d enseignement régional. La durée attendue du circuit est de 3 heures. Le nombre de candidats participants est estimé à environ 30. Les observateurs-examinateurs (au moins 1 par station-stimulus, 1 pour la gestion du temps, 1 pour les rotations des étudiants, 1 pour le matériel) seront recrutés parmi les enseignants de la région et parmi des médecins universitaires non-urologues ayant une compétence particulière en pédagogie. L utilisation d une unité d hospitalisation ou de consultation externe justifiera d informer suffisamment à l avance le personnel infirmier. La formation de patients simulés et standardisés est actuellement en cours d étude dans notre centre. Dans l attente de développement de ce programme, nous avons opté pour la possibilité que le rôle de patient simulé soit joué par l examinateur dans les stations «interrogatoire» et de disposer de mannequin pour les stations «examen physique». 585

Exploitation des résultats Le résultat global d un candidat sera calculé à partir de la somme de ses scores à chacun des cas divisée par le nombre total des cas, chacun des cas étant pondéré également, en accord avec les données de la littérature [3, 9]. La fiabilité sera mesurée par le coefficient de fiabilité interne α de CRONBACH [29]. La validité de contenu sera mesurée de façon informelle par l envoi d un questionnaire après l examen auprès des candidats et des examinateurs afin de nous confirmer si les cas et les stations de l ECOS en urologie rendent possible l évaluation des principales habiletés cliniques requises d un urologue. Nous pourrons également vérifier si les participants voient fréquemment dans leurs pratiques les types de cas utilisés, si les patients simulés étaient crédibles et si les situations cliniques présentées étaient réalistes. La validité de construit : Si nous avons assez de candidats, nous pourrons comparer les résultats de 2 groupes par la méthode des extrêmes [29] : les urologues en début de formation et les urologues en fin de formation, afin de vérifiez si notre outil d évaluation est capable de discriminer parmi des candidats de niveaux différents. DISCUSSION Détermination de la note de passage L établissement de la note de passage est nécessaire quelque soit le test. En définissant la performance minimale acceptable, elle donne une base pour la prise de décision par la suite et assure un contrôle de qualité. Cependant, il n y a pas de méthode idéale ni de standard idéal [16, 20]. Les 2 méthodes décrites dans la littérature sont l approche normative et l approche critériée. L approche normative se base sur la différence de performance entre les individus d un même groupe, il s agit d une évaluation comparative qui ne prend pas en compte le niveau de performance absolu. Elle se base sur «la norme» du groupe et très peu sur le niveau d atteinte des objectifs pédagogiques. Cette approche a prouvé son utilité pour évaluer un grand nombre de candidats (32) et établir un classement. Cependant elle est inadaptée pour juger de petits groupes d étudiants [1]. L approche critériée juge la performance de l étudiant, non par rapport à celle de ses pairs, mais par rapport à un standard externe préétabli, elle permet de clarifier le niveau de compétence en valeur absolue, ce qui semble plus satisfaisant pour tester la compétence clinique [18, 20, 32]. La méthode d Angoff est la plus employée [16, 18, 26]. Chaque membre du jury détermine individuellement pour chaque item de chaque question, le pourcentage attendu de «candidats-limites» ou minimalement compétents qui devrait répondre correctement. Un consensus doit être ensuite obtenu par l ensemble des membres du jury sur ce pourcentage. Le produit de ce pourcentage et de la pondération donnée à l item donne le score minimal attendu pour cet item. La note de passage de l examen est obtenue en faisant la somme des scores attendus pour chaque item. Ce processus nécessite que les membres du jury soient des experts dans la matière (urologues dans la situation actuelle) et que toutes les informations nécessaires à leur prise de décision leur soient fournies. L établissement de la note de passage étant par définition arbitraire avec un risque d erreur toujours possible, il sera essentiel de bien préciser et d informer à l avance l ensemble des intervenants de ses modalités afin d optimiser sa crédibilité et son acceptabilité [16, 20]. Malgré sa relative complexité, l établissement de la note de passage par approche critériée doit être préféré en l absence de besoin de classement et lorsque l examen concerne un petit nombre de candidats comme c est le cas dans des spécialités chirugicales telles que l urologie [1, 32]. Il est clair que le but de cette expérience n est pas de décider de promotion ni de certification. Il s agira d une évaluation formative. Il est prévu de faire parvenir aux candidats après l examen leurs résultats pour donner du «feed-back» en les renseignant sur leur niveau d atteinte des objectifs au moment de l examen et leur permettre de se situer dans leur cursus. Praticabilité Le nombre estimé de candidats participants est suffisant pour établir la faisabilité du projet. Les coûts d un examen ECOS (production du matériel, patients standardisés, examinateurs, analyses des résultats) ont été estimés à 600 à 800 dollars canadiens par candidat dans les principales séries publiées [3, 15, 38], mais il s agissait d examens officiels de certification qui concernaient plusieurs centres et plusieurs centaines de candidats. La liste de cas développés n est pas limitative, d autres cas sont en cours de rédaction et pourront remplacer les cas initialement prévus en fonction de leur pertinence et de leur faisabilité. Le modèle de l ECOS offre de multiples possibilités d évaluer la compétence clinique en urologie. Il est tout-à-fait envisageable d utiliser des films vidéo sur des points de technique chirurgicale ou sur des tableaux cliniques avec de vrais patients, le maniement de matériel d endoscopie, d urodynamique, d échographie, de lithotripteur etc...pour construire des épreuves ECOS. Notre objectif primordial est de voir la faisabilité d un 586

tel examen auprès des urologues, que ce soit dans le développement des cas, la gestion du matériel, l utilisation de mannequin, la formation des patients standardisés et des examinateurs. L obtention de la note de passage nous permettra d explorer les caractéristiques psychométriques de l examen ECOS en urologie. Fiabilité Pour des examens type ECOS qui mesurent de multiples dimensions de la compétence clinique, des coefficients α de Cronbach supérieurs ou égaux à 0,6 sont considérés comme satisfaisants [1, 26]. Un coefficient α égal ou supérieur à 0,5 serait acceptable dans la situation actuelle. La fiabilité est limitée par : La «case-specificity», qui concerne la variation de performance des candidats d un cas à l autre. Il est en effet difficile de prédire la performance à un cas à partir de celle d un autre cas. Ce phénomène oblige l utilisation d un grand nombre de cas par examen. Le nombre généralement admis est de l ordre de 20, avec un minimum de 15 [1, 20, 26, 33]. Pour des raisons de faisabilité, nous avons construit un examen avec 10 cas et 16 stations. Certains auteurs d examen ECOS en chirurgie ont trouvé une fiabilité acceptable avec seulement 8 cas [28]. - La fiabilité inter-juges de notre examen ne sera pas mesurée, mais la formation préalable des examinateurs, pour leur expliquer leur rôle et détailler ensemble les grilles d observations permettra une observation «fermée» des tâches effectuées par le candidat et assurera ainsi la standardisation de l examen [20, 26]. Validité Compte-tenu du choix des situations cliniques, des règles suivies pour le développement de la table de spécification, des personnes-ressources qui ont construit l examen, on s attend à ce que les candidats et les observateurs confirment la validité de contenu de l examen. En ce qui concerne la validité de construit, le nombre de candidats en début et en fin de formation semble insuffisant pour atteindre des résultats statistiquement significatifs, mais il sera intéressant d observer les tendances. Avantages et inconvénients Outre ses qualités psychométriques prouvées, l ECOS permet d évaluer un large échantillon d habiletés, un grand nombre de candidats, dans un temps relativement court [9, 25]. Le format est flexible (nombre de stations, durée des stations, circuit parallèle, proportion stations stimul us-stations questionnaires). L E C O S peut être employé aussi bien comme mode d évaluation sommatif que formatif [34], il peut être utilisé pour évaluer la compétence clinique des professionnels de santé à tous les niveaux de formation et quelque soit la spécialité. Son impact éducatif est fort, ses résultats permettent d apporter un nouvel angle de vision sur les performances des candidats tout comme sur les programmes de formation. C est actuellement l outil de mesure qui se rapproche le plus de l évaluation idéale de la compétence clinique en donnant une bonne idée de «ce que fera» le candidat en pratique [35]. Une des forces de l ECOS est d évaluer non seulement les habiletés de l interrogatoire et de l examen physique, mais aussi les capacités des candidats à intégrer et organiser ces habiletés en un processus de raisonnement clinique aboutissant à des prises de décision diagnostiques et thérapeutiques. De plus, dans l évaluation des gestes et des attitudes, l observation directe de l étudiant en action est une méthode en général plus valide que de se fier uniquement au résultat ou au produit de cette action [13, 21]. Tout système d évaluation doit utili ser pl usieurs méthodes complémentaires. Chaque méthode, quelles que soient ses forces, a aussi certaines limites. Les reproches faits à l ECOS sont de compartimenter artificiellement les connaissances et les habiletés des candidats et de renseigner incomplètement sur leur aptitude à approcher le malade dans sa globalité [13]. L évaluation des attitudes est toujours plus difficile que l évaluation des gestes. L utilisation de patients standardisés connaît certaines limites, notamment l emploi de sujets jeunes [8]. Il est difficile de tester la continuité des soins. Bien qu il permette d évaluer des compétences non mesurées par les autres modes d évaluation, l ECOS doit donc être utilisé en complémentarité avec d autres instruments de mesure. En pratique, le développement des cas et stations, des grilles d observations, l établissement de la note de passage, le recrutement et la formation des observateurs et des patients simulés, le développement des ressources matérielles pour l organisation d un circuit ECOS demandent une quantité significative de temps et d énergie et peuvent constituer certains facteurs limitants. Son utilisation répandue dans plusieurs pays a néanmoins prouvé sa faisabilité à tous les niveaux de formation et dans de nombreuses disciplines, notamment en chirurgie générale [7, 28]. CONCLUSION La compétence clinique présentant de nombreuses composantes, il serait illusoire de penser qu un seul instrument suffit pour l évaluer. Néanmoins, au moment où l implantation de cet examen est de plus en plus généralisé a travers le monde, ce projet-pilote de l évaluation de la compétence clinique en urologie par l examen clinique objectif et structuré est à ce jour le premier 587

jamais publié. Si cette étude prouve la faisabilité d un ECOS en urologie avec des caractéristiques psychométriques adéquates, cet outil de grande qualité ne pourra plus être ignoré et devra faire l objet d autres études à une plus large échelle en complémentarité avec les autres modes d évaluation disponibles. La réflexion actuelle sur l enseignement de l urologie en France ne pourra qu être enrichie par l expérience proposée. GLOSSAIRE La psychologie cognitive est axée sur l'analyse et compréhension des processus mentaux de traitement de l'information chez l'être humain. L'apprentissage étant fondamentalement une activité de traitement d'informations, les données issues de la psychologie cognitive prennent une signification importante pour l'enseignant, dans la compréhension des mécanismes qui permettent d'acquérir, d'intégrer et de réuti liser des connaissances. Le niveau taxonomique d'un problème ou d'une question concerne la hiérarchisation du niveau de difficulté à résoudre le problème ou la question. Dans le domaine cognitif (connaissances), on distingue 3 niveaux : 1) la simple souvenance des faits 2) l'interprétation des données 3) la résolution de problèmes. Le coefficient α de Cronbach est l'indice le plus employé en psychométrie pour mesurer la fiabilité interne. Il indique jusqu'à quel point tous les items d'un test mesurent les mêmes caractéristiques ; il tient compte de la covariance des items. Un candidat "limite" est celui qui a la compétence minimale pour donner la bonne réponse à une question. Le pourcentage de candidats limites concernent le rapport du nombre de candidats minimalement compétents sur le nombre total de candidats. L'évaluation formative a pour but d'aider l'étudiant à identifier ses forces et ses faiblesses, elle n'a pas de valeur sanctionnelle. L'évaluation somative est sanctionnelle, elle situe le niveau de performance du candidat et justifie les décisions de promotion ou de certification. Les habiletés organisationnelles concernent les capacités de l'étudiant à effectuer les tâches demandées de façon organisée, structurée, systématique et précise. REFERENCES 1. BECKER W. Canadian specialty examinations : Considerations for the future. Annals RCPSC, 1994, 27, 409-412. 2. BORDAGE G., BRAILOVSKY C., CARRETIER H., PAGE G. Content validation of key features on a national examination of clinical decision-making skills. Acad. Med., 1995, 70, 276-281. 3. BRAILOVSKY C., GRAND MAISON P., LESCOP J. Construct validity of the quebec licensing examination SP-based OSCE. Teach. Learn. Med., 1997, 1, 43-50. 4. DES MARCHAIS J. et le groupe de travail du comité de l'évaluation. Rapport sur le système d'évaluation en vue du certificat de spécialiste. Collège Royal des Médecins et Chirurgiens du Canada., 1993, 113p. 5. DES MARCHAIS J., JEAN P. Effects of examiner training on openended, higher taxonomic level questioning in oral certification examinations. Teach. Learn. Med., 1993, 5, 24-28. 6. DES MARCHAIS J. Apprendre à devenir médecin. Bilan d un changement pédagogique centré sur l étudiant. Université de Sherbrooke, Québec, Canada, 1996, 418p. 7. FAULKNER H., REGHER G., MARTIN J., REZNICK R. Validation of an objective structured assessment of technical skill for surgical residents Acad. Med., 1996, 71, 1363-1365. 8. GRAND MAISON P., BRAILOVSKY C., LESCOP J. Content validity of the Quebec licensing examination (OSCE). Can. Fam. Phy., 1996, 42, 254-259. 9. GRAND MAISON P., BRAILOVSKY C., LESCOP J., RAINS- BERRY P. Using standardized patients in licensing/certification examinations: Comparison of two tests in Canada. Fam. Med., 1997, 29, 27-32. 10. HANDFIELD-JONES R., BROWN J., BIEHN J., RAINSBERRY P., BRAILOVSKY C. The certification examination of the college of family physicians of Canada : III) Short answer management problems. Can. Fam. Phy., 1996, 42, 1353-1361. 11. HARDEN R., STEVENSON M., DOWNIE W., WILSON G. Assessment of clinical competence using objective structured examination. Br. Med. J., 1975, 1, 447-451. 12. HARDEN R., GLEESON F. Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education, 1979, 13, 41-54. 13. JEAN P., DES MARCHAIS J., DELORME P. Apprendre à enseigner les sciences de la santé. Documents de pédagogie de l URDEM (Unité de Recherche et de Développement en Éducation Médicale), Facultés de médecine de Montréal, Sherbrooke, Ottawa, 1993. 14. KANE M. The assessment of professionnal competence. Evaluation and the health professions. 1992, 15, 163-182. 15. KLASS D. «High-stakes» testing of medical students using standardized patients. Teach. Learn. Med., 1994, 6, 28-32. 16. LIVINGSTONE S., ZIEKY M. Passing scores. A manual for setting standards of performance on educational and occupational tests. Evaluationnal Testing Services, Princeton, USA, 1982, 71p. 17. MARSHALL K., BRAILOVSKY C., GRAND-MAISON P. Comment rédiger une épreuve ECOS. Centre d'évaluation des Sciences de la Santé de l'université Laval, Québec, Canada, 1994, 42p. 18. MORRISON H., Mc NALLY H., WYLIE C., Mc FAUL P., THOMPSON W. The passing score in the objective structured clinical examination. Medical Education, 1996, 30, 345-348. 19. MUZZIN L. Oral examinations. In «Evaluation methods : A ressource handbook». Mac Master University, Programm for educational development, programm for faculty development and Educating Future Physicians of Ontario (EFPO), 1995, 37-42. 20. NEWBLE D., DAWSON B., DAUPHINEE D. et al. Guidelines for assessing clinical competence. Teach. Learn. Med., 1994, 6, 213-220. 588

21. NORMAN G. Defining competence : A methodological rewiew. In «Assessing clinical competence», Neufeld V. and Norman G. Ed., New-york, Springer 1985, 15-35. 22. NORMAN G. Problem-solving skills, solving problems and problem-based learning. Medical Education, 1988, 22, 279-286. 23. NORMAN G. Overwiew. In «Evaluation methods : A ressource handbook». Mac Master University, Programm for educational development, programm for faculty development and Educating Future Physicians of Ontario (EFPO), 1995, 1-13. 24. PAGE G., BORDAGE G. The medical council of Canada s key features project : A valid written examination of clinical decisionmaking skills. Acad. Med., 1995, 70, 104-110. 25. REZNICK R., BLACKMORE D., DAUPHINÉE W., ROTHMAN A., SMEE S. Large-scale high-stakes testing with an OSCE : Report from the medical council of Canada. Acad. Med., 1996, 71, supp., s19-s21. 26. ROTHMAN A., COHEN R. Understanding the Objective Structured Clinical Examination : Issues and options. Annals RCPSC., 1995, 28, 283-287. 27. SCHMIDT h., NORMAN G., BOSHUIZEN H. A cognitive perpective on medical expertise : Theory and implications. Acad. Med., 1990, 65, 611-621. 28. SLOAN D.,DONNELLY M.,SCHWARTZ R., STRODEL W. The objective structured clinical examination. The new gold standard for evaluating postgraduate clinical performance. Ann. Surg., 1995, 222, 735-742. 29. STREINER D., NORMAN G. Health measurement scales. A practical guide to their development and use. Oxford university Press, 1995. 30. SUTNICK A., FRIEDMAN M., STILLMAN P., NORCINI J., WIL- SON M. International use of standardised patients. Teach. Learn. Med., 1994, 6, 33-35. 31. THIBAULT P. La formation des urologues. Presse Médicale, 1995, 24, 1519-1521. 32. TURNBULL J. What is... Normative versus Criterion-referenced assessment. Med. Teach., 1989, 11, 154-150. 33. VAN DER VLEUTEN C., SWANSON D. Assessment of clinical skills with standardized patients : state of the art. Teach. Learn. Med., 1990, 2, 58-76. situations re p resentative of routine urological practice. 3) Construction, on the basis of these cases, of physician-patient interaction stations and question stations, with, for each case, weighting of objectives, construction of observation grids and writing of instructions for candidates, simulated patients and observers. Results : An OSCE circuit of 10 clinical cases and 16 stations was constructed. The main poles of activity and urological set - tings were represented. Objective complementary investiga - tions, diagnosis and treatment received the highest weightings. The reliability coefficient, the content validity and the construct validity will be verified on the basis of the overall score obtai - ned by candidate. Conclusion : Establishment of the score and the expected results in terms of reliability, validity, and feasibility are discus - sed. The psychometric qualities of the OSCE have been demons - trated. Although a single instrument is not sufficient, it is cur - rently the measuring tool which most closely approximates ideal evaluation of clinical skills. If the feasibility of this method is confirmed, this pilot project in urology could provide a new approach to evaluation strategies and could participate in the current reflection concerning urology training. Key-words : Clinical skills, evaluation, urology. 34. VAN DER VLEUTEN C. The assessment of professional competence : developments,research and practical implications. Advance in Health Sciences Education, 1996, 1, 41-67. 35. VU N.V., BARROWS H. Use of standardized patients in clinical assessments. Recent developments and measurement findings. Ed. Researcher, 1994, 23, 23-30. SUMMARY Evaluation of clinical skills in urology: an innovative approach based on observation of performance Objective : The authors present a pilot project for the evaluation of clinical skills in urology using a method of evaluation based on observation of real performance. Material and Methods : An objective and structured clinical examination (OSCE) applied to urology was developed accor - ding to a precise predetermined design: 1) Identification of the objectives to be evaluated. 2) Choice of sampling of clinical 589