26/03/14 SIDES et iecn Aide pour les enseignants Mars 2014

Transcription

1 1 SIDES et iecn Aide pour les enseignants Mars Contexte Les Epreuves Classantes Nationales, créées en 2004, étaient une révolution à l époque, avec la mise en place de dossiers cliniques dans les épreuves, afin de les rendre plus intelligentes. Aujourd hui, l effectif d étudiants a doublé depuis 2004, avec des étudiants très homogènes sur le plan théorique. En effet, en 2012, 95% des étudiants ont obtenus plus de la moyenne, et se sont classés entre 500 et 845 points sur 1000 points possibles, avec un nombre considérable d ex-aequo. L autre point noir des ECN est sa correction, extrêmement coûteuse, et extrêmement lourde, avec près de copies à corriger en 3 semaines (données ANEMF). C est dans ce contexte qu un groupe d experts s est réuni pour proposer un projet de réforme, le projet iecn Présentation du projet Ce projet se décline en deux volets : - Un volet docimologique, avec des propositions d épreuves innovantes comportant o o des dossiers cliniques progressifs, sous forme de QROC et QCM à contexte enrichi et à nombre d items élargi. Ces QCM permettent d évaluer en partie le raisonnement clinique de l étudiant. Ces dossiers cliniques peuvent également comporter des iconographies de grande qualité (imagerie, vidéos, sons, ECG ) o o des questions isolées, sous forme de QROC et de QCM pour évaluer les connaissances de base (anatomie, physiologie, pharmacologie), pouvant être intégrées dans les dossiers cliniques. o o des Tests à Concordance de Script, épreuves permettant d évaluer le raisonnement de l étudiant en situation d incertitude. En partant d un cas clinique avec un diagnostic possible, l apport d une nouvelle donnée (examen d imagerie) fait évaluer l impact de celle ci sur le diagnostic. Un panel d experts passe la même épreuve pour évaluer quelle est la meilleure réponse possible. Ce type d épreuve valorise l implication en stage et l expérience clinique. Il ne sera pas appliqué en o o Des questions de LCA intégrées dans les dossiers cliniques progressifs, apportant de nouvelles données à l énoncé. L épreuve de LCA isolée et son résumé seraient supprimés. o La diversification docimologique des épreuves permettrait d augmenter leur discrimination, et donc de diminuer le nombre d étudiants ex-aequo aux ECN. - Un volet logistique, avec une informatisation totale des ECN depuis la conception des sujets jusqu à la procédure de choix de postes d interne, avec le passage des épreuves des ECN sur un support informatisé. Cette informatisation permet la création d une plateforme en ligne, accessible pour tous les étudiants et les enseignants, sur laquelle chaque étudiant peut se préparer pour les ECN avec des sujets types. Ces sujets sont issus d une banque de donnée nationale, qui serait remplie avec des sujets d examens des différentes facultés et donc testés par les étudiants sur leur pertinence et leur discrimination (ouverture depuis septembre 2013). C'est

2 2 le SIDES (side-sante.org). Tous les enseignants de la faculté doivent s'inscrire sur le site et doivent être certifiés "SIDES". Chacun a du recevoir un identifiant et un mot de passe. Cette informatisation permettrait par ailleurs la délocalisation totale des épreuves. Chaque étudiant passerait donc les ECN dans sa propre faculté. L informatisation permet enfin de s affranchir de la correction humaine, et d avoir une correction juste et égalitaire pour chaque étudiant. 3. Les différentes plateformes, comité de pilotage et référents disciplinaires La plateforme nationale: support national d'entrainement, elle est alimentée par des dossiers progressifs et questions isolées utilisés lors des examens facultaires. Ces dossiers ont donc été testés et validés par le comité scientifique. La plateforme locale: base de données d'entrainement alimentée par les enseignants de la faculté, différente des dossiers pour les examens. L'objectif pour Montpellier Nîmes est de soumettre au moins 4 dossiers par discipline avant mai Afin de réaliser des ED similaires entre Nîmes et Montpellier, il est proposé que les dossiers réalisés en ED soient aussi disponibles sur la plate forme locale. En conclusion, des DP et QI doivent être soumis pour la banque d'entrainement locale, pour les ED et pour les examens facultaires. Les comités de pilotage SIDES: o CP national : dirigé par le Pr Palombi (CHU Grenoble) o CP local: Pr Mondain, Pr Dereure, Pr Morel, Dr Neveu o 1 réunion par mois pour avancement du projet. Les responsables disciplinaires: il existe un référent dans chaque discipline qui est chargé d'aider les enseignants dans la constitution des dossiers et leur soumission sur la plateforme locale et ensuite de les valider. Ci joint la liste des référents.

3 3 MODULE MI A MI B MI C RESPONSABLE THEORIE MODULE DISCIPLINES SITE DE MONTPELLIER RESPONSABLE DISCIPLINAIRE SITE DE NIMES RESPONSABLE DISCIPLINAIRE Pr Leclercq Cardiologie Florence Leclerq Guillaume Cayla Pr Messner-Pellenc Pneumologie Arnaud Bourdin Médecine vasculaire Jean Philippe Galanaud Michel Dauzat Nutrition Ariane Sultan Pr Azria Hépatogastro Pierre Blanc Philippe Pouderoux Pr Meunier Chir digestive Astrid Herrero Frédéric Borie Hématologie biologique Patricia Aguilar Martinez Patricia Aguilar Martinez Dermatologie Aurélie Du Thanh MIB : PE Stoebner Cancérologie Céline Bourgier Nathalie Houede Pr Klouche Rhumatologie Pr Jacques Morel Dr Cécile Gaujoux-Viala Pr Droupy Chirurgie ortho Bertrand Coulet Pr Koumoudjan Néphrologie Vincent Pernin Sylvain cariou Urologie Rodolphe Thuret Stéphan Droupy Endocrinologie Anne Wojtusciszyn Années 3, 4, 5, 6 MI D Pr Crampette Neurologie Anne Ducros Audrey Gabelle Dr Thouvenot Neurochirurgie Philippe Coubes Dr Capdevielle Psychiatrie Sébastien Guillaume Eric Thouvenot ORL Frédéric Venail Benjamin Lallemant Années 2,3 MI E MI F Pr Boulot Pr Morin Pr Lequellec Pr Sotto Ophtalmologie Vincent Daien CMF Jacques Yachouh Algologie Eric VIEL Gynécologie Vincent Letouzey Vincent Letouzey Pédiatrie Eric Jéziorski Anne Filleron Chirurgie infantile Nicolas Kalfa Pédopsychiatrie Florence Pupier Vincent Henry Médecine interne Philippe Guilpain Denis Vincent Urgences Mustapha Sebbane Pierre Geraud Claret Gérontologie Claude Jeandel Benoit de Wazières Immunologie Thierry Vincent Pr Corbeau CSCT / MT 11 Pr Jorgensen Thérapeutique Bruno Richard LCA Pr Dujols Dr Fabbro Peray LCA Pierre Dujols Pascale Fabbro-Peray MT4/7/2 - RMC ST I. Laffont MPR Isabelle Laffont Arnaud Dupeyron MIT Pr Reynes Infectiologie Jacques Reynes Albert Sotto MT1 Médecine légale Pierre Antoine Peyron Pr Dorandeu Radiologie Ingrid Millet Francesco Macri Réanimation JY Lefranc Médecine Nuclaire Vincent Boudousq Vincent Boudousq Pharmacologie Médicale Olivier Mathieu Jean-Luc Faillie Biochimie Stéphanie Badiou Serge Lombroso Biologie cellulaire Pascal Pujol Anatomie Cytologie pathologie Valérie Rigau Pascal Roger Bactério-viro Sylvain Godreuil Jean-Philippe Lavigne Parasito Laurence Lachaud Laurence Lachaud

4 4 Immunologie et Immunopathologie Tissu sanguin Anatomie Michel Prudhomme Physiologie Fares Gouzi Antonia Perez Martin Histologie John De Vos Thierry Lavabre- Bertrand Génétique médicale David Geneviève SHS médecine de Travail Laurent Visier Agnés Roulet 4. La certification SIDES en "quelques minutes " Après s'être inscrit sur le site, cliquez sur l'item certification. Il y a 9 cours, durée totale des cours environ 3h sous forme de ppt (mais on peut simplifier). Pour être certifié il faut : Avoir visualisé au moins 7 cours Avoir au moins 50% des bonnes réponses au questionnaire final Pour aller à l'essentiel: A/ 2 cours sur la présentation du projet et la certification (résumé dans les paragraphes cidessus). Passez rapidement B/ 1 cours sur la confection des questions isolées qui se résume à la définition de: Question à Réponse Unique(QRU), Question à Réponses Multiples ( 5 items proposés), Questions à Réponses Ouvertes et Courtes (QROC). Les points importants à savoir pour la certification: les 13 règles de rédaction R1. La question mesure un objectif important d apprentissage et se rapporte au référentiel R2. L énoncé est constitué d une phrase, d une courte histoire clinique, d une iconographie, R3. L énoncé présente un seul problème à résoudre R4. L énoncé utilise un langage simple et clair, sans ambiguïtés ni jugements de valeur R5. L énoncé est formulé, autant que possible, à la forme affirmative ou interrogative R6. Les propositions sont au nombre de 5 R7. La bonne réponse n est pas plus longue, ni plus explicite, ni mieux construite R8. Les propositions sont homogènes dans leur contenu, leur forme et leur structure grammaticale R9. Les propositions ne sont pas synonymes, ne se chevauchent pas R10. Tous les distracteurs sont plausibles R11. Les propositions exactes et éventuellement celles indispensables ou inacceptables sont précisées R12. Les propositions suivent les conseils typographiques: les propositions sont identifiées par des majuscules suivies d'un point. Pas de majuscule au début de chaque proposition, pas de ponctuation après les propositions R13. QROC réponse constituée d'un mot ou d'une expression, éviter les réponses amenant des synonymes. Acronymes ou abréviations non acceptés sauf si indiqué

5 5 - pour le barème, l'auteur doit spécifier +++: les réponses exactes, fausses. Obligatoire les réponses indispensables et inacceptables (permet d'affiner la notation et d'être discriminant). C/ 1 cours sur le dossier progressif (le plus important car doit être prêt rapidement pour les prochaines épreuves en à la Fac. Les futurs CCA doivent fournir 2 DP pour le prérequis pour candidature) Les anciens dossiers sont facilement transformables sous le nouveau format donc pas de panique. Les grands principes Le format des questions/ réponses est toujours le même : QRU ou QRM ou QROC Avec les règles spécifiées ci-dessus Les consignes doivent être claires dans l'énoncé: préciser le type de QR attendue Contenu multimédia à privilégier : qualité irréprochable, durée max de 3 min, tjrs relié à un item de l'ecn o Image haute def : 300 dpi format jpeg (unique ou série) o Support vidéo possible pour : montrer un geste technique, un examen clinique (sémiologie), un interrogatoire avec acteur ou patient, une annonce (relation médecinmalade). Non applicable pour 2016 o Bande son. Non applicable pour 2016 Le dossier doit durer 30 min ce qui correspond à 15 questions par dossier Tout DP doit être lié à un référentiel ECN (Item n.) o Impératif absolu pour l'auteur o contrôlé par un comité de validation (local) o permet un tri et une indexation des dossiers, un suivi personnalisé pour les étudiants dernier grand principe et nouveauté du dossier progressif: INDEPENDANCE des questions. L'étudiant doit valider la question 1 pour voir apparaitre la question 2. Il est impossible pour l'étudiant de revenir sur la réponse précédente. La correction des dossiers est automatisée. possibilité de pondérer le poids des questions dans un DP par un indice de pondération 1, 2 ou 3 (discriminant). Non obligatoire D/ 1 cours sur la LCA avec un exemple d'article Très rapidement, ce qu'il faut savoir : o Les questions rédactionnelles avec un exercice de LCA isolée ne vont plus exister. Il y aura une épreuve de LCA progressive (15 questions) o La réalisation d'un résumé n'existe plus o La LCA peut être intégrée dans les dossiers progressifs avec le même format expliqué cidessus avec des questions de type QRU, QRM ou QROC. o Ne pas demander de nouveau calcul o L'étudiant peut revenir sur l'article à tout moment o Indépendance des questions respectées également. o Article en langue française concernant des items ECN ( article en anglais pour 2017) o Correction automatisée E/ 1 cours sur les TCS (Test à concordance de script)

6 o o 6 Très intéressant comme concept d'évaluation mais pas encore assez élaboré pour être intégré dans la version iecn 2016 Donc peut être lu pour info et pour en créer plus tard mais pas indispensable pour la certification qui elle est urgente pour iecn en 2016 Les proportions globales de chaque type d'épreuve sont les suivantes : 70 % de la note sur les DP 20 % de la note sur les QI 10 % de la note sur la LCA Les ECNi seront organisées sur 6 demi-journées. Trois heures d'épreuves sont prévues par demijournée. Soit un total de 18 heures cumulées d'épreuves. Le barème sera sur points. a/ pour les DP sur 7000 points: 30 minutes par DP, de 15 questions chacun (avec 5 items au choix par question) 4 demi-journées, soit 24 DP au total tout les dossiers ont la même valeur soit ~292 points par DP b/ pour les QI sur 2000 points 1 demi-journée 120 QI tout les QI ont le même valeur soit ~17 points par QI c/ pour la LCA sur demi-journée 30 questions ayant toutes la même valeur soit ~33 points par question Deux articles scientifiques Article en anglais à partir de 2017 d/ modalités de notation Les questions à réponses multiples, à 5 items, sont notées entre 1 et 0. En l'absence de discordance, l'étudiant a la note maximale soit 1. Dans le cas d'une discordance, la note passe à 0,5 sur 1. Dans le cas de deux discordances, la note passe à 0,2 sur 1. Dans le cas de 3 discordances ou plus, la note est de zéro. Ce barème peut être modifié selon les mêmes principes pour des questions à plus de 5 items. L'absence de réponse à une question entraîne zéro à la question. Conclusion Grâce à ce tutoriel, vous avez les règles principales à connaitre pour faire les dossiers progressifs et répondre aux 10 questions de la certification. Après avoir répondu au formulaire, n'oubliez pas de répondre à l'enquête de satisfaction de cette formation.

7 7 Tutoriel pour la saisie sur la plate-forme SIDES - Voici un tutoriel pour vous accompagner dans la saisie et la validation des dossiers et questions sur la plate-forme SIDES. Ce tutoriel est destiné aux enseignants ayant fait la certification SIDES, c'est à dire ceux qui ont vu au moins 7 cours du module 1 et eu au moins 50% de bonnes réponses à l'auto-évaluation. La certification SIDES est un pré-requis à la saisie des dossiers et questions sur la plate-forme SIDES. 1. Quelles sont les étapes dans l'élaboration des dossiers et questions SIDES? 1.1. Saisie par le ou les enseignants/concepteurs Mode brouillon Mode privé (accès réservé aux co-auteurs et membres de la commission de validation) 1.2. Validation par un responsable disciplinaire 1.3. Validation par les membres du jury d'examen si le dossier ou la question est porté en examen 1. Enseignant - Crée contenu : DP, QI, TCS, LCA - Contenu : Statut BROUILLON Mode PRIVE - Contacte responsable disciplinaire quand dossier prêt 2. Responsable disciplinaire - Examine la qualité du dossier avec enseignant - Contenu : Statut VALIDE Mode PRIVE - Si dossier destiné à un examen : Informe la commission de validation/jury quand contenu validé 3. Commission de validation/jury - Sélectionne contenus pour examens - Examine qualité du dossier - Contenu : Statut VALIDE PAR LA COMMISSION 2. Comment se connecter sur la plate-forme SIDES? Site : Navigateur : Google Chrome ou Firefox Saisissez l'identifiant et le mot de passe que vous avez reçus de la part du support SIDES Vous avez oublié votre mot de passe : contactez Christine Euzet. Adresse christine.euzet@univ-montp1.fr

8 8 3. Comment saisir les dossiers et questions sur la plate-forme SIDES? Ecouter le tutoriel vidéo (environ 8 minutes). IL EST CONSEILLE DE SAISIR LES DOSSIERS ET QUESTIONS DIRECTEMENT SUR LA PLATE-FORME SIDES. En cas de copie/colle à partir d'un document Word, la mise en page n est pas forcément conservée : il faudra bien vérifier et corriger les erreurs Sélectionnez le type de contenu en cliquant sur une des icônes ci-dessus 3.2. Nommez le contenu TITRE Nomenclature : (type)-(année)-(mois)-(discipline)-(numéro d ordre)-(prénom auteur)- (nom auteur) Exemple : DP Endocrinologie-01-Linda-Desuza Année et mois : date du début de la conception Liste des disciplines : veillez à respecter la casse DISCIPLINES Algologie Génétique médicale MPR Radiologie Anatomie Gérontologie Néphrologie Réanimation Anatomie cytologie pathologie Gynécologie Neurochirurgie Rhumatologie Bactério-virologie Hématologie biologique Neurologie SHS Biochimie Hépatogastro Nutrition Thérapeutique Biologie cellulaire Histologie Ophtalmologie Urgences Cancérologie Immunologie ORL Urologie Cardiologie Infectiologie Parasitologie Chirurgie digestive LCA Pédiatrie Chirurgie infantile Médecine du travail Pédopsychiatrie Chirurgie ortho Médecine interne Pharmacologie médicale CMF Médecine légale Physiologie Dermatologie Médecine nucléaire Pneumologie Endocrinologie Médecine vasculaire Psychiatrie Numéro d ordre : commencer par 01. Le second dossier que vous ferez dans la même discipline et avec les mêmes auteurs sera le 02.

9 9 Auteur : contribution > 2 questions pour un DP ou LCA. Jusqu à trois auteurs par ordre alphabétique. Les responsables disciplinaires ne figurent pas automatiquement dans le titre Précisez les tags TAGS nécessaires pour tous les dossiers la destination : entrainement ou examen le niveau : DFGSM3, DFASM1, DFASM2, DFASM3 le module ou l'ue : ex : MIA, UE5, MT1 TAGS nécessaires si dossier ou question pour examen l'année universitaire : ex : la session: S1, S2, rattrapage 3.4. Saisissez l énoncé - LES 12 ETAPES 1- COCHER LA CASE : RENDRE LE DOSSIER CONFIDENTIEL Laisser cocher «rendre la question confidentielle» sinon tous les enseignants inscrits peuvent la voir 2- Sélectionner l état du dossier 3 états possibles : brouillon, validé et validé par la commission. Si vous êtes CONCEPTEUR du dossier, sélectionnez BROUILLON. Si vous êtes RESPONSABLE DISCIPLINAIRE, sélectionnez VALIDE après avoir examiné la qualité du dossier avec le(s) concepteurs Si vous êtes MEMBRE DE LA COMMISSION (JURY D'EXAMEN), sélectionnez VALIDE PAR LA COMMISSION après avoir examiné la qualité du dossier Sauvegardez 3- Ajoutez une nouvelle question

10 10 4- Nommez la question : il est conseillé dans un DP ou LCA de numéroter les questions. 5- Sélectionnez le type de question grâce au menu déroulant 3 possibilités : QRM, QRU et QROC. Attention : aux ECNi, il n'y aura pas de QRU. Il peut y avoir des QRM avec une seule bonne réponse. Valider 6- Saisissez l énoncé de la question

11 11 Contenu multimedia, images Cliquer droit sur la fenêtre de l'énoncé. Puis insérer l'image désirée en suivant les instructions Possibilité d'exporter directement les TDM et IRM à partir du PACS (PACS identiques à Montpellier et Nîmes) Pour toute image Poids < 1,5 Mégas octets ATTENTION : l interface ne prend que des fichiers images, pas de PDF. Quel type de fichier image peut-on déposer?.jpg et des.png Quelle doit être la définition de l'image? 300 dpi Quelle doit être la dimension de l'image? 10 cm de largeur maximum 7- Ajouter les propositions une par une

12 Suivez les 12 règles pour la rédaction des QRM et QRU 12 R6 : Recommandation actuelle : 5 propositions (voire 8 items) par question +++ R10 : Distracteurs : erreurs les plus fréquentes voir copies des étudiants +++ R11 : Si une seule réponse juste : la mettre comme indispensable Cochez les propositions justes. 9- Sélectionnez le type de correction avec le menu déroulant 2 types de correction : normal et pondéré Vous ne voulez pas mettre de contraintes sur les propositions => sélectionnez Normal Vous voulez mettre des contraintes sur des propositions, vous considérez que certaines propositions sont indispensables ou d autres inacceptables => sélectionnez Pondéré

13 13 Quelles sont les conséquences du type de correction sur le calcul des points? Type normal : si 0 discordance : 1 point, 1 discordance, 0,5 point ; 2 discordances : 0,2 point, > 2 discordances : 0 point (pour une question avec 5 propositions) Type pondéré : 0 à la question si une proposition inacceptable est sélectionnée ou si une proposition indispensable n est pas sélectionnée. Attention : si la question n a qu une seule réponse juste, mettre la proposition juste indispensable. Sinon, un étudiant qui aurait répondu faux aurait 0,5 point à la question étant donné le barême SIDES (qui est automatique). 10- Mettez des commentaires Ces commentaires sont destinés aux co-auteurs et aux responsables disciplinaires. Ils permettent de clarifier certains points. 11- Saisissez la pondération de la question avec le menu déroulant

14 14 Pondération : 1, 2 ou 3. (ne tenez pas compte du nombre de points affiché) Cette pondération affectera le nombre de points à la question. Le calcul se fait automatiquement. Voici le principe du calcul. Nombre de points à la question = poids de la question x (nombre total de points du dossier/ somme des poids des questions) Exemple 1 : Nombre total de points du dossier = 400 points. DP a 15 questions, toutes de poids 1 => somme des poids des questions = 15 x 1 = 15 Nombre de points de chaque question = 400 /15 = points Exemple 2 : Nombre total de points du dossier = 400 points. DP a 15 questions, 10 de poids 1 et 5 de poids 2 => somme des poids des questions = (10 x x 2) = 20 Nombre de points de chaque question de poids 1 = 400 /20 = 20 points Nombre de points de chaque question de poids 2 = 2 x 400 /20 = 40 points Le nombre total de points du dossier est fixé a priori. 12- Sauvegardez 3.5. Sélectionnez les items du référentiel Tout contenu (DP, QI, TCS ou LCA) doit être associé à un item du référentiel. Sélectionnez avec le menu déroulant puis cliquez sur ajouter l item On peut sélectionner plusieurs items pour un même dossier. Vérifier qu'au moins un item est inscrit dans la fenêtre de droite. Un dossier ou une question non rattachée à un item n'est pas retenue Sélectionnez les co-auteurs Cliquez sur l'onglet "auteurs". Par défaut, tous les noms des enseignants inscrits sur la plate-forme SIDES et certifiés apparaissent sur la fenêtre de gauche. Cliquez les noms des enseignants avec lesquels vous souhaitez partager le contenu (fenêtre de gauche - auteurs de la plate-forme). Ils apparaissent ensuite dans la fenêtre de droite (auteurs de l élément).

15 Seuls ces enseignants auront un droit de lecture et d écriture sur votre contenu. 15 AJOUTER LE RESPONSABLE DISCIPLINAIRE SIDES DE VOTRE DISCIPLINE. Sélectionnez dans le menu déroulant la classe "Enseignants - Responsables disciplinaires" le responsable disciplinaire de votre discipline. Vous pouvez aussi contacter Christine Euzet qui a la liste actualisée. Adresse christine.euzet@univ-montp1.fr 3.7. Sélectionnez les membres de la commission Sélectionner la classe «Enseignants - Référents pédagogiques - Jury». Les noms s affichent sur la fenêtre de gauche. Vérifier que la classe a bien été sélectionnée. La liste peut évoluer en fonction des membres du jury. Les faire glisser de la fenêtre de gauche vers la fenêtre de droite «auteurs de l élément» comme vous l'avez fait pour les co-auteurs Comment apparaît le dossier? => Si vous avez créé un DP ou un dossier de LCA, vérifiez l ordre des questions et le contenu des questions.

16 Questions diverses - Sac à malices Je désire changer l ordre des questions, comment faire? Retournez dans l onglet «liste de questions» Sur la gauche, vous avez les questions du dossier. Faites glisser les questions pour avoir l ordre désiré. Sauvegardez. Ensuite retournez dans «aperçu». Je désire changer le type de question. On ne peut pas modifier le type de question (QRU, QRM, QROC). La ressaisir. Je désire modifier le titre d un dossier : cliquer sur l'icône Je désire modifier supprimer un dossier : cliquer sur l'icône Je désire modifier dupliquer un dossier : cliquer sur l'icône BONNE SOUMISSION!