DIU Pédagogie Médicale Optimisation de l exploitation de la grille d évaluation des stages d étudiants hospitaliers P Maison Direction : Pr P Claudepierre, Dr M Pervel EvaluationStage_PMaison_080922 1
Contexte Les lieux de stage des étudiants hospitaliers font l objet d un accord initial de la part de l exécutif de la faculté en fonction du projet pédagogique présenté. Une grille d évaluation des stages a été validée et mise en place par l exécutif afin que les étudiants hospitaliers rapportent leur appréciation des stages. L exploitation des réponses à ce questionnaire doit permettre une évaluation du niveau pédagogique sur différents domaines des stages d étudiants hospitaliers. Cette évaluation est différente de l appréciation globale habituelle des étudiants afin de conseiller ou pas le stage à leurs collègues. L objectif est ici d avoir une vision institutionnelle sur le contenu des stages qui soit critériée et d évaluer l atteinte des objectifs des stages hospitaliers élaborés par la Faculté dans le cadre d un processus qualité. Le questionnaire a été adressé à l ensemble des étudiants hospitaliers 2007-2008. Les 16 questions semi quantitatives de ce questionnaire portent sur les aspects quantitatifs et qualitatifs des différents contenus des stages. Objectifs Valider un outil méthodologique permettant d apporter une évaluation des différents domaines pédagogiques des stages de DCEM 2, 3 & 4 soit par année soit par stage. Cet outil doit permettre d évaluer le respect des engagements sur différents domaines pédagogiques pour les stages concernés et de valider des alertes permettant d identifier les domaines où l investissement semble tout à fait insuffisant. Matériels - la grille d évaluation de stage de D2 à D4 (annexe 1) - les données recueillies pour les stages de D2 à D4 de 2007-2008 Méthodologie - Description de l ensemble des données (données manquantes, distribution) - Validation de critères composites sur les différentes composantes pédagogiques Afin d apprécier la valeur pédagogique d un stage d après la grille existante, trois domaines peuvent être isolés : Le respect de la mise en place d outils pédagogiques La qualité de l encadrement et de l enseignement Et le contexte EvaluationStage_PMaison_080922 2
- Comparaison D2, D3 & D4 - Validation d un système de notation par domaine pédagogique - Valider un seuil d alerte pour les stages sur chaque composante pédagogique Résultats 1. Descriptions des données Chaque questionnaire représente un étudiant et un stage (unité statistique = étudiant x stage). En effet, les étudiants peuvent avoir rempli plusieurs questionnaires pour chaque stage de l année et un stage peut être représenté par plusieurs questionnaires de différents étudiants. En résumé, de nombreux objectifs semblent ne pas être respectés mais quand ils le sont les étudiants sont plutôt satisfaits de la qualité. Les questions évaluant le contexte témoigne plutôt d une bonne appréciation. Les différentes données recueillies sont décrites en annexe 2. 2. Comparaison DCEM 2, 3 & 4 Globalement les objectifs semblent moins respectés d après les étudiants hospitaliers de D2, excepté pour les gestes et l appréciation de la qualité qui est moins bonne aussi. Le détails des comparaisons est présenté en annexe 3. 3. Validation de critères composites Les différentes questions jugeant du même domaine pédagogique ont été regroupées afin de faciliter la lecture. Cela devra permettre d apporter un jugement global sur les objectifs par lieu de stage et de vérifier si les lacunes observées concernent les mêmes lieux ou bien sont dispersées. Par exemple, l absence de séances d ARC ne peut être appréciée de la même façon si cela est associé au non respect des autres objectifs ou bien s agit-il d un choix de plus développer un ou d autres objectifs. 1) Le Critère OP sur le respect de la mise place des «Outils Pédagogiques» regroupe les questions concernant l existence (de «pas du tout» à «très souvent») de formation sur les différentes compétences appliquées en situation réelles et devant être acquises lors des stages de D2 à D4. Ces outils présents sur le projet pédagogique des stages sont validés par EvaluationStage_PMaison_080922 3
l exécutif de la faculté et les responsables de stage lors de l ouverture des stages. Il s agit de la présence de : - Un encadrement dans le stage au lit du patient par senior (CCA/AHU, autres Universitaires, PH) et/ou par un interne - Mise en situation en présence de l encadrant - Séances d Apprentissage du Raisonnement Clinique (ARC) - Séances de réflexion autour de dossiers - Enseignement théorique - Exposés par les étudiants - Gestes quand cela s applique à ce stage 2) Le critère QP concerne la Qualité Pédagogique ressentie par l étudiant (de «pas» à «très» intéressant) sur certaines formations : - Encadrement dans le stage au lit du patient - Séances d Apprentissage du Raisonnement Clinique (ARC) - Séances de réflexion autour de dossiers - Enseignement théorique 3) Le critère C doit permettre l appréciation de l environnement dans lequel se déroule l apprentissage de ces compétences. Les questions concernées sont : - Temps de présence globale - Ambiance au sein de l équipe La question sur «la charge de travail administrative» pourrait être incluse dans le contexte en faisant l hypothèse qu une charge élevée représente un contexte défavorable. Cependant, la réponse à cette question est très singulière puisque sa moyenne par stage n est corrélée à très peu d autres questions et pas du tout aux deux questions sur ce contexte d apprentissage. De plus, une charge importante ne semble pas être une appréciation négative liée à une mauvaise qualité pédagogique ou bien à un manque de temps pour respecter les objectifs. L inverse semble même apparaître. L inclusion de cette question dans le critère évaluation du contexte d apprentissage n a donc pas été retenue. EvaluationStage_PMaison_080922 4
Table 1 Coefficients de corrélations (Spearman) entre la note globale (EVA) et les critères pédagogiques pour l ensemble des questionnaires Objectifs Pédagogiques Qualité Pédagogique Contexte d apprentissage EVA 0.77*** 0.67*** 0.61*** 4. Validation des critères composites de notation des stages par domaines pédagogiques Les critères composites pourraient être énoncés sous forme de score, ce qui permettrait de classer les lieux de stages les uns par rapport aux autres et ainsi de déterminer les 5% meilleurs et moins bons par exemple. Cependant, il est plus intéressant d avoir un système de notation et de déterminer un seuil d alerte indépendamment des autres stages. Le but n est, en effet, pas d établir une compétition entre services mais d assurer un contrôle qualité minimal de la pédagogie et de détecter d éventuelles lacunes nécessitant une action correctrice. La méthode choisie est donc d accorder une note de 0 à 20 pour chacun des 3 domaines pédagogiques évalués (respect des outils pédagogiques, la qualité pédagogique et le contexte d apprentissage). Pour cela, il est possible de calculer pour chaque service une moyenne obtenue pour chaque question entre 0 et 3 (ou 2) pour les questions semi-quantitatives et ente 0 et 1 pour les questions qualitatives. Les moyennes sont calculées en fonction du nombre de données valides concernées. Pour chaque critère composite, il est possible d additionner les moyennes des questions sélectionnées pour le critère. Pour une meilleure visibilité, ce total est divisé sur le nombre de questions incluses dans le critère et ajusté afin d obtenir une note entre 0 et 20 pour chaque critère (c'est-à-dire multiplié par 20 et divisé par le maximum possible sur l ensemble des questions concernées) : Critère sur le respect des Objectifs Pédagogiques : OP = (Σ moyennes des 7 questions / 7) x 20 / 17 Critère sur la Qualité Pédagogique : QP = (Σ moyennes des 4 questions / 4) x 20 / 12 EvaluationStage_PMaison_080922 5
Critère sur le contexte : C = (Σ moyennes des 2 questions / 2) x 20 / 6 Le seuil d alerte pour un stage peut être fixé en fonction des grilles de réponse. Celles-ci sont en 4 catégories pour la plupart des questions. Ainsi les stages peuvent accorder une note de 0 au pire et 3 au mieux pour chaque items (ou 0/1 pour les gestes et exposés). Concernant les outils pédagogiques, composés de 5 items en 0/1/2/3 et 2 en 0/1, les stages ayant une moyenne du critère OP 4 / 20 pourront être jugé comme n ayant pas respecté cet objectif de stage, car les évaluations sur la présence des outils auront majoritairement été «pas du tout» (ou «non» pour les gestes et exposés) soit une note 0 pour la majorité des items. Pour avoir un score moyen OP 4 / 20, le stage aurait été noté en moyenne plus souvent en 0 que 1 et sans avoir de note supérieure à 1 qui compenserait la moyenne. Cela peut être considéré comme un seuil d alerte minimum. L appréciation «peu» correspondrait à un seuil de 8. De la même façon, le seuil d alerte du critère QP équivalent à une notation majoritairement «pas intéressant» est de 7. L appréciation «peu intéressant» correspond au seuil de 13. Pour le contexte, ce critère C correspond à des items en 3 catégories, par exemple «désagréable», «neutre», «sympathique». Le seuil d alerte est alors une note < 7 correspondant à un jugement majoritairement négatif. Le tableau 2 présente les résultats pour les services ayant eu au moins 5 évaluations valides. En résumé, si l on s intéresse au seuil d alerte minimum, un seul service est en dessous du seuil pour les outils pédagogiques, aucun pour la qualité et aucun pour le contexte. EvaluationStage_PMaison_080922 6
Table 2 : Notes /20 par critère pédagogique composite des stages d externe OBJECTIF QUALITE CONTEXTE Service 1 4,77 11,39 14,00 Service 2 8,18 12,00 15,50 Service 3 5,46 10,28 11,67 Service 4 8,01 10,83 16,00 Service 5 8,15 11,28 7,86 Service 6 8,52 9,72 11,43 Service 7 6,68 12,53 12,14 Service 8 9,06 15,67 13,57 Service 9 4,20 9,86 7,86 Service 10 7,05 10,49 18,00 Service 11 9,09 12,44 15,00 Service 12 12,50 15,39 15,05 Service 13 11,72 12,96 15,30 Service 14 7,16 13,28 16,00 Service 15 3,09 9,28 11,28 Service 16 8,14 11,66 11,92 Service 17 11,03 15,65 14,26 Service 18 5,68 10,14 11,43 Service 19 7,32 13,72 9,86 Service 20 11,14 14,93 16,42 Service 21 9,32 12,00 11,00 Service 22 6,59 12,92 14,00 Service 23 8,68 12,92 14,00 Service 24 12,92 15,11 14,29 Service 25 5,85 14,13 13,75 Service 26 4,18 8,41 10,56 Service 27 12,42 14,98 14,50 Service 28 9,12 13,82 15,00 Service 29 9,71 15,27 16,00 Service 30 13,85 17,92 17,50 Service 31 11,74 14,95 16,94 Service 32 11,76 15,51 14,75 Service 33 7,32 14,91 9,55 Service 34 12,46 16,08 16,74 Service 35 9,46 12,46 13,00 Service 36 11,74 15,89 17,70 Service 37 13,26 15,10 15,00 Service 38 14,03 14,67 15,00 Service 39 9,66 12,39 10,83 Service 40 8,67 15,00 10,71 Service 41 10,95 11,59 14,29 Service 42 12,02 13,99 16,25 Service 43 11,02 13,33 16,50 Service 44 11,56 13,51 13,33 Service 45 10,78 13,68 18,75 Service 46 9,50 12,66 13,13 Service 47 10,84 15,58 15,00 Service 48 7,35 12,24 12,93 Service 49 14,07 15,81 17,39 EvaluationStage_PMaison_080922 7
Discussion : Dans un processus de qualité, il est nécessaire d évaluer le respect de l engagement pris initialement tant en terme qualitatif que quantitatif. Lors de la mise en place des stages de DCEM 2, 3 et 4, les services s engagent auprès de l exécutif de l UFR sur différents points pédagogiques : offre d outils pédagogiques, qualité de l encadrement et contexte favorable. Le respect de ces engagements doit être évaluer dans l intérêt des différentes parties (stagiaire et encadrant). L exécutif de l UFR de médecine de Créteil à qui incombe cette évaluation a mis en place une grille d évaluation qui avec l outil présenté ci-dessus devrait permettre une appréciation des stages sur les différents domaines pédagogiques. Le contenu des domaines pédagogiques (ici dépendant de la grille) et le niveau demandé aux services d accueil (par exemple : seuil à 4 ou 8 pour le critère OP) représentent des choix «politiques» de l exécutif et peuvent être adaptés. A ma connaissance, un tel outil n a pas été publié. La grille d évaluation comporte l ensemble des items nécessaires à l évaluation des objectifs imposé par l exécutif et donc peut être aisément transposé en score par domaines pédagogique. Cependant, quelques items posent problème pour leur intégration dans les scores. Principalement, la question sur la charge de travail administrative qui ne représente pas un objectif pédagogique ne reflète pas non plus l impression globale du stagiaire ni même le contexte. Son inclusion dans un score parait inopportune et biaiserai les résultats. Concernant les «gestes» et «exposés» leur notation en O/N qui a été traduite en 1/0 leur confère un poids moindre parmi les outils pédagogiques dans le score OP. Cela parait justifiable car il s agit plus d un apprentissage à une compétence plutôt que des outils pédagogiques. Par ailleurs, l application de cet outil peut être précédé par une première évaluation sur des items particulièrement important. Par exemple, l absence d encadrement peut aboutir à une mauvaise notation du domaine OP sans même calculer le score. L ensemble des données d une telle évaluation portant sur plusieurs items sur plusieurs stages notés par plusieurs stagiaires qui eux-mêmes notent plusieurs stages est d interprétation complexe. Le choix de concevoir des scores reflétant 3 domaines pédagogiques essentiel simplifie l interprétation et l évaluation. L objectif de l outil n étant pas de classer les stages les uns par rapport aux autres, le choix d un score indépendant est important. Il permet aussi de comparer les résultats d une année sur l autre pour chaque stage. Il est de même pour les seuils d alerte qui dépendent uniquement du nombre d items inclus dans chaque critère et du nombre de réponses possibles pour chacun. Ainsi dans le cas présent, trois seuils peuvent être proposé pour les critères OP et QP (par exemple 4, 8 ou 12 pour OP). EvaluationStage_PMaison_080922 8
Le nombre de questionnaires nécessaires pour accepter le résultat d un stage a été fixé arbitraire à 5 pour une question de fiabilité mais non pour une question de représentativité car un tel nombre peut représenter l exhaustivité des stagiaires pour un stage peu prisé. Afin d être moins arbitraire, ce nombre limite pourrait être fixé pour chaque stage en fonction du nombre réel d étudiants l ayant choisi pour la période considérée. Les résultats témoignent de la robustesse des scores des critères pédagogiques. De plus, en se basant sur les seuils minima d alerte seul un stage est insuffisant concernant le respect des outils pédagogiques mis à disposition des stagiaires. Ce résultat est cohérant avec un seuil d alerte qualifié de minimum. Pour le seuil supérieur d exigence, plus de 30% des stages ne satisfont pas cette condition pour le critère OP. La qualité de l enseignement et le contexte sont dans l ensemble mieux notés. L utilisation d un tel outil en parfaite transparence doit aboutir à une amélioration de l outil luimême mais surtout à une meilleure considération des aspects pédagogiques concernés par l évaluation et ainsi améliorer l intérêt des stages. EvaluationStage_PMaison_080922 9
Annexe 1 GRILLE D ÉVALUATION DE STAGE (D2 à D4) Nom & Prénom (facultatif) : Service : Année : DCEM 2 DCEM 3 DCEM 4 Encadrement dans le stage : Au lit du patient : - encadrement : par senior (CCA/AHU, autres Universitaires, PH) par interne pas du tout peu souvent très souvent pas intéressant peu intéressant intéressant très intéressant - Mise en situation en présence de l encadrant pas du tout peu souvent très souvent Hors présence du patient : - Séances d Apprentissage du Raisonnement Clinique (ARC) pas du tout peu souvent très souvent pas intéressant peu intéressant intéressant très intéressant - Séances de réflexion autour de dossiers pas du tout peu souvent très souvent pas intéressant peu intéressant intéressant très intéressant - Enseignement théorique pas du tout peu souvent très souvent pas intéressant peu intéressant intéressant très intéressant - Existence d exposés par les étudiants oui non EvaluationStage_PMaison_080922 10
- Gestes oui non Ne s applique pas à ce stage Charge de travail «administrative» : faible correcte élevée Temps de présence global : faible correcte élevée Ambiance au sein de l équipe : désagréable neutre sympathique Globalement, quelle est votre appréciation sur ce stage? Très mauvaise 0 1 2 3 4 5 6 7 8 9 10 Très bonne Commentaires éventuels : EvaluationStage_PMaison_080922 11
Annexe 2 Description des données : N valide Stages 81 Année Pourcentages DCEM 2 217 31 DCEM 3 304 43 DCEM 4 188 27 Encadrement au lit du patient par senior 137 /615 par interne 125 les deux 353 pas du tout 32 5 peu 144 22 souvent 295 44 très souvent 194 29 pas intéressant 15 3 peu intéressant 54 9 intéressant 352 59 très intéressant 172 29 Mise en situation en présence de l encadrant pas du tout 124 18 peu 247 36 souvent 241 35 très souvent 73 11 Séances d ARC pas du tout 228 33 peu 194 28 souvent 194 28 très souvent 77 11 pas intéressant 38 9 peu intéressant 27 6 intéressant 253 58 très intéressant 115 27 Séances de réflexion autour de dossiers pas du tout 139 20 peu 214 31 souvent 245 36 très souvent 89 13 pas intéressant 31 6 peu intéressant 51 10 intéressant 296 60 très intéressant 114 23 EvaluationStage_PMaison_080922 12
Enseignement théorique pas du tout 57 8 peu 154 22 souvent 320 46 très souvent 161 23 pas intéressant 16 3 peu intéressant 32 6 intéressant 338 61 très intéressant 171 31 Existence d exposés par les étudiants oui 316 49 Gestes Oui 436 64 Ne s applique pas à ce stage Charge de travail «administrative» faible 196 28 correcte 362 51 élevée 149 21 Temps de présence global faible 52 8 correct 433 63 élevé 202 29 Ambiance au sein de l équipe désagréable 42 6 neutre 141 20 sympathique 524 74 Note Globale (EVA) moyenne (SD) 705 7 (2) EvaluationStage_PMaison_080922 13
Annexe 3 Comparaison des réponses entre les 3 années (seuls les items significativement différents sont présentés) Encadrement au lit du patient DCEM 2 DCEM 3 DCEM 4 par senior par interne 70 83 86*** les deux pas du tout 9 3 3 peu 30 19 20 souvent 41 45 47 très souvent 20 33 34*** pas intéressant 5 2 1 peu intéressant 17 5 7 intéressant 60 60 58 très intéressant 19 34 33*** Mise en situation en présence de l encadrant pas du tout 28 15 12 peu 38 35 36 souvent 25 41 37 très souvent 9 9 15*** Séances d ARC pas du tout 48 27 26 peu 25 32 25 souvent 21 31 31 très souvent 6 11 17*** pas intéressant 22 18 4 peu intéressant 4 52 6 intéressant 57 40 64 très intéressant 17 52 26*** Séances de réflexion autour de dossiers pas du tout 38 13 12 peu 34 30 30 souvent 19 42 45 très souvent 9 15 13*** pas intéressant 14 3 4 peu intéressant 12 6 16 intéressant 55 61 63 très intéressant 19 30 17*** EvaluationStage_PMaison_080922 14
Enseignement théorique pas du tout 14 6 5 peu 31 17 20 souvent 40 44 56 très souvent 15 32 18*** pas intéressant 5 3 1 peu intéressant 5 5 7 intéressant 64 54 68 très intéressant 26 38 24* Gestes Oui 79 67 76* Charge de travail «administrative» faible 40 21 25 correcte 38 54 32 élevée 22 26 13*** Ambiance au sein de l équipe désagréable 10 4 5 neutre 21 22 16 sympathique 69 74 79* Note Globale (EVA) moyenne (SD) 6 (2) 7(2) 8(2)*** EvaluationStage_PMaison_080922 15