Université de Montréal Faculté de médecine Bureau d évaluation. Guide de lecture d'un rapport d analyse d items

Transcription

1 Guide de lecture d'un rapport d analyse d items Ce document est un guide abrégé pour faciliter la lecture des indices de l analyse d item produits par le rapport du chiffrier AnItem 1. Ce rapport présente sur deux pages des indices statistiques et psychométriques qui caractérisent chacune des questions qui composent l épreuve et une analyse de la distribution des résultats au score total de l épreuve. Sur la première feuille, fournie en exemple, on retrouve : Dans la partie supérieure : «Exemple d analyse d items» Des renseignements sur l ensemble de l épreuve. Chaque page du rapport reproduit un libellé identifiant l épreuve. «N. items» Nombre d'items ("questions") pour cette épreuve. «Moyenne» Moyenne arithmétique des notes brutes, c est à dire non transformées en pourcentage. «Total brut» Somme des notes brutes maximales pour chaque item de l épreuve. Ces notes sont détaillées dans la colonne «Poids» de la partie inférieure de la page de résultats. Un sujet dont la note est égale au total brut obtient un score total de 100% à cette épreuve. «N. sujets» Nombre de sujets ayant participé à l épreuve. «Écart-type» Écart-type des notes brutes observées. Il s agit d un indice de dispersion des résultats. Il permet notamment de situer un résultat individuel par rapport à la moyenne de l'ensemble des résultats. La dispersion des résultats est d'ailleurs représentée graphiquement sur la deuxième page du rapport. «Alpha de Cronbach» Ce coefficient traduit le degré de «consistance interne» de l épreuve et sert d'indice pour estimer un des aspect de la fidélité des résultats observés. Plus ce coefficient se rapproche de la valeur.90 et plus, plus nous pouvons postuler que les items de l épreuve semblent «mesurer effectivement la même caractéristique ou le même objectif» 2 et contribuer par conséquent à produire des résultats fiables. Dans la partie inférieure : Des renseignements sur chaque item de l épreuve «Item» Libellé identifiant un item donné. «Clé» Clé de correction, c est-à-dire numéro correspondant au choix de la bonne réponse dans le cas où l item réfère à une question de type QCM. Ce champ est vide pour les questions d un autre type. «Poids» Pondération, ou note maximale, associée à chaque item. «Difficulté» Taux de réussite exprimé en pourcentage "décimal". Les items dont l'indice de difficulté est inférieur à 0,50 sont marqués d'un encadré. Ce choix arbitraire a pour but d'attirer l attention du lecteur et n'implique 1 NORMAND, Serge., AnItem, Chiffrier Excel pour effectuer une analyse d items, Bureau d évaluation, Faculté de médecine, Université de Montréal, LEGENDRE, Renald, Dictionnaire actuel de l éducation, Larousse, Paris Montréal, serge.normand@umontreal.ca michel.girard.2@umontreal.ca 1 de 3

2 pas nécessairement que cet item pose problème. Les auteurs pourront néanmoins questionner la pertinence de cet item en rapport avec les autres items de l épreuve; identifier un vice possible de formulation ou chercher une raison pour expliquer un taux de réussite relativement faible. «Discrimination» Ce coefficient de corrélation établit un lien entre les notes à un item donné et les notes avec le total des autres items de l épreuve. Un coefficient dont la valeur se situe à 0,20 et plus indique que les sujets ayant eu des notes élevées à cet item s'avèrent avoir aussi obtenu des notes élevées aux autres items de l épreuve. Un indice de discrimination se rapprochant de 0,00 implique que pareille relation n existe pas. Par ailleurs un coefficient négatif élevé témoigne d'une relation inverse non souhaitable : les "meilleurs" sujets obtiennent une note faible à cet item, alors que les sujets qui présentent des notes faibles à cette item obtiennent de "meilleurs" notes aux autres items de l épreuve. «Alpha (Item omis)» Indique la nouvelle valeur du coefficient «Alpha de Cronbach» si cet item était retiré de l épreuve. La contribution de cet item à la fidélité des résultats de l épreuve peut ainsi être appréciée. «Cotes Fréquences en %» Répartition, en pourcentage, des choix associés aux questions de type QCM. Légende des libellés : Abs : aucune réponse; 1, 2,3,4 ou 5 : numéros correspondant aux choix de réponses A, B, C,D ou E. «Cotes Fréquences brutes» Répartition, en fréquences brutes, des choix associés aux questions de type QCM. Les libellés sont identiques à ceux décrits ci-dessus. Rappelons que l'utilisation des fréquences brutes s'avère plus prudente que la référence aux fréquences en % dans le cas où le nombre de sujets est restreint. Sur la deuxième feuille, fournie en exemple, on retrouve : «Exemple d analyse d items» Chaque page du rapport reproduit un libellé identifiant l épreuve. «Moyenne» Moyenne arithmétique des scores totaux observés à cette épreuve. Pour chaque sujet le score total est calculé en faisant la somme des notes pondérées de l'ensemble des items qui composent l épreuve. Ce score total est exprimé en pourcentage et arrondi sans fraction décimale. «Écart-type» Écart-type des scores totaux observés à cette épreuve. «I-C à 95%» Intervalle de confiance associé à la moyenne. La probabilité que la moyenne de cette distribution soit comprise dans l'intervalle indiqué se situe à 95%. «Médiane» Note médiane des scores totaux observés à cette épreuve. Médiane : «Mesure de tendance centrale qui divise une suite ordonnée de scores en deux sous-ensembles égaux.» 2 «Mode» Mode des scores totaux observés à cette épreuve. Mode : «Nombre qui apparaît le plus fréquemment dans une série de scores.» 2 serge.normand@umontreal.ca michel.girard.2@umontreal.ca 2 de 3

3 «Cote Z» Note standardisée dont la moyenne de la distribution est fixée à 0 et l écart-type à 1. La cote Z facilite la comparaison d'une note donnée par rapport à l'ensemble des résultats observés. Ainsi les cotes Z positives situent un score au dessus de la moyenne et les cotes Z négatives situent un score en dessous de la moyenne. La standardisation d'une distribution de notes ne doit pas être confondue avec la normalisation d'une distribution où l'on reproduit la forme de la courbe normale et où l'étendue des valeurs Z se rapprochera de 3 à +3. «Note» Distribution des scores totaux observés à cette épreuve. «Fréquence» Nombre de sujets ayant obtenu ce score total. «en %» Pourcentage de sujets ayant obtenu ce score total. Histogramme à droite Histogramme à bâtonnets illustrant la fréquence de la distribution des scores totaux observés à cette station. serge.normand@umontreal.ca michel.girard.2@umontreal.ca 3 de 3

4 Université de Montréal Faculté de médecine Bureau d'évaluation Exemple d'analyse d'items N. items : 35 N. sujets : 152 avec calcul de score standard Moyenne : 31,8 Écart-type : 3,63 Total brut : 42 Alpha de Cronbach : 0,66 Analyse d'items QCR - Fréquences en % QCR - Fréquences brutes Item Clé Poids Difficulté Discrimination Alpha Abs Abs ( Item omis ) pq1 3 1,0 0,71 0,19 0,65 1% 11% 71% 14% 3% pq2 3 1,0 0,84 0,01 0,67 0% 0% 84% 0% 16% pq3 1 1,0 0,63 0,17 0,65 63% 28% 3% 0% 6% pq4 4 1,0 0,75 0,04 0,67 9% 6% 2% 75% 8% pq5 5 1,0 0,64 0,17 0,65 31% 1% 3% 1% 64% pq6 1 1,0 0,89 0,14 0,66 89% 7% 1% 3% 0% pq7 4 1,0 0,49 0,21 0,65 10% 18% 22% 49% 2% pq8 5 1,0 0,99 0,19 0,66 1% 0% 0% 0% 99% pq9 5 1,0 0,97 0,06 0,66 0% 0% 3% 0% 97% pq10 2 1,0 0,92 0,27 0,65 1% 3% 92% 1% 3% 1% pq11 5 1,0 0,86 0,15 0,66 5% 1% 7% 0% 86% pq12 4 1,0 0,67 0,25 0,65 1% 18% 1% 67% 12% pq13 3 1,0 0,93 0,16 0,66 1% 1% 1% 93% 1% 3% pq14 3 1,0 0,97 0,19 0,66 0% 1% 97% 2% 0% pq15 2,0 0,80 0,14 0,66 pq16 1,0 0,70 0,31 0,65 pq17 2,0 0,63 0,36 0,64 pq18 2,0 0,61 0,29 0,65 pq19 2,0 0,61 0,16 0,66 pq20 2,0 0,87 0,24 0,65 pq21 2,0 0,53 0,30 0,64 pq22 1,0 0,97-0,03 0,67 pq23 1,0 0,86-0,02 0,67 pq24 1,0 0,60 0,29 0,65 pq25 1,0 0,75 0,23 0,65 pq26 1,0 0,89 0,26 0,65 pq27 2,0 0,97-0,01 0,67 pq28 1,0 0,95 0,30 0,65 pq29 1,0 0,99 0,07 0,66 pq30 1,0 0,91 0,20 0,66 pq31 1,0 0,87 0,27 0,65 pq32 1,0 0,05-0,03 0,67 pq33 1,0 0,61 0,31 0,64 pq34 1,0 0,66 0,37 0,63 pq35 1,0 0,64 0,26 0,65 serge.normand@umontreal.ca

5 Université de Montréal Faculté de médecine Bureau d'évaluation Exemple d'analyse d'items avec calcul de score standard Cote Z Note Fréquence en % 1, % 1, % 1, % 1, % 1, % 1, % 1, % 0, % 0, % 0, % 0, % 0, % 0, % 0, % -0, % -0, % -0, % -0, % -0, % -0, % -0, % -1, % -1, % -1, % -1, % -1, % -1, % -1, % -2, % -2, % -2, % -3, % Moyenne 75,7 I - C à 95% ( ) Écart-type 8,6 Médiane 76 N 152 Mode 76 serge.normand@umontreal.ca