TABLE DES MATIÈRES CHAPITRE 1 LA CONSTRUCTION D UN INSTRUMENT DE MESURE Avant-propos... 5 Sommaire... 7

Transcription

1 TABLE DES MATIÈRES Avant-propos... 5 Sommaire... 7 CHAPITRE 1 LA CONSTRUCTION D UN INSTRUMENT DE MESURE Le processus de construction d un test La construction d un test d acquis scolaires Défi nition des fonctions du test L évaluation sommative La mesure fondée sur les objectifs Le modèle de Deno et Jenkins et les taxonomies d objectifs Objectifs terminaux et objectifs intermédiaires Échantillonnage des items et tableau de spécifi cation L évaluation critériée Défi nition L objectif enrichi L analyse de concepts La théorie des facettes Les formats d items Formats d items pour les tests cognitifs Typologie des formats d items Question fermée ou question ouverte? Construire des questions à choix multiples Construire des questions «vrai- faux» Construire des questions d appariement Construire des questions ouvertes Formats d items pour les questionnaires... 46

2 386 Introduction aux théories des tests Les items dichotomiques Les items catégoriels bipolaires Les items à choix forcé L adaptation et l utilisation de tests dans plusieurs langues et cultures Équivalence des tests adaptés Différences culturelles/linguistiques affectant les scores Facteurs techniques et méthodologiques Facteurs affectant l interprétation des résultats Soins à apporter à la traduction Lignes directrices pour l adaptation de tests Étapes à suivre Indicateurs de qualité de l adaptation Traduction ou adaptation? Conclusion CHAPITRE 2 LES SCORES ET LEUR DISTRIBUTION Les types d échelles de mesure L échelle nominale L échelle ordinale L échelle d intervalles L échelle proportionnelle Utilité et propriétés des échelles de mesure Caractéristiques d une distribution Valeurs de tendance centrale Autres valeurs importantes d une distribution de scores Valeurs de dispersion Valeurs d asymétrie Valeurs de voussure de la distribution Autres méthodes de représentation graphique des données Synthèse et application La distribution normale Conclusion CHAPITRE 3 LA FIDÉLITÉ DES RÉSULTATS Propriétés des scores composites «Combien font deux oranges plus trois citrons?» Variance totale des résultats à un test... 95

3 Table des matières Moyenne et variance d un score composite Implications pour la construction d un test La théorie classique des scores Postulats du modèle Implications de la théorie classique des scores Défi nitions de la fi délité Estimation de la fidélité Méthode des formes parallèles Méthode de bissection Méthode des covariances Problématique du coeffi cient α Conditions d utilisation Limites du coeffi cient α Exemples de bonnes pratiques Les corrélations intra- classes Facteurs affectant l estimation de la fidélité des résultats La diffi culté d un test L étendue des différences individuelles Limite de temps La longueur du test Fidélité et erreur de mesure L erreur type de mesure L erreur type d estimation L erreur type de la différence Le modèle binomial de l erreur L étude de la généralisabilité Notion de score univers Études G et D Les quatre étapes d une étude de généralisabilité Représentation graphique des composantes de variance Représentation symbolique Erreur absolue et erreur relative Simulation d une étude de généralisabilité Analyse de variance et étude de généralisabilité Étude G Autres projets de mesure Optimisation et étude D Généralisabilité et normes de pratique en psychologie et en éducation Conclusion

4 388 Introduction aux théories des tests CHAPITRE 4 LA VALIDITÉ DES RÉSULTATS À UN TEST Le concept de validité Les preuves basées sur le contenu du test Les preuves basées sur les processus de réponse Les preuves basées sur la structure interne du test Les preuves basées sur les relations avec d autres variables Les preuves basées sur les conséquences du testing Preuves de validité basées sur le contenu du test Preuves de validité basées sur les relations avec d autres variables Principes généraux Matrice multi- trait multi- méthode Problèmes d estimation de la validité liés au calcul des corrélations Effet de la grandeur de l échantillon Effet de la réduction de l étendue Effet de la fi délité du prédicteur et du critère Preuves de validité basées sur la structure interne du test Principes généraux Étude des traits latents L analyse factorielle Les modèles structuraux d équations La validité différentielle Le concept de biais Évaluation de la validité différentielle Les preuves de validité basées sur le contenu Les preuves de validité basées sur les relations avec d autres variables Les preuves de validité basées sur la structure interne du test CHAPITRE 5 L ANALYSE DES ITEMS La difficulté de l item L indice de diffi culté Diffi culté et distribution de l item La sélection des items selon leur diffi culté La variance de l item La discrimination de l item L indice de discrimination D Les indices corrélationnels de discrimination Le choix du bon indicateur de discrimination

5 Table des matières Rapport entre difficulté et discrimination de l item Le choix du «bon» item Niveau de signifi cation des indices corrélationnels de discrimination Calculs pratiques des indices de diffi culté et de discrimination Indices de discrimination pour la mesure critériée Indice de sensibilité à l enseignement Discrimination au seuil de maîtrise Équivalence des items appartenant à un même domaine Les indices de fidélité et de validité Analyse des items à partir des indices de fi délité et de validité Optimisation d un test Exemple d analyse d items à l aide de IBM SPSS Statistics Le fonctionnement différentiel des items Choisir l analyse d items appropriée au type d évaluation CHAPITRE 6 TRANSFORMATION ET INTERPRÉTATION DES SCORES Scores et patrons de réponses Indicateurs de conformité Indice de Sato Autres applications des indices de conformité Les normes Échelles normées et non normées Établissement des normes Défi nition de la population L échantillonnage La transformation des scores Les échelles en niveaux d âge Les échelles en niveaux scolaires Les échelles en rangs percentiles Les échelles en scores standard Les échelles en scores standard normalisés Équivalence entre les scores de différents tests Conditions pour la mise en équivalence de scores La mise en équivalence linéaire La mise en équivalence équipercentile La modération statistique Le calcul d un score seuil L identifi cation d un seuil de performance

6 390 Introduction aux théories des tests Le concept de seuil de performance Méthodes basées sur le contenu du test Méthodes basées sur la performance des sujets Validité des scores seuils L utilisation d un score seuil comme critère d un trouble CHAPITRE 7 LES MODÈLES DE RÉPONSE À L ITEM De la théorie classique aux modèles de réponse à l item La fonction caractéristique de l item L estimation des paramètres La fonction d information de l item et du test L évaluation de la dimensionnalité Applications des MRI Analyse du fonctionnement différentiel des items Le testing adaptatif Différences entre testing traditionnel et testing adaptatif Testing adaptatif et MRI Avantages et limites du testing adaptatif Utilité du TAO Quel MRI choisir? ANNEXE 1 NOTIONS D INFÉRENCE STATISTIQUE ÉCHANTILLON ET POPULATION Inférence et estimation Échantillonnage et estimation de la moyenne d une population Inférence statistique et lois de probabilité Inférence statistique et prise de décision COMPARAISON DE DEUX MOYENNES Types d erreur en inférence statistique Prise de décision statistique et niveau de signifi cation Puissance statistique appliquée à la comparaison de deux moyennes COMPARAISON DE PLUS DE DEUX MOYENNES Comparaisons multiples et taux d erreur Analyse de variance et calcul du rapport F Échantillonnage et analyse de variance Postulats de l analyse de variance Loi de probabilité de F

7 Table des matières Lecture d un tableau d analyse de variance Puissance de l ANOVA Autres considérations sur l ANOVA RELATIONS ENTRE VARIABLES : CORRÉLATION ET RÉGRESSION LINÉAIRE Description de la relation entre deux variables Le coeffi cient de corrélation La droite de régression LE CHOIX DE LA BONNE MÉTHODE STATISTIQUE ANNEXE 2 TABLES STATISTIQUES GLOSSAIRE DES PRINCIPAUX SYMBOLES GLOSSAIRE DES TERMES TECHNIQUES ET TRADUCTION ANGLAISE GLOSSAIRE DES TERMES TECHNIQUES ET TRADUCTION FRANÇAISE RÉFÉRENCES INDEX