TABLE DES MATIÈRES Avant-propos... 5 Sommaire... 7 CHAPITRE 1 LA CONSTRUCTION D UN INSTRUMENT DE MESURE... 9 1. Le processus de construction d un test... 9 2. La construction d un test d acquis scolaires... 15 2.1 Défi nition des fonctions du test... 15 2.2 L évaluation sommative... 16 2.2.1 La mesure fondée sur les objectifs... 16 2.2.2 Le modèle de Deno et Jenkins et les taxonomies d objectifs... 18 2.2.3 Objectifs terminaux et objectifs intermédiaires... 21 2.2.4 Échantillonnage des items et tableau de spécifi cation... 22 2.3 L évaluation critériée... 24 2.3.1 Défi nition... 24 2.3.2 L objectif enrichi... 26 2.3.3 L analyse de concepts... 27 2.3.4 La théorie des facettes... 28 3. Les formats d items... 30 3.1 Formats d items pour les tests cognitifs... 30 3.1.1 Typologie des formats d items... 30 3.1.2 Question fermée ou question ouverte?... 33 3.1.3 Construire des questions à choix multiples... 38 3.1.4 Construire des questions «vrai- faux»... 41 3.1.5 Construire des questions d appariement... 43 3.1.6 Construire des questions ouvertes... 44 3.2 Formats d items pour les questionnaires... 46
386 Introduction aux théories des tests 3.2.1 Les items dichotomiques... 47 3.2.2 Les items catégoriels bipolaires... 48 3.2.3 Les items à choix forcé... 49 4. L adaptation et l utilisation de tests dans plusieurs langues et cultures... 52 4.1 Équivalence des tests adaptés... 54 4.1.1 Différences culturelles/linguistiques affectant les scores... 55 4.1.2 Facteurs techniques et méthodologiques... 56 4.1.3 Facteurs affectant l interprétation des résultats... 57 4.1.4 Soins à apporter à la traduction... 58 4.2 Lignes directrices pour l adaptation de tests... 59 4.3 Étapes à suivre... 59 4.4 Indicateurs de qualité de l adaptation... 60 4.5 Traduction ou adaptation?... 60 5. Conclusion... 61 CHAPITRE 2 LES SCORES ET LEUR DISTRIBUTION... 63 1. Les types d échelles de mesure... 63 1.1 L échelle nominale... 65 1.2 L échelle ordinale... 65 1.3 L échelle d intervalles... 65 1.4 L échelle proportionnelle... 66 1.5 Utilité et propriétés des échelles de mesure... 66 2. Caractéristiques d une distribution... 69 2.1 Valeurs de tendance centrale... 69 2.2 Autres valeurs importantes d une distribution de scores... 71 2.3 Valeurs de dispersion... 72 2.4 Valeurs d asymétrie... 75 2.5 Valeurs de voussure de la distribution... 78 2.6 Autres méthodes de représentation graphique des données... 81 2.7 Synthèse et application... 83 3. La distribution normale... 87 4. Conclusion... 91 CHAPITRE 3 LA FIDÉLITÉ DES RÉSULTATS... 93 1. Propriétés des scores composites... 93 1.1 «Combien font deux oranges plus trois citrons?»... 93 1.2 Variance totale des résultats à un test... 95
Table des matières 387 1.3 Moyenne et variance d un score composite... 98 1.4 Implications pour la construction d un test... 100 2. La théorie classique des scores... 101 2.1 Postulats du modèle... 101 2.2 Implications de la théorie classique des scores... 104 2.3 Défi nitions de la fi délité... 106 3. Estimation de la fidélité... 109 3.1 Méthode des formes parallèles... 109 3.2 Méthode de bissection... 112 3.3 Méthode des covariances... 114 3.4 Problématique du coeffi cient α... 118 3.4.1 Conditions d utilisation... 119 3.4.2 Limites du coeffi cient α... 120 3.4.3 Exemples de bonnes pratiques... 120 3.5 Les corrélations intra- classes... 122 4. Facteurs affectant l estimation de la fidélité des résultats... 123 4.1 La diffi culté d un test... 124 4.2 L étendue des différences individuelles... 124 4.3 Limite de temps... 125 4.4 La longueur du test... 125 5. Fidélité et erreur de mesure... 127 5.1 L erreur type de mesure... 128 5.2 L erreur type d estimation... 131 5.3 L erreur type de la différence... 132 6. Le modèle binomial de l erreur... 133 7. L étude de la généralisabilité... 136 7.1 Notion de score univers... 137 7.2 Études G et D... 139 7.3 Les quatre étapes d une étude de généralisabilité... 140 7.4 Représentation graphique des composantes de variance... 142 7.5 Représentation symbolique... 144 7.6 Erreur absolue et erreur relative... 144 7.7 Simulation d une étude de généralisabilité... 145 7.8 Analyse de variance et étude de généralisabilité... 152 7.9 Étude G... 153 7.10 Autres projets de mesure... 156 7.11 Optimisation et étude D... 158 7.12 Généralisabilité et normes de pratique en psychologie et en éducation... 160 8. Conclusion... 160
388 Introduction aux théories des tests CHAPITRE 4 LA VALIDITÉ DES RÉSULTATS À UN TEST... 163 1. Le concept de validité... 163 1.1 Les preuves basées sur le contenu du test... 166 1.2 Les preuves basées sur les processus de réponse... 166 1.3 Les preuves basées sur la structure interne du test... 167 1.4 Les preuves basées sur les relations avec d autres variables... 168 1.5 Les preuves basées sur les conséquences du testing... 169 2. Preuves de validité basées sur le contenu du test... 171 3. Preuves de validité basées sur les relations avec d autres variables... 180 3.1 Principes généraux... 180 3.2 Matrice multi- trait multi- méthode... 181 3.3 Problèmes d estimation de la validité liés au calcul des corrélations... 183 3.3.1 Effet de la grandeur de l échantillon... 183 3.3.2 Effet de la réduction de l étendue... 183 3.3.3 Effet de la fi délité du prédicteur et du critère... 185 4. Preuves de validité basées sur la structure interne du test... 186 4.1 Principes généraux... 186 4.2 Étude des traits latents... 189 4.2.1 L analyse factorielle... 189 4.2.2 Les modèles structuraux d équations... 195 5. La validité différentielle... 197 5.3 Le concept de biais... 197 5.4 Évaluation de la validité différentielle... 198 5.4.1 Les preuves de validité basées sur le contenu... 198 5.4.2 Les preuves de validité basées sur les relations avec d autres variables... 199 5.4.3 Les preuves de validité basées sur la structure interne du test... 201 CHAPITRE 5 L ANALYSE DES ITEMS... 203 1. La difficulté de l item... 204 1.1 L indice de diffi culté... 204 1.2 Diffi culté et distribution de l item... 207 1.3 La sélection des items selon leur diffi culté... 207 1.4 La variance de l item... 209 2. La discrimination de l item... 210 2.1 L indice de discrimination D... 210 2.2 Les indices corrélationnels de discrimination... 213 2.3 Le choix du bon indicateur de discrimination... 218
Table des matières 389 3. Rapport entre difficulté et discrimination de l item... 219 3.1 Le choix du «bon» item... 219 3.2 Niveau de signifi cation des indices corrélationnels de discrimination... 221 3.3 Calculs pratiques des indices de diffi culté et de discrimination... 223 4. Indices de discrimination pour la mesure critériée... 224 4.1 Indice de sensibilité à l enseignement... 224 4.2 Discrimination au seuil de maîtrise... 224 4.3 Équivalence des items appartenant à un même domaine... 225 5. Les indices de fidélité et de validité... 228 5.1 Analyse des items à partir des indices de fi délité et de validité... 228 5.2 Optimisation d un test... 229 6. Exemple d analyse d items à l aide de IBM SPSS Statistics... 230 7. Le fonctionnement différentiel des items... 233 8. Choisir l analyse d items appropriée au type d évaluation... 238 CHAPITRE 6 TRANSFORMATION ET INTERPRÉTATION DES SCORES... 241 1. Scores et patrons de réponses... 241 1.1 Indicateurs de conformité... 242 1.2 Indice de Sato... 243 1.3 Autres applications des indices de conformité... 245 2. Les normes... 245 2.1 Échelles normées et non normées... 245 2.2 Établissement des normes... 247 2.2.1 Défi nition de la population... 247 2.2.2 L échantillonnage... 248 2.3 La transformation des scores... 254 2.3.1 Les échelles en niveaux d âge... 254 2.3.2 Les échelles en niveaux scolaires... 256 2.3.3 Les échelles en rangs percentiles... 256 2.3.4 Les échelles en scores standard... 257 2.3.5 Les échelles en scores standard normalisés... 259 3. Équivalence entre les scores de différents tests... 261 3.1 Conditions pour la mise en équivalence de scores... 261 3.2 La mise en équivalence linéaire... 262 3.3 La mise en équivalence équipercentile... 264 3.4 La modération statistique... 265 4. Le calcul d un score seuil... 268 4.1 L identifi cation d un seuil de performance... 268
390 Introduction aux théories des tests 4.1.1 Le concept de seuil de performance... 268 4.1.2 Méthodes basées sur le contenu du test... 269 4.1.3 Méthodes basées sur la performance des sujets... 272 4.1.4 Validité des scores seuils... 273 4.2 L utilisation d un score seuil comme critère d un trouble... 274 CHAPITRE 7 LES MODÈLES DE RÉPONSE À L ITEM... 279 1. De la théorie classique aux modèles de réponse à l item... 279 2. La fonction caractéristique de l item... 281 3. L estimation des paramètres... 288 4. La fonction d information de l item et du test... 291 5. L évaluation de la dimensionnalité... 293 6. Applications des MRI... 296 6.1 Analyse du fonctionnement différentiel des items... 296 6.2 Le testing adaptatif... 297 6.2.1 Différences entre testing traditionnel et testing adaptatif... 297 6.2.2 Testing adaptatif et MRI... 299 6.2.3 Avantages et limites du testing adaptatif... 300 6.3 Utilité du TAO... 302 7. Quel MRI choisir?... 303 ANNEXE 1 NOTIONS D INFÉRENCE STATISTIQUE... 305 1. ÉCHANTILLON ET POPULATION... 305 1.1 Inférence et estimation... 306 1.2 Échantillonnage et estimation de la moyenne d une population... 307 1.3 Inférence statistique et lois de probabilité... 309 1.4 Inférence statistique et prise de décision... 310 2. COMPARAISON DE DEUX MOYENNES... 311 2.1 Types d erreur en inférence statistique... 315 2.2 Prise de décision statistique et niveau de signifi cation... 316 2.3 Puissance statistique appliquée à la comparaison de deux moyennes... 317 3. COMPARAISON DE PLUS DE DEUX MOYENNES... 319 3.1 Comparaisons multiples et taux d erreur... 320 3.2 Analyse de variance et calcul du rapport F... 320 3.3 Échantillonnage et analyse de variance... 327 3.4 Postulats de l analyse de variance... 328 3.5 Loi de probabilité de F... 328
Table des matières 391 3.6 Lecture d un tableau d analyse de variance... 328 3.7 Puissance de l ANOVA... 329 3.8 Autres considérations sur l ANOVA... 330 4. RELATIONS ENTRE VARIABLES : CORRÉLATION ET RÉGRESSION LINÉAIRE... 331 4.1 Description de la relation entre deux variables... 331 4.2 Le coeffi cient de corrélation... 333 4.3 La droite de régression... 337 5. LE CHOIX DE LA BONNE MÉTHODE STATISTIQUE... 340 ANNEXE 2 TABLES STATISTIQUES... 343 GLOSSAIRE DES PRINCIPAUX SYMBOLES... 353 GLOSSAIRE DES TERMES TECHNIQUES ET TRADUCTION ANGLAISE... 355 GLOSSAIRE DES TERMES TECHNIQUES ET TRADUCTION FRANÇAISE... 361 RÉFÉRENCES... 367 INDEX... 379