MODELES dits DE LA REPONSE A UN ITEM (MRI) : LE CAS PARTICULIER DU MODELE DEVELOPPE PAR RASCH A PROPOS D'ITEMS DICHOTOMIQUES Marc Demeuse 1 1. Description et principes!# $ % & # % '! $ && $(! ') %#%!# $ % &! '( #)* ( #+, - -.!/## & # - ## +012* -./! % %%! #3!# 4/3#3 ' ' /%/#5! % '! % %%!!/6 %!! 7& /!/ (6 ## 8 /6 '9 )*# # -'!!/!!!/- /##- / 5 8 '/ ' %%: 5 9 7! 6 ;! 6 3: % 5 '! - ' ' '3 $ %! '< ' < 5!/ %/ ## / / '!/3 /5 5 ' ' / ' ( #!! # '3 $ %!/ % % 1 Avec la collaboration de Philippe Wanlin. 2 C'est généralement le terme anglais d'item Response Theory ou IRT qui est employé, même dans certains textes français. 3 Graphiquement, cela se traduit, dans la figure 1, par un parallélisme des courbes de trois items particuliers. Partie V - Chapitre 5 229
*+,$'(#-.#./0& && ' + 1.00 1.00 0.0 1.00 ='$:0$>?= 0.0 1.00 ='>48, 0.0 ='9?@@=>0 0.0 ='>A>4BC 230 Partie V - Chapitre 5
1 > D5 ' E! 3!7! - F#5 ' G 2 (, -**)H %% I#- 3! ' %H β? % D 88: 3D # ##D ##D & 6! %% D 3*) # 3 ## γ D- ( 88: J # 6 #% 5 α 88: β DD 5 6 5! # #% '! % / ##!/! &!/ / / / -.) 8 ' //6β n ##/ δ i %## β n 7δ i 8/##!3 # %%/% / P { x ni = 1}8 %% *)! ## / 6 ## / 8 % 3! # ' / % %%! ## ##8## + %% * %%!/6% / / ##/ / 6/5 ' H Partie V - Chapitre 5 231
P{ x ni = 1β n,δ i }= exp(β δ ) n i 1+ exp(β n δ i ) ' 3! / #3 7 Probabilité d'une réponse correcte 1.00 P{ x ni = 1} > 0, 5 0,5 P{ x ni = 1} < 0, 5 0.0 ( β 0 n δ i ) β n < δ i β > δ β = δ n i n i B3 7*& &&$ ',$ 3 45#-#6/ 8 ' '! E G0! '4 %(3! ' %! %% #3 > K7 '3 - $ % L ' & ' / $ 3. 5 ' - / & / '5 ' 5 #5*)*! 6##! & #C#! 3 'C 3 --! ' 8/ / 3< <! ##/ #3 #! /' 5!/ 5 *) %%* % # 232 Partie V - Chapitre 5
Demeuse Probabilité d'une réponse correcte 1.00 a P{ xni = 1} > 0,5 b 0,5 P{x ni = 1} < 0,5 0.0 0 β = δ n i βn < δi * % & & && && + $ ++ 0# β n > δ ( β n δ i) i ' # 7 # 2. Deux exemples d utilisation du modèle de Rasch J '3 B3 5 - /% C C -4! J %' ' 2 ) % 3 / N 3 1 B3 %'! Partie V - Chapitre 5 J - # B3 '! 4 ' # / % # 5 ' 33 5 MB 3 / - & 2M # ' M9 /? -. 0 % / 8 5 ' 5 5 / 3 / 7 7 /!!/ ## % O! 6 0!/5 # '! 57 %! / % 5 / 233
%.#6# Additions Soustractions % de réussite % de réussite No. Calcul 3e 4e 5e 6e No. Calcul 3e 4e 5e 6e C1 35+7=42 93 97 98 97 C6 56-7=49 88 94 98 99 C8 8+24=32 73 86 91 96 C5 32-24=8 49 74 83 86 C3 48+8=56 78 91 94 96 C4 42-35=7 40 56 74 82 C9 64-8=56 54 70 81 85 Multiplications Divisions % de réussite % de réussite No. Calcul 3e 4e 5e 6e No. Calcul 3e 4e 5e 6e C10 24x7,5=180 34 58 C11 52,8:6=8,8 32 55 C12 48x0,5=24 41 74 C14 39:6,5=6 20 48 C13 0,8x32=25,6 32 63 C16 24:0,6=40 14 37 C15 30,5x5=152,5 42 70 C2 54:9=6 53 82 90 92 C7 27x9=243 20 50 74 84 0 -B3 ' J # 3 P?C4@ Q> 4@K 2 > #! 5 / B3 0! / %'/ ' 5' 8 8 % 0 ##!5 ## / ' > <*< '!5<*<<<% << #3 % / %62' :/3/5 # 3 P?C4@7 & 4 Le programme QUEST a été développé par R.J. Adams et S.T. Khoo, pour le compte de The Australian Council for Educational Research Ltd (Australie). Voici quelques informations supplémentaires concernant ce programme : De manière à estimer les paramètres liés aux items comme ceux liés aux individus, le programme QUEST utilise une procédure basée sur le maximum de vraisemblance (UCON). Adams et Khoo (1993, p. 85) signalent que cette procédure, bien qu'entraînant un biais dans l'estimation des paramètres, peut être relativement amendée en utilisant un facteur correctif relativement simple (mais nous ne détaillerons pas cet aspect). Le logiciel QUEST présente également un certain nombre d'indices (FIT INDICES) qui décrivent l'ajustement du modèle aux données réelles. Dans le cas d'un modèle bien ajusté, les valeurs t présentées dans les tableaux suivants ont des moyennes proches de 0 et des écarts-type proches de l'unité. Les tests d'ajustement proposés par QUEST sont cependant sensibles à la taille de l'échantillon. En pratique, un carré moyen d'ajustement (fit mean square) de 1+x indique qu'il existe 100x % de variation en plus entre le modèle et les données que ce qui serait attendu si le modèle était parfaitement ajusté aux données. De manière symétrique, une valeur de 1-x indique 100x % de variation en moins que ce qui serait normalement attendu en cas de parfait ajustement. Les indices baptisés INFIT et OUTFIT correspondent tous deux à des carrés moyens d'ajustement. Dans le premier cas (INFIT), l'indice tient compte, par une pondération, de la distance qui sépare les individus du centre de la distribution des scores alors que dans le second cas (OUTFIT), l'indice est établi uniquement sur base de la somme des carrés résiduels, sans aucune forme de pondération. Il convient de s'assurer que ces indices sont compris, pour chaque item, dans les limites fixées par le modèle (en pratique, entre un peu moins de 0,80 et un peu plus de 1,20 pour le INFIT MNSQ). 234 Partie V - Chapitre 5
/-## %/ %%*)* ) 0 / ' 5!-' ' 6 % # %! 56#R ##/ //6! 5 8 < # < / % 6 ' 6 5 & C#/3!! 3 3!! 33% 8 ## -D#5*D6 ' ## 6 & #;!!/ 5 # # 3# # ' -! %? 63 ##8 ## %# 6!D #3 2 3! β n δ i >33 <5< % 6! <5< '?! 3? 3 3 #% ' -! 3 # 3 ##:& 5H888 888)8828. 5 En anglais: probability level. Partie V - Chapitre 5 235
*& ',/+, / ------------------------------------------------------------------------------ Item Estimates (Thresholds) all on plus (N =2184 L = 9 Probability Level=0.50) ------------------------------------------------------------------------------ 3.0 XXXXXXXXXXXXXXXXXXXX 2.0 7: 27x9=243 XXXXXXXXXXXXXX 4: 42-35=7 1.0 XXXXXXXX 9: 64-8=56 5: 32-24=8 XXXXXX 2: 54:9=6 0.0 XXXX 8: 8+24=32 3: 48+8=56 XX -1.0 X 6: 56-7=49 1: 35+7=42-2.0-3.0 ------------------------------------------------------------------------------ Each X represents 28 students!3! #3 /6 ' 5 /:0B:@ =C>0 4P?>C ' 3!'! /6! 5 5 % '8/ / % 236 Partie V - Chapitre 5
*$8,9/ -------------------------------------------------------------- Item Fit all on plus (N =2184 L = 9 Probability Level=0.50) -------------------------------------------------------------- INFIT MNSQ 0.63 0.71 0.83 1.00 1.20 1.40 1.60 --------------+---------+---------+---------+---------+---------+---------+--- 1 item 1. *. 2 item 2. *. 3 item 3. *. 4 item 4. *. 5 item 5. *. 6 item 6. *. 7 item 7. *. 8 item 8. *. 9 item 9. *. ============================================================== #3 -/!!3-3 8 - S /5H % 5 - <*< << 8 #! 5 - J T ##% J7 $ /77 ##! / %/ %3###7 / -6! 5- δ i /!-! 3 << ' 3% - = &! / 7-!- 4 # %# / Partie V - Chapitre 5 237
:($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) ------------------------------------------------------------------------------ Item Analysis Results for Observed Responses all on plus (N =2184 L = 9 Probability Level=0.50) ------------------------------------------------------------------------------ Item 1: item 1 Infit MNSQ = 1.13 Disc = 0.26 Categories 0 1* missing Count 86 2098 0 Percent (%) 3.9 96.1 Pt-Biserial -0.26 0.26 p-value.000.000 Mean Ability 0.43 1.46 NA Step Labels 1 Thresholds -1.90 Error 0.12 Item 2: item 2 Infit MNSQ = 1.00 Disc = 0.57 Categories 0 1* missing Count 419 1765 0 Percent (%) 19.2 80.8 Pt-Biserial -0.57 0.57 p-value.000.000 Mean Ability 0.46 1.75 NA Step Labels 1 Thresholds 0.20 Error 0.07 Item 3: item 3 Infit MNSQ = 0.93 Disc = 0.51 Categories 0 1* missing Count 210 1974 0 Percent (%) 9.6 90.4 Pt-Biserial -0.51 0.51 p-value.000.000 Mean Ability 0.03 1.62 NA Step Labels 1 Thresholds -0.81 Error 0.08 Item 4: item 4 Infit MNSQ = 1.01 Disc = 0.61 Categories 0 1* missing Count 776 1408 0 Percent (%) 35.5 64.5 Pt-Biserial -0.61 0.61 p-value.000.000 Mean Ability 0.87 1.94 NA Step Labels 1 Thresholds 1.38 Error 0.06 238 Partie V - Chapitre 5
:($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) (suite) Item 5: item 5 Infit MNSQ = 1.00 Disc = 0.59 Categories 0 1* missing Count 547 1637 0 Percent (%) 25.0 75.0 Pt-Biserial -0.59 0.59 p-value.000.000 Mean Ability 0.63 1.83 NA Step Labels 1 Thresholds 0.66 Error 0.06 Item 6: item 6 Infit MNSQ = 1.03 Disc = 0.38 Categories 0 1* missing Count 109 2075 0 Percent (%) 5.0 95.0 Pt-Biserial -0.38 0.38 p-value.000.000 Mean Ability -0.06 1.51 NA Step Labels 1 Thresholds -1.63 Error 0.11 Item 7: item 7 Infit MNSQ = 0.93 Disc = 0.66 Categories 0 1* missing Count 900 1284 0 Percent (%) 41.2 58.8 Pt-Biserial -0.66 0.66 p-value.000.000 Mean Ability 0.91 2.09 NA Step Labels 1 Thresholds 1.75 Error 0.06 Item 8: item 8 Infit MNSQ = 0.97 Disc = 0.53 Categories 0 1* missing Count 277 1907 0 Percent (%) 12.7 87.3 Pt-Biserial -0.53 0.53 p-value.000.000 Mean Ability 0.18 1.67 NA Step Labels 1 Thresholds -0.43 Error 0.08 Partie V - Chapitre 5 239
:($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) (suite) Item 9: item 9 Infit MNSQ = 1.03 Disc = 0.58 Categories 0 1* missing Count 581 1603 0 Percent (%) 26.6 73.4 Pt-Biserial -0.58 0.58 p-value.000.000 Mean Ability 0.69 1.83 NA Step Labels 1 Thresholds 0.77 Error 0.06 Mean test score 7.21 Standard deviation 1.81 Internal Consistency 0.68 The individual item statistics are calculated using all available data. The overall mean, standard deviation and internal consistency indices assume that missing responses are incorrect. They should only be considered useful when there is a limited amount of missing data. ============================================================================== :%/ ' 5 0 5 #! 3 5 0!!! &!3 /'## 2 D 6 En fait, la recherche dont sont issues les données précédentes (exemple sans ancrage) comportait un plan avec un ancrage (anchor en anglais), mais nous n'avons présenté qu'une toute petite partie des données disponibles. 240 Partie V - Chapitre 5
!< 1&( ' & $ + ' )! $+ 1$U! % V % $U! %/ V%& ) / 3!!' %/! 3 6 5 # %/ -' / %! 3 6 6 ## 5 ' / '/ )/ >9 -.$ 3. 5 5 - / /'# ; 5 : '## /! - %% 8-53! 3 6!!/!3 ; %% 8! 3!! / 3 / % 6 ' -! ' ' # / %6?# ' %!3 6! % / ' 6 / 3: %!! ## - & % ' 0! & ' %!! 7 3 %H 6! ; > *5! ;$M6! ;$3 * 6! ;8 */ 'N 3+4. Items 1 31 60 91 120 1 Test A 400 401 Sujets Test B 800 801 Test C 1200 / 7 # ###! 5 3 8 /! 3 6 # % 5 5! 327 Partie V - Chapitre 5 241
!//3/%! 3! #! '! #3 *&? / W3 5# W3 /W3 #7 5 3 ; %/!# ##/ 3:& % ## ## %!3 4/ 53 3 % 3 #3 7 N 3+4. '- TEST SIMPLE 1e année Partie commune TEST COMPLEXE 2e année simple complexe Dimension latente 0 #!&! /: $=' :C> - '/'2 # 8 # ; $3! ' ## # ' - / / ' #3. 5 # 2 -' 3! 4!! ' 3 #3 % 5%>$ ' 2 3 #3 '! -22 242 Partie V - Chapitre 5
$&$ $=: '.>(,+##6/ Echelle des scores (difficulté des items et niveau de compétence des sujets) 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Population B Population A - Item A-2 - Item A-5 - Item B-3 Textes informatifs - Item A-17 - Item B-15 - Item B-35 - Item B-33 Textes narratifs - Item A-7 - Item A-10 - Item B-2 - Item B-7 Documents - Item A-11 - Item A-4 - Item B-6 - Item A-18 - Item B-40 - Item AB-12 - Item B-55 > /-E!G % ' 5 5 W3 B3 5 #2 Partie V - Chapitre 5 243
# =''% (%,%/,+##67/ J> % 0 07 J$ % ) T T @5 # @5# #.T T, J3 M! M 6 # % # 5. 3 3 * T ))T C J3 -M# 7 3 35 T 2T :, 3-7 3 :# 7 3/ 3 2 )*T )T 8, 3 ) 5%7 3 :# 5 / 3 3 5 J33 46 # 7 /3 # 7 ## 5 J33 5-46 # /3 # ## 5 J33 % 7!/ % #7 7 4 % % 3 7! 7? J % % 3 7! 7 5 J % % 3! 7 @ @% 3 7!3 @..T 2T >, 3 J33 @% 3 7 5%!3!:# % 3 3 P # 5 ## 5 6# % %! %# 57 244 Partie V - Chapitre 5
> 3 %/- % '%3# % % % 5 # 27)*: / % 3 # F3 ; 5F % # 5 $ 3.0 5!? $''! +@A,$ #$BB%$' '#+&#& ' '/,+##6B/ Belgique francophone 9-10 ans 14-15 ans Niveau au moins rudimentaire 97,0% 100,0% Niveau au moins élémentaire 67,6% 100,0% Niveau au moins intermédiaire 40,3% 91,1% Niveau au moins compétent 10,2% 60,0% Niveau au moins avancé 0,6% 17,3% J -!## '! /#! % ' & 5 / 3 B = ) #! 3. Critique % '! X D 3! %: 5 3% 5 % 3 : 3 5 -'! D-!! Y 3-54 ' ' D ' '! D D 6 D6 ' 5 0 D#!!! 4 ' # ' #! 3 D 5 &!# C # 3! %! D! %: % ##D- % #! 5!! 5 -!! 4. En résumé 0! ' ' %% '!! %3! ##: D!! & # - 3 ## 0 5!! ' ' D% D#5! % Partie V - Chapitre 5 245
D % %%! D6 %!!8 %D!D 5## D 3 3 ' 6 & ## 6 0! '! D ## D %! 3 # # 5 D # # DD6## D & 3 W-' 3 8 D & % ##% ' 5 ' D %#D! & D D!D D3 D D! 5!D %! Bibliographie > Q K 4@ C ' :( 5( 8 % ZH> 8# C $ 3J.=$'' &?' ( # ' 2,/ =' /C# ; /C J 3 J? $% J 3! 9 %5 C-N$4 >N3 1,2: :N$C- C =: 5( + (0 :' (BD55(J 3 B3> &$ = ' &+ & ;;, / E>? '3= % B 9, = :N C ) 2 9# *'#:4 3 7 3 9 ->.:$, %/% ' +@ $!=> =' /C# ; /C J 246 Partie V - Chapitre 5
#?+ % + B =) $' 6 $ 5H$1? #. ' 8 # ; $3! ' 5?+ =' 8 # ; /C B -J.S %Z --3-:JKC FD:?(2 HQN -72 01=8.8## %-#?(G7 N Q @ 833 8 # = C J-3- :?( 2 6 )7 N 3 $ 4 =,. A * 2 83H =J Partie V - Chapitre 5 247