MODELES dits "DE LA REPONSE A UN ITEM" (MRI) : LE CAS PARTICULIER DU MODELE DEVELOPPE PAR RASCH A PROPOS D'ITEMS DICHOTOMIQUES

Transcription

1 MODELES dits DE LA REPONSE A UN ITEM (MRI) : LE CAS PARTICULIER DU MODELE DEVELOPPE PAR RASCH A PROPOS D'ITEMS DICHOTOMIQUES Marc Demeuse 1 1. Description et principes!# $ % & # % '! $ && $(! ') %#%!# $ % &! '( #)* ( #+, - -.!/## & # - ## +012* -./! % %%! #3!# 4/3#3 ' ' /%/#5! % '! % %%!!/6 %!! 7& /!/ (6 ## 8 /6 '9 )*# # -'!!/!!!/- /##- / 5 8 '/ ' %%: 5 9 7! 6 ;! 6 3: % 5 '! - ' ' '3 $ %! '< ' < 5!/ %/ ## / / '!/3 /5 5 ' ' / ' ( #!! # '3 $ %!/ % % 1 Avec la collaboration de Philippe Wanlin. 2 C'est généralement le terme anglais d'item Response Theory ou IRT qui est employé, même dans certains textes français. 3 Graphiquement, cela se traduit, dans la figure 1, par un parallélisme des courbes de trois items particuliers. Partie V - Chapitre 5 229

2 *+,$'(#-.#./0& && ' ='$:0$>?= ='>48, 0.0 ='9?@@=>0 0.0 ='>A>4BC 230 Partie V - Chapitre 5

3 1 > D5 ' E! 3!7! - F#5 ' G 2 (, -**)H %% I#- 3! ' %H β? % D 88: 3D # ##D ##D & 6! %% D 3*) # 3 ## γ D- ( 88: J # 6 #% 5 α 88: β DD 5 6 5! # #% '! % / ##!/! &!/ / / / -.) 8 ' //6β n ##/ δ i %## β n 7δ i 8/##!3 # %%/% / P { x ni = 1}8 %% *)! ## / 6 ## / 8 % 3! # ' / % %%! ## ##8## + %% * %%!/6% / / ##/ / 6/5 ' H Partie V - Chapitre 5 231

4 P{ x ni = 1β n,δ i }= exp(β δ ) n i 1+ exp(β n δ i ) ' 3! / #3 7 Probabilité d'une réponse correcte 1.00 P{ x ni = 1} > 0, 5 0,5 P{ x ni = 1} < 0, ( β 0 n δ i ) β n < δ i β > δ β = δ n i n i B3 7*& &&$ ',$ 3 45#-#6/ 8 ' '! E G0! '4 %(3! ' %! %% #3 > K7 '3 - $ % L ' & ' / $ 3. 5 ' - / & / '5 ' 5 #5*)*! 6##! & #C#! 3 'C 3 --! ' 8/ / 3< <! ##/ #3 #! /' 5!/ 5 *) %%* % # 232 Partie V - Chapitre 5

5 Demeuse Probabilité d'une réponse correcte 1.00 a P{ xni = 1} > 0,5 b 0,5 P{x ni = 1} < 0, β = δ n i βn < δi * % & & && && + $ ++ 0# β n > δ ( β n δ i) i ' # 7 # 2. Deux exemples d utilisation du modèle de Rasch J '3 B3 5 - /% C C -4! J %' ' 2 ) % 3 / N 3 1 B3 %'! Partie V - Chapitre 5 J - # B3 '! 4 ' # / % # 5 ' 33 5 MB 3 / - & 2M # ' M9 /? -. 0 % / 8 5 ' 5 5 / 3 / 7 7 /!!/ ## % O! 6 0!/5 # '! 57 %! / % 5 / 233

6 %.#6# Additions Soustractions % de réussite % de réussite No. Calcul 3e 4e 5e 6e No. Calcul 3e 4e 5e 6e C1 35+7= C6 56-7= C8 8+24= C = C3 48+8= C = C9 64-8= Multiplications Divisions % de réussite % de réussite No. Calcul 3e 4e 5e 6e No. Calcul 3e 4e 5e 6e C10 24x7,5= C11 52,8:6=8, C12 48x0,5= C14 39:6,5= C13 0,8x32=25, C16 24:0,6= C15 30,5x5=152, C2 54:9= C7 27x9= B3 ' J # 3 P?C4@ Q> 4@K 2 > #! 5 / B3 0! / %'/ ' 5' 8 8 % 0 ##!5 ## / ' > <*< '!5<*<<<% << #3 % / %62' :/3/5 # 3 P?C4@7 & 4 Le programme QUEST a été développé par R.J. Adams et S.T. Khoo, pour le compte de The Australian Council for Educational Research Ltd (Australie). Voici quelques informations supplémentaires concernant ce programme : De manière à estimer les paramètres liés aux items comme ceux liés aux individus, le programme QUEST utilise une procédure basée sur le maximum de vraisemblance (UCON). Adams et Khoo (1993, p. 85) signalent que cette procédure, bien qu'entraînant un biais dans l'estimation des paramètres, peut être relativement amendée en utilisant un facteur correctif relativement simple (mais nous ne détaillerons pas cet aspect). Le logiciel QUEST présente également un certain nombre d'indices (FIT INDICES) qui décrivent l'ajustement du modèle aux données réelles. Dans le cas d'un modèle bien ajusté, les valeurs t présentées dans les tableaux suivants ont des moyennes proches de 0 et des écarts-type proches de l'unité. Les tests d'ajustement proposés par QUEST sont cependant sensibles à la taille de l'échantillon. En pratique, un carré moyen d'ajustement (fit mean square) de 1+x indique qu'il existe 100x % de variation en plus entre le modèle et les données que ce qui serait attendu si le modèle était parfaitement ajusté aux données. De manière symétrique, une valeur de 1-x indique 100x % de variation en moins que ce qui serait normalement attendu en cas de parfait ajustement. Les indices baptisés INFIT et OUTFIT correspondent tous deux à des carrés moyens d'ajustement. Dans le premier cas (INFIT), l'indice tient compte, par une pondération, de la distance qui sépare les individus du centre de la distribution des scores alors que dans le second cas (OUTFIT), l'indice est établi uniquement sur base de la somme des carrés résiduels, sans aucune forme de pondération. Il convient de s'assurer que ces indices sont compris, pour chaque item, dans les limites fixées par le modèle (en pratique, entre un peu moins de 0,80 et un peu plus de 1,20 pour le INFIT MNSQ). 234 Partie V - Chapitre 5

7 /-## %/ %%*)* ) 0 / ' 5!-' ' 6 % # %! 56#R ##/ //6! 5 8 < # < / % 6 ' 6 5 & C#/3!! 3 3!! 33% 8 ## -D#5*D6 ' ## 6 & #;!!/ 5 # # 3# # ' -! %? 63 ##8 ## %# 6!D #3 2 3! β n δ i >33 <5< % 6! <5< '?! 3? 3 3 #% ' -! 3 # 3 ##:& 5H ) En anglais: probability level. Partie V - Chapitre 5 235

8 *& ',/+, / Item Estimates (Thresholds) all on plus (N =2184 L = 9 Probability Level=0.50) XXXXXXXXXXXXXXXXXXXX 2.0 7: 27x9=243 XXXXXXXXXXXXXX 4: 42-35=7 1.0 XXXXXXXX 9: 64-8=56 5: 32-24=8 XXXXXX 2: 54:9=6 0.0 XXXX 8: 8+24=32 3: 48+8=56 XX -1.0 X 6: 56-7=49 1: 35+7= Each X represents 28 students!3! #3 /6 ' 5 /:0B:@ =C>0 4P?>C ' 3!'! /6! 5 5 % '8/ / % 236 Partie V - Chapitre 5

9 *$8,9/ Item Fit all on plus (N =2184 L = 9 Probability Level=0.50) INFIT MNSQ item 1. *. 2 item 2. *. 3 item 3. *. 4 item 4. *. 5 item 5. *. 6 item 6. *. 7 item 7. *. 8 item 8. *. 9 item 9. *. ============================================================== #3 -/!! S /5H % 5 - <*< << 8 #! 5 - J T ##% J7 $ /77 ##! / %/ %3###7 / -6! 5- δ i /!-! 3 << ' 3% - = &! / 7-!- 4 # %# / Partie V - Chapitre 5 237

10 :($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) Item Analysis Results for Observed Responses all on plus (N =2184 L = 9 Probability Level=0.50) Item 1: item 1 Infit MNSQ = 1.13 Disc = 0.26 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds Error 0.12 Item 2: item 2 Infit MNSQ = 1.00 Disc = 0.57 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds 0.20 Error 0.07 Item 3: item 3 Infit MNSQ = 0.93 Disc = 0.51 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds Error 0.08 Item 4: item 4 Infit MNSQ = 1.01 Disc = 0.61 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds 1.38 Error Partie V - Chapitre 5

11 :($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) (suite) Item 5: item 5 Infit MNSQ = 1.00 Disc = 0.59 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds 0.66 Error 0.06 Item 6: item 6 Infit MNSQ = 1.03 Disc = 0.38 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds Error 0.11 Item 7: item 7 Infit MNSQ = 0.93 Disc = 0.66 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds 1.75 Error 0.06 Item 8: item 8 Infit MNSQ = 0.97 Disc = 0.53 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds Error 0.08 Partie V - Chapitre 5 239

12 :($;; $&8#+ ANALYSE D'ITEMS (TOUS LES NIVEAUX ENSEMBLE) (suite) Item 9: item 9 Infit MNSQ = 1.03 Disc = 0.58 Categories 0 1* missing Count Percent (%) Pt-Biserial p-value Mean Ability NA Step Labels 1 Thresholds 0.77 Error 0.06 Mean test score 7.21 Standard deviation 1.81 Internal Consistency 0.68 The individual item statistics are calculated using all available data. The overall mean, standard deviation and internal consistency indices assume that missing responses are incorrect. They should only be considered useful when there is a limited amount of missing data. ============================================================================== :%/ ' #! 3 5 0!!! &!3 /'## 2 D 6 En fait, la recherche dont sont issues les données précédentes (exemple sans ancrage) comportait un plan avec un ancrage (anchor en anglais), mais nous n'avons présenté qu'une toute petite partie des données disponibles. 240 Partie V - Chapitre 5

13 !< 1&( ' & $ + ' )! $+ 1$U! % V % $U! %/ V%& ) / 3!!' %/! # %/ -' / %! ## 5 ' / '/ )/ >9 -.$ / /'# ; 5 : '## /! - %% 8-53! 3 6!!/!3 ; %% 8! 3!! / 3 / % 6 ' -! ' ' # / %6?# ' %!3 6! % / ' 6 / 3: %!! ## - & % ' 0! & ' %!! 7 3 %H 6! ; > *5! ;$M6! ;$3 * 6! ;8 */ 'N 3+4. Items Test A Sujets Test B Test C 1200 / 7 # ###! /! 3 6 # % 5 5! 327 Partie V - Chapitre 5 241

14 !//3/%! 3! #! '! #3 *&? / W3 5# W3 /W3 #7 5 3 ; %/!# ##/ 3:& % ## ## %!3 4/ 53 3 % 3 #3 7 N 3+4. '- TEST SIMPLE 1e année Partie commune TEST COMPLEXE 2e année simple complexe Dimension latente 0 #!&! /: $=' :C> - '/'2 # 8 # ; $3! ' ## # ' - / / ' #3. 5 # 2 -' 3! 4!! ' 3 #3 % 5%>$ ' 2 3 #3 '! Partie V - Chapitre 5

15 $&$ $=: '.>(,+##6/ Echelle des scores (difficulté des items et niveau de compétence des sujets) Population B Population A - Item A-2 - Item A-5 - Item B-3 Textes informatifs - Item A-17 - Item B-15 - Item B-35 - Item B-33 Textes narratifs - Item A-7 - Item A-10 - Item B-2 - Item B-7 Documents - Item A-11 - Item A-4 - Item B-6 - Item A-18 - Item B-40 - Item AB-12 - Item B-55 > /-E!G % ' 5 5 W3 B3 5 #2 Partie V - Chapitre 5 243

16 # =''% (%,%/,+##67/ J> % 0 07 J$ % ) T #.T T, J3 M! M 6 # % # * T ))T C J3 -M# T 2T :, :# 7 3/ 3 2 )*T )T 8, 3 ) 5%7 3 :# 5 / J33 46 # 7 /3 # 7 ## 5 J # /3 # ## 5 J33 % 7!/ % #7 7 4 % % 3 7! 7? J % % 3 7! 7 5 J % % 3 2T >, %!3!:# % 3 3 P # 5 ## 5 6# % %! %# Partie V - Chapitre 5

17 > 3 %/- % '%3# % % % 5 # 27)*: / % 3 # F3 ; 5F % # 5 $ 3.0 5!? $''! +@A,$ #$BB%$' '#+&#& ' '/,+##6B/ Belgique francophone 9-10 ans ans Niveau au moins rudimentaire 97,0% 100,0% Niveau au moins élémentaire 67,6% 100,0% Niveau au moins intermédiaire 40,3% 91,1% Niveau au moins compétent 10,2% 60,0% Niveau au moins avancé 0,6% 17,3% J -!## '! /#! % ' & 5 / 3 B = ) #! 3. Critique % '! X D 3! %: 5 3% 5 % 3 : 3 5 -'! D-!! Y 3-54 ' ' D ' '! D D 6 D6 ' 5 0 D#!!! 4 ' # ' #! 3 D 5 &!# C # 3! %! D! %: % ##D- % #! 5!! 5 -!! 4. En résumé 0! ' ' %% '!! %3! ##: D!! & # - 3 ## 0 5!! ' ' D% D#5! % Partie V - Chapitre 5 245

18 D % %%! D6 %!!8 %D!D 5## D 3 3 ' 6 & ## 6 0! '! D ## D %! 3 # # 5 D # # DD6## D & 3 W-' 3 8 D & % ##% ' 5 ' D %#D! & D D!D D3 D D! 5!D %! Bibliographie > Q K 4@ C ' :( 5( 8 % ZH> 8# C $ 3J.=$'' &?' ( # ' 2,/ =' /C# ; /C J 3 J? $% J 3! 9 %5 C-N$4 >N3 1,2: :N$C- C =: 5( + (0 :' (BD55(J 3 B3> &$ = ' &+ & ;;, / E>? '3= % B 9, = :N C ) 2 9# *'#: >.:$, %/% ' +@ $!=> =' /C# ; /C J 246 Partie V - Chapitre 5

19 #?+ % + B =) $' 6 $ 5H$1? #. ' 8 # ; $3! ' 5?+ =' 8 # ; /C B -J.S %Z --3-:JKC FD:?(2 HQN =8.8## %-#?(G7 N # = C J-3- :?( 2 6 )7 N 3 $ 4 =,. A * 2 83H =J Partie V - Chapitre 5 247