MerQuR+Başvuru Kitabı

170. İleri DMF: lojistik, Mantel-Haenszel, Lord, Raju

Şablon kimliği: dmf_ileri · Kategori: psikometri · Dil: R · Dosya: pro/sablonlar/psikometri/dmf_ileri.R (satır 1–245; üstbilgi 1–110) · Örnek veri: _ornek/verbal.csv · Paketler: difR 6.1.0 (R 4.5.3); Lord ve Raju için difR, ltm 1.2-0'ı çağırır

170.1 Ne işe yarar

Şablon, iki kategorili (0/1) maddelerde iki grup (referans ve odak) arasında değişen madde fonksiyonunu (DMF; İngilizce differential item functioning, DIF) dört yöntemle birlikte sınar. Soru şudur: aynı yeteneğe sahip, ama farklı gruptan iki kişinin aynı maddeyi doğru yanıtlama olasılığı eşit midir? Eşit değilse madde, ölçmek istediği yetenek dışında bir şey (dil, kültür, cinsiyet gibi bir grup özelliği) ölçüyor olabilir. Dört yöntem:

  • Lojistik regresyon (Swaminathan ve Rogers, 1990): madde yanıtı, eşleştirme puanı ve grup ile modellenir; tek biçimli (grup farkı), tek biçimli olmayan (puanla etkileşim) ya da ikisi birlikte sınanır. Etki büyüklüğü olarak Nagelkerke ΔR² ve iki yayımlanmış sınıflama (Zumbo–Thomas, Jodoin–Gierl) verilir.
  • Mantel-Haenszel (MH; Holland ve Thayer, 1988): eşleştirme puanının her düzeyinde 2×2 tablolar birleştirilir; \chi^2_{MH}, ortak odds oranı \alpha_{MH}, \Delta_{MH} ve ETS A/B/C sınıfı verilir.
  • Lord \chi^2 (Lord, 1980): iki grupta ayrı kestirilen madde parametrelerinin (1PL'de güçlük, 2PL'de ayırt edicilik ve güçlük) eşitliği sınanır.
  • Raju işaretli alan (Raju, 1988): iki grubun madde karakteristik eğrileri arasındaki işaretli alanın sıfır olup olmadığı sınanır.

Dört yöntem aynı maddeler üzerinde yan yana çalıştırılır ve özet tabloda hangi maddenin kaç yöntemde işaretlendiği gösterilir. İstenirse madde arındırma (purification) ve çoklu karşılaştırma düzeltmesi (Benjamini–Hochberg, Holm) uygulanır.

Ne zaman kullanılır?

  • Bir testin maddelerinin iki grup (cinsiyet, dil, ülke, ölçek formu) arasında adil olup olmadığı denetlenecekse ve maddeler 0/1 ise.
  • Yöntem seçimi sonucu etkileyebileceğinden, birkaç yöntemin uyumuna bakılacaksa.
  • Küçük etkilerin sınıflandırılması gerekiyorsa (ETS, Zumbo–Thomas, Jodoin–Gierl): yalnız anlamlılık yetmez, etki büyüklüğü de gerekir.

Ne zaman kullanılmaz?

  • Maddeler iki değil çok kategorili (sıralı) ise: bu şablon yalnız 0/1 madde kabul eder; sıralı maddeler için temel programdaki ordinal çözümlemeler ya da MerQuR+'ta sirali_cfa_wlsmv (Bölüm 185) ile ölçüm değişmezliği.
  • İkiden çok grup varsa: şablon tam iki grup ister. Gruplar ayrı ayrı çiftler hâlinde çalıştırılır.
  • DMF değil ölçüm değişmezliği (çok gruplu doğrulayıcı faktör analizi) sınanacaksa: cok_duzeyli_cfa (Bölüm 179) ya da temel programın çok gruplu CFA'sı.
  • Çok boyutlu yapıyı ayırmak gerekiyorsa: mirt_cok_boyutlu (Bölüm 174).
  • Madde parametreleri iki grup için ayrı ayrı kestirilip ortak ölçeğe taşınacaksa (bağlama): irt_baglama (Bölüm 173), test_esitleme (Bölüm 176).

Temel programla ilişki. Temel programda DMF çözümlemesi yoktur; en yakını madde analizi ve lojistik regresyondur. Bu şablon difR paketinin (Magis ve ark., 2010) yöntemlerini ve arındırma döngüsünü olduğu gibi kullanır; ek olarak ETS sınıfı, Nagelkerke ΔR² sınıfları ve özet tablo şablonun kendi hesabıdır.

170.2 Şablonun girdileri

Form, üstbilgideki 15 [[param]] bloğundan kurulur (dmf_ileri.R:10–109). Türlerin anlamı ve formun ortak denetimi Bölüm 1.2'dedir.

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Maddeler (0/1) · maddeler sütunlar (sayısal, en az 5) · Değişkenler boş en az 5 sayısal sütun J madde (10–16, 115–116).
Grup değişkeni · grup kategorik sütun · Değişkenler boş iki düzeyli sütun Grup (17–21, 123–129).
Odak grup düzeyi · odak metin · Seçenekler boş düzey adı Boşsa ikinci düzey; hangisinin odak alındığı konsola yazılır (22–27, 130–136).
Lojistik regresyon · lojistik onay · Seçenekler açık açık/kapalı Yöntemi açar (28–33, 169).
Lojistik DMF türü · lojistik_tur seçim · Model both both, udif, nudif Sınanan terimler (34–40, 171).
Mantel-Haenszel · mh onay · Seçenekler açık açık/kapalı Yöntemi açar (41–46, 188).
Lord χ² · lord onay · Seçenekler açık açık/kapalı Yöntemi açar (47–52, 205).
Raju işaretli alan · raju onay · Seçenekler açık açık/kapalı Yöntemi açar (53–58, 215).
Lord ve Raju için MTK modeli · irt_model seçim · Model 1PL 1PL, 2PL Madde modeli (59–65, 206, 216).
Madde arındırma · arindirma onay · Seçenekler açık açık/kapalı purify (66–71, 154).
Çoklu karşılaştırma düzeltmesi · duzeltme seçim · Seçenekler none none, BH, holm p.adjust.method (72–78, 154).
Anlamlılık düzeyi · alfa ondalık · Seçenekler 0,05 0,001–0,2 Yöntemlerin kararı (79–87, 154). ETS sınıfları sabit 0,05.
Lojistik DMF test ölçütü · lojistik_olcut seçim · Seçenekler LRT LRT, Wald Lojistik istatistik (88–94, 170).
MH süreklilik düzeltmesi · mh_duzeltme onay · Seçenekler açık açık/kapalı correct (95–100, 189).
En çok arındırma yinelemesi · arindirma_yineleme tamsayı · Gelişmiş 20 1–200 nrIter (101–109, 154). Yalnız arındırma açıkken etkili; yakınsamazsa uyarı yazılır.

Şablonun kendi denetimleri (mq_hata; ileti özeti):

Koşul İleti Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 114
Gruptan farklı madde sayısı <5 "En az 5 madde seçin (gruptan farklı)." 116
Hiçbir yöntem seçili değil "En az bir yöntem seçin." 117
Bir madde 0/1 dışında değer içeriyor "'…' yalnız 0/1 değerleri içermeli." 122
Grup tam iki düzey içermiyor "Grup değişkeni tam iki düzey içermeli (şu an N)." 129
Odak düzeyi grupta yok "Odak grup '…' bulunamadı; düzeyler: …" 136
Bir grupta 20'den az tam yanıtlı kişi "Her grupta en az 20 tam yanıtlı kişi gerekli." 138
Bir madde bütün kişilerde sabit "Şu maddeler sabit (herkes aynı yanıtı vermiş); çıkarın: …" 140
Hiçbir yöntem çalıştırılamadı "Seçilen yöntemlerin hiçbiri çalıştırılamadı." 228

Bir yöntem difR hatasıyla kesilirse tek başına durmaz: konsola "Yöntem çalıştırılamadı: …" yazılır ve öteki yöntemler sürer (155–164). maddeler listesinde grup sütunu da seçilmişse sessizce çıkarılır (115). Bir madde yalnız bir grupta sabitse (herkes aynı yanıtı vermiş) hangi yöntem seçili olursa olsun konsola "Not: şu maddeler bir grupta sabit … değerlendirilemedi" yazılır (141–144); o maddenin sonuç sütunları (MH \alpha, \Delta, ETS; lojistik \chi^2, \Delta R^2, sınıflar; Lord ve Raju istatistikleri) boş bırakılır ve DMF yanlıştır. Eksik yanıt nedeniyle çıkarılan satır sayısı ve yüzdesi konsola yazılır; yüzde 10 ve üzerindeyse uyarı eklenir (148–153).

Örnek ayar (ornek_param, 9): 24 madde, grup = Gender, odak = erkek; öteki alanlar varsayılandır: dört yöntem açık, both, 1PL, arındırma açık, düzeltme yok, \alpha=0{,}05.

170.3 Örnek veri

verbal.csv: Vansteelandt'ın sözel saldırganlık verisinin (De Boeck ve Wilson, 2004) ikili kodlanmış biçimi; 316 kişi, 24 madde ve cinsiyet sütunu. Maddeler dört engellenme durumunda (S1–S4) iki tür yanıtı (istemek: Want, yapmak: Do) ve üç davranışı (küfretmek: Curse, azarlamak: Scold, bağırmak: Shout) sorar. Eksik yanıt yoktur. Veri, Magis ve ark. (2010) difR makalesinin DMF uygulamasında kullanılan veridir; şablonun doğrulama notu MH (arındırmalı) için 9 DMF maddesi bildirir (7); bu bölümdeki çalıştırma da 9 madde saptar.

Değişken Rol Tür (veri sekmesi) Özet
24 madde (S1wantCurse … S4DoShout) madde ikili (binary) 0/1; doğru yanıt oranı 0,092 (S3DoShout) ile 0,788 (S2WantCurse) arasında.
Gender grup ikili kadin 243, erkek 73.

Toplam puan: erkek ortalaması 12,33 (sd 5,37), kadın ortalaması 11,16 (sd 5,75), her iki grupta 0–24 aralığındadır.

Düzey sırası. İki düzeyli metin sütunu R'ye metin olarak gider (Bölüm 1.3) ve factor() düzeyleri alfabetik sıralar: erkek, kadin. Örnek ayar odağı açıkça erkek verir; odak boş bırakılırsa ikinci düzey kadin odak olur ve referans erkek olur: tablodaki \alpha_{MH}, \Delta_{MH} ve Raju Z işaret değiştirir. Aynı veride grup sayı kodlu olsaydı (2 ve 10) düzeyler sayısal sıralanır ve ikinci düzey 10 olurdu (p6_dmf_grup_sayi_bos: "referans 2: 243, odak 10: 73"). Şablon hangi düzeyin odak alındığını konsola yazar ("Odak grup boş bırakıldı: …"); yine de odağı her zaman açıkça yazın.

Bölümde kullanılan çalıştırmalar (hepsi verbal.csv, tohum 1; çıktılar dogrulama/cikti/p6_dmf_*):

Ad Ayar
ornek örnek ayar (arındırmalı, tüm yöntemler).
arsiz arindirma = false.
holm, bh_arindirmali duzeltme = holm (arındırmasız); duzeltme = BH (arındırmalı).
wald_udif, nudif lojistik_tur = udif, lojistik_olcut = Wald; lojistik_tur = nudif (arındırmasız).
alfa001, pl2, mh_duzeltmesiz \alpha=0{,}01; irt_model = 2PL; mh_duzeltme = false (hepsi arındırmasız).
odak_kadin, odak_bos odak kadin; odak boş.
uç durumlar kod12, eksik, grup3, grup_sayi_bos, kucuk, kucuk2, grup_sabit, sabit, bosluk, yineleme1 (veri: dogrulama/dmf_ileri/dm_*.csv).

170.4 Yöntem: formüller ve hesap adımları

Şablon dört bağımsız sınamayı aynı X (maddeler) ve gv (grup, 1 = odak) üzerinde çalıştırır. Her yöntem bir sonuç nesnesi döndürür; şablon bunları tabloya çevirir, ek sütunları (ΔR², ΔMH, sınıflar, iki yönlü p) hesaplar ve özet tabloda birleştirir. Dört yöntemin ortak noktası eşleştirmedir: karşılaştırılan iki kişi, grup dışında aynı yetenek düzeyine sahip olmalıdır.

170.4.1 Eşleştirme puanı ve madde arındırma

MH ve lojistik yöntemlerde yetenek, toplam puan ile eşleştirilir. j maddesi için eşleştirme puanı

S_{ij}=\sum_{k\in \mathcal A_j} x_{ik}
  • x_{ik}\in\{0{,}1\}: i kişisinin k maddesine yanıtı.
  • \mathcal A_j: çapa (anchor) madde kümesi; j maddesi çapa kümesinde değilse eşleştirme puanına eklenir (difR mantelHaenszel: if (sum(anchor == item) == 0) data2 <- cbind(data2, data[, item])).

Neden toplam puana madde kendisi de dahil?

Eşleştirmede ölçüt, doğru yanıt sayısının, yani kestirilmemiş bir yetenek göstergesinin kendisidir. Madde kendi puanına girmezse eşleştirme puanı eğri kayar; girerse madde DMF'si diğerlerinin kirliliğinden arınmış olmasa bile madde eşleştirmeye katılır. Arındırma bu kirliliği azaltır.

Madde arındırma (purification, Magis ve ark., 2010): ilk adımda bütün maddeler çapadır. Her madde sınanır, p<\alpha olanlar DMF kümesi \mathcal D_0 olur. Sonra çapa kümesi \mathcal A=\{1,\dots,J\}\setminus\mathcal D_{k-1} alınır ve maddeler yeniden sınanır; \mathcal D_k=\mathcal D_{k-1} olunca ya da k arindirma_yineleme değerine ulaşınca durulur. DMF'li bir madde, kendi eşleştirme puanına yine dahildir (yukarıdaki kural); ama öteki maddelerin puanından çıkarılmıştır. Arındırma adımlarında difR varsayılanı (puriadjType = "simple") çoklu karşılaştırma düzeltmesi uygulamaz; yalnız son karar düzeltmelidir.

Koddaki tercih

dmf_ileri.R:154: ort <- list(group = gv, focal.name = 1, purify = isTRUE(P$arindirma), nrIter = as.integer(P$arindirma_yineleme), alpha = P$alfa, p.adjust.method = ...). Tüm yöntemler (difLogistic, difMH, difLord, difRaju) bu ortak liste ile çağrılır (155–164); difR uyarıları bastırılır (suppressWarnings). Arındırma yakınsamazsa difR'ın convergence alanı FALSE olur; şablon bu alanı okur: "Uyarı: … madde arındırması N yinelemede yakınsamadı; sonuç son ara kümeye dayanır" yazılır ve özet tablonun başlığı "arındırmalı" yerine "arındırma yakınsamadı" der (159–163, 230–231).

170.4.2 Mantel-Haenszel

Her eşleştirme puanı düzeyi s (katman) için referans ve odak grubun doğru/yanlış sayıları 2×2 tablo kurar:

doğru (y=1) yanlış (y=0) toplam
referans A_s B_s n_{Rs}
odak C_s D_s n_{Fs}
toplam m_{1s} m_{0s} T_s

Yalnız T_s>1 katmanlar hesaba girer. Ortak odds oranı ve istatistik:

\hat\alpha_{MH}=\frac{\sum_s A_sD_s/T_s}{\sum_s B_sC_s/T_s},\qquad \chi^2_{MH}=\frac{\left(\left|\sum_s A_s-\sum_s E(A_s)\right|-0{,}5\right)^2}{\sum_s \mathrm{Var}(A_s)}
E(A_s)=\frac{n_{Rs}m_{1s}}{T_s},\qquad \mathrm{Var}(A_s)=\frac{n_{Rs}n_{Fs}\,m_{1s}m_{0s}}{T_s^2(T_s-1)}
  • \hat\alpha_{MH}: katmanlar boyunca ortak odds oranı (referans ÷ odak); \hat\alpha_{MH}>1 referans grubu, <1 odak grubu kayırır.
  • \chi^2_{MH}: 1 sd'li ki-kare; 0{,}5 Yates süreklilik düzeltmesidir (mh_duzeltme kapalıysa çıkarılır).
  • E(A_s), \mathrm{Var}(A_s): sıfır varsayımı altında (hipergeometrik) beklenen değer ve varyans.

Neden süreklilik düzeltmesi varsayılan?

\chi^2_{MH} ayrık bir toplamın sürekli ki-kare yaklaşımıdır; 0{,}5'lik düzeltme küçük örneklemde p değerinin aşırı küçük çıkmasını önler. Düzeltme kapalıyken istatistik daima daha büyüktür (S2DoScold: 7{,}767 ve 6{,}839).

ETS ölçeğine çevrilmiş etki büyüklüğü ve onun varyansı (Robins ve ark., 1986):

\Delta_{MH}=-2{,}35\,\ln\hat\alpha_{MH},\qquad SE(\Delta_{MH})=2{,}35\sqrt{\widehat{\mathrm{Var}}\bigl(\ln\hat\alpha_{MH}\bigr)}
\widehat{\mathrm{Var}}\bigl(\ln\hat\alpha\bigr)=\frac{\sum_s P_sR_s}{2\bigl(\sum_s R_s\bigr)^2}+\frac{\sum_s (P_sS_s+Q_sR_s)}{2\sum_s R_s\sum_s S_s}+\frac{\sum_s Q_sS_s}{2\bigl(\sum_s S_s\bigr)^2}
P_s=\frac{A_s+D_s}{T_s},\quad Q_s=\frac{B_s+C_s}{T_s},\quad R_s=\frac{A_sD_s}{T_s},\quad S_s=\frac{B_sC_s}{T_s}
  • -2{,}35: ETS delta ölçeğine dönüştürme çarpanı; negatif \Delta_{MH} referans grubu kayırır, pozitif \Delta_{MH} odak grubu kayırır.
  • P_s,Q_s,R_s,S_s: Robins–Breslow–Greenland varyans formülünün katman toplamları (difR: varLambda).

Neden -2{,}35\ln\alpha?

ETS, odds oranını madde güçlüğü ölçeği olan "delta" ölçeğine (13+4z) çevirir; \ln\alpha'nın lojistik ölçekten delta ölçeğine karşılığı -4/1{,}702=-2{,}35'tir. Böylece DMF, "madde güçlüğünde kaç delta birimi fark" olarak okunur (Holland ve Thayer, 1988).

170.4.3 ETS A/B/C sınıfı

Şablon (193–196) sınıflamayı Zieky (1993) tanımıyla verir ve \alpha_{ETS}=0{,}05'i sabit tutar (kullanıcının alfa ayarından bağımsız):

\text{sınıf}=\begin{cases}A,&|\Delta_{MH}|<1\ \text{ya da}\ p_{MH}\ge 0{,}05\\ C,&|\Delta_{MH}|\ge 1{,}5\ \text{ve}\ \dfrac{|\Delta_{MH}|-1}{SE(\Delta_{MH})}>z_{0{,}95}\\ B,&\text{öteki}\end{cases}
  • z_{0{,}95}=1{,}645: H_0:|\Delta_{MH}|\le 1 için tek yönlü %5 sınırı.
  • p_{MH}: arındırmalı çalıştırmada son adımın düzeltilmemiş MH p'si.

Neden α sabit?

ETS tanımı bir sınıflama kuralıdır, karar eşiği değil: A sınıfında "anlamlı değil" demek, kullanıcının seçtiği \alpha'ya göre değişirse |\Delta|\ge 1{,}5 kuralı da anlamsızlaşır. Şablon bu yüzden ETS koşullarını her zaman 0,05'te sınar; alfa yalnız yöntemlerin DMF kararını (ve DMF sütununu) etkiler.

170.4.4 Lojistik regresyon

Madde j'nin yanıtı y, eşleştirme puanı S ve grup G (odak =1) için üç iç içe model:

M_0:\ \operatorname{logit}P(y=1)=\beta_0+\beta_1S,\quad M_1:\ \dots+\beta_2G,\quad M_2:\ \dots+\beta_2G+\beta_3SG
  • \beta_2\ne0: tek biçimli DMF (iki grubun eğrileri paralel, birbirinden uzak); \beta_3\ne0: tek biçimli olmayan DMF (eğrilerin eğimi farklı).
  • both: M_0 ile M_2 karşılaştırılır (2 sd); udif: M_0 ile M_1 (1 sd); nudif: M_1 ile M_2 (1 sd).

Olabilirlik oranı ölçütü: \chi^2_{LR}=2(\ell_{\text{büyük}}-\ell_{\text{küçük}}). Wald ölçütü: sınanan katsayı(lar)ın \hat\beta'\hat V^{-1}\hat\beta istatistiği; udif'te \hat\beta_2^2/\hat V_{22}, both'ta (\hat\beta_2,\hat\beta_3) ortak. Etki büyüklüğü, Nagelkerke (1991) R^2'sinin iki model arasındaki farkıdır:

R^2_N=\frac{1-\exp\{-2(\ell-\ell_{\text{boş}})/n\}}{1-\exp\{2\ell_{\text{boş}}/n\}},\qquad \Delta R^2=R^2_N(\text{büyük})-R^2_N(\text{küçük})
  • \ell: modelin logaritmik olabilirliği; \ell_{\text{boş}}: yalnız sabitli modelin logaritmik olabilirliği; n: kişi sayısı.

Şablon iki sınıflamayı (174–178) \Delta R^2 aralıklarıyla verir (right = FALSE: alt sınır dahil):

Sınıf Zumbo–Thomas (Zumbo, 1999) Jodoin–Gierl (2001)
A (önemsiz) \Delta R^2<0{,}13 \Delta R^2<0{,}035
B (orta) 0{,}13\le\Delta R^2<0{,}26 0{,}035\le\Delta R^2<0{,}07
C (büyük) \Delta R^2\ge0{,}26 \Delta R^2\ge0{,}07

Sınıf anlamlılıkla birlikte verilir

Yayımlanmış sınıflamalar B ve C için ayrıca testin anlamlı olmasını ister (Zumbo, 1999; Jodoin ve Gierl, 2001). Şablon testin anlamlı olmadığı (DMF yanlış) maddeye her iki sınıflamada da "A" yazar; B ve C yalnız DMF doğru olan ve \Delta R^2 eşiğini aşan maddelere verilir (176–178). 40 + 20 kişilik altkümede S2WantShout (p=0{,}071, \Delta R^2=0{,}077) bu yüzden "A"dır; yalnız eşiğe bakılsaydı Jodoin–Gierl C olurdu.

170.4.5 Lord \chi^2

Her grupta madde parametreleri ayrı ayrı kestirilir (ltm paketi, marjinal en çok olabilirlik, 21 Gauss–Hermite noktası; difR itemParEst). 1PL'de her maddenin yalnız güçlüğü b vardır (ayırt edicilik 1'e sabitlenir, yetenek N(0{,}1) kabul edilir); 2PL'de (a,b). İki grubun yetenek ölçekleri farklı olduğundan odak grubun parametreleri referans ölçeğe taşınır (difR itemRescale; tüm maddeler çapa):

1\mathrm{PL}:\ b^*_{Fj}=b_{Fj}+\bar b_R-\bar b_F;\qquad 2\mathrm{PL}:\ A=\frac{s(b_R)}{s(b_F)},\ B=\bar b_R-A\,\bar b_F,\ b^*_{Fj}=Ab_{Fj}+B,\ a^*_{Fj}=a_{Fj}/A
  • \bar b_R,\bar b_F: çapa maddelerin ortalama güçlükleri; s(\cdot) standart sapma.
  • 1PL'de yalnız kayma (ortalama), 2PL'de ortalama–standart sapma (A,B) dönüşümü uygulanır; standart hatalar se(b^*)=A\,se(b), se(a^*)=se(a)/A olur.

Lord istatistiği iki grubun parametre vektörlerinin farkının Wald istatistiğidir:

\chi^2_{Lord}=(\mathbf v_R-\mathbf v^*_F)'\,(\Sigma_R+\Sigma^*_F)^{-1}\,(\mathbf v_R-\mathbf v^*_F),\qquad \mathbf v=b\ (1\mathrm{PL}),\ \ \mathbf v=(a,b)'\ (2\mathrm{PL})

1PL'de bu (b_R-b^*_F)^2/(se_R^2+se_F^2) ve 1 sd'li; 2PL'de 2 sd'lidir.

170.4.6 Raju işaretli alan

İki madde karakteristik eğrisi arasındaki işaretli alan, 2PL ve 1PL için (ve yalnız bu iki model için, üçüncü parametre kullanılmaz) güçlük farkına eşittir (Raju, 1988). difR signed = TRUE ile çağrılır ve

Z_j=\frac{b^*_{Fj}-b_{Rj}}{\sqrt{se(b^*_{Fj})^2+se(b_{Rj})^2}}
  • Z_j>0: odak grupta madde daha zordur (eğri sağa kaymış); Z_j<0: odak grupta daha kolaydır.

difR işaretli alanda p'yi 2\bigl(1-\Phi(Z)\bigr) olarak verir; negatif Z için bu değer 1'den büyük olabilir. Şablon bu nedenle p'yi yeniden hesaplar (218–219):

p_j=2\,\Phi\bigl(-|Z_j|\bigr)

1PL'de iki grubun ayırt edicilikleri eşit (1) olduğundan Raju Z'sinin karesi Lord \chi^2'sine eşittir ve iki yöntemin p değerleri aynıdır (örnekte \chi^2=6{,}584, Z=-2{,}566). Bu yüzden 1PL'de iki yöntem aynı kararı verir; 2PL'de farklı sonuç verebilirler (ayırt edicilik farkı yalnız Lord'a girer).

170.4.7 Karar kuralları ve düzeltme

  • Lojistik, MH, Lord: difR DIFitems'ı döndürür: düzeltmesiz iken p<\alpha; düzeltme açıkken düzeltilmiş p<\alpha. Şablon DMF sütununu bu kümeden doldurur (175, 199, 209, 222); bir grupta sabit maddeler her zaman yanlıştır.
  • Raju: karar difR'dan gelir (|Z| eşik üstü); p sütunu iki yönlü 2\Phi(-|Z|)'dir; düzeltme p.adjust(pz, duzeltme) ile şablonda uygulanır (221).
  • Özet tablo: her yöntemin DMF sütunu yan yana ve yontem_sayisi (kaç yöntem işaretledi) (228–231).
  • Şekil: her yöntemin istatistiği ve düzeltilmemiş eşik; noktaların rengi yöntemin DMF kararına göredir (233–244).

Koddaki tercih

Lojistik, MH ve Lord için p ve düzeltilmiş p difR'dan, ETS ve ΔR² sınıfları şablondan, Raju p ve düzeltilmiş p şablondan gelir. Tabloda p_duzeltilmis, düzeltme none ise p ile aynıdır (165: padj <- function(r) if (!is.null(r$adjusted.p)) r$adjusted.p else r$p.value).

170.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–110 Üstbilgi: 15 parametre, örnek veri ve ayar. Yan dosyalar (*.ceviri.json, *.tablo.json, .sas) kitap dışıdır (Bölüm 1.1).
111–113 Dil yardımcısı .m, library(difR). difR yoksa şablon çalışmaz.
114–121 Veri denetimi, md <- setdiff(P$maddeler, P$grup), en az 5 madde, en az bir yöntem, d, complete.cases. Eksik değerli kişi tüm yöntemlerden çıkar; sayısı 148–153'te yazılır.
122–136 0/1 denetimi, grup düzeyleri (kırpılır; hepsi sayıysa sayısal, değilse harf sırası), iki düzey denetimi, odak (boşsa ikinci düzey, konsola yazılır). Düzey sırası Bölüm 1.3'te; odak ve düzeyler aynı biçimde kırpılır.
137–153 Grup başına n\ge20, sabit madde, grupta sabit madde notu (degersiz), gv, konsol satırı, atılan satır notu. Sabit madde hatası yalnız tümden sabiti yakalar; grupta sabit madde değerlendirilmez.
154–166 ort ortak liste; kos() her yöntemi tryCatch ve suppressWarnings içinde çağırır, convergence'ı okur. Arındırma yakınsamazsa uyarı yazılır.
168–187 Lojistik: difLogistic, ΔR² sınıfları (anlamsız madde A), tablo 1.
188–204 MH: difMH, \Delta_{MH}, SE, ETS, tablo 2. ETS sabit 0,05 (193).
205–214 Lord: difLord, tablo 3. 1PL ayırt edicilik 1 sabit.
215–227 Raju: difRaju(signed = TRUE), iki yönlü p, tablo 4. difR'ın p'si negatif Z'de 1'i aşabilir (218).
228–231 Özet tablo (yontem_sayisi; başlıkta arındırma durumu). Hiçbir yöntem çalışmadıysa hata (228).
233–244 Çok panelli şekil: istatistik, düzeltmesiz eşik, DMF kararına göre renk. Raju panelinde |Z| çizilir.

Süre: örnek ayarda çalıştırma 6,7 s sürmüştür (2PL: 9,7 s).

170.6 Elle hesap: örnek veride bağımsız yeniden hesap

Hesap S2DoScold maddesinin arındırmasız çalıştırılması (arindirma = false) için gösterilir; eşleştirme puanı 24 maddenin toplamıdır (n=316: 243 referans, 73 odak). Sayılar dogrulama/dmf_ileri/elle_hesap.py (numpy/scipy; difR kullanılmaz) ve r_dogrulama.R çıktısındandır.

Adım 1 — MH katman toplamları. Toplam puanın 25 farklı düzeyi T_s>1 taşır. Referans grupta doğru yanıt sayısı \sum_sA_s=106; sıfır varsayımı altında beklenen \sum_sE(A_s)=114{,}116266; fark -8{,}116266 (referans grup beklenenden az doğru yanıtlamış). \sum_s\mathrm{Var}(A_s)=8{,}481269.

Adım 2 — MH istatistiği.

\chi^2_{MH}=\frac{(8{,}116266-0{,}5)^2}{8{,}481269}=6{,}839485,\qquad p=0{,}008916

Adım 3 — Ortak odds oranı ve ΔMH. \sum_sA_sD_s/T_s=4{,}862170 ve \sum_sB_sC_s/T_s=12{,}978437:

\hat\alpha_{MH}=\frac{4{,}862170}{12{,}978437}=0{,}374635,\qquad \Delta_{MH}=-2{,}35\ln0{,}374635=2{,}307240

RBG varyansı \widehat{\mathrm{Var}}(\ln\hat\alpha)=0{,}133455, dolayısıyla SE(\Delta_{MH})=2{,}35\sqrt{0{,}133455}=0{,}858491. ETS: |\Delta|\ge1{,}5 ve (2{,}307240-1)/0{,}858491=1{,}523>1{,}645 değildir; p<0{,}05 olduğundan sınıf B olur. (Arındırmalı çalıştırmada eşleştirme puanı 9 DMF maddesinden arındırılır ve \Delta_{MH}=2{,}81861, sınıf C çıkar; 170.7.)

Adım 4 — Lojistik, tek biçimli ve tek biçimli olmayan birlikte. Logaritmik olabilirlikler: boş model -218{,}933232; M_0 (yalnız puan) -150{,}651646; M_2 (puan, grup, etkileşim) -145{,}520549:

\chi^2_{LR}=2\bigl(-145{,}520549+150{,}651646\bigr)=10{,}262194\ (2\ \text{sd}),\qquad p=0{,}005910

Nagelkerke: R^2_N(M_0)=0{,}467961, R^2_N(M_2)=0{,}495622, \Delta R^2=0{,}027661. Zumbo–Thomas sınıfı A, Jodoin–Gierl sınıfı A (eşik 0,035).

Adım 5 — Lord \chi^2 ve Raju Z (1PL). Referans grupta \hat b_R=0{,}324641 (se=0{,}160653), odak grupta \hat b_F=-0{,}830998 (se=0{,}298766); 24 maddenin ortalama güçlük farkı \bar b_R-\bar b_F=0{,}285207, bu yüzden b^*_F=-0{,}545791:

\chi^2_{Lord}=\frac{(0{,}324641+0{,}545791)^2}{0{,}160653^2+0{,}298766^2}=6{,}58424,\qquad Z=\frac{-0{,}545791-0{,}324641}{\sqrt{0{,}160653^2+0{,}298766^2}}=-2{,}56598

Z^2=6{,}5842=\chi^2_{Lord} ve iki yönlü p=0{,}01029.

Adım 6 — Arındırma döngüsü. MH'de ilk geçiş 6 madde, ardından arındırma 9 madde (\mathcal D_1), \mathcal D_2=\mathcal D_1 olunca durur. Aynı döngü bağımsız Python ve R kodlarıyla yazılmıştır; kümeler ve her madde için \chi^2_{MH}, \Delta_{MH} ve SE aynıdır.

170.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark Ölçüt
MH χ², S2DoScold (arındırmasız) 6,83948547 6,83948547 6,83948547 1,0e−15 1e−6 ✓
MH \alpha_{MH}, S2DoScold 0,37463451 0,37463451 0,37463451 1,7e−16 1e−6 ✓
MH χ², S1DoScold (arındırmasız) 2,75011391 2,75011391 2,75011391 9,7e−16 1e−6 ✓
MH \alpha_{MH}, S1DoScold 0,49948412 0,49948412 0,49948412 2,2e−16 1e−6 ✓
MH χ², S3WantScold (arındırmasız) 0,67521634 0,67521634 0,67521634 3,8e−15 1e−6 ✓
MH \alpha_{MH}, S3WantScold 0,71936526 0,71936526 0,71936526 5,6e−16 1e−6 ✓
MH \Delta_{MH}, S2DoCurse 2,6708548 2,6708548 2,6708548 1,2e−15 1e−6 ✓
MH SE(\Delta_{MH}), S2DoCurse (RBG varyansı) 1,00356557 1,00356557 — 2,0e−15 1e−6 ✓
MH χ² (24 maddenin toplamı) 56,28326133 56,28326133 56,28326133 1,3e−16 1e−6 ✓
MH p, S2DoScold 0,00891645 0,00891645 0,00891645 6,9e−17 1e−6 ✓
Lojistik LR χ² (2 sd), S2DoScold 10,26219409 10,26219409 10,26219409 7,3e−15 1e−6 ✓
Lojistik \Delta R^2 (Nagelkerke), S2DoScold 0,0276609 0,0276609 0,0276609 2,8e−16 1e−6 ✓
Lojistik LR χ² (2 sd), S3DoCurse 7,23786199 7,23786199 7,23786199 2,5e−16 1e−6 ✓
Lojistik \Delta R^2 (Nagelkerke), S3DoCurse 0,02316679 0,02316679 0,02316679 9,7e−17 1e−6 ✓
Lojistik LR χ² (2 sd), S2WantShout 11,41109401 11,41109401 11,41109401 2,2e−15 1e−6 ✓
Lojistik \Delta R^2 (Nagelkerke), S2WantShout 0,034273 0,034273 0,034273 3,0e−16 1e−6 ✓
Lojistik LR χ² (24 maddenin toplamı) 90,3261203 90,3261203 90,3261203 1,1e−15 1e−6 ✓
Lojistik p, S2DoScold 0,00591007 0,00591007 0,00591007 2,5e−16 1e−6 ✓
Tek biçimli olmayan LR χ² (1 sd), S2DoScold 1,12206341 1,12206341 1,12206341 4,8e−14 1e−6 ✓
Tek biçimli olmayan \Delta R^2, S2DoScold 0,00298088 0,00298088 0,00298088 3,4e−16 1e−6 ✓
Tek biçimli \Delta R^2, S2DoScold (Wald ölçütü seçili) 0,02468003 0,02468003 0,02468003 1,0e−16 1e−6 ✓
Lojistik Wald χ² (tek biçimli, 1 sd), S2DoScold 8,74122463 8,74122087 8,74122463 4,3e−7 1e−4 ✓
Lojistik Wald χ² (tek biçimli, 1 sd), 24 maddenin toplamı 71,55468099 71,5539743 71,55468099 9,9e−6 1e−4 ✓
Lojistik Wald χ² (ikisi birlikte, 2 sd), S2DoScold 10,47975399 — 10,47975399 0 1e−6 ✓
Lojistik Wald χ² (ikisi birlikte, 2 sd), 24 maddenin toplamı 88,08157926 — 88,08157926 0 1e−6 ✓
MH χ² süreklilik düzeltmesiz, S2DoScold 7,76697248 7,76697248 7,76697248 1,1e−15 1e−6 ✓
Lord χ² (1PL), S2DoScold 6,58423622 6,58609141 6,58423622 2,8e−4 1e−2 ✓
Raju Z (1PL), S2DoScold −2,56597666 −2,56633813 −2,56597666 1,4e−4 1e−2 ✓
Lord χ² (1PL), S3DoCurse 5,42061417 5,41720526 5,42061417 6,3e−4 1e−2 ✓
Raju Z (1PL), S3DoCurse −2,32822125 −2,32748905 −2,32822125 3,1e−4 1e−2 ✓
Lord χ² (1PL), 24 maddenin toplamı 56,31700353 56,35293712 56,31700353 6,4e−4 1e−2 ✓
Raju p (iki yönlü; 2\Phi(-\lvert Z\rvert)), S2DoScold 0,01028858 0,01027786 0,01028858 1,1e−5 1e−2 ✓
Lord χ² (2PL), S2DoScold 6,96835439 — 6,96835439 0 1e−6 ✓
Lord χ² (2PL), S1DoScold 3,74479874 — 3,74479874 0 1e−6 ✓
Raju Z (2PL, işaretli), S2DoScold −2,63379363 — −2,63379363 0 1e−6 ✓
Raju Z (2PL, işaretli), S4DoScold −1,92071274 — −1,92071274 0 1e−6 ✓
MH χ² arındırmalı, S2DoScold 11,94363843 11,94363843 11,94363843 1,5e−16 1e−6 ✓
MH χ² arındırmalı, S3WantScold 4,37243424 4,37243424 4,37243424 1,6e−15 1e−6 ✓
MH χ² arındırmalı, S4DoCurse 3,93230312 3,93230312 3,93230312 9,6e−15 1e−6 ✓
MH \Delta_{MH} arındırmalı, S4DoCurse 1,75264237 1,75264237 1,75264237 2,0e−15 1e−6 ✓
MH SE(\Delta_{MH}) arındırmalı, S4DoCurse 0,81932571 0,81932571 — 2,2e−16 1e−6 ✓
MH arındırmalı DMF sayısı (bayrak \sum) 9 9 9 0 1e−6 ✓
MH arındırmalı DMF kümesi (madde numaraları toplamı, 0 tabanlı) 136 136 136 0 1e−6 ✓
Lojistik LR χ² arındırmalı, S2DoScold 12,67293975 12,67293975 12,67293975 4,5e−15 1e−6 ✓
Lojistik \Delta R^2 arındırmalı, S2DoScold 0,0352478 0,0352478 0,0352478 1,2e−16 1e−6 ✓
Lojistik LR χ² arındırmalı, S1DoScold 7,19266465 7,19266465 7,19266465 7,4e−15 1e−6 ✓
Lojistik \Delta R^2 arındırmalı, S1DoScold 0,01881 0,01881 0,01881 1,0e−16 1e−6 ✓
Lojistik arındırmalı DMF sayısı 6 6 6 0 1e−6 ✓

Ölçütü karşılayan: 48/48. Arındırmasız satırlar arindirma = false, arındırmalı satırlar örnek ayarla (arindirma = true) çalıştırılmıştır. Lord ve Raju (1PL) satırlarında Python sütunu kendi Gauss–Hermite MML kestirimimizdir; ltm'in 21 noktalı kareleme yaklaşımından göreli \approx 4\cdot10^{-3} sapar (ölçüt 10^{-2}). Wald satırlarında ölçüt 10^{-4}'tür: R'ın glm yinelemesi göreli 10^{-8} sapma payıyla durur, bağımsız Python IRLS'i daha sıkı yakınsar. 2PL satırlarında Python ikizi yoktur.

MH ve lojistik büyüklükler üç yolda 10^{-13} içinde aynıdır; arındırmalı satırlar ornek çalıştırmasından, arındırmasızlar arsiz, nudif, wald_udif ve mh_duzeltmesiz çalıştırmalarındandır. Lord ve Raju (1PL) için R sütunu ltm::rasch ile doğrudan hesaptır ve MerQuR+ ile 10^{-15} içinde eşleşir; Python sütunu kendi Gauss–Hermite eniyilememizdir ve ltm'in kareleme yaklaşımından göreli 10^{-3} sapar (ölçüt 10^{-2}). 2PL'de R sütunu ltm'in 2PL uydurmasını doğrudan kullanır. Wald satırlarında R'ın glm yinelemesinin sınırı nedeniyle ölçüt 10^{-4}'tür.

170.7 Çıktıyı okuma

Örnek ayarın konsol satırı:

n = 316 (referans kadin: 243, odak erkek: 73); madde sayısı = 24

Beş tablo ve bir şekil üretilir (p6_dmf_ornek). Tablolardan DMF saptanan satırlar (tam tablo 24 satırdır):

Tablo 1. Lojistik regresyon DMF (both, olabilirlik oranı)

madde LR_ki_kare sd p p_duzeltilmis delta_R2 Zumbo_Thomas Jodoin_Gierl DMF
S2WantShout 7.40794 2 0.02463 0.02463 0.02107 A A TRUE
S1DoScold 7.19266 2 0.02742 0.02742 0.01881 A A TRUE
S2DoCurse 10.18851 2 0.00613 0.00613 0.03267 A A TRUE
S2DoScold 12.67294 2 0.00177 0.00177 0.03525 A B TRUE
S3DoCurse 9.11520 2 0.01049 0.01049 0.02939 A A TRUE
S3DoScold 7.46050 2 0.02399 0.02399 0.02753 A A TRUE

Tablo 2. Mantel-Haenszel DMF (süreklilik düzeltmeli)

madde MH_ki_kare p p_duzeltilmis alfa_MH delta_MH SH_delta_MH ETS DMF
S2WantShout 4.26799 0.03884 0.03884 2.20880 −1.86226 0.84642 B TRUE
S3WantScold 4.37243 0.03652 0.03652 0.45931 1.82835 0.81064 B TRUE
S1DoScold 6.27363 0.01225 0.01225 0.38322 2.25400 0.86193 B TRUE
S2DoCurse 9.66720 0.00188 0.00188 0.26584 3.11344 0.96053 C TRUE
S2DoScold 11.94364 0.00055 0.00055 0.30137 2.81861 0.83743 C TRUE
S3DoCurse 9.46439 0.00209 0.00209 0.37128 2.32838 0.74913 C TRUE
S3DoScold 6.43564 0.01119 0.01119 0.40787 2.10748 0.80137 B TRUE
S4DoCurse 3.93230 0.04737 0.04737 0.47435 1.75264 0.81933 B TRUE
S4DoScold 5.79868 0.01604 0.01604 0.41476 2.06811 0.80131 B TRUE

Tablo 3 ve 4 (Lord χ² ve Raju, 1PL) aynı altı maddeyi işaretler; ör. S2DoScold: Lord χ² = 9,22576 (p=0{,}00239), Raju Z=-3{,}03739.

Tablo 5. Özet: DMF saptanan maddeler (α = 0.05, arındırmalı)

madde lojistik MH Lord Raju yontem_sayisi
S2WantShout, S1DoScold, S2DoCurse, S2DoScold, S3DoCurse, S3DoScold TRUE TRUE TRUE TRUE 4
S3WantScold, S4DoCurse, S4DoScold FALSE TRUE FALSE FALSE 1
öteki 15 madde FALSE FALSE FALSE FALSE 0

Şekil 170.1. Şablonun çizdiği DMF istatistikleri. Her panel bir yöntemin 24 madde için istatistiğini, kesikli çizgi α = 0,05'e karşılık gelen düzeltilmemiş eşiği gösterir; kırmızı noktalar yöntemin `DMF` kararını (α ve çoklu karşılaştırma düzeltmesi dahil) gösterir. Raju panelinde |Z| çizilir.

Öğe Ne yazar Nasıl yorumlanır
LR_ki_kare, sd, p Lojistik sınama istatistiği, serbestlik derecesi ve p. p<\alpha ise madde işaretlenir.
delta_R2 Nagelkerke R^2 farkı. Önemlilik ölçüsü; küçük \Delta R^2 (0,01–0,03) pratikte önemsizdir.
Zumbo_Thomas, Jodoin_Gierl \Delta R^2'nin A/B/C sınıfı. Testin anlamlı olduğu maddelerde ΔR² eşiğine göre; anlamsız madde A (170.4.4).
MH_ki_kare, alfa_MH \chi^2_{MH} ve ortak odds oranı. \alpha_{MH}<1: odak grubu kayırır.
delta_MH, SH_delta_MH \Delta_{MH} ve standart hatası. ETS ölçeğinde fark; $\lvert\Delta
vert\ge 1{,}5$ büyük.
ETS A/B/C. C: DMF büyük ve anlamlı; B: orta; A: önemsiz.
Lord_ki_kare Parametre eşitliği sınaması. 1PL'de 1 sd, 2PL'de 2 sd.
Raju_Z İşaretli alan Z. Negatif: odak grupta madde daha kolay.
p_duzeltilmis Düzeltme açıkken düzeltilmiş p. DMF bu sütuna göre karar verir.
DMF \alpha'da karar. Yöntemin kendi kararı.
yontem_sayisi Özet tabloda kaç yöntem işaretledi. 4: yöntemlerin uyumu; 1: yönteme bağlı bulgu.

Okuma. Örnek veride yedi "yapmak" (Do) maddesi odak grup (erkek) lehine kayar (\alpha_{MH}<1, \Delta_{MH}>0, Raju Z<0): aynı toplam puanda erkekler bu davranışlarda "evet" deme olasılığı kadınlardan yüksektir. Altı madde dört yöntemde birden işaretlenir; en büyük etkiler S2DoCurse, S2DoScold ve S3DoCurse'tur (ETS C). MH'nin ek üç madde işaretlemesi yöntemler arası güç farkından gelir; ΔR² bu üç maddede de küçüktür (Jodoin–Gierl: A).

Çoklu karşılaştırma düzeltmesinin etkisi büyüktür. Arındırmasız çalıştırmada her yöntem 4–6 madde işaretler; Holm düzeltmesi ile lojistik, Lord ve Raju 0, MH yalnız 1 madde (p6_dmf_holm); BH ve arındırma ile lojistik 1, MH, Lord ve Raju 3 madde (p6_dmf_bh_arindirmali). 24 maddede 24 sınama yapıldığından düzeltmesiz sonuç yanlış pozitifleri içerebilir.

Rapor cümlesi (örnek ayar): Sözel saldırganlık ölçeğinin 24 ikili maddesinde (316 kişi; 243 kadın, referans; 73 erkek, odak) DMF, Mantel-Haenszel, lojistik regresyon, Lord \chi^2 ve Raju işaretli alan yöntemleriyle ve madde arındırmasıyla sınanmıştır (difR 6.1.0; Magis ve ark., 2010). Altı maddede (S2WantShout, S1DoScold, S2DoCurse, S2DoScold, S3DoCurse, S3DoScold) dört yöntem de \alpha=0{,}05'te DMF saptamıştır; Mantel-Haenszel üç maddeyi daha işaretlemiştir. ETS sınıflamasına göre S2DoCurse, S2DoScold ve S3DoCurse büyük (C), altı madde orta (B) düzeydedir; bütün DMF'li "yapmak" maddeleri erkekler lehinedir (\Delta_{MH}=1{,}75–3{,}11). Çoklu karşılaştırma düzeltmesi uygulanmamıştır.

170.8 Sık hatalar ve tuzaklar

  • Odak grubu yazmamak. odak boşsa ikinci düzey (iki düzeyli metinde alfabetik ikinci; sayı kodlu grupta sayısal sıradaki ikinci) odak olur ve tüm işaretler değişir. Örnek veride boş odak kadin'ı odak yapar. Şablon hangi düzeyin odak alındığını konsola yazar; yine de her zaman yazın.
  • Çoklu karşılaştırma düzeltmesini unutmak. 24 maddede düzeltmesiz \alpha=0{,}05 yanlış pozitif üretir; örnekte Holm düzeltmesi lojistik, Lord ve Raju'nun 4 maddesini sıfıra indirir. Raporda düzeltme açıkça belirtilmelidir.
  • ETS sınıfını düzeltilmiş karar sanmak. ETS her zaman düzeltilmemiş p<0{,}05 ile verilir; duzeltme = holm iken DMF yanlış, ETS "B" olan madde görülebilir (holm: MH'de 6 madde ETS \ne A, 1 madde DMF doğru).
  • Arındırma yakınsamadan sonuç okumak. arindirma_yineleme küçük ya da yöntem kararsızsa difR yakınsamaz; şablon bunu uyarıyla ve özet başlığındaki "arındırma yakınsamadı" ile bildirir, ama sonuç yine son ara kümeye dayanır (yineleme1: MH 5 madde, yakınsamış çözüm 9 madde). Uyarı çıkarsa yineleme sayısını artırın.
  • Küçük örneklem ve seyrek tablolar. Her grupta en az 20 kişi zorunludur; ama 20 kişilik odak grupta MH katmanları seyrektir, \Delta_{MH} standart hataları 1,5–2,7'ye çıkar ve hiçbir madde ETS "A"dan yukarı çıkmaz (kucuk2: 40 + 20 kişi, 24 madde "A"). Bu bir hata değil, gücün düşüklüğüdür.
  • Bir grupta tümü aynı yanıt veren madde. Böyle maddede MH'nin \alpha_{MH} değeri sonsuz, lojistik regresyon tam ayrışmalıdır ve Lord 0 görünür (grup_sabit); bu sayılar anlamsızdır. Şablon "bir grupta sabit" notunu yazar, o maddenin sonuç sütunlarını boş bırakır ve DMF'yi yanlış sayar; maddeyi kendiniz değerlendirmeyin ya da çıkarın.
  • Eksik yanıt. Kişi, seçilen herhangi bir maddede eksikse bütün analizden çıkar; atılan sayı ve yüzde konsola yazılır (eksik: 13 satır, %4,1, n=303). Eksikleri önceden kendiniz değerlendirin.
  • Madde kodlaması. Yalnız 0 ve 1 kabul edilir (1/2 ya da "evet/hayır" kodlaması "yalnız 0/1 değerleri içermeli" hatasıyla durur; kod12). Ters maddeler önceden yeniden kodlanmalıdır; şablon bunu yapmaz.
  • Grubun boşluklu düzeyleri. " kadin" gibi baş/son boşluklu düzeyler kırpılarak okunur; odak adı boşluksuz yazılır (bosluk: referans kadin 243, odak erkek 73).
  • Sınıf ve anlamlılık. Zumbo–Thomas ve Jodoin–Gierl sınıfı testin anlamlı olduğu maddelerde \Delta R^2 eşiğine göre verilir; anlamsız madde "A"dır (170.4.4).
  • 1PL'de Lord ve Raju aynı sonucu verir. İkisini ayrı kanıt saymayın; 2PL'de ayırt edicilik farkı yalnız Lord'a girer.
  • Çok boyutlu test. Eşleştirme tek bir toplam puandır; çok boyutlu testte DMF yanlış yorumlanır (Bölüm 174).

170.9 Uzman soruları

S1. Eşleştirme puanı neden madde kendisi dahil toplam puan?

Çapa kümesine madde dahil değilse difR maddeyi eşleştirme puanına ekler (mantelHaenszel'de data2 <- cbind(data2, data[, item])). Böylece madde kendi eşleştirmesine katılır; bu, DMF literatüründeki yaygın uygulamadır (Holland ve Thayer, 1988). Arındırmada DMF'li bir madde öteki maddelerin puanından çıkarılır ama kendi eşleştirmesinde kalır; bu nedenle arındırmalı ve arındırmasız \chi^2_{MH} değerleri farklıdır (S2DoScold: 11{,}944 ve 6{,}839).

S2. ETS sınıfı neden 0,05'e sabit ve \alpha ayarı neden onu değiştirmiyor?

ETS A/B/C, bir karar kuralı değil sabit bir sınıflama tanımıdır (Zieky, 1993): A, "\Delta_{MH} 1'den küçük ya da MH testi %5'te anlamsız"; C, "|\Delta_{MH}|\ge1{,}5 ve 1'den anlamlı büyük". Kullanıcının \alpha'sı yalnız yöntemlerin DMF kararını (DMF sütunu) değiştirir; arındırma açıkken \alpha eşleştirme maddelerini de belirlediğinden \Delta_{MH} ve dolayısıyla sınıf yine değişebilir. alfa001 çalıştırmasında MH 2 madde işaretlerken tablodaki ETS sınıfları \alpha=0{,}05 için hesaplanır.

S3. Neden \Delta_{MH}=-2{,}35\ln\alpha_{MH} ve işaret ne söyler?

ETS delta ölçeğinde madde güçlüğü \Delta=13+4z ve lojistik ölçekle -4/1{,}702=-2{,}35 ile ilişkilidir. \alpha_{MH} referans ÷ odak odds oranıdır; negatif \Delta referans grubu kayırır, pozitif \Delta odak grubu. Örnekte 'yapmak' maddeleri pozitif (\alpha_{MH}<1): erkekler (odak) kayırılır.

S4. difR işaretli alanın p değerini neden yeniden hesaplıyor?

difR işaretli alan için p=2\bigl(1-\Phi(Z)\bigr) verir; negatif Z'de bu 1'den büyük olabilir. Şablon bunu 2\Phi(-|Z|) ile değiştirir (218–219). Karar (DMF) ise difR'ın kendi |Z| eşiğinden gelir ve iki yönlü p<\alpha ile aynıdır; düzeltme açıkken şablonun p'si üzerinden düzeltilmiş p yazılır, difR düzeltmesi Raju'ya uygulanmaz.

S5. 1PL'de Lord ile Raju neden aynı sonucu veriyor; 2PL'de ne değişir?

1PL'de ayırt edicilik her iki grupta 1'dir; Lord \chi^2=(b_R-b^*_F)^2/(se_R^2+se_F^2) ve Raju Z=(b^*_F-b_R)/\sqrt{\cdot} olur, dolayısıyla \chi^2=Z^2 ve p aynıdır. 2PL'de Lord (a,b) ortak sınanır (2 sd), Raju işaretli alanda yalnız b farkı kullanılır; örnekte 2PL Lord yalnız 2, Raju 4 madde işaretler (pl2).

S6. Arındırma neden gerekli ve neden döngü?

Toplam puan DMF'li maddeler içerirse eşleştirme yeteneği yanlış ölçer ve DMF'siz maddelerde yapay DMF doğurabilir. Arındırma, DMF'li maddeleri çapadan çıkarıp sınamayı yineler; küme değişmeyene kadar sürer. Örnekte MH 6 maddeden 9 maddeye çıkar, lojistik 4'ten 6'ya (arsiz ve ornek).

S7. Tohum sonucu etkiler mi?

Hayır. Şablonun hiçbir adımı rastgele sayı kullanmaz; ltm'in 2PL uydurması da tohumdan bağımsızdır (tohum 1–4'te aynı logaritmik olabilirlik). Bölüm 1.3'teki Tohum alanı sonucu değiştirmez.

S8. Başka bir paketle ya da tanımla fark nerede?

(i) Lojistik regresyonda ΔR² bazı yazılımlarda McFadden ya da Cox–Snell R^2'sine dayanır; burada Nagelkerke vardır. (ii) MH'de \chi^2 süreklilik düzeltmeli (varsayılan) olup, düzeltmesiz istatistik bazı yazılımların varsayılanıdır. (iii) Lord'un 1PL'sinde güçlükler ltm'in marjinal en çok olabilirliğinden gelir ve Rasch koşullu en çok olabilirlikten küçük farklarla ayrılır. (iv) Eşleştirme "rest score" (madde dışarıda) seçilebilir; şablon yalnız toplam puan kullanır.

170.10 Kaynaklar

  • Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
  • De Boeck, P., & Wilson, M. (Eds.). (2004). Explanatory item response models: A generalized linear and nonlinear approach. Springer. https://doi.org/10.1007/978-1-4757-3990-9
  • Dorans, N. J., & Holland, P. W. (1993). DIF detection and description: Mantel-Haenszel and standardization. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 35–66). Lawrence Erlbaum.
  • Holland, P. W., & Thayer, D. T. (1988). Differential item performance and the Mantel-Haenszel procedure. In H. Wainer & H. I. Braun (Eds.), Test validity (pp. 129–145). Lawrence Erlbaum.
  • Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70.
  • Jodoin, M. G., & Gierl, M. J. (2001). Evaluating Type I error and power rates using an effect size measure with the logistic regression procedure for DIF detection. Applied Measurement in Education, 14(4), 329–349. https://doi.org/10.1207/S15324818AME1404_2
  • Lord, F. M. (1980). Applications of item response theory to practical testing problems. Lawrence Erlbaum.
  • Magis, D., Béland, S., Tuerlinckx, F., & De Boeck, P. (2010). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42(3), 847–862. https://doi.org/10.3758/BRM.42.3.847
  • Mantel, N., & Haenszel, W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22(4), 719–748. https://doi.org/10.1093/jnci/22.4.719
  • Nagelkerke, N. J. D. (1991). A note on a general definition of the coefficient of determination. Biometrika, 78(3), 691–692. https://doi.org/10.1093/biomet/78.3.691
  • Raju, N. S. (1988). The area between two item characteristic curves. Psychometrika, 53(4), 495–502. https://doi.org/10.1007/BF02294403
  • Rizopoulos, D. (2006). ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, 17(5), 1–25. https://doi.org/10.18637/jss.v017.i05
  • Robins, J., Breslow, N., & Greenland, S. (1986). Estimators of the Mantel-Haenszel variance consistent in both sparse data and large-strata limiting models. Biometrics, 42(2), 311–323. https://doi.org/10.2307/2531052
  • Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361–370. https://doi.org/10.1111/j.1745-3984.1990.tb00754.x
  • Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 337–347). Lawrence Erlbaum.
  • Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and Likert-type (ordinal) item scores. Directorate of Human Resources Research and Evaluation, Department of National Defense.