MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Madde Tepki Kuramı

Madde Tepki Kuramıanaliz

Bir test ya da ölçekteki her maddenin güçlüğünü ve ayırt ediciliğini, her kişinin de ölçülen özellikteki düzeyini aynı ölçek üzerinde kestiren, yanıt olasılığını kişi ile madde arasındaki ilişkiye bağlayan model ailesi.

Kavram

Klasik test kuramında bir kişinin puanı doğru yanıt sayısıdır ve maddelerin güçlüğü testi alan gruba bağlıdır: aynı madde başarılı bir sınıfta kolay, zayıf bir sınıfta zor görünür. Madde tepki kuramı (MTK) bu sorunu, her yanıtı kişinin gizil yetenek düzeyi (θ) ile maddenin özellikleri arasındaki bir olasılık ilişkisi olarak modelleyerek çözer. Böylece madde güçlükleri ve kişi düzeyleri aynı ölçek üzerinde yer alır, hangi maddenin hangi yetenek düzeyinde en çok bilgi verdiği görülür ve farklı madde setleriyle ölçülen kişiler karşılaştırılabilir.

En basit model olan Rasch modelinde doğru yanıt olasılığı yalnız yetenek ile madde güçlüğü (b) arasındaki farka bağlıdır: P(doğru) = exp(θ − b) / (1 + exp(θ − b)). Yeteneği maddenin güçlüğüne eşit olan kişinin doğru yanıt olasılığı %50'dir. İki parametreli model (2PL) her maddeye bir ayırt edicilik (a) ekler; eğrinin dikliği, maddenin yeteneği düşük ve yüksek olanları ne kadar keskin ayırdığını gösterir. Üç parametreli model (3PL) tahminle doğru yanıtlama olasılığını da (c) hesaba katar. Likert türü çok kategorili maddeler için kısmi kredi, derecelendirilmiş ölçek ve graded response gibi uzantılar kullanılır.

Temel varsayımlar tek boyutluluk (maddelerin tek bir ortak özelliği ölçmesi) ve yerel bağımsızlıktır (yetenek sabit tutulduğunda maddelere verilen yanıtların birbirinden bağımsız olması). Madde ve model uyum istatistikleri, modelin hangi maddelerde veriyle çeliştiğini gösterir; madde işlev farklılığı (DIF) analizi ise aynı yetenekteki iki grubun bir maddeyi farklı olasılıkla doğru yanıtlayıp yanıtlamadığını, yani maddenin bir gruba karşı yanlı olup olmadığını sınar. Güvenilir parametre kestirimi için genellikle birkaç yüz katılımcı gerekir; karmaşık modeller daha büyük örneklem ister.

Ne zaman kullanılır?

  • Bir başarı testi ya da tutum ölçeği geliştirirken madde güçlüklerini, ayırt ediciliklerini ve maddelerin hangi yetenek aralığında iyi ölçtüğünü görmek istendiğinde; bilgisayar uyarlamalı test ve madde bankası çalışmalarında.
  • Yalnız toplam puanın iç tutarlılığı sorulacaksa klasik madde analizi ve Cronbach alfa daha basit bir başlangıçtır.
  • Maddeler birden fazla belirgin boyutu ölçüyorsa tek boyutlu MTK yerine çok boyutlu MTK ya da kategorik göstergeli doğrulayıcı faktör analizi düşünülmelidir.

Gündelik bir örnek

Bir ilçede 600 sekizinci sınıf öğrencisine 20 soruluk bir matematik testi uygulanıyor. MTK her sorunun güçlüğünü yetenek ölçeği üzerinde gösterir: kesirlerle ilgili bir sorunun güçlüğü −1 (öğrencilerin çoğu çözüyor), olasılık sorusunun güçlüğü +2 (yalnız en başarılılar çözüyor) çıkabilir. Aynı toplam puanı alan iki öğrenciden biri zor soruları, öteki kolayları doğru yanıtlamışsa model bunu da hesaba katar. DIF analizi de, örneğin uzun bir sözel problemin aynı matematik yeteneğindeki kız ve erkek öğrenciler için farklı güçlükte olup olmadığını sınar.

MerQur'da parametreler

Model (Rasch, 2PL, 3PL, Kısmi Kredi, Derecelendirilmiş Ölçek, Graded Response, Genelleştirilmiş Kısmi Kredi)

Kavram: MTK modelleri, yanıt olasılığını açıklamak için kaç madde özelliği kullandıklarıyla ayrılır: Rasch yalnız güçlüğü, 2PL güçlüğe ek olarak ayırt ediciliği, 3PL bunlara tahmin olasılığını katar. Çok kategorili maddelerde kısmi kredi ve derecelendirilmiş ölçek modelleri Rasch ailesindendir; graded response ve genelleştirilmiş kısmi kredi modelleri maddeye özgü ayırt edicilik de kestirir.

Gündelik örnek: Matematik testi çoktan seçmeliyse hiç bilmeyen bir öğrenci de beş seçenekten birini rastgele işaretleyip yaklaşık %20 olasılıkla doğru yanıtlayabilir; bu durumu yalnız 3PL modeli hesaba katar. Hangi modelin yeterli olduğuna olabilirlik oranı testi ve BIC ile karar verilir.

Ne işe yarar: İkili maddelerde Rasch/1PL, 2PL, 3PL; çok kategorili maddelerde PCM, RSM, GRM, GPCM modellerini seçer. İkili veride PCM/RSM Rasch'a, GRM/GPCM 2PL'ye dönüşür; 3PL çok kategoride hata verir. Karşılaştırma için olabilirlik oranı testi ve BIC kullanılır (de Ayala, 2009).

Sonuca etkisi: Madde parametreleri, log-olabilirlik, kişi puanları ve uyum.

Doğrulama verisinde: LSAT7: Rasch log-olabilirlik -2664.901 (6 parametre), 2PL -2658.805 (10), 3PL -2658.054 (15). Science: RSM -1636.908, PCM -1619.274, GPCM -1612.682, GRM -1608.869.

→ Madde güçlüğü, ayırt ediciliği ve şans parametresi (1PL, 2PL, 3PL)

Kestirim (MML, CML)

Kavram: Kişilerin yetenekleri bilinmediği için madde parametreleri iki yoldan kestirilebilir. Marjinal en çok olabilirlik (MML), yeteneklerin evrende belirli bir dağılım (genellikle normal) izlediğini varsayıp bu dağılım üzerinden ortalama alır; koşullu en çok olabilirlik (CML) ise Rasch modelinde toplam puanın yetenek hakkındaki bilgiyi taşımasından yararlanarak kişi dağılımı hakkında hiçbir varsayım yapmaz.

Gündelik örnek: Test yalnız başarılı okullara uygulandıysa öğrencilerin yetenek dağılımı normal olmayabilir. CML, madde güçlüklerini bu dağılımdan bağımsız kestirdiği için böyle bir durumda daha sağlam bir seçenektir.

Ne işe yarar: MML marjinal en çok olabilirliktir (EM, [-6, 6] aralığında 61 düğüm ve Newton cilası); CML koşullu en çok olabilirliktir (yalnız ikili Rasch, toplam b = 0) ve örneklem dağılımından bağımsız madde kestirimi sağlar (Andersen, 1972). Çok kategoride CML seçilirse MML'e dönülür ve uyarı verilir.

Sonuca etkisi: Seçim kutusu Rasch/PCM'de etkindir; CML yalnız ikili veride uygulanır (ikili veride PCM seçimi Rasch'a döner); çok kategorili veride MML'e dönülür ve uyarı yazılır. Madde parametreleri ve koşullu log-olabilirlik değişir.

Doğrulama verisinde: LSAT7 CML: b1 = -0.5415 (SE 0.0792), koşullu log-olabilirlik -1182.700; ham puan 1.4 için theta = -1.486, -0.443, 0.436, 1.487. Uç puanlarda theta tanımsızdır.

→ Marjinal ve koşullu en çok olabilirlik (MML, CML)

Kişi puanı (EAP, MAP, ML, WLE)

Kavram: Kişi puanı (θ), kişinin yetenek ölçeğindeki konumudur ve yanıt örüntüsünden farklı yöntemlerle kestirilir. En çok olabilirlik (ML) yalnız yanıtlara dayanır ve hepsi doğru ya da hepsi yanlış yanıt veren kişide sonsuza gider; EAP ve MAP evren dağılımı bilgisini de kullandığından her zaman sonlu değer verir; WLE ise ML'nin yanlılığını azaltan bir düzeltmedir.

Gündelik örnek: 20 sorunun hepsini doğru yanıtlayan bir öğrencinin yeteneği ML ile 'sonsuz' çıkar, çünkü testte onu zorlayacak soru yoktur. EAP bu öğrenciye yüksek ama sonlu bir puan verir ve puanın belirsizliğini standart hatayla birlikte gösterir.

Ne işe yarar: Theta kestirim yöntemini ve standart hatasını belirler. EAP sonlu ve güvenilirdir (varsayılan); WLE yanlılık düzeltmelidir (Warm, 1989); ML tüm-0 ve tüm-1 örüntülerinde tanımsızdır (±sonsuz).

Sonuca etkisi: Kişi puanları, SE ve ampirik güvenirlik.

Doğrulama verisinde: LSAT7 Rasch, örüntü 00011: EAP -0.934 (SE 0.707), MAP -0.952 (0.691), ML -1.770 (0.948), WLE -1.707 (0.871); ampirik güvenirlik sırasıyla 0.432, 0.422, 0.420, 0.519. GRM (Science) ML ampirik güvenirlik 0.7162.

→ Kişi yeteneği (θ) kestirimi (EAP, MAP, ML, WLE)

Standart hata (Gözlenen bilgi, Çapraz çarpım, Sandviç)

Kavram: Madde parametrelerinin standart hatası, kestirimin ne kadar kesin olduğunu gösterir ve farklı yollardan hesaplanabilir. Model doğru belirlenmişse gözlenen bilgi matrisine dayanan hata uygundur; modelin veriye tam uymadığından şüpheleniliyorsa sandviç (sağlam) standart hata daha güvenilirdir.

Gündelik örnek: Olasılık sorusunun güçlüğü 2,0 ± 0,15 bulunduysa güçlük oldukça kesin kestirilmiştir. Bazı öğrencilerin kopya çektiği şüphesi varsa model veriye tam uymayabilir; sandviç hata bu durumda kesinliği abartmaz.

Ne işe yarar: Madde parametresi standart hatalarının kaynağını belirler; IRT parametrelerinin SE'si delta yöntemiyle verilir. Model doğru belirlenmişse gözlenen bilgi, yanlış belirleme şüphesinde sandviç kullanılır (White, 1982).

Sonuca etkisi: Yalnız SE ve güven aralıkları.

Doğrulama verisinde: LSAT7 2PL, Item.3 eğimi: Oakes 0.3211, çapraz çarpım 0.3215, sandviç 0.3297. 3PL'de tahmin parametresi sınıra (g = 0) oturduğunda g'nin SE'si boş bırakılır ve uyarı verilir (LSAT7 Item.5 b SE 0.419).

→ Sağlam (sandviç) standart hatalar (HC0-HC3)

Çıktılar: Madde uyumu (infit/outfit, S-X2)

Kavram: Madde uyumu, her maddeye verilen gerçek yanıtların modelin öngördüğü olasılıklarla ne kadar örtüştüğünü gösterir. Infit ve outfit ortalama kare değerlerinin 1'e yakın olması iyi uyumdur; 1'in belirgin üstündeki değerler beklenmedik yanıtları, altındakiler ise fazla öngörülebilir yanıtları işaret eder.

Gündelik örnek: Kolay bir kesir sorusunu matematikte çok başarılı birkaç öğrenci yanlış yanıtlamışsa, örneğin soru belirsiz yazıldığı için, outfit değeri yükselir. Bu, sorunun yeniden incelenmesi gerektiğinin işaretidir.

Ne işe yarar: Wright ve Masters infit/outfit MNSQ ve ZSTD (EAP theta ile) ve Orlando-Thissen S-X2 istatistiğini verir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: LSAT7 Rasch, Item.1: outfit 0.744, infit 0.939, S-X2(2) = 5.593 (p = 0.061). Çok kategoride S-X2 beklenen frekansı küçük hücreleri birleştirir: Science GRM Comfort 14.27 (sd 9).

→ Madde uyumu (infit, outfit, S-X²)

Çıktılar: Model uyumu (M2 / C2, RMSEA, SRMSR, CFI/TLI)

Kavram: Model uyumu, modelin tüm test için yanıt örüntülerini ne kadar iyi yeniden ürettiğini özetler. Madde çiftlerinin birlikte yanıtlanma sıklıklarına dayanan sınırlı bilgi testleri (M2) ile RMSEA, SRMSR ve CFI gibi indeksler, uyumsuzluğun genel düzeyini gösterir.

Gündelik örnek: Her soru tek tek kabul edilebilir görünse bile, örneğin geometri soruları kendi aralarında modelin beklediğinden daha güçlü ilişkiliyse genel model uyumu zayıflar. Bu, testin aslında tek boyutlu olmayabileceğini düşündürür.

Ne işe yarar: Sınırlı bilgi uyum testini (ikili maddelerde M2, çok kategoride C2), RMSEA (+ %90 güven aralığı), SRMSR ve boş modele göre TLI/CFI değerlerini verir; eksiksiz veri gerekir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: LSAT7 2PL: M2(5) = 11.938, p = 0.036, RMSEA 0.037. Çok kategoride C2: GPCM 19.039, PCM 31.694, RSM 65.393.

→ Model uyum indeksleri (χ², CFI, TLI, RMSEA, SRMR)

Çıktılar: Model karşılaştırması (AIC/BIC, iç içe olabilirlik oranı testi)

Kavram: Aynı veriye birden fazla MTK modeli uydurup hangisinin daha uygun olduğunu karşılaştırır. Bilgi ölçütleri (AIC, BIC) uyum ile parametre sayısını dengeler; iç içe modellerde olabilirlik oranı testi ek parametrelerin uyumu anlamlı biçimde iyileştirip iyileştirmediğini sınar.

Gündelik örnek: Matematik testine hem Rasch hem 2PL uydurulduğunda 2PL'nin BIC'i daha yüksek çıkarsa, her soruya ayrı ayırt edicilik vermek uyumu karmaşıklığı haklı çıkaracak kadar iyileştirmiyor demektir; daha sade Rasch modeli tercih edilir.

Ne işe yarar: Aile modellerini de uydurur ve AIC/BIC ile iç içe çiftler için olabilirlik oranı testi verir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: LSAT7: Rasch ve 2PL arasında ki-kare(4) = 12.19, 2PL ve 3PL arasında ki-kare(5) = 1.50.

→ Olabilirlik oranı testi (LRT)

Çıktılar: Tek boyutluluk (özdeğer oranı)

Kavram: Tek boyutluluk, maddelerin tek bir ortak özelliği ölçtüğü varsayımıdır. Maddeler arası korelasyon matrisinin birinci özdeğeri ikincisinden çok büyükse tek bir baskın boyut olduğu düşünülür; bu oranın yaklaşık 3 ya da üstü olması güçlü bir işarettir.

Gündelik örnek: 20 soru gerçekten 'matematik yeteneği' gibi tek bir şeyi ölçüyorsa birinci özdeğer baskındır. Sorular yarı yarıya aritmetik ve sözel okuma becerisine dayanıyorsa ikinci özdeğer de büyür ve oran düşer.

Ne işe yarar: Tetrakorik/polikorik korelasyon matrisinin özdeğerlerini ve birinci/ikinci özdeğer oranını verir (>= 3 güçlü tek boyutluluk göstergesidir).

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: LSAT7 2.044 / 0.921 (oran 2.22). IrtUni 3.1184 / 0.9936.

→ Tek boyutluluk

Çıktılar: Kişi puanlarını (theta, SE) veri setine kaydet

Kavram: Kestirilen yetenek puanlarını ve standart hatalarını her kişi için veri setine yeni sütunlar olarak ekler. Bu puanlar ham toplam puan yerine sonraki analizlerde (ör. grup karşılaştırması, regresyon) kullanılabilir.

Gündelik örnek: Her öğrencinin θ puanı veri setine eklendiğinde, okullar arası karşılaştırma ham doğru sayısı yerine soruların güçlüğünü hesaba katan bu puanlarla yapılabilir.

Ne işe yarar: Seçili yöntemle theta ve SE'yi IRT_THETA ve IRT_SE sütunları olarak veri setine ekler.

Sonuca etkisi: Yalnız veri setine sütun ekler; metin değişmez.

Doğrulama verisinde: LSAT7'de 2 sütun (1000 değer).

→ Kişi yeteneği (θ) kestirimi (EAP, MAP, ML, WLE)

DIF grubu

Kavram: Madde işlev farklılığı (DIF), aynı yetenek düzeyindeki iki grubun bir maddeyi farklı olasılıkla doğru yanıtlamasıdır. Mantel-Haenszel yöntemi kişileri toplam puana göre katmanlara ayırır ve her katmanda iki grubun başarı oranlarını karşılaştırır; ETS sınıfları farkın önemsiz (A), orta (B) ya da büyük (C) olduğunu gösterir.

Gündelik örnek: Futbol skoru üzerine kurulmuş bir oran sorusu, aynı toplam puanı alan erkek öğrencilerde kızlara göre daha sık doğru yanıtlanıyorsa soru matematik dışında bir bilgiyi de ölçüyor olabilir. DIF analizi böyle maddeleri yakalar ve gözden geçirilmelerini sağlar.

Ne işe yarar: İki düzeyli bir grup değişkeni için toplam puanla katmanlandırılmış Mantel-Haenszel DIF testi yapar (süreklilik düzeltmeli ki-kare, alfa_MH, Delta_MH = -2.35 ln alfa, ETS A/B/C sınıfları). İlk düzey temel (karşılaştırma) grubu, ikinci düzey odak gruptur; yalnız ikili maddelerde çalışır.

Sonuca etkisi: Yalnız DIF tablosu.

Doğrulama verisinde: verbal, Gender (odak 1): S1wantCurse ki-kare = 1.708, alfa = 1.700, Delta = -1.248; 24 madde test edilir, ortak odds oranı 1/alfa olarak da okunabilir. ETS C sınıfı 9 madde.

→ Değişen madde fonksiyonu (DIF)

Kategori eğrisi maddesi (sıra no)

Kavram: Kategori yanıt eğrileri, çok kategorili bir maddede her yanıt kategorisinin yetenek düzeyine göre seçilme olasılığını gösterir. Eğrilerin sıralı ve ayrışık olması kategorilerin iyi işlediğini gösterir.

Gündelik örnek: Matematik kaygısı ölçeğindeki 'Sınavdan önce gerilirim' maddesi için grafik, kaygısı düşük öğrencilerin çoğunlukla 'hiç', yüksek olanların 'her zaman' seçtiğini, 'bazen' kategorisinin de arada kendine yer bulup bulmadığını gösterir.

Ne işe yarar: Kategori yanıt eğrileri grafiğinde gösterilen maddeyi seçer.

Sonuca etkisi: Yalnız grafik; sayısal çıktı değişmez.

Doğrulama verisinde: Metin değişmez, yalnız grafik farklıdır.

Gerçek veride örnek

Veri: verbal sözel saldırganlık verisi, difR paketi

Değişkenler: maddeler: 24 ikili sözel saldırganlık maddesi (S1wantCurse ... S4DoShout)

  • Soru: Sözel saldırganlık ölçeğinin 24 ikili maddesi tek boyutlu Rasch modeline uyuyor mu; maddelerin güçlükleri nasıl sıralanıyor?
  • Model: Rasch (1PL), marjinal en çok olabilirlik (EM); N = 316, 25 parametre; logLik = -4036.905, AIC = 8123.81, BIC = 8217.70; gizil varyans σ² = 1.919 (SE = 0.196).
  • Madde güçlükleri: b değerleri -1.75 (S2WantCurse, en kolay onaylanan) ile 2.98 (S3DoShout, en zor) arasındadır; "istemek" maddeleri "yapmak" maddelerinden, "küfretmek" ise "bağırmak"tan daha kolay onaylanır.
  • Model uyumu: M2(275) = 1423.34, p < .001, RMSEA = .115, SRMSR = .106, CFI = .783; sınırlı bilgi uyumu zayıftır.
  • Madde uyumu: Yalnız S3DoShout infit/outfit 0.5-1.5 aralığı dışındadır (outfit = 1.840). Model karşılaştırmasında en düşük BIC Rasch modelindedir (8217.70; 2PL 8309.13).
  • Güvenirlik: Marjinal güvenirlik = .871, ampirik (EAP) güvenirlik = .874; ölçek kişileri iyi ayırt eder.
  • APA: 24 maddeye Rasch modeli uyduruldu (N = 316; MML-EM); M2(275) = 1423.34, p < .001, RMSEA = .115, SRMSR = .106, CFI = .783; marjinal güvenirlik = .871.

İlgili kavramlar

Olabilirlik oranı testi (LRT)Kişi yeteneği (θ) kestirimi (EAP, MAP, ML, WLE)Madde güçlüğü, ayırt ediciliği ve şans parametresi (1PL, 2PL, 3PL)Tek boyutlulukDeğişen madde fonksiyonu (DIF)Marjinal ve koşullu en çok olabilirlik (MML, CML)Madde uyumu (infit, outfit, S-X²)Model uyum indeksleri (χ², CFI, TLI, RMSEA, SRMR)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.