168. Bilişsel tanı modelleri (DINA, DINO, G-DINA, ACDM)
Şablon kimliği: bilissel_tani · Kategori: psikometri · Dil: R · Dosya: pro/sablonlar/psikometri/bilissel_tani.R (satır 1–229; üstbilgi 1–99) · Örnek veri: _ornek/fraction_subtraction.csv · Paketler: CDM 8.3-14 (ROI yalnız monotonluk kısıtında), R 4.5.3
168.1 Ne işe yarar
Şablon, bir testin maddelerine verilen ikili (doğru/yanlış) yanıtlardan her öğrencinin beceri profilini (hangi becerilere ustalaştığını, hangilerine ustalaşmadığını) sınıflandırır. Hangi maddenin hangi becerileri gerektirdiği Q-matrisiyle önceden bildirilir: q_{jk}=1, j maddesinin k becerisini gerektirdiği anlamına gelir. Her öğrenci K becerinin ikili vektörü \boldsymbol\alpha_i\in\{0{,}1\}^K ile tanımlanır; 2^K olası beceri sınıfı vardır. Amaç sınıf (profil) ve beceri başına ustalık olasılığıdır; tek bir sürekli yetenek puanı değildir.
Dört model sunulur:
- X_{ij}: i. öğrencinin j. maddedeki 0/1 yanıtı.
- \eta_{ij} (DINA): öğrenci maddenin gerektirdiği bütün becerilere sahipse 1, aksi hâlde 0. \omega_{ij} (DINO): gerektirilen becerilerden en az birine sahipse 1.
- g_j (tahmin, guessing): ustalaşmamış öğrencinin doğru yanıt olasılığı; s_j (kayma, slipping): ustalaşmış öğrencinin yanlış yanıt olasılığı.
DINA Junker ve Sijtsma (2001) ile de la Torre (2009), DINO Templin ve Henson (2006) tarafından tanımlanmıştır. G-DINA (de la Torre, 2011) bu iki uç koşulu gevşetir: madde, gerektirdiği K_j^{\ast} becerinin 2^{K_j^{\ast}} örüntüsünün her biri için ayrı bir başarı olasılığına sahiptir. Kimlik bağlantısıyla bu olasılık, kesişim, ana etkiler ve etkileşimlerin toplamıdır:
ACDM (toplamsal model) yalnız ana etkileri tutar. Yüksek mertebe seçeneği, becerileri tek bir genel yetenek altında toplar (de la Torre ve Douglas, 2004). EM için Dempster ve ark. (1977). Bağlantı lojitse LLM, log ise R-RUM elde edilir (şablonda baglanti). DINA ve DINO, G-DINA'nın özel durumlarıdır.
Ne zaman kullanılır?
- Test maddeleri beceri bazında geliştirildiyse (Q-matrisi bilinir) ve çıktı olarak "öğrenci hangi becerilerde eksik" isteniyorsa; kesir çıkarma gibi altbecerilere ayrışan konularda.
- Madde başına tahmin ve kayma olasılığı ve maddelerin ayırt ediciliği (IDI) bir sınav analizinde isteniyorsa.
Ne zaman kullanılmaz?
- Maddeler ikili değilse (çok kategorili ya da sürekli puan): bu şablon 0/1 dışı değeri reddeder (168.2).
- Tek bir sürekli yetenek aranıyorsa: temel programdaki madde tepki kuramı (IRT / Rasch) analizi uygundur; çok boyutlu sürekli modeller için
mirt_cok_boyutluşablonu (Bölüm 174). - Q-matrisi bilinmiyorsa ya da güvenilir değilse: şablon Q-matrisini veriden kestirmez ya da denetlemez.
- Çok kategorili yanıtlar için ya da puanlayıcı etkisi varsa: Bölüm 169.
Temel programla ilişki. Temel programda bilişsel tanı modeli yoktur; madde güvenirliği ve madde tepki kuramı analizleri maddeleri tek bir sürekli yetenekle açıklar. Bu şablon beceri bazlı sınıflandırma yapar.
168.2 Şablonun girdileri
Form, üstbilgideki 12 [[param]] bloğundan kurulur (bilissel_tani.R:10–90). Türlerin anlamı ve formun ortak denetimi Bölüm 1.2'dedir. maddeler sayisal = true olan bir sutunlar alanıdır: Veri sekmesinde "kategorik" ya da "ikili" görünen 0/1 sütun da seçilebilir ve R'ye sayı olarak gider (Bölüm 1.3).
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Maddeler · maddeler |
sütunlar (sayısal) · Değişkenler | boş | en az 3 sütun | Yanıt matrisi; seçim sırası Q-matrisinin satır sırasıdır (10–16, 104, 122). |
Q-matrisi · q |
metin · Değişkenler | boş | madde başına bir 0/1 dizisi, ; ya da satır sonuyla ayrılmış |
Beceri tanımı (17–21, 106–116). |
Beceri adları · beceri_adlari |
metin · Seçenekler | boş | virgülle ayrılmış, K tane | Sütun adları (22–27, 117–121). |
Model · model |
seçim · Model | DINA |
DINA, DINO, GDINA, ACDM |
din() ya da gdina(rule =) (28–34, 137, 142–146). |
EM yakınsama eşiği · yakinsama |
seçim · Gelişmiş | paket |
paket (gevşek eşik, 0,001), siki (10^{-6}), paket_ozgun (DINA/DINO 0,001; G-DINA/ACDM 10^{-4}) |
conv.crit (35–41, 138). |
Beceri sınıfı dağılımı · sinif_modeli |
seçim · Model | paket |
paket (4'ten çok beceride indirgenmiş), doymus (2^K sınıf) |
Yalnız G-DINA ve ACDM: reduced.skillspace = FALSE (42–49, 143–144). |
Bağlantı · baglanti |
seçim · Model | identity |
identity, logit, log |
Yalnız G-DINA ve ACDM (50–57, 143). |
Monotonluk · monoton |
onay · Model | kapalı | açık/kapalı | mono.constr; ROI paketi gerekir (58–64, 140–141, 143). |
Yüksek mertebe · yuksek_mertebe |
onay · Model | kapalı | açık/kapalı | HOGDINA = 1 (65–71, 144). |
Eşit tahmin · esit_tahmin |
onay · Model | kapalı | açık/kapalı | Yalnız DINA/DINO: guess.equal (72–77, 142). |
Eşit kayma · esit_kayma |
onay · Model | kapalı | açık/kapalı | Yalnız DINA/DINO: slip.equal (78–83, 142). |
En çok EM yinelemesi · en_cok_yineleme |
tamsayı · Gelişmiş | 5000 | 10–100 000 | maxit (84–91, 139, 142–143). |
Profil kestiricisi · profil |
seçim · Çıktı | MAP |
MAP, MLE |
Sonsal (MAP) ya da olabilirlik (MLE) matrisinin en büyük değerli, beraberlikte en küçük indeksli sınıfı (92–98, 212–223). |
Örnek ayar (ornek_param, satır 9): maddeler = Item1…Item20; q yirmi satırlık dize; model DINA, paket eşiği. Q-matrisi Tatsuoka'nın kesir çıkarma verisininkidir (8 beceri).
Q-matrisi metni. Satırlar ; ya da satır sonuyla ayrılır (106); her satırda boşluk, virgül ve sekme silinir (107), böylece 0 0 0 1 0 1 1 0 ve 0,0,0,1,0,1,1,0 da kabul edilir (denendi). Metin 2000 karakterle sınırlıdır (form denetimi, Bölüm 1.2); K=8 ve 20 madde için yeterlidir.
Şablonun kendi denetimleri (mq_hata):
| Koşul | İleti (özet) | Satır |
|---|---|---|
| Veri açık değil | "Önce Veri sekmesinde bir veri açın." | 95 |
| 3'ten az madde | "En az 3 madde seçin." | 97 |
| Q-matrisi boş | "Q-matrisini girin …" | 100 |
| Q'da 0/1 dışında karakter | "Q-matrisi satırları yalnız 0 ve 1 içermeli." | 101 |
| Satırlar farklı uzunlukta | "… aynı sayıda beceri (basamak) içermeli." | 103 |
| Satır sayısı \ne madde sayısı | "Q-matrisinde N satır var, ancak M madde seçildi; …" | 104 |
| K>12 | "En çok 12 beceri desteklenir (2^K beceri sınıfı)." | 106 |
| Tümü 0 olan satır ya da sütun | "Her madde en az bir beceri gerektirmeli …" / "Her beceri en az bir maddede ölçülmeli …" | 107–108 |
| 20'den az yanıtlayıcı | "En az 20 yanıtlayıcı gerekli." | 114 |
| Madde 0/1 dışında değer içeriyor | "'…' yalnız 0/1 içermeli." | 117 |
| Madde sabit | "'…' sabit (tüm yanıtlar aynı); maddelerden ve Q-matrisinden çıkarın." | 118 |
| Monotonluk açık ve ROI yok | "Monotonluk kısıtı için 'ROI' paketi gerekli …" | 127–128 |
| Model kestirilemedi | "Model kestirilemedi: …" | 123–132 |
| Log-olabilirlik sonlu değil | "Log-olabilirlik sonlu değil; model yakınsamadı." | 133 |
1/2 kodlu yanıt ya da boş yanıtlı madde reddedilir; metin değerli madde seçilemez (sayısal rol). Yanıtı tümüyle boş olan satırlar atılır (122–126); kısmen boş satırlar kullanılır (CDM eksik yanıtı olabilirlikten çıkarır). Atılan satır sayısı konsola yazılır (151) ve profil tablosundaki yanitlayici sütunu özgün veri satırı numarasıdır (satır numarası atılan satırlardan etkilenmez; B6).
Tohum yoktur: DINA, DINO, G-DINA ve ACDM'nin EM'i başlangıç değerleri sabit (tahmin ve kayma 0,2, düzgün sınıf dağılımı) olduğundan aynı veriyle aynı sonucu verir. Profil kestirimindeki beraberlik de tohuma bağlı değildir: eşit sınıflar arasında en küçük sınıf indeksi seçilir (168.4.6).
168.3 Örnek veri
fraction_subtraction.csv, Tatsuoka'nın kesir çıkarma verisidir (CDM paketinde fraction.subtraction.data; Tatsuoka, 1983; DeCarlo, 2011): 536 öğrenci, 20 madde (Item1–Item20), eksik değer yok; George ve ark. (2016, Bölüm 4.1) bu veriyle DINA modelini yayımlamıştır.
| Değişken | Rol | Tür (veri sekmesinin algıladığı) | Özet |
|---|---|---|---|
Item1–Item20 |
madde | ikili (0/1) | doğru yanıt 1 |
Q-matrisi sekiz beceriyi ve 20 maddeyi tanımlar (beceri adları yalnız numaradır: Beceri_1–Beceri_8); maddeler 1–5 beceri gerektirir. Beceri 2 ve 7 (maddelerin çoğunda birlikte bulunur) neredeyse ayırt edilemez: tetrakorik korelasyonları 0{,}918'dir (168.7). Bu, sınıf dağılımının "düz" bir olabilirlik yüzeyine sahip olması demektir (168.4.3).
Bu bölümde kullanılan çalıştırmalar (ayrıntı dogrulama/bilissel_tani/calistir.sh, calistir2.sh):
| Ad | Ayar |
|---|---|
p5_bt_ornek, p5_bt_siki |
örnek ayar; yakinsama = siki |
p5_bt_dino, p5_bt_esit |
DINO; esit_tahmin ve esit_kayma açık (DINA) |
p5_bt_gdina, p5_bt_gdina_siki |
G-DINA (kimlik); siki |
p5_bt_acdm, p5_bt_acdm_logit, p5_bt_acdm_log |
ACDM kimlik, lojit, log (R-RUM) |
p5_bt_gdina_mono, p5_bt_gdina_mono_logit, p5_bt_acdm_mono |
monotonluk açık |
p5_bt_gdina_ho |
yüksek mertebe |
p5_bt_mle, p5_bt_tohum2, p5_bt_tohum3 |
profil = MLE; tohum 2 ve 3 |
p5_bt_eksik, p5_bt_az, p5_bt_kod12, p5_bt_sabit, p5_bt_madde_sirasi, p5_bt_kucuk_iter, p5_bt_adli, p5_bt_ad_yanlis, p5_bt_q_* |
hata ve sınır durumları |
168.4 Yöntem: formüller ve hesap adımları
Şablon veriyi ve Q-matrisini denetler, din() (DINA, DINO) ya da gdina() (G-DINA, ACDM) ile modeli marjinal en çok olabilirlikle kestirir, madde ve sınıf parametrelerini, beceri ustalık olasılıklarını, uyum ölçütlerini ve her öğrencinin profilini tablolar, ustalık olasılıklarının çubuk grafiğini çizer.
168.4.1 Marjinal olabilirlik ve EM
Beceri sınıflarının dağılımı doymuş olarak (DINA ve DINO'da) \pi_c=P(\boldsymbol\alpha=\boldsymbol\alpha_c), c=1,\dots,2^K, \sum_c\pi_c=1 ile kestirilir. Öğrenci i için marjinal olabilirlik ve toplam log-olabilirlik:
- P_{jc}=P(X_j=1\mid\boldsymbol\alpha_c): modelin j maddesi ve c sınıfı için başarı olasılığı.
- Eksik yanıt olabilirlik çarpımından çıkar.
E adımı her öğrenci için sınıfların sonsal olasılığını verir:
M adımı DINA için kapalı biçimlidir. I_{j0}=\sum_i\sum_{c:\eta_{jc}=0}\tau_{ic}, R_{j0}=\sum_i\sum_{c:\eta_{jc}=0}\tau_{ic}x_{ij} (ve I_{j1}, R_{j1} için \eta_{jc}=1 sınıfları):
Neden 0,05 sahte sayım
CDM, bir madde için I_{j0} ya da I_{j1} sıfırsa paydaya 0{,}05 koyar (kaynak: din() içinde pseudo_count <- 0.05). Bu, sıfıra bölmeyi önler. Örnek veride madde 3'ün tahmin olasılığı sınır değeri alır (g_3=2{,}8\cdot10^{-11}; yayımlanmış değer 0{,}000).
DINO aynı EM'dir; yalnız \eta yerine \omega kullanılır. G-DINA'da M adımı her maddenin indirgenmiş beceri örüntüsü başına başarı olasılığını (kimlik bağlantısında) kapalı biçimde günceller; \delta parametreleri bu olasılıkların doğrusal dönüşümüdür. Bağlantı lojit ya da log ise ya da ACDM seçilirse M adımı sayısal en iyilemedir (Newton tipi).
168.4.2 Parametre sayısı, AIC ve BIC
DINA için \kappa=2J+(2^K-1): örnek veride 2\cdot20+255=295 (şablon: 295). Tahmin ve kayma eşit alınırsa her biri bir parametreye iner: \kappa=257 (esit_tahmin ve esit_kayma). N yanıtlayıcı sayısıdır (536).
168.4.3 Durma kuralı ve raporlanan log-olabilirlik
Koddaki tercih
din(X, q.matrix, rule, conv.crit, maxit, guess.equal, slip.equal, progress = FALSE) (142); gdina(X, q.matrix, rule, conv.crit, maxit, linkfct, mono.constr, HOGDINA, reduced.skillspace, progress = FALSE) (143–145). CDM'in din() kodunda yineleme şu koşulla sürer: ya (en büyük parametre değişimi > conv.crit) ya da (göreli sapma değişimi |\Delta\ell/\ell|>10^{-5}). Parametre değişimi, tahmin, kayma ve sınıf olasılıklarının en büyük mutlak değişimidir. Şablon yakınsama durumunu okur (DINA/DINO: iter < maxit; G-DINA/ACDM: converged) ve yineleme sınırında kesilen çözüm için uyarı yazar (152–156; B5). gdina()'nın kendi varsayılanı 10^{-4}'tür; paket seçeneği bunu değil, din()'in 0,001 değerini G-DINA ve ACDM'ye de uygular, paket_ozgun ise G-DINA/ACDM için 10^{-4} kullanır (138; B3).
İki ayrıntı raporlamayı etkiler. (i) Şablonun yazdığı log-olabilirlik, o yinelemede eski madde parametreleri ve yeni sınıf olasılıklarıyla hesaplanır; dönen son parametrelerle hesaplanan değer değildir. Örnek veride şablon -4402{,}354116 yazar, son parametrelerde gerçek log-olabilirlik -4402{,}353062'dir (fark 1{,}05\cdot10^{-3}); AIC ve BIC şablonun değerinden hesaplanır. (ii) m$iter döngü sayacının bitişteki değeridir, yani yapılan EM adımından bir fazladır: şablon "28 EM yinelemesi" yazar, EM 27 kez güncellenmiştir (B8).
\ell yüzeyi bu veride neredeyse düzdür (beceri 2 ve 7 ayırt edilemez), bu yüzden paket eşiği (0{,}001) çok erken durur: DINA için paket eşiğinde 28, sıkı eşikte (10^{-6}) 613 yineleme gerekir ve log-olabilirlik -4402{,}354'ten -4402{,}288'e yükselir; madde parametreleri üç basamakta aynı kalır, beceri 2'nin ustalık olasılığı 0{,}786'dan 0{,}769'a (bağımsız GDINA paketi: 0{,}769) iner. Yayımlanmış değerler paket eşiğiyle elde edilir.
G-DINA ve ACDM'de "paket varsayılanı" gevşektir
Şablonun paket seçeneği 0{,}001'dir ve din()'in varsayılanıdır; gdina()'nın varsayılan eşiği 10^{-4}'tür (sapma ölçütü 0{,}1). Aynı veride gdina() varsayılan ayarlarıyla 982 yinelemede log-olabilirlik -4224{,}365'e varır; şablonun paket seçeneğiyle 263 yinelemede -4236{,}607'de durur, siki seçeneğiyle 1144 yinelemede -4224{,}365 olur. Aradaki 12 log-olabilirlik birimi AIC'te 24 eder (B3).
168.4.4 G-DINA ve ACDM'nin sınıf dağılımı
gdina(), beceri sayısı 4'ü aştığında sınıf dağılımını varsayılan olarak indirgenmiş beceri uzayı ile (becerilerin ana etkileri ve ikili etkileşimleri olan log-doğrusal bir model) kestirir ve 2^K-1 serbest parametreyi 1+K+K(K-1)/2=37 parametreye indirir. Şablon varsayılan olarak bu kuralı değiştirmez (sinif_modeli = paket); doymus seçeneği reduced.skillspace = FALSE verir (143–144). Kullanılan sınıf modeli ve sınıf parametresi sayısı konsola yazılır (170–172; B4). Örnek veride G-DINA'nın şablonda raporlanan parametre sayısı 190+37=227'dir (doymuş uzayla 190+255=445); ACDM için 76+37=113. DINA ve DINO'da sınıf dağılımı gerçekten doymuştur (295). Bu yüzden DINA/DINO ile G-DINA/ACDM'nin AIC ve BIC değerleri farklı sınıf modelleriyle hesaplanır (B4). Doymuş sınıf dağılımıyla G-DINA'nın yakınsamış log-olabilirliği -4148{,}93'tür (kendi EM'imiz, 1477 yineleme); CDM'de reduced.skillspace = FALSE ile 240 yinelemede -4168{,}38'e varılır (yakınsamamış).
168.4.5 Ustalık olasılıkları, sınıf tablosu, tetrakorik korelasyon
Beceri k'nın ustalık olasılığı sınıf olasılıklarından türetilir, P(\alpha_k=1)=\sum_c\pi_c\alpha_{ck}. En sık 10 sınıf class.prob'a göre sıralanır (head(sinif, 10), 196–198; eşit olasılıklı sınıflar sınıf sırasıyla dizilir). Beceriler arası tetrakorik korelasyon (skill.cor) \pi_c'nin iki beceriyi ilgilendiren iki yönlü marjinalinden, çift için bivariate normal altında 1/1 hücre olasılığını sağlayan korelasyon olarak bulunur.
168.4.6 Uyum ölçütleri ve profil kestirimi
IRT.modelfit (204) iki ölçüt üretir: gözlenen ve model-beklenen madde çiftleri korelasyonları r_{jj'} ve \tilde r_{jj'} için
(Chen ve ark., 2013). Madde başına \mathrm{RMSEA}_j=\sqrt{\sum_c\pi_c\sum_{x\in\{0{,}1\}}[\hat P_{\mathrm{gözl}}(x\mid c)-\hat P_{\mathrm{model}}(x\mid c)]^2}, \hat P_{\mathrm{gözl}} sonsal ağırlıklı beklenen sayımlardan. Şablonda eşik yoktur; örnek veride SRMSR 0{,}082, MADcor 0{,}061'dir. Yaygın okuma, SRMSR için 0{,}05 ve altı iyi uyumdur; şablon bunu yazmaz.
Öğrenci profili, CDM'in döndürdüğü sonsal olasılık matrisinden (m$posterior; MLE için olabilirlik matrisi m$like) şablonda seçilir (212–223). Sınıf olasılıkları, Q-matrisinin ayırt edemediği sınıflarda (beceri 2 ve 7 gibi) birebir eşit olabilir: 536 öğrencinin 276'sında en yüksek sonsal olasılık birden çok sınıfta aynıdır (en çok 64 sınıf). Paketin IRT.factor.scores işlevi bu beraberlikte max.col'un varsayılan rastgele kuralını kullanır ve profil tohuma bağlı olur; şablon bunun yerine eşit sınıflar (göreli 10^{-10} içinde) arasında en küçük sınıf indeksini (beceri sınıfı sırasında ilk) seçer: sınıflar 00000000, 10000000, 01000000, … sırasındadır. Profil tablosunun son sütunu esit_sinif_sayisi öğrencinin kaç sınıfta eşit olduğunu verir ve beraberlik varsa bir not yazılır (B1). Modu tek olan 260 öğrencide MAP profili bağımsız hesapla aynıdır (260/260); beraberlikli 276 öğrencide şablonun profili bağımsız hesabın mod kümesinin en küçük indeksli üyesidir, ve tohum 1, 2, 3 aynı profili verir.
Çizim. Beceri başına ustalık olasılığının çubuk grafiği çizilir (226–228).
168.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 92–97 | CDM yüklenir; veri ve \ge3 madde |
— |
| 104–121 | Q metni ayrıştırılır, 0/1 ve boyut denetimleri; beceri adları | Beceri adı sayısı K'dan farklıysa varsayılan Beceri_k adları kullanılır ve uyarı yazılır (117–119, 157; B9). |
| 122–136 | Yanıt matrisi; boş satırlar atılır (satır numaraları saklanır); 0/1 ve sabit madde denetimi | Atılan satır sayısı bildirilir (151; B6). |
| 137–141 | Eşik (paket, siki, paket_ozgun); uyarı toplayıcı sar; ROI denetimi |
Monotonluk için ROI kurulu olmalı. |
| 142–149 | din ya da gdina; log-olabilirlik sonlu mu; özet satırı |
— |
| 150–172 | Yakınsama uyarısı; ima edilen olasılık denetimi (kimlik bağlantısı); sınıf modeli satırı | Monotonluk + kimlik bağlantısında ihlal varsa durur (165; B2, B5, B7). |
| 173–192 | Madde parametreleri | DINA/DINO: g, s, IDI, RMSEA; G-DINA/ACDM: \delta ya da bağlantı ölçeğinde parametreler ve SH. |
| 193–203 | Ustalık olasılıkları, sınıf tablosu, tetrakorik korelasyon | Eşit olasılıklı sınıflar sınıf sırasıyla dizilir (B10). |
| 204–211 | IRT.modelfit; AIC, BIC, parametre sayısı |
Lagged log-olabilirlik (168.4.3). |
| 212–223 | Profiller | Beraberlikte en küçük sınıf indeksi; eşit sınıf sayısı sütunu (B1). |
| 224–228 | Uyarılar; çubuk grafik | — |
168.6 Elle hesap: örnek veride bağımsız yeniden hesap
Ara değerler dogrulama/bilissel_tani/elle_hesap.py (yalnız numpy ve scipy: DINA/DINO için kendi EM'i; tetrakorik için scipy.stats.multivariate_normal ve kök bulma; SRMSR, MADcor, RMSEA elle) ve r_dogrulama.R (bağımsız GDINA paketi, Ma ve de la Torre, 2020; DINA ve DINO) ile hesaplanmıştır. gdina_em.py doymuş G-DINA için kendi EM'idir. CDM çağrılmaz.
Adım 1 — DINA'nın EM'i, CDM'in durma kuralıyla. Başlangıç g=s=0{,}2, \pi_c=1/256. 27 EM adımında (paketin sayacı 28) parametre değişimi \le10^{-3} ve göreli sapma değişimi \le10^{-5} olur. Eski madde parametreleri ve yeni sınıf olasılıklarıyla log-olabilirlik -4402{,}354116 (şablon: -4402{,}354116); AIC 9394{,}7082, BIC 10658{,}5278 (şablon: aynı).
Adım 2 — Madde parametreleri. Madde 1: g=0{,}029795, s=0{,}089461; madde 2: 0{,}016017 ve 0{,}041471; madde 3: g=2{,}77\cdot10^{-11}, s=0{,}134087 (hepsi 10^{-6} içinde aynı). Yayımlanmış (George ve ark., 2016): 0{,}030/0{,}089, 0{,}016/0{,}041, 0{,}000/0{,}134.
Adım 3 — Beceri ustalık ve sınıf olasılıkları. Ustalık olasılıkları 0{,}579953 (beceri 1), 0{,}786200, 0{,}717366, 0{,}687844, 0{,}602177, 0{,}791895, 0{,}813635, 0{,}817022. 11111111 sınıfının olasılığı 0{,}361727 (yayımlanmış: %36).
Adım 4 — Tetrakorik korelasyon. r(1{,}2)=0{,}350615, r(2{,}7)=0{,}918030, r(1{,}7)=0{,}140277, r(7{,}8)=0{,}633621 (yayımlanmış: 0{,}351, 0{,}918, 0{,}140, 0{,}634).
Adım 5 — Uyum. SRMSR 0{,}08245 (şablon 0{,}08243), MADcor 0{,}06132 (0{,}06130): ikisi de son parametrelerle hesaplanan Python değerinden 2\cdot10^{-5} ayrışır (şablon bir önceki yinelemenin parametrelerini kullanır; sıkı eşikte fark 10^{-7}'dir).
Adım 6 — Sıkı eşik. 10^{-6} ile 612 EM adımında (paket sayacı 613) log-olabilirlik -4402{,}287672 (şablon: -4402{,}287672). Bağımsız GDINA paketi kendi durma kuralıyla -4402{,}2997'ye varır; kendi çok sıkı EM'imiz (1438 adım) -4402{,}287671'dir. Düz tepede paketler 10^{-6} bağıl düzeyinde ayrışır.
Adım 7 — DINO. Paket eşiğinde 19 adımda (sayaç 20) -4699{,}241278 (şablon: -4699{,}241278); çok sıkı eşikte -4698{,}921137 (GDINA paketi: -4698{,}975).
Adım 8 — Profil. Modu tek olan 260 öğrencide MAP sınıfı Python'un en yüksek sonsal sınıfıdır (260/260). Beraberlikli 276 öğrencide şablonun profili her zaman bağımsız hesabın en yüksek sınıf kümesindedir (276/276) ve kümenin en küçük indeksli üyesidir; tohum 1, 2 ve 3 aynı profili verir.
Doğrulanmayan kısımlar. G-DINA, ACDM, monotonluk kısıtı ve yüksek mertebe için tam bağımsız hesap yapılmamıştır: CDM'in indirgenmiş beceri uzayı ve sayısal M adımı bağımsız olarak yeniden kurulmamıştır. Bu modellerde yalnız (i) parametrelerin ima ettiği başarı olasılıklarının [0{,}1] aralığında kalıp kalmadığı ve (ii) doymuş sınıf dağılımıyla bağımsız G-DINA EM'inin log-olabilirliği (-4148{,}93) denetlenmiştir; ayrıntılar 168.8 ve bulgular/bilissel_tani.md'dedir. Standart hatalar bağımsız hesaplanmamıştır.
168.6.1 Doğrulama: MerQuR+, Python ve R
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | Ölçüt | |
|---|---|---|---|---|---|---|
| DINA, paket eşiği: log-olabilirlik | −4402,35411635 | −4402,35411635 | — | 6,2e−16 | 1e−9 | ✓ |
| DINA, paket eşiği: parametre sayısı | 295 | 295 | — | 0 | 1e−6 | ✓ |
| DINA, paket eşiği: AIC | 9394,7082327 | 9394,7082327 | — | 3,9e−16 | 1e−9 | ✓ |
| DINA, paket eşiği: BIC | 10658,52781022 | 10658,52781022 | — | 4,6e−15 | 1e−9 | ✓ |
| DINA, paket eşiği: EM yinelemesi (paketin sayacı) | 28 | 28 | — | 0 | 1e−6 | ✓ |
| DINA, paket eşiği: SRMSR | 0,08243377 | 0,08245157 | — | 1,8e−5 | 1e−4 | ✓ |
| DINA, paket eşiği: MADcor | 0,06130164 | 0,06131729 | — | 1,6e−5 | 1e−4 | ✓ |
| DINA, paket eşiği: tahmin g, madde 1 | 0,02979505 | 0,02979505 | — | 1,3e−16 | 1e−6 | ✓ |
| DINA, paket eşiği: kayma s, madde 1 | 0,08946052 | 0,08946052 | — | 1,8e−16 | 1e−6 | ✓ |
| DINA, paket eşiği: tahmin g, madde 2 | 0,01601667 | 0,01601667 | — | 6,2e−17 | 1e−6 | ✓ |
| DINA, paket eşiği: kayma s, madde 2 | 0,04147141 | 0,04147141 | — | 5,6e−17 | 1e−6 | ✓ |
| DINA, paket eşiği: tahmin g, madde 4 | 0,22350147 | 0,22350147 | — | 4,4e−16 | 1e−6 | ✓ |
| DINA, paket eşiği: kayma s, madde 4 | 0,10991876 | 0,10991876 | — | 5,4e−16 | 1e−6 | ✓ |
| DINA, paket eşiği: 20 maddede g ve s'nin en büyük |fark| | 1,831868·10−15 | 0 | — | 1,8e−15 | 1e−6 | ✓ |
| DINA, paket eşiği: 8 beceri ustalık olasılığının en büyük |fark| | 4,440892·10−16 | 0 | — | 4,4e−16 | 1e−6 | ✓ |
| DINA, paket eşiği: IDI = 1 − g − s, madde 4 | 0,66657977 | 0,66657977 | — | 0 | 1e−6 | ✓ |
| DINA, paket eşiği: RMSEA, 20 maddede en büyük |fark| | 6,206496·10−5 | 0 | — | 6,2e−5 | 1e−3 | ✓ |
| DINA, paket eşiği: tetrakorik r(1,2) | 0,3506147 | 0,35062711 | — | 1,2e−5 | 1e−4 | ✓ |
| DINA, paket eşiği: tetrakorik r(2,7) | 0,91803049 | 0,91802762 | — | 2,9e−6 | 1e−4 | ✓ |
| DINA, paket eşiği: tetrakorik r(1,7) | 0,14027651 | 0,1402744 | — | 2,1e−6 | 1e−4 | ✓ |
| DINA, paket eşiği: tetrakorik r(7,8) | 0,63362136 | 0,63362026 | — | 1,1e−6 | 1e−4 | ✓ |
| DINA, paket eşiği: sınıf 11111111 olasılığı | 0,36172671 | 0,36172671 | — | 0 | 1e−6 | ✓ |
| DINA, paket eşiği: MAP profili, modu tek olan yanıtlayıcılarda eşleşen (260 yanıtlayıcı) | 260 | 260 | — | 0 | 0e+00 | ✓ |
| DINA, paket eşiği: MAP profili, mod kümesi içinde olan yanıtlayıcı (276 yanıtlayıcıda mod birden çok sınıf) | 536 | 536 | — | 0 | 0e+00 | ✓ |
| DINA, sıkı eşik (1e-6): log-olabilirlik | −4402,28767167 | −4402,28767167 | — | 1,2e−15 | 1e−9 | ✓ |
| DINA, sıkı eşik (1e-6): parametre sayısı | 295 | 295 | — | 0 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): AIC | 9394,57534335 | 9394,57534335 | — | 0 | 1e−9 | ✓ |
| DINA, sıkı eşik (1e-6): BIC | 10658,39492087 | 10658,39492087 | — | 4,1e−15 | 1e−9 | ✓ |
| DINA, sıkı eşik (1e-6): EM yinelemesi (paketin sayacı) | 613 | 613 | — | 0 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): SRMSR | 0,0820196 | 0,08201964 | — | 3,8e−8 | 1e−4 | ✓ |
| DINA, sıkı eşik (1e-6): MADcor | 0,06093933 | 0,06093938 | — | 5,0e−8 | 1e−4 | ✓ |
| DINA, sıkı eşik (1e-6): tahmin g, madde 1 | 0,02978163 | 0,02978163 | — | 2,8e−17 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): kayma s, madde 1 | 0,08922788 | 0,08922788 | — | 6,5e−16 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): tahmin g, madde 2 | 0,01639977 | 0,01639977 | — | 1,3e−16 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): kayma s, madde 2 | 0,04145324 | 0,04145324 | — | 4,9e−16 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): tahmin g, madde 4 | 0,22359636 | 0,22359636 | — | 3,6e−16 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): kayma s, madde 4 | 0,1098976 | 0,1098976 | — | 1,1e−16 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): 20 maddede g ve s'nin en büyük |fark| | 2,498002·10−15 | 0 | — | 2,5e−15 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): 8 beceri ustalık olasılığının en büyük |fark| | 1,221245·10−15 | 0 | — | 1,2e−15 | 1e−6 | ✓ |
| DINA, sıkı eşik (1e-6): IDI = 1 − g − s, madde 4 | 0,66650604 | 0,66650604 | — | 1,4e−15 | 1e−6 | ✓ |
| DINO: log-olabilirlik | −4699,24127767 | −4699,24127767 | — | 7,7e−16 | 1e−9 | ✓ |
| DINO: parametre sayısı | 295 | 295 | — | 0 | 1e−6 | ✓ |
| DINO: AIC | 9988,48255535 | 9988,48255535 | — | 1,8e−16 | 1e−9 | ✓ |
| DINO: BIC | 11252,30213287 | 11252,30213287 | — | 3,7e−15 | 1e−9 | ✓ |
| DINO: EM yinelemesi (paketin sayacı) | 20 | 20 | — | 0 | 1e−6 | ✓ |
| DINO: SRMSR | 0,130799 | 0,13077699 | — | 2,2e−5 | 1e−4 | ✓ |
| DINO: MADcor | 0,09826929 | 0,09824333 | — | 2,6e−5 | 1e−4 | ✓ |
| DINO: tahmin g, madde 1 | 0,02060997 | 0,02060997 | — | 1,2e−16 | 1e−6 | ✓ |
| DINO: kayma s, madde 1 | 0,10798191 | 0,10798191 | — | 1,9e−15 | 1e−6 | ✓ |
| DINO: tahmin g, madde 2 | 0,04217891 | 0,04217891 | — | 1,7e−16 | 1e−6 | ✓ |
| DINO: kayma s, madde 2 | 0,03541749 | 0,03541749 | — | 9,4e−16 | 1e−6 | ✓ |
| DINO: tahmin g, madde 4 | 0,21689047 | 0,21689047 | — | 5,0e−16 | 1e−6 | ✓ |
| DINO: kayma s, madde 4 | 0,11743493 | 0,11743493 | — | 3,0e−15 | 1e−6 | ✓ |
| DINO: 20 maddede g ve s'nin en büyük |fark| | 3,774758·10−15 | 0 | — | 3,8e−15 | 1e−6 | ✓ |
| DINO: 8 beceri ustalık olasılığının en büyük |fark| | 2,109424·10−15 | 0 | — | 2,1e−15 | 1e−6 | ✓ |
| DINO: IDI = 1 − g − s, madde 4 | 0,6656746 | 0,6656746 | — | 2,4e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: log-olabilirlik | −4720,75313105 | −4720,75313105 | — | 9,6e−16 | 1e−9 | ✓ |
| DINA, eşit g ve s: parametre sayısı | 257 | 257 | — | 0 | 1e−6 | ✓ |
| DINA, eşit g ve s: AIC | 9955,50626211 | 9955,50626211 | — | 0 | 1e−9 | ✓ |
| DINA, eşit g ve s: BIC | 11056,5287415 | 11056,5287415 | — | 2,5e−15 | 1e−9 | ✓ |
| DINA, eşit g ve s: EM yinelemesi (paketin sayacı) | 14 | 14 | — | 0 | 1e−6 | ✓ |
| DINA, eşit g ve s: SRMSR | 0,11397959 | 0,11399668 | — | 1,7e−5 | 1e−4 | ✓ |
| DINA, eşit g ve s: MADcor | 0,09928538 | 0,09929627 | — | 1,1e−5 | 1e−4 | ✓ |
| DINA, eşit g ve s: tahmin g, madde 1 | 0,0790896 | 0,0790896 | — | 9,7e−17 | 1e−6 | ✓ |
| DINA, eşit g ve s: kayma s, madde 1 | 0,13498239 | 0,13498239 | — | 1,1e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: tahmin g, madde 2 | 0,0790896 | 0,0790896 | — | 9,7e−17 | 1e−6 | ✓ |
| DINA, eşit g ve s: kayma s, madde 2 | 0,13498239 | 0,13498239 | — | 1,1e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: tahmin g, madde 4 | 0,0790896 | 0,0790896 | — | 9,7e−17 | 1e−6 | ✓ |
| DINA, eşit g ve s: kayma s, madde 4 | 0,13498239 | 0,13498239 | — | 1,1e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: 20 maddede g ve s'nin en büyük |fark| | 1,137979·10−15 | 0 | — | 1,1e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: 8 beceri ustalık olasılığının en büyük |fark| | 1,221245·10−15 | 0 | — | 1,2e−15 | 1e−6 | ✓ |
| DINA, eşit g ve s: IDI = 1 − g − s, madde 4 | 0,78592801 | 0,78592801 | — | 1,0e−15 | 1e−6 | ✓ |
| DINA sıkı: log-olabilirlik, GDINA paketi (kendi eşiği) | −4402,28767167 | −4402,28767114 | −4402,2997153 | 2,7e−6 | 5e−6 | ✓ |
| DINA sıkı: madde 1 tahmin g, GDINA paketi | 0,02978163 | 0,02978167 | 0,0298 | 1,8e−5 | 2e−4 | ✓ |
| DINA sıkı: madde 5 kayma s, GDINA paketi | 0,1719685 | 0,17196779 | 0,172 | 3,1e−5 | 2e−4 | ✓ |
| DINA sıkı: beceri 2 ustalık olasılığı, GDINA paketi | 0,7689875 | 0,76892822 | 0,76892575 | 6,2e−5 | 2e−2 | ✓ |
| DINO: log-olabilirlik, kendi EM'i (çok sıkı) ve GDINA paketi | −4699,24127767 | −4698,92113699 | −4698,97528204 | 6,8e−5 | 1e−4 | ✓ |
Ölçütü karşılayan: 77/77. Python: DINA ve DINO için kendi EM'i (doymuş 2^8 sınıf, başlangıç g=s=0{,}2, düzgün sınıf dağılımı, kesinleşme için 0{,}05 sahte sayım), CDM'nin durma kuralıyla (parametre değişimi \le eşik ve göreli sapma değişimi \le 10^{-5}); şablonun raporladığı log-olabilirlik son M adımından önceki madde parametreleriyle hesaplanır (168.4.3), bu yüzden Python'un ll_gecikmeli değeriyle karşılaştırılır. Paket eşiğinde yineleme sayısı (28; paketin sayacı yapılan EM adımından bir fazladır) ve durma noktası da aynıdır. R: GDINA paketi (CDM'den ayrı uygulama); iki paket farklı durma kuralları kullandığından düz olabilirlik tepesinde son ondalıklarda ayrışır. SH'ler, G-DINA, ACDM ve monotonluk kısıtı için bağımsız hesap yoktur (168.6).
168.7 Çıktıyı okuma
Örnek ayar (p5_bt_ornek) çıktısı olduğu gibi (ilk satır konsol metnidir; tablolar ayrı sekmelerdedir):
DINA modeli: 536 yanıtlayıcı, 20 madde, 8 beceri; log-olabilirlik -4402,354; 28 EM yinelemesi
Madde parametreleri (tablo 1; ilk 5 madde):
madde tahmin_g SH_g kayma_s SH_s ayirt_IDI RMSEA
Item1 2.979505e-02 2.017539e-03 0.089461 0.015543 0.880744 0.052727
Item2 1.601667e-02 1.030458e-03 0.041471 0.008413 0.942512 0.056238
Item3 2.772346e-11 1.868840e-12 0.134087 0.024409 0.865913 0.098546
Item4 2.235015e-01 1.480358e-02 0.109919 0.021087 0.666580 0.148892
Item5 3.007612e-01 3.587332e-02 0.172309 0.018930 0.526930 0.135609
Beceri ustalık olasılıkları (tablo 2), en sık sınıflar (tablo 3):
beceri ustalik_olasiligi beceri_sinifi olasilik beklenen_n
Beceri_1 0.579953 11111111 0.361727 193.885515
Beceri_2 0.786200 01111111 0.041586 22.290195
Beceri_3 0.717366 11010111 0.030219 16.197326
Beceri_4 0.687844 11110111 0.030219 16.197326
... 01000011 0.026593 14.253852
Model uyumu (tablo 5) ve profiller (tablo 6; ilk 4 öğrenci):
logLik -4402.354116 parametre sayisi 295 AIC 9394.708233 BIC 10658.52781
EM yinelemesi 28 SRMSR 0.082434 MADcor 0.061302
yanitlayici profil_MAP esit_sinif_sayisi: 1 11101111 1 | 2 11111111 1 | 3 11010010 2 | 4 01111111 1
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
tahmin_g, kayma_s |
DINA/DINO: ustalaşmamışın doğru, ustalaşmışın yanlış yanıt olasılığı | Küçük değerler iyi ayırt edici madde demektir; g ya da s 0,3 üstüyse madde Q-matrisine zayıf uyar. |
ayirt_IDI |
1-g-s | 1'e yakın: ayırt edici; 0'a yakın: ayırt etmiyor. |
RMSEA |
Madde uyumu | Büyük değer (örn. >0{,}1) maddenin ya da Q-matrisi satırının sorunlu olduğunu gösterir; kesin eşik yoktur. |
parametre (G-DINA) |
Boş ad: kesişim \delta_0; Beceri_4: ana etki; Beceri_4-Beceri_7: etkileşim |
Kimlik bağlantısında olasılık farkıdır, olasılık değildir; ilgili örüntünün olasılığı ilgili parametrelerin toplamıdır. Lojit ve log bağlantıda bağlantı ölçeğindedir. |
ustalik_olasiligi |
Becerinin ustalık oranı (sınıf olasılıklarından) | Beceri başına grup ustalık düzeyi. |
olasilik, beklenen_n |
Sınıfın olasılığı ve beklenen öğrenci sayısı | Aynı olasılıklı birkaç sınıf, Q-matrisinin ayıramadığı sınıflardır. |
| tetrakorik korelasyon | Beceri çiftlerinin bağlılığı | 0,9 üstü: iki beceri bu testle ayrılamıyor. |
| SRMSR, MADcor | Madde çiftleri korelasyonu uyumu | Küçük iyi; SRMSR <0{,}05 yaygın okumadır. |
profil_MAP / profil_MLE |
Her öğrencinin beceri vektörü, 1 = ustalık | Beraberlikte en küçük sınıf indeksi (B1); beceri sırası Q-matrisi sütun sırasıdır. |
esit_sinif_sayisi |
En yüksek olasılıkta eşit sınıf sayısı | 1: profil tek; >1: profil eşit sınıflardan biridir (örnek veride 276 öğrenci). |
G-DINA örneği (p5_bt_gdina, madde 2): kesişim 0{,}0293 (SH 0{,}0131), Beceri_4 0{,}5128, Beceri_7 -0{,}0293, Beceri_4-Beceri_7 0{,}4719; iki beceriye de sahip öğrencinin doğru yanıt olasılığı bunların toplamı 0{,}9847'dir. Aynı çalıştırmada iki parametrenin SH'si hesaplanamaz ve konsola not düşülür.
Şekil 168.1. Şablonun çizdiği beceri ustalık olasılıkları çubuk grafiği (DINA, örnek veri).

Rapor cümlesi. 536 öğrencinin 20 maddelik kesir çıkarma testi yanıtlarına, 8 beceriyi tanımlayan Q-matrisiyle DINA modeli uydurulmuştur (EM, \ell=-4402{,}35, AIC =9394{,}7, BIC =10658{,}5, SRMSR =0{,}082). Ustalık olasılıkları 0{,}58 (beceri 1) ile 0{,}82 (beceri 8) arasındadır; öğrencilerin %36'sı sekiz beceriye de sahiptir. Madde tahmin olasılıkları 0{,}00–0{,}44, kayma olasılıkları 0{,}04–0{,}25 aralığındadır. Beceri 2 ve 7 testle ayrılamamaktadır (tetrakorik r=0{,}92).
168.8 Sık hatalar ve tuzaklar
- Q-matrisinin satır sırası, madde seçim sırasıdır. Veri sütun sırasından farklı bir sırayla madde seçilirse Q satırları yanlış maddeyle eşleşir ve hata verilmez (Item1 ile Item2 yer değiştirdiğinde log-olabilirlik -4402{,}354'ten -4400{,}627'ye değişir;
p5_bt_madde_sirasi). Kod doğru çalışır; belgelenmiş davranıştır (üstbilgi satırı 7). - Q-matrisinin ayırabildiğinden fazla beceri tanımlamak. Becerileri (2 ve 7) maddelerde hep birlikte bulunuyorsa sınıf dağılımı düzleşir; yinelemeler uzar, profiller belirsizleşir, MAP/MLE profili beraberlikte eşit sınıflardan biridir (en küçük indeksli; 168.4.6).
- Profil kestiriminde beraberlik. Örnek veride 276/536 öğrencinin modu birden çok sınıftır. Profil sütununu "öğrencinin gerçek profili" olarak okumayın:
esit_sinif_sayisi>1 ise profil eşit sınıflardan en küçük indeksli olandır; beraberlik olasılıklarını sınıf tablosundan (tablo 3 yalnız ilk 10 sınıfı verir) okuyun. - Yakınsama.
paketeşiği DINA'da bile düz tepeyi erken keser (-4402{,}354 ve -4402{,}288).en_cok_yineleme = 10yapılırsa 11 yinelemede durur, \ell=-4404{,}49 ve "EM en çok yineleme sayısında kesildi" uyarısı yazılır (p5_bt_kucuk_iter; B5). - G-DINA/ACDM'de AIC/BIC karşılaştırması. DINA/DINO (doymuş sınıf dağılımı, 295 parametre) ile G-DINA/ACDM (indirgenmiş, 227 ve 113 parametre) aynı sınıf modelini paylaşmaz; AIC farkı yalnız madde modelinden gelmez (B4).
paketeşiğinde G-DINA/ACDM gevşek eşikle durur (G-DINA için -4236{,}607, paketin kendi 10^{-4} eşiğiyle -4224{,}365);paket_ozgunseçeneği G-DINA/ACDM'de paketin kendi eşiğini kullanır (B3). Çıktı hangi sınıf modelinin kullanıldığını yazar;sinif_modeli = doymusdoymuş 2^K-1 parametreli dağılımı seçer. - Monotonluk kısıtı kimlik bağlantısında.
monotonaçıkken G-DINA (-4318{,}867) parametreleri olasılık sınırlarının dışına çıkar (B2): 20 maddenin 20'sinde ima edilen olasılık [0{,}1] dışındadır (en küçük -10{,}5). Şablon bu durumda çalıştırmayı durdurur ve lojit bağlantıyı ya da monotonluk kısıtının kapatılmasını önerir. Lojit ya da log bağlantıda olasılık, bağlantı gereği [0{,}1] içinde kalır (lojit: -4350{,}719). - ACDM kimlik bağlantısı. Toplamsal etkiler olasılığı 1'in üstüne taşıyabilir: örnek veride 20 maddenin 9'unda ima edilen en büyük olasılık 1{,}0'ı aşar (en çok 1{,}162;
p5_bt_acdm; B7); şablon bu durumda uyarı yazar. Olasılık sınırı gerekiyorsa lojit (LLM) ya da log (R-RUM) bağlantısı seçilir. - Eksik değer. Kısmen boş satırlar kullanılır; tümüyle boş satırlar atılır, sayısı bildirilir ve profil tablosunun yanıtlayıcı numarası özgün veri satırı numarasıdır (
p5_bt_eksik: iki boş satırdan sonra 534 yanıtlayıcı, numara 3–536; B6). - Beceri adları. Ad sayısı beceri sayısına eşit değilse varsayılan
Beceri_kadları kullanılır ve uyarı yazılır (B9). Yinelenen adlarmake.uniqueilea,a.1olur. - Kodlama. 1/2 kodlu yanıt reddedilir ("yalnız 0/1 içermeli"); 0/1'e çevirin. Ters madde kavramı yoktur: madde 0/1'dir ve Q-matrisi yönü belirler.
168.9 Uzman soruları
S1. DINA'nın doğru yanıtı için "tüm beceriler gerekli" varsayımı gerçekçi mi?
Tek bir beceri eksik olsa da madde yanlış çözülür; telafi (başka beceriyle yerine koyma) yoktur. Gerçekçi değilse DINO (en az biri yeter) ya da telafi edici G-DINA seçilir. Aynı veride DINA \ell=-4402{,}35, DINO -4699{,}24 (aynı parametre sayısı, 295), G-DINA -4236{,}61 (paket eşiği; sıkı eşikte -4224{,}37; 227 parametre): G-DINA en iyi, DINO en kötü uyar; ama 168.4.4'teki sınıf dağılımı farkı AIC karşılaştırmasını bulandırır.
S2. Neden şablon g_3=2{,}8\cdot10^{-11} yazıyor, yayımlanmış değer 0,000?
Sınır değeridir. EM'de R_{j0}/I_{j0} neredeyse sıfırdır (ustalaşmamışların doğru yanıtı yok); yayımlanmış tablo 3 basamağa yuvarlar. SH (1{,}9\cdot10^{-12}) sınırda anlamsızdır.
S3. Tahmin ve kaymayı tüm maddelerde eşit almak ne zaman uygun?
Madde başına yeterli veri yoksa (az öğrenci) parametre sayısını düşürür. Örnek veride \ell, -4402{,}35'ten -4720{,}75'e (DINA, esit_tahmin ve esit_kayma) düşer ve AIC 9394{,}7'den 9955{,}5'e çıkar; uyum belirgin bozulur, yani bu testte maddeler arasında tahmin ve kayma çok farklıdır.
S4. Doymuş sınıf dağılımı 2^K parametre; 12 beceri 4096 sınıf demek. Şablon bunu nasıl yönetiyor?
K\le12 sınırı vardır (106) ve DINA/DINO'da dağılım gerçekten doymuştur; 12 beceri için 4095 serbest parametre, yaklaşık 1000 öğrenciyle belirsizdir. G-DINA ve ACDM'de gdina indirgenmiş uzayı kullanır (168.4.4), bu şablon belgesinde yazılı değildir.
S5. SRMSR 0{,}082 kötü uyum mu?
Yaygın okuma <0{,}05 iyi uyumdur (Chen ve ark., 2013, mutlak uyum için SRMSR ve MADcor kullanır). Örnekte DINA 0{,}082, G-DINA 0{,}053 verir; yani doymuş madde modeli uyumu iyileştirir. Eşik yazılmaz ve karşılaştırmalı değerlendirme kullanıcıya bırakılmıştır.
S6. MAP ve MLE profilleri neden farklı?
MAP sınıf olasılıklarını önsel olarak kullanır, MLE yalnız olabilirliğe bakar. 536 öğrencinin 405'inde ikisi aynı çıkar; fark büyük ölçüde beraberliklerin (eşit sınıfların) çözümünden gelir. Öğrenci 2 için MAP 11111111, MLE 11111011'dir (p5_bt_ornek, p5_bt_mle).
S7. G-DINA'da 190 madde parametresi 536 öğrenci için fazla mı?
Parametre sayısı \sum_j 2^{K_j^{\ast}}'dir: 190. Çok sayıda beceri gerektiren maddelerde (K_j^{\ast}=4) 16 parametre vardır ve bazılarının SH'si hesaplanamaz (iki parametre, p5_bt_gdina). Küçük örneklemde DINA ya da ACDM tercih edilir; ya da monoton ile kısıtlanır (ama bkz. 168.8).
S8. Q-matrisi hatalıysa şablon bunu fark eder mi?
Yalnız yapısal hataları (0/1 dışı, boş satır/sütun, boyut): içerik hatasını (yanlış beceri) fark etmez; madde RMSEA'sı yüksekse ve maddenin g ya da s değerleri büyükse Q satırından şüphelenilir.
168.10 Kaynaklar
Chen, J., de la Torre, J., ve Zhang, Z. (2013). Relative and absolute fit evaluation in cognitive diagnosis modeling. Journal of Educational Measurement, 50(2), 123–140. https://doi.org/10.1111/j.1745-3984.2012.00185.x
DeCarlo, L. T. (2011). On the analysis of fraction subtraction data: The DINA model, classification, latent class sizes, and the Q-matrix. Applied Psychological Measurement, 35(1), 8–26. https://doi.org/10.1177/0146621610377081
de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34(1), 115–130. https://doi.org/10.3102/1076998607309474
de la Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76(2), 179–199. https://doi.org/10.1007/s11336-011-9207-7
de la Torre, J., ve Douglas, J. A. (2004). Higher-order latent trait models for cognitive diagnosis. Psychometrika, 69(3), 333–353. https://doi.org/10.1007/BF02295640
Dempster, A. P., Laird, N. M., ve Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22. https://doi.org/10.1111/j.2517-6161.1977.tb01600.x
George, A. C., Robitzsch, A., Kiefer, T., Groß, J., ve Ünlü, A. (2016). The R package CDM for cognitive diagnosis models. Journal of Statistical Software, 74(2). https://doi.org/10.18637/jss.v074.i02
Junker, B. W., ve Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25(3), 258–272. https://doi.org/10.1177/01466210122032064
Ma, W., ve de la Torre, J. (2020). GDINA: An R package for cognitive diagnosis modeling. Journal of Statistical Software, 93(14). https://doi.org/10.18637/jss.v093.i14
Tatsuoka, K. K. (1983). Rule space: An approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20(4), 345–354. https://doi.org/10.1111/j.1745-3984.1983.tb00212.x
Templin, J. L., ve Henson, R. A. (2006). Measurement of psychological disorders using cognitive diagnosis models. Psychological Methods, 11(3), 287–305. https://doi.org/10.1037/1082-989X.11.3.287