MerQuR+Başvuru Kitabı

66. Karmaşıklık Matrisi Metrikleri

Analiz kimliği: confusion_metrics · Menü adı: Confusion Matrix Metrics · Panel ve motor: gui/panels/analyses/confusion_metrics.py (form 105–199, execute 246–428, ek testler _q5_tests 443–465, çok sınıflı _q5_multiclass 468–522, bootstrap _q5_boot 538–558, metin 651–763); Kappa SE stats/classification_eval.py, _kappa_stats (883–907)

66.1 Ne işe yarar

Karmaşıklık matrisi (confusion matrix), bir sınıflayıcının ya da tanı testinin önceden üretilmiş ikili tahminlerini gerçek sınıflarla 2×2 tabloda karşılaştırır. MerQur bu tablodan on temel metrik (doğruluk, duyarlılık, özgüllük, PPV, NPV, F1, MCC, dengeli doğruluk, Cohen κ, Youden J), STARD'ın istediği tanı oranlarını (LR+, LR−, tanısal OR, prevalans) ve isteğe bağlı testleri hesaplar. Cevapladığı soru şudur: "Bu tahminler gerçek durumu ne kadar ve hangi yönde doğru yakalıyor?"

Tahmin + Tahmin −
Gerçek + DP (doğru pozitif, TP) YN (yanlış negatif, FN)
Gerçek − YP (yanlış pozitif, FP) DN (doğru negatif, TN)

Model uydurulmaz, eşik seçilmez: tahmin sütunu zaten sınıf etiketidir. Bu yüzden analiz, ROC (Bölüm 64) ve TSS'in (Bölüm 65) tamamlayıcısıdır: onlar eşiği bulur, bu panel bulunan eşikteki başarımı ayrıntılı raporlar.

Ne zaman kullanılır?

  • Yeni bir tanı testinin altın standarda göre doğruluğunu STARD biçiminde raporlamak için.
  • Bir makine öğrenmesi modelinin test kümesi tahminlerini değerlendirmek için.
  • İki sınıfı aşan durumlarda sınıf bazında (bire-karşı-diğerleri) ve makro/ağırlıklı özetler için.

Ne zaman kullanılmaz?

  • Tahmin sürekli bir skor ya da olasılıksa ve eşik henüz seçilmediyse: ROC Curve (Bölüm 64) ya da TSS (Bölüm 65).
  • Soru iki değerlendiricinin uyumuysa (ikisi de "gerçek" değil): Cohen's Kappa (Bölüm 29).
  • Soru iki eşleşik oranın farkıysa (eski/yeni test aynı hastalarda): McNemar (Bölüm 28); bu paneldeki McNemar yalnız tahmin ile gerçek arasındaki sistematik sapmayı sınar.

Sık karıştırılan analizler. Ki-kare bağımsızlık testi (Bölüm 25) tahmin ile gerçeğin ilişkili olup olmadığını sorar; ilişki ters yönde de olabilir. Cohen κ bu panelde de verilir, ama burada iki sütun simetrik değildir: biri gerçektir. Doğruluk, dengesiz sınıflarda yanıltır; MCC ve dengeli doğruluk bu nedenle eklenmiştir.

66.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Gerçek sütunu en az iki sınıf içerir Pozitif ve negatif örnek var. Tek sınıfsa hata (confusion_metrics.py:279–282).
Pozitif sınıf gerçekte bulunur Seçilen değer hedef sütunda. Yoksa hata (:269–274).
Aynı kodlama Tahmin ve gerçek aynı etiketleri kullanır. Tip bağımsız eşleşme: 1, 1.0, "1" aynı (:212–218).
Bağımsız birimler Her satır ayrı birim. Denetlenmez.
Altın standart doğru Gerçek sütun hatasız. Denetlenmez.

Eksik değer. İki sütundan birinde eksik olan satır atılır (confusion_metrics.py:271): liste bazında silme.

Uç durumlar.

  • Geçerli satır yoksa hata (:259–260).
  • Paydası sıfır olan oran (ör. hiç pozitif tahmin yoksa PPV) tanımsızdır: NaN saklanır, "—" yazılır, uyarı eklenir (:285–293, :351–352).
  • Bir hücre 0 ise uyarı (:349–350); LR, DOR ve log-GA'ları tanımsız olabilir (:323–343).
  • n < 30 ise küçük örneklem uyarısı (:347–348).
  • Gerçek ya da tahminde ikiden çok sınıf varsa çok sınıflı özet kendiliğinden açılır; üstteki ölçüler "pozitif sınıf karşı diğerleri" olur (:357–359).

66.3 Parametreler

Varsayılanlar confusion_metrics.py:105–207 ve stats_panel.py:7012–7048 içinden okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Hedef (gerçek) ilk kategorik sütun Gerçek sınıf.
Tahmin ilk kategorik sütun Tahmin edilen sınıf; hedefle aynı olamaz.
Pozitif sınıf Otomatik (ortak olay kuralı: 0/1'de 1, 1/2'de 2; iki düzeyden yalnız biri tanınan olumlu etiketse (evet, yes, var, present, pozitif …) o düzey; aksi hâlde düzey sırasındaki ikinci değer ve uyarı) DP/YN'nin "pozitif" saydığı değer. Se ↔ Sp, PPV ↔ NPV yer değiştirir; doğruluk, MCC, κ, dengeli doğruluk, J, DOR değişmez.
Güven Düzeyi %95 \alpha Wilson, log, Clopper–Pearson, κ ve bootstrap GA'ları.
Ek çıktılar: Kappa SE/GA + McNemar + NIR testi kapalı κ ASE ve testi, McNemar (düzeltmeli, düzeltmesiz, kesin), doğruluk > NIR testi. Ek blok ve tablo satırları.
Ek çıktılar: Çok sınıflı matris kapalı Sınıf bazlı ölçüler, makro/ağırlıklı ortalamalar. İkiden çok sınıfta kendiliğinden açılır.
Ek çıktılar: F1/MCC/BA/Youden bootstrap GA kapalı Yüzdelik bootstrap GA. B = 2000, tohum 42 (formda yok).

Pozitif sınıf neden önemli, MCC neden değişmiyor?

Duyarlılık "gerçek pozitiflerin yakalanma oranı"dır; pozitif sınıfı değiştirmek tabloyu çapraz çevirir ve duyarlılık ile özgüllük, PPV ile NPV yer değiştirir. F1 yalnız pozitif sınıfa bakar (DN'yi hiç kullanmaz), bu yüzden değişir: Tıp #62'de pozitif = 1 için 0,9231, pozitif = 0 için 0,9508. MCC, κ, doğruluk, dengeli doğruluk, J ve DOR dört hücrenin simetrik fonksiyonlarıdır; değişmezler. Varsayılan pozitif, ROC ve TSS panelleriyle aynı kuralla düzey sırasındaki ikinci değerdir; metin etiketlerde ("hasta"/"sağlam") düzey sırası MerQur'un genel kuralından gelir (Bölüm 66.8 S5).

66.4 Tıp örneği

Dosya: english/datasets/Tip/62_complexity_diabetes_class.xlsx (Türkçe kopya: samples/Tum_Analiz_Tip/62_karmasiklik_diabet_sinif.xlsx).

Değişken Rol Tür Açıklama/özet
actual_diagnosis Hedef (gerçek) ikili (0/1) 1 = diyabet; 75 pozitif, 125 negatif
prediction_diagnosis Tahmin ikili (0/1) 81 pozitif, 119 negatif tahmin
prediction_score kullanılmaz sürekli Tahminin dayandığı skor (ROC/TSS için)
patient_id kullanılmaz 1–200

n ve eksik değer: 200 hasta, eksik değer yok.

Klinik soru: Bir tanı sınıflayıcısının diyabet tahminleri gerçek tanılarla ne kadar uyuşuyor? (VIDEO_SCRIPT_TR.txt, #62.)

Seçilen ayarlar: Arayüz varsayılanı (pozitif = 1, %95). Sayısal yürüyüş için ayrıca bütün ek çıktılar, %99 güven düzeyi ve pozitif = 0 çalıştırılmıştır. Tıp verisi ikili olduğundan çok sınıflı özet iki sınıfla gösterilmiştir.

Şekil 66.1. Solda Tıp #62'nin 2×2 karmaşıklık matrisi; sağda oran metrikleri ve Wilson %95 GA'ları. Prevalans GA'sı, örneklem tasarımı vaka–kontrol değilse hastalık sıklığının kestirimidir.

66.5 Formüller ve hesap adımları

MerQur'un sırası şudur: (1) iki sütunda eksik olan satırları sil, (2) sınıfları tip bağımsız anahtarla eşle, (3) pozitif sınıfa göre y ve \hat y'yi 0/1'e çevir ve 2×2 tabloyu kur, (4) on metrik (paydası sıfır olanlar NaN), (5) Wilson GA'ları, (6) LR+, LR−, DOR ve log-GA'ları, prevalans ve tespit oranları, (7) istenen ekler: κ testi, McNemar, NIR testi, çok sınıflı özet, bootstrap.

66.5.1 Oran metrikleri ve Wilson GA

\text{Doğruluk}=\frac{\text{DP}+\text{DN}}{N},\quad \text{Se}=\frac{\text{DP}}{\text{DP}+\text{YN}},\quad \text{Sp}=\frac{\text{DN}}{\text{DN}+\text{YP}},\quad \text{PPV}=\frac{\text{DP}}{\text{DP}+\text{YP}},\quad \text{NPV}=\frac{\text{DN}}{\text{DN}+\text{YN}}
  • N: analize giren satır sayısı. Doğruluk sklearn accuracy_score ile (confusion_metrics.py:323); öteki dört oran dört hücreden doğrudan (:314–317).
  • Her birinin GA'sı Wilson skor aralığıdır, statsmodels proportion_confint(method="wilson") ile (:302–314); formül Bölüm 64.5.6.

Neden Wilson, neden Wald değil?

Wald aralığı \hat p\pm z\sqrt{\hat p(1-\hat p)/N}, oran 0 ya da 1'e yakınken (duyarlılık 0,96 gibi) kapsama olasılığını tutturamaz ve sınırı 1'in üstüne taşıyabilir. Wilson aralığı skor testini tersine çevirir; asimetriktir, [0;\ 1] içinde kalır ve küçük N'de de nominal kapsamaya yakındır (Newcombe 1998). Bu veride duyarlılık 0,96 için Wilson [0,889; 0,986]'dır; Wald [0,916; 1,004] olurdu.

66.5.2 Bileşik metrikler

F_1=\frac{2\,\text{DP}}{2\,\text{DP}+\text{YP}+\text{YN}},\qquad \text{MCC}=\frac{\text{DP}\cdot\text{DN}-\text{YP}\cdot\text{YN}}{\sqrt{(\text{DP}+\text{YP})(\text{DP}+\text{YN})(\text{DN}+\text{YP})(\text{DN}+\text{YN})}}
\text{BA}=\frac{\text{Se}+\text{Sp}}{2},\qquad J=\text{Se}+\text{Sp}-1,\qquad \hat\kappa=\frac{p_o-p_e}{1-p_e}
  • F_1: PPV ile duyarlılığın harmonik ortalaması; DN'yi kullanmaz. Paydası 0 ise NaN (:291).
  • MCC: gerçek ve tahmin 0/1 değişkenleri arasındaki Pearson korelasyonu (φ katsayısı), [-1;\ 1]; sklearn matthews_corrcoef (:296), payda 0 ise 0 döner.
  • BA (dengeli doğruluk): sklearn balanced_accuracy_score; J: Youden indeksi (= TSS).
  • \hat\kappa: sklearn cohen_kappa_score; p_o doğruluk, p_e=\big[(\text{DP}+\text{YN})(\text{DP}+\text{YP})+(\text{DN}+\text{YP})(\text{DN}+\text{YN})\big]/N^2.

Neden MCC?

Doğruluk ve F1, sınıflardan biri baskınken yanıltır: %95'i negatif bir veride herkese "negatif" demek %95 doğruluk verir. MCC dört hücrenin tamamını kullanır ve yalnız iki sınıfı da iyi tahmin eden bir model yüksek MCC alır (Chicco ve Jurman 2020). Yorum bloğu |MCC| ≥ 0,7'yi güçlü, < 0,2'yi zayıf sayar (confusion_metrics.py:755–762); dengeli doğruluk doğruluktan 0,05'ten fazla düşükse dengesizlik uyarısı verir (:747–753).

66.5.3 STARD tanı oranları

\text{LR}^{+}=\frac{\text{Se}}{1-\text{Sp}},\qquad \text{LR}^{-}=\frac{1-\text{Se}}{\text{Sp}},\qquad \text{DOR}=\frac{\text{DP}\cdot\text{DN}}{\text{YP}\cdot\text{YN}}=\frac{\text{LR}^{+}}{\text{LR}^{-}}
\text{SE}\big(\ln\text{LR}^{+}\big)=\sqrt{\frac1{\text{DP}}-\frac1{\text{DP}+\text{YN}}+\frac1{\text{YP}}-\frac1{\text{YP}+\text{DN}}},\qquad \text{SE}\big(\ln\text{DOR}\big)=\sqrt{\frac1{\text{DP}}+\frac1{\text{YP}}+\frac1{\text{YN}}+\frac1{\text{DN}}}
  • GA: \widehat{\text{LR}}\cdot\exp(\mp z\,\text{SE}_{\ln}); log yöntemi (Simel, Samsa ve Matchar 1991), epiR::epi.tests ile aynı (confusion_metrics.py:345–371).
  • \text{SE}(\ln\text{LR}^{-}): aynı biçimde YN ve DN ile.
  • Bir hücre 0 ise ilgili oran ve GA tanımsızdır ("—"); MerQur 0,5 eklemesi (Haldane) yapmaz.
  • Prevalans (\text{DP}+\text{YN})/N Wilson GA'lı; tespit oranı \text{DP}/N, tespit prevalansı (\text{DP}+\text{YP})/N (caret tanımları).

LR neden prevalanstan bağımsız, PPV neden değil?

LR'ler yalnız Se ve Sp'ye bağlıdır; Bayes kuralında ön-test odds'unu son-test odds'una çevirir: \text{odds}_{\text{son}}=\text{odds}_{\text{ön}}\cdot\text{LR}. PPV ise prevalansla birlikte değişir; aynı test, prevalansı %37,5 olan bu örneklemde PPV 0,889 verirken prevalansı %5 olan bir tarama nüfusunda çok daha düşük PPV verir. Bu yüzden STARD, tanı doğruluğunu LR ya da Se/Sp ile, uygulama değerini PPV/NPV ile raporlamayı önerir.

66.5.4 Ek testler: κ, McNemar, doğruluk > NIR

κ testi (_kappa_stats, classification_eval.py:883–907): ASE (H₁) ile GA, SE₀ (H₀) ile z; formüller Bölüm 65.5.5 ve 29.5.3. Tablo satır gerçek, sütun tahmindir.

McNemar (confusion_metrics.py:450–463), b=\text{YN}, c=\text{YP}:

\chi^2_{\text{düz}}=\frac{(|b-c|-1)^2}{b+c},\qquad \chi^2=\frac{(b-c)^2}{b+c},\qquad p_{\text{kesin}}=\min\Big\{1,\ 2\,P\big(B\le\min(b,c)\big)\Big\},\ B\sim\text{Bin}(b+c,\ 0{,}5)
  • H₀: modelin yanlış pozitif ve yanlış negatif sayısı eşit, yani tahminlerin pozitif oranı gerçek prevalansa eşit (marjinal homojenlik).
  • Düzeltmeli \chi^2 R mcnemar.test ve caret varsayılanı; ayrıca düzeltmesiz \chi^2 ve kesin p (iki yönlü binom). Üçü de yazılır.

Doğruluk için kesin GA ve NIR testi (_acc_nir, :405–412):

\text{GA}_{\text{CP}}=\Big[B_{\alpha/2}(k,\ N-k+1);\ B_{1-\alpha/2}(k+1,\ N-k)\Big],\qquad \text{NIR}=\frac{\max(m,\ n)}{N},\qquad p=P\big(X\ge k\big),\ X\sim\text{Bin}(N,\ \text{NIR})
  • k=\text{DP}+\text{DN}: doğru sınıflanan sayı; B_q(a,b): Beta dağılımının q yüzdeliği (Clopper–Pearson).
  • NIR (no-information rate): herkese çoğunluk sınıfını söyleyen modelin doğruluğu; m, n gerçek pozitif ve negatif sayıları.
  • Tek yönlü test: H₁: doğruluk > NIR. caret confusionMatrix ile aynı (AccuracyLower/Upper, AccuracyPValue).

Aynı tabloda iki farklı doğruluk GA'sı

Ana metrik bloğundaki doğruluk GA'sı Wilson'dır ([0,8981; 0,9653]); ek bloktaki "kesin GA" Clopper–Pearson'dır ([0,8975; 0,9686]). İkisi de doğrudur, farklı yöntemlerdir. caret ile karşılaştırırken kesin GA'yı, epiR ile karşılaştırırken yöntemi denetleyin.

66.5.5 Çok sınıflı özet ve bootstrap

Çok sınıflı (confusion_metrics.py:468–522): K\times K matris (satır gerçek, sütun tahmin); sınıflar MerQur'un düzey sırasıyla dizilir: Veri sekmesinde tanımlı sıra, yoksa sayısal ya da doğal sıra, o da yoksa verideki ilk görülme sırası. Her sınıf c için bire-karşı-diğerleri: \text{DP}_c=M_{cc}, \text{YN}_c=\sum_jM_{cj}-M_{cc}, \text{YP}_c=\sum_iM_{ic}-M_{cc}.

\text{Makro}=\frac1{K'}\sum_{c}\text{ölçü}_c,\qquad \text{Ağırlıklı}=\frac{\sum_c n_c\,\text{ölçü}_c}{\sum_c n_c},\qquad \text{Mikro }F_1=\frac{\sum_cM_{cc}}{N}
  • K': gerçekte en az bir gözlemi olan sınıf sayısı; tanımsız (NaN) ölçüler ortalamaya girmez.
  • n_c: c sınıfının gerçek sıklığı (destek). Mikro F1 tek etiketli sınıflamada doğruluğa eşittir.
  • Çok sınıflı κ aynı _kappa_stats ile K\times K tablodan; doğruluk GA'sı ve NIR testi yukarıdaki gibi.

Bootstrap (:510–530): satırlar yerine koyarak çekilir (B=2000, default_rng(42)), tek sınıflı örnekler atlanır; F1, MCC, BA ve J için yüzdelik GA. Payda 0 olduğunda bootstrap içinde F1 ve MCC 0 sayılır.

66.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Ara değerler dogrulama/confusion_metrics/elle_hesap.py ile, MerQur kodu çağrılmadan hesaplanmıştır.

Adım 1 — Tablo.

Tahmin + Tahmin − Toplam
Gerçek + DP = 72 YN = 3 75
Gerçek − YP = 9 DN = 116 125
Toplam 81 119 200

Adım 2 — Oranlar. Doğruluk = 188/200 = 0,9400; Se = 72/75 = 0,9600; Sp = 116/125 = 0,9280; PPV = 72/81 = 0,8889; NPV = 116/119 = 0,9748. Duyarlılığın Wilson GA'sı (N=75, z^2=3{,}8415):

\frac{0{,}96+\frac{3{,}8415}{150}\ \mp\ 1{,}96\sqrt{\frac{0{,}96\cdot0{,}04}{75}+\frac{3{,}8415}{4\cdot75^2}}}{1+\frac{3{,}8415}{75}}=\frac{0{,}98561\mp0{,}05121}{1{,}05122}=[0{,}8889;\ 0{,}9863]

Adım 3 — Bileşik metrikler.

F_1=\frac{144}{144+9+3}=0{,}9231,\qquad \text{MCC}=\frac{72\cdot116-9\cdot3}{\sqrt{81\cdot75\cdot125\cdot119}}=\frac{8325}{9506{,}08}=0{,}8758

BA = (0,96 + 0,928)/2 = 0,9440; J = 0,8880. κ: p_o=0{,}94, p_e=(75\cdot81+125\cdot119)/40000=0{,}52375, \hat\kappa=(0{,}94-0{,}52375)/0{,}47625=0{,}8740.

Adım 4 — LR ve DOR.

\text{LR}^{+}=\frac{0{,}96}{0{,}072}=13{,}333,\qquad \text{SE}(\ln\text{LR}^{+})=\sqrt{\tfrac1{72}-\tfrac1{75}+\tfrac19-\tfrac1{125}}=0{,}32197,\qquad \text{GA}=[7{,}0937;\ 25{,}0612]

LR− = 0,04/0,928 = 0,04310, GA [0,01421; 0,13076]. DOR = (72·116)/(9·3) = 309,33; SE(ln DOR) = 0,68334; GA [81,05; 1180,56]. DOR'un GA'sı geniştir, çünkü YN = 3 tek başına SE'nin büyük kısmını taşır (1/3). Prevalans 0,375 [0,3109; 0,4439], tespit oranı 0,36, tespit prevalansı 0,405.

Adım 5 — Ek testler. κ ASE = 0,03518, GA [0,8051; 0,9430]; SE₀ = 0,07057, z=12{,}385. McNemar: b=3, c=9; düzeltmeli \chi^2=(6-1)^2/12=2{,}0833, p=0{,}1489; düzeltmesiz \chi^2=3, p=0{,}0833; kesin p=2\,P(B\le3\mid12;\ 0{,}5)=0{,}1460. Model yanlış pozitiflere biraz eğilimli görünse de fark anlamlı değildir. Doğruluğun Clopper–Pearson GA'sı [0,8975; 0,9686]; NIR = 125/200 = 0,625, P(X\ge188)=2{,}23\times10^{-25}.

Adım 6 — Bootstrap ve çok sınıflı özet. Bootstrap %95 GA (B = 2000, tohum 42): F1 [0,8758; 0,9639], MCC [0,8036; 0,9384], BA [0,9093; 0,9736], J [0,8185; 0,9473]. İki sınıflı özette sınıf 0'ın F1'i 0,9508, sınıf 1'in 0,9231; makro F1 0,9369, ağırlıklı F1 (125 ve 75 ağırlıklarla) 0,9404, mikro F1 = doğruluk = 0,94.

Adım 7 — %99 ve pozitif = 0. %99'da duyarlılık Wilson GA [0,8554; 0,9898], LR+ GA [5,82; 30,56], κ GA [0,7834; 0,9646]. Pozitif = 0 seçildiğinde Se = 0,928, Sp = 0,96, PPV = 0,9748, F1 = 0,9508, LR+ = 0,928/0,04 = 23,2; MCC, κ, BA, J ve DOR aynıdır.

66.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucundan, gui.panels.analyses.confusion_metrics modülünde round() bellekte etkisizleştirilerek alınmıştır (dogrulama/confusion_metrics/merqur_calistir.py); Wilson ve log-GA'ları kodda 4 ondalığa yuvarlandığından bu adım gereklidir. R: 4.5.3; caret::confusionMatrix (doğruluk ve Clopper–Pearson GA, NIR testi, κ, McNemar, Se, Sp, PPV, NPV, F1, BA, prevalans, tespit oranları), epiR::epi.tests (LR+, LR−, DOR ve GA'ları), vcd::Kappa (ASE, GA), irr::kappa2 (z), binom::binom.confint(methods = "wilson"), mcnemar.test, binom.test. MCC için R paketi (mltools) kurulu olmadığından R sütunu tanımdan hesaplanmıştır. Bootstrap satırları aynı tohumla yeniden üretimdir.

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Doğruluk 0,940000 0,940000 0,940000 0,0e+00 ✓
Duyarlılık 0,960000 0,960000 0,960000 0,0e+00 ✓
Özgüllük 0,928000 0,928000 0,928000 0,0e+00 ✓
Kesinlik (PPV) 0,888889 0,888889 0,888889 1,1e−16 ✓
NPV 0,974790 0,974790 0,974790 4,4e−16 ✓
F1 0,923077 0,923077 0,923077 1,1e−16 ✓
MCC 0,875755 0,875755 0,875755 2,2e−16 ✓
Dengeli doğruluk 0,944000 0,944000 0,944000 0,0e+00 ✓
Cohen κ 0,874016 0,874016 0,874016 1,1e−16 ✓
Youden J 0,888000 0,888000 0,888000 1,1e−16 ✓
Wilson %95 GA alt, doğruluk 0,898068 0,898068 0,898068 2,2e−16 ✓
Wilson %95 GA üst, doğruluk 0,965348 0,965348 0,965348 1,1e−16 ✓
Wilson %95 GA alt, duyarlılık 0,888870 0,888870 0,888870 4,4e−16 ✓
Wilson %95 GA üst, duyarlılık 0,986304 0,986304 0,986304 1,1e−16 ✓
Wilson %95 GA alt, özgüllük 0,868817 0,868817 0,868817 2,2e−16 ✓
Wilson %95 GA üst, özgüllük 0,961661 0,961661 0,961661 4,4e−16 ✓
Wilson %95 GA alt, PPV 0,802129 0,802129 0,802129 3,3e−16 ✓
Wilson %95 GA üst, PPV 0,940432 0,940432 0,940432 4,4e−16 ✓
Wilson %95 GA alt, NPV 0,928495 0,928495 0,928495 1,1e−16 ✓
Wilson %95 GA üst, NPV 0,991390 0,991390 0,991390 2,2e−16 ✓
Wilson %99 GA alt, duyarlılık 0,855392 0,855392 0,855392 2,2e−16 ✓
Wilson %99 GA üst, NPV 0,993608 0,993608 0,993608 6,7e−16 ✓
LR+ 13,333333 13,333333 13,333333 4,1e−14 ✓
LR+ %95 GA alt 7,093732 7,093732 7,093732 1,8e−15 ✓
LR+ %95 GA üst 25,061250 25,061250 25,061250 2,5e−14 ✓
LR− 0,043103 0,043103 0,043103 6,9e−18 ✓
LR− %95 GA alt 0,014208 0,014208 0,014208 5,7e−17 ✓
LR− %95 GA üst 0,130765 0,130765 0,130765 5,0e−16 ✓
DOR 309,333333 309,333333 309,333333 3,4e−13 ✓
DOR %95 GA alt 81,052491 81,052491 81,052491 0,0e+00 ✓
DOR %95 GA üst 1180,557311 1180,557311 1180,557311 3,2e−12 ✓
LR+ %99 GA üst 30,557644 30,557644 30,557644 4,6e−14 ✓
DOR %99 GA alt 53,210267 53,210267 53,210267 0,0e+00 ✓
Prevalans 0,375000 0,375000 0,375000 0,0e+00 ✓
Prevalans Wilson GA alt 0,310854 0,310854 0,310854 2,8e−16 ✓
Tespit oranı 0,360000 0,360000 0,360000 0,0e+00 ✓
Tespit prevalansı 0,405000 0,405000 0,405000 0,0e+00 ✓
κ ASE 0,035180 0,035180 0,035180 4,2e−17 ✓
κ %95 GA alt 0,805064 0,805064 0,805064 3,3e−16 ✓
κ %95 GA üst 0,942967 0,942967 0,942967 2,2e−16 ✓
κ %99 GA alt 0,783398 0,783398 0,783398 0,0e+00 ✓
κ z (SE₀) 12,385046 12,385046 12,385046 0,0e+00 ✓
McNemar \chi^2 (düzeltmeli) 2,083333 2,083333 2,083333 3,6e−15 ✓
McNemar p (düzeltmeli) 0,148915 0,148915 0,148915 4,4e−15 ✓
McNemar \chi^2 (düzeltmesiz) 3 3 3 0,0e+00 ✓
McNemar p (düzeltmesiz) 0,083265 0,083265 0,083265 1,7e−16 ✓
McNemar kesin p 0,145996 0,145996 0,145996 0,0e+00 ✓
Doğruluk Clopper–Pearson %95 alt 0,897538 0,897538 0,897538 5,6e−16 ✓
Doğruluk Clopper–Pearson %95 üst 0,968616 0,968616 0,968616 4,4e−16 ✓
Doğruluk Clopper–Pearson %99 alt 0,882919 0,882919 0,882919 1,1e−16 ✓
NIR 0,625000 0,625000 0,625000 0,0e+00 ✓
P(doğruluk > NIR) 2,2271·10−25 2,2271·10−25 2,2271·10−25 2,7e−39 ✓
Bootstrap GA alt, F1 (tohum 42) 0,875817 0,875817 — 0,0e+00 ✓
Bootstrap GA üst, F1 0,963855 0,963855 — 0,0e+00 ✓
Bootstrap GA alt, MCC (tohum 42) 0,803585 0,803585 — 0,0e+00 ✓
Bootstrap GA üst, MCC 0,938434 0,938434 — 0,0e+00 ✓
Bootstrap GA alt, Dengeli doğruluk (tohum 42) 0,909272 0,909272 — 0,0e+00 ✓
Bootstrap GA üst, Dengeli doğruluk 0,973627 0,973627 — 0,0e+00 ✓
Bootstrap GA alt, Youden J (tohum 42) 0,818543 0,818543 — 0,0e+00 ✓
Bootstrap GA üst, Youden J 0,947255 0,947255 — 0,0e+00 ✓
Makro F1 0,936948 0,936948 0,936948 3,3e−16 ✓
Makro PPV 0,931839 0,931839 — 0,0e+00 ✓
Ağırlıklı F1 0,940416 0,940416 — 0,0e+00 ✓
Ağırlıklı özgüllük 0,948000 0,948000 — 0,0e+00 ✓
Pozitif = 0: F1 0,950820 0,950820 0,950820 5,6e−16 ✓
Pozitif = 0: PPV 0,974790 0,974790 0,974790 4,4e−16 ✓
Pozitif = 0: LR+ 23,200000 23,200000 — 0,0e+00 ✓

Sonuç: 67 büyüklüğün tamamı ölçütü karşılar.

66.7 Çıktıyı okuma

Varsayılan ayarlarla sonuç metni:

══ KARMAŞIKLIK MATRİSİ ══
                Tahmin=Pozitif   Tahmin=Negatif
Gerçek=Pozitif  TP=72              FN=3
Gerçek=Negatif  FP=9               TN=116

Gözlem  : n = 200  (pozitif = 75, negatif = 125)

══ METRİKLER ══  (%95 GA, Wilson)
Doğruluk            : 0.9400  [0.8981, 0.9653]
Duyarlılık          : 0.9600  [0.8889, 0.9863]
Özgüllük            : 0.9280  [0.8688, 0.9617]
Kesinlik (PPV)      : 0.8889  [0.8021, 0.9404]
NPV                 : 0.9748  [0.9285, 0.9914]
F1 Skoru            : 0.9231
MCC                 : 0.8758
Dengeli doğruluk    : 0.9440
Cohen's Kappa       : 0.8740  (Neredeyse mükemmel uyum)
Youden's J          : 0.8880

══ Tanı testi oranları (STARD) ══
LR+                 : 13.3333  [7.0937, 25.0612]
LR−                 : 0.0431  [0.0142, 0.1308]
Tanısal OR (DOR)    : 309.3333  [81.0525, 1180.5573]
Prevalans           : 0.3750  [0.3109, 0.4439]
Tespit oranı        : 0.3600
Tespit prevalansı   : 0.4050

══ YORUMLAMA ══
─ Genel başarı (doğruluk): %94.0
─ Pozitif yakalama (duyarlılık): %96.0
─ Negatif ayırma (özgüllük): %92.8
✓ MCC = 0.88: güçlü tahmin gücü.

"Kappa SE/GA + McNemar + NIR testi" açıkken eklenen blok:

══ Uyum ve sapma testleri ══
Cohen's Kappa      : 0.8740  (ASE = 0.0352, %95 GA [0.8051, 0.9430]);  H0: κ = 0 → z = 12.385, p < .001
McNemar            : χ² = 2.0833 (süreklilik düzeltmeli), p = 0.1489;  kesin binom p = 0.1460  (FN = 3, FP = 9)
McNemar (düzeltmesiz): χ² = 3.0000, p = 0.0833
Doğruluk %95 kesin GA [0.8975, 0.9686];  NIR = 0.6250, P(Doğruluk > NIR) < .001
Satır Ne yazar Nasıl yorumlanır
Karmaşıklık matrisi DP, YN, YP, DN Satır gerçek, sütun tahmin; "pozitif" seçilen sınıftır.
Oran metrikleri Değer ve Wilson GA Se/Sp testin özelliği; PPV/NPV prevalansa bağlı.
F1, MCC, BA, κ, J Tek sayı özetleri Dengesiz sınıflarda MCC ve BA'ya bakın. κ etiketi Landis–Koch ölçeğidir (Cohen's Kappa paneliyle aynı): < 0 tesadüfün altında, ≤ 0,20 hafif, ≤ 0,40 vasat, ≤ 0,60 orta, ≤ 0,80 önemli, üstü neredeyse mükemmel (confusion_metrics.py:755–762).
STARD bloğu LR+, LR−, DOR, prevalans LR+ > 10 ve LR− < 0,1 güçlü tanı testi sayılır.
Uyum ve sapma testleri κ testi, McNemar, NIR McNemar anlamlıysa model sistematik olarak bir yöne kayar.
Bootstrap bloğu F1, MCC, BA, J için GA B ve tohum başlıkta.
Çok sınıflı blok K\times K matris, sınıf bazında ölçüler, makro/ağırlıklı İki sınıfta da açılabilir.
Uyarılar n < 30, sıfır hücre, tanımsız oran
Tablo sekmesi 16 metrik + GA sütunları (ek testlerle 21 satır) Değerler 4 ondalığa yuvarlanmış.
Grafik 2×2 ısı haritası, hücre etiketleri Başlıkta doğruluk ve MCC.

APA biçiminde rapor cümlesi:

Diyabet sınıflayıcısının 200 hastadaki tahminleri gerçek tanılarla karşılaştırıldı (prevalans %37,5). Duyarlılık %96,0 (%95 GA [88,9; 98,6]), özgüllük %92,8 (%95 GA [86,9; 96,2]), PPV %88,9, NPV %97,5 idi. Pozitif olabilirlik oranı 13,3 (%95 GA [7,1; 25,1]), negatif olabilirlik oranı 0,04 (%95 GA [0,01; 0,13]) bulundu; MCC = 0,88, κ = 0,87. Yanlış pozitif ve yanlış negatif sayıları arasında anlamlı fark yoktu (McNemar \chi^2(1) = 2,08, p = 0,15).

66.8 Uzman soruları

S1. Wilson GA neden doğruluk için de kullanılıyor, caret Clopper–Pearson vermiyor mu?

Ana blok bütün oranlarda tutarlılık için Wilson kullanır (confusion_metrics.py:338). caret'in doğruluk GA'sı Clopper–Pearson'dır; MerQur onu ek testlerde "kesin GA" olarak verir (:433–440). Clopper–Pearson kapsamayı en az nominal tutar ama genişliği büyüktür; Wilson ortalamada nominale daha yakındır (Newcombe 1998).

S2. LR ve DOR GA'larında sıfır hücre nasıl ele alınıyor?

Hücrelerden biri 0 ise log-SE sonsuz olur; MerQur değeri ve GA'yı "—" yazar (confusion_metrics.py:351–371). epiR ve kimi meta-analiz yazılımları her hücreye 0,5 ekler (Haldane–Anscombe); MerQur eklemez. Kusursuz özgüllükte (YP = 0) LR+ sonsuzdur; bu bir yazılım hatası değil, verinin sınırıdır. Raporda düzeltme yapılacaksa ayrıca belirtilmelidir.

S3. McNemar burada neyi sınıyor; tanı testi doğruluğuyla ilgisi ne?

Gerçek ve tahmin aynı hastaların iki "ölçümü" sayılır; McNemar bu iki ölçümün pozitif oranlarının eşitliğini (YP = YN) sınar. Anlamlıysa model sistematik olarak fazla ya da az pozitif söyler. Doğruluk hakkında bilgi vermez: %50 doğruluklu bir model YP = YN ise McNemar'dan geçer. İki testi aynı hastalarda karşılaştırmak için McNemar paneli (Bölüm 28) kullanılmalıdır.

S4. Doğruluk > NIR testi neden tek yönlü?

Soru "model, herkese çoğunluk sınıfını söyleyen bilgisiz kuraldan iyi mi?"dir; kötü olması ilgi konusu değildir. caret'in tanımı budur ve MerQur aynısını kullanır: P(X\ge k), X\sim\text{Bin}(N,\ \text{NIR}) (confusion_metrics.py:440). Bu veride NIR 0,625, doğruluk 0,94; p=2{,}2\times10^{-25}.

S5. Pozitif sınıf metin olduğunda varsayılan ne?

ROC, TSS, karmaşıklık matrisi ve bütün ikili sonuç analizleri tek kuralı paylaşır (default_positive, classification_eval.py; core/binary_event.py): sayısal kodda büyük değer (0/1'de 1, 1/2'de 2); iki düzeyden yalnız biri tanınan olumlu etiketse (evet, yes, var, present, pozitif, event, case, died …) o düzey; aksi hâlde düzey sırasındaki ikinci değer ve "olay kategorisi seçilmedi" uyarısı. Alfabe kullanılmaz. Böylece "Pozitif/Negatif" ya da "Evet/Hayır" etiketli veri, satırların hangi sırayla geldiğinden bağımsız olarak aynı pozitif sınıfı verir. Gerçek ve tahmin sütunlarında ortak sınıf yoksa analiz durur. Metin etiketlerde pozitif sınıfı yine de çıktının künyesinden denetleyin ya da elle seçin.

S6. Tek sınıf tahmin edilirse ne olur?

Model herkese "negatif" derse DP + YP = 0'dır; PPV ve F1 tanımsız (NaN, "—"), MCC'nin paydası sıfırdır ve sklearn 0 döndürür, κ = 0 olur. MerQur uyarı satırında tanımsız oranları listeler (confusion_metrics.py:320–321, :379–380); yorum bloğunda da bu oranlar "—" yazılır.

S7. Makro ve ağırlıklı ortalama hangisi raporlanmalı?

Makro ortalama her sınıfa eşit ağırlık verir ve azınlık sınıfının başarımını görünür kılar; ağırlıklı ortalama sınıf sıklığıyla ağırlıklandırır ve doğruluğa yaklaşır. Dengesiz çok sınıflı problemlerde makro F1 ve makro duyarlılık (= dengeli doğruluk) yeğlenir. MerQur gerçekte bulunmayan sınıfları ve tanımsız değerleri ortalamaya almaz (confusion_metrics.py:498–514); sklearn zero_division ayarına göre farklı sonuç verebilir.

S8. Bootstrap GA neden yalnız F1, MCC, BA ve J için?

Oran metriklerinin (Se, Sp, PPV, NPV, doğruluk) kapalı biçimli Wilson GA'sı vardır. F1 ve MCC'nin varyansı kapalı biçimde karmaşıktır; bootstrap yüzdelik GA'sı bu yüzden yalnız onlara (ve BA, J'ye) uygulanır (confusion_metrics.py:538–558). Bootstrap satırları yerine koyarak çeker, sınıf oranını sabit tutmaz; tohum 42 ve B = 2000 formda değiştirilemez.

66.9 Sık hatalar ve tuzaklar

  • Metin etiketlerde pozitif sınıfı denetlememek. Tanınmayan etiketlerde (ör. "A/B") varsayılan düzey sırasındaki ikinci değerdir ve uyarı yazılır. Künyedeki pozitif sınıfı okuyun ya da elle seçin.
  • PPV'yi başka bir nüfusa taşımak. PPV ve NPV bu örneklemin prevalansına (%37,5) bağlıdır; tarama nüfusunda LR'lerle yeniden hesaplanmalıdır.
  • Yalnız doğruluk raporlamak. Dengesiz sınıflarda yanıltır; MCC, BA ve Se/Sp birlikte verilmelidir.
  • İki doğruluk GA'sını karıştırmak. Ana blok Wilson, ek blok Clopper–Pearson'dır.
  • κ etiketini sayının yerine raporlamak. Landis–Koch sözcükleri yayımlanmış ama keyfî sınırlardır; raporda κ değerini ve GA'sını, etiketi kullanıyorsanız kaynağını verin.
  • McNemar'ı doğruluk testi sanmak. Yalnız YP–YN dengesizliğini sınar.
  • Sıfır hücrede LR'yi "sonsuz başarı" diye yorumlamak. Küçük örneklemde tek bir hasta tabloyu değiştirir; GA tanımsızdır.
  • Tahmin sütunu olarak olasılık vermek. Panel her farklı değeri ayrı sınıf sayar ve çok sınıflı özete geçer; önce eşikle ikili tahmin üretin (TSS ya da ROC).

66.10 Kaynaklar

  • Bossuyt, P. M., Reitsma, J. B., Bruns, D. E., Gatsonis, C. A., Glasziou, P. P., Irwig, L., … Cohen, J. F. (2015). STARD 2015: An updated list of essential items for reporting diagnostic accuracy studies. BMJ, 351, h5527. https://doi.org/10.1136/bmj.h5527
  • Chicco, D., & Jurman, G. (2020). The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics, 21, 6. https://doi.org/10.1186/s12864-019-6413-7
  • Clopper, C. J., & Pearson, E. S. (1934). The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika, 26(4), 404–413. https://doi.org/10.1093/biomet/26.4.404
  • Fagerland, M. W., Lydersen, S., & Laake, P. (2013). The McNemar test for binary matched-pairs data: Mid-p and asymptotic are better than exact conditional. BMC Medical Research Methodology, 13, 91. https://doi.org/10.1186/1471-2288-13-91
  • Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J., & Bossuyt, P. M. M. (2003). The diagnostic odds ratio: A single indicator of test performance. Journal of Clinical Epidemiology, 56(11), 1129–1135. https://doi.org/10.1016/S0895-4356(03)00177-X
  • Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05
  • Matthews, B. W. (1975). Comparison of the predicted and observed secondary structure of T4 phage lysozyme. Biochimica et Biophysica Acta (BBA) – Protein Structure, 405(2), 442–451. https://doi.org/10.1016/0005-2795(75)90109-9
  • McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157. https://doi.org/10.1007/BF02295996
  • Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: Comparison of seven methods. Statistics in Medicine, 17(8), 857–872. https://doi.org/10.1002/(SICI)1097-0258(19980430)17:8<857::AID-SIM777>3.0.CO;2-E
  • Simel, D. L., Samsa, G. P., & Matchar, D. B. (1991). Likelihood ratios with confidence: Sample size estimation for diagnostic test studies. Journal of Clinical Epidemiology, 44(8), 763–770. https://doi.org/10.1016/0895-4356(91)90128-V