MerQuR+Başvuru Kitabı

65. Gerçek Beceri İstatistiği (TSS)

Analiz kimliği: tss · Menü adı: TSS · Panel: gui/panels/analyses/tss.py (form 39–135, read_options 138–152, execute 157–164, ek metin 167–233) · Motor: stats/classification_eval.py, ClassificationEval.tss (satır 357–397), _tss_main (399–497), _tss_independent (499–641); eşik ölçütleri _select_threshold (846–880), ekler _tss_extras (910–955), Kappa _kappa_stats (883–907)

65.1 Ne işe yarar

Gerçek beceri istatistiği (True Skill Statistic, TSS), ikili bir sınıflayıcının tek bir eşikte duyarlılık ve özgüllüğünü tek sayıda toplar. Cevapladığı soru şudur: "Bu eşikte model, rastgele bir tahminden ne kadar daha iyi ayırıyor?"

\text{TSS}=\text{Se}+\text{Sp}-1=\frac{\text{DP}}{\text{DP}+\text{YN}}+\frac{\text{DN}}{\text{DN}+\text{YP}}-1
  • Se (duyarlılık): pozitiflerin doğru sınıflanan oranı; Sp (özgüllük): negatiflerin doğru sınıflanan oranı.
  • DP, YP, DN, YN: doğru pozitif, yanlış pozitif, doğru negatif, yanlış negatif sayıları.
  • TSS = 1 kusursuz, 0 rastgele, < 0 rastgeleden kötü (sınıflar ters). Değer aralığı [-1;\ 1].

TSS, meteorolojide Peirce (1884) beceri skoru ve Hanssen–Kuipers ayırıcısı olarak, tanı testlerinde Youden J olarak bilinir. Allouche, Tsoar ve Kadmon (2006) tür dağılım modellerinde (SDM) Kappa'nın yerine önermiştir; çünkü TSS, Kappa'nın aksine prevalanstan doğrudan etkilenmez. MerQur TSS'i varsayılan olarak seçilen yordayıcılarla uydurduğu lojistik modelin olasılıklarından, Youden eşiğinde hesaplar; isteğe bağlı olarak hazır bir olasılık sütunu, bağımsız test seti ya da k-kat çapraz doğrulama kullanır.

Ne zaman kullanılır?

  • Tür varlık/yokluk modellerinde (MaxEnt, RF, GLM) tek eşikte başarım raporu için.
  • Sınıflar dengesizken (prevalans 0,1 ya da 0,8) Kappa ya da doğruluk yerine.
  • Bir modelin bağımsız test setindeki ya da çapraz doğrulamadaki başarımını eşikle birlikte raporlamak için.

Ne zaman kullanılmaz?

  • Eşikten bağımsız bir ayırma özeti isteniyorsa: ROC Curve (Bölüm 64), AUC.
  • Tahmin sütunu zaten hazırsa ve on metrik birlikte isteniyorsa: Confusion Matrix Metrics (Bölüm 66); orada Youden J = TSS'tir.
  • Sonuç ikiden çok sınıfa sahipse: hedef tam iki değer içermelidir (classification_eval.py:665–666).
  • Amaç model katsayılarını yorumlamaksa: Logistic Regression (Bölüm 46).

Sık karıştırılan analizler. TSS, ROC panelindeki Youden J ile aynı formüldür; fark, ROC'un tek değişkende ham değişkeni skor alması, TSS'in ise her zaman lojistik olasılık (ya da hazır olasılık) kullanmasıdır. Cohen Kappa da bir eşikte uyumu ölçer, ama beklenen uyumu marjinallerden hesapladığı için prevalansa duyarlıdır. TSS'in "prevalanstan bağımsız" olması, Se ve Sp'nin sınıf içi oranlar olmasından gelir; eşik seçimi ise prevalansa bağlı olabilir.

65.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
İkili hedef Tam iki farklı değer. Değilse hata (classification_eval.py:665–666).
Sayısal yordayıcılar Lojistik model için. Sayısal olmayan ve sabit sütunlar düşer (ml/_preprocessing.py).
Lojistik model uygun Logit doğrusal, ayrışma yok. Ayrışma Konis LP ile denetlenir, uyarı (classification_eval.py:491).
Bağımsız birimler Satırlar arası bağımlılık yok. Denetlenmez; mekânsal özilişkide CV iyimser kalır.
Hazır olasılıkta yön Sütun, otomatik pozitif sınıfın (ortak olay kuralı; 0/1'de 1) olasılığıdır. Pozitif diğer sınıfsa 1 − p alınır ve not yazılır (:515–521); TSS negatif çıkarsa skor yönü uyarısı verilir.

Eksik değer. Hedefi eksik satırlar atılır, sonra yordayıcılarda (ya da olasılık sütununda) eksik olan satırlar liste bazında silinir (_prepare, classification_eval.py:659, :688–693).

Uç durumlar.

  • Olasılık sütunu hedefle aynıysa hata (classification_eval.py:431–432).
  • Silme sonrası 10'dan az satır kalırsa hata (min_rows=10).
  • Bölünmüş eğitim kümesinde bir sınıf yoksa sklearn tabakalı bölme hata verir; k, küçük sınıftaki gözlem sayısını aşamaz.
  • Duyarlılık ya da özgüllüğün paydası 0 olursa (test katında bir sınıf yoksa) oran 0 sayılır (:463–464, :545–548); karmaşıklık matrisi panelindeki gibi "tanımsız" yazılmaz.

65.3 Parametreler

Varsayılanlar tss.py:39–152 içinden okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Hedef (İkili) ilk kategorik sütun Gerçek durum.
Bağımsız değişkenler — Lojistik modelin yordayıcıları. Hazır olasılık seçilirse kullanılmaz.
Değerlendirme Tüm veride (örneklem içi) Bağımsız test seti ya da k-katlı CV. Eşik eğitimde, TSS testte; genellikle daha küçük.
Test oranı 0,30 Tabakalı bölmede test payı. Yalnız test setinde etkin.
CV kat sayısı (k) 5 Tabakalı, karıştırmalı k-kat. Yalnız CV'de etkin.
Rastgele tohum 42 Bölme, CV ve bootstrap tohumu. Örneklem içinde (bootstrap kapalıysa) devre dışı.
Hazır olasılık sütunu (yok — lojistik model uydur) Kendi modelinizin olasılığı. Lojistik uydurulmaz.
Pozitif sınıf Otomatik (ortak olay kuralı: 0/1'de 1, 1/2'de 2; iki düzeyden yalnız biri tanınan olumlu etiketse (evet, yes, var, present, pozitif …) o düzey; aksi hâlde düzey sırasındaki ikinci değer ve uyarı) Hangi değerin "var" sayılacağı. Se ve Sp yer değiştirir; TSS aynı kalır, eşik değişir.
Eşik ölçütü Maks. duyarlılık+özgüllük (Youden) Se = Sp, tahmini = gözlenen prevalans, maks. Kappa, Se ≥ 0,90. Eşik ve TSS değişir.
Elle eşik Otomatik Skor ≥ eşik → pozitif. Ölçütü geçersiz kılar.
TSS GA + Kappa + AUC kapalı TSS GA'sı, Cohen κ (ASE, z), AUC (DeLong). Ek blok.
TSS GA yöntemi Wald (bağımsız binom) Ya da bootstrap. Yalnız ek blok açıkken.

Bootstrap tekrar sayısı formda yoktur: B=1000 (classification_eval.py:374). Bootstrap seçildiğinde tohum (seed) alanı etkinleşir.

Eşik ölçütü neden TSS'i bu kadar değiştiriyor?

TSS bir eşiğe bağlıdır. "Maks. duyarlılık+özgüllük" tanımı gereği TSS'i en büyük yapan eşiği seçer; öteki ölçütler başka bir amaca (Se = Sp dengesi, prevalansı koruma, Kappa'yı büyütme, en az %90 duyarlılık) hizmet eder ve TSS'i her zaman küçültür. Tıp #61'de TSS, ölçüte göre 0,277 ile 0,395 arasında değişir. Bu yüzden TSS her zaman eşik ölçütüyle birlikte raporlanmalıdır; farklı ölçütlerle elde edilmiş TSS'ler karşılaştırılmaz (Liu ve ark. 2005).

65.4 Tıp örneği

Dosya: english/datasets/Tip/61_tss_disease_prediction.xlsx (Türkçe kopya: samples/Tum_Analiz_Tip/61_tss_hastalik_tahmin.xlsx).

Değişken Rol Tür Açıklama/özet
disease_present Hedef ikili (0/1) 158 hasta (1), 42 sağlam (0); prevalans 0,79
risk_factor1 Yordayıcı sürekli 0–1 ölçekli risk puanı
risk_factor2 Yordayıcı sürekli 0–1 ölçekli risk puanı
prediction_score Hazır olasılık (isteğe bağlı) sürekli Dış modelin tahmin olasılığı
patient_id kullanılmaz 1–200

n ve eksik değer: 200 hasta, eksik değer yok.

Klinik soru: İki risk faktörüne dayalı tanı modeli hastalığı ne kadar iyi ayırıyor? Sınıflar dengesiz olduğundan doğruluk yerine TSS. (VIDEO_SCRIPT_TR.txt, #61.)

Seçilen ayarlar: Arayüz varsayılanı (örneklem içi, Youden, otomatik pozitif sınıf). Sayısal yürüyüş için ayrıca beş eşik ölçütü, elle eşik 0,5, Wald ve bootstrap GA ile ek blok, bağımsız test seti (oran 0,3, tohum 42), 5-kat CV (tohum 42) ve hazır olasılık sütunu (prediction_score; pozitif = 1 ve pozitif = 0) çalıştırılmıştır.

Şekil 65.1. Lojistik olasılık eşiğine göre duyarlılık, özgüllük ve TSS. Dikey çizgiler beş eşik ölçütünün seçtiği eşiklerdir; TSS'in tepe noktası Youden eşiğidir (0,878).

65.5 Formüller ve hesap adımları

MerQur'un sırası şudur: (1) hedefi 0/1'e çevir, eksikleri sil, (2) skoru kur: hazır olasılık yoksa cezasız ML lojistik regresyonun tahmin olasılığı, (3) eşiği seç (elle, Youden ya da başka ölçüt), (4) "skor ≥ eşik → pozitif" kuralıyla karmaşıklık matrisi, (5) Se, Sp, TSS, etiket, (6) bağımsız değerlendirmede bu adımları eğitim/test ayrımıyla tekrarla, (7) istenirse GA, Kappa ve AUC.

65.5.1 Skor: lojistik olasılık

\hat\pi_i=\frac{1}{1+\exp\!\big(-\hat\beta_0-\hat\beta_1x_{i1}-\dots-\hat\beta_px_{ip}\big)}
  • \hat\beta: cezasız ML katsayıları; IRLS, R glm.fit ile aynı başlangıç ve sapma ölçütü (classification_eval.py:1077–1109; ayrıntı Bölüm 64.5.1).
  • \hat\pi_i: 12 ondalığa yuvarlanmış olasılık (:1117).
  • Hazır olasılık sütunu seçilirse \hat\pi_i yerine o sütun; pozitif sınıf olarak öteki değer seçilmişse 1-p_i (:515–521).

Koddaki tercih

Skor, ROC ile aynı cezasız ML lojistik regresyonundan gelir; sklearn'ün L2 cezalı lojistiği kullanılmaz (:442–444). TSS her zaman olasılık ölçeğinde çalışır; tek yordayıcıda bile lojistik dönüşüm yapılır. Lojistik dönüşüm sıralamayı korur, dolayısıyla tek yordayıcıda Se, Sp ve TSS ham değişkenle aynıdır, yalnız eşiğin birimi olasılıktır.

65.5.2 Eşik ölçütleri

Aday eşikler gözlenen skorlardır, büyükten küçüğe taranır; eşitlikte ilk, yani en yüksek eşik seçilir (classification_eval.py:857–880). Her aday c için \text{DP}(c), \text{YP}(c) "skor ≥ c" ile sayılır:

\text{maxsss: }\max_c\big[\text{Se}(c)+\text{Sp}(c)\big],\qquad \text{Se=Sp: }\min_c\big|\text{Se}(c)-\text{Sp}(c)\big|,\qquad \text{prevalans: }\min_c\left|\frac{\text{DP}+\text{YP}}{N}-\frac{m}{N}\right|
\text{maks. }\kappa:\ \max_c\frac{p_o(c)-p_e(c)}{1-p_e(c)},\qquad p_o=\frac{\text{DP}+\text{DN}}{N},\qquad p_e=\frac{(\text{DP}+\text{YP})\,m+(N-\text{DP}-\text{YP})\,n}{N^2}
  • m: pozitif sayısı, n: negatif sayısı, N=m+n.
  • "Duyarlılık ≥ 0,90": \text{Se}\ge0{,}90 olan en yüksek eşik (%10 ihmal oranı).
  • Tanımlar PresenceAbsence::optimal.thresholds ölçütleridir ("MaxSens+Spec", "Sens=Spec", "PredPrev=Obs", "MaxKappa", "ReqSens"). PresenceAbsence varsayılan olarak 101 noktalı bir ızgara kullanır; MerQur gözlenen skorların tamamını tarar.

PresenceAbsence ile eşik kuralı farkı

PresenceAbsence "olasılık > eşik" kuralını, MerQur "olasılık ≥ eşik" kuralını kullanır (classification_eval.py:457). Aynı sınıflama, PresenceAbsence'ta bir alttaki gözlenen olasılıkla, MerQur'da sınıflamaya giren en küçük olasılıkla yazılır. Tıp #61'de Youden noktası için PresenceAbsence 0,878116, MerQur 0,878138 yazar; Se, Sp ve TSS aynıdır.

65.5.3 TSS ve etiket

\text{Se}=\frac{\text{DP}}{\text{DP}+\text{YN}},\qquad \text{Sp}=\frac{\text{DN}}{\text{DN}+\text{YP}},\qquad \text{TSS}=\text{Se}+\text{Sp}-1

Etiket (classification_eval.py:1187–1194): < 0 rastgeleden kötü, < 0,2 zayıf, < 0,4 kabul edilebilir, < 0,6 iyi, < 0,8 çok iyi, üstü mükemmel.

TSS neden prevalanstan bağımsız sayılıyor?

Se yalnız pozitiflerin, Sp yalnız negatiflerin içinde hesaplanır. Prevalans değişip her sınıfın içindeki skor dağılımı aynı kalırsa, sabit eşikte Se ve Sp, dolayısıyla TSS değişmez. Kappa'da ise beklenen uyum p_e marjinallere bağlıdır; aynı Se ve Sp'de prevalans 0,5'ten uzaklaştıkça Kappa düşer (Allouche ve ark. 2006). Bu bağımsızlık eşik sabitken geçerlidir; "maks. Kappa" ya da "tahmini = gözlenen prevalans" ölçütüyle seçilen eşik prevalansa bağlıdır.

65.5.4 Bağımsız değerlendirme: test seti ve çapraz doğrulama

Test seti (classification_eval.py:558–568): train_test_split(test_size, random_state=seed, stratify=y) ile tabakalı bölünür; model ve eşik eğitim kümesinde bulunur, karmaşıklık matrisi ve TSS test kümesinde hesaplanır.

k-kat CV (:569–587): StratifiedKFold(k, shuffle=True, random_state=seed); her katta model ve eşik kalan k-1 katta, TSS dışarıda bırakılan katta hesaplanır:

\overline{\text{TSS}}=\frac1k\sum_{f=1}^{k}\text{TSS}_f,\qquad \text{SS}=\sqrt{\frac{\sum_f\big(\text{TSS}_f-\overline{\text{TSS}}\big)^2}{k-1}},\qquad \text{TSS}_{\text{havuz}}=\frac{\sum_f\text{DP}_f}{m}+\frac{\sum_f\text{DN}_f}{n}-1
  • Ana satırdaki TSS, Se ve Sp kat ortalamalarıdır; karışıklık matrisi katların toplamıdır.
  • \text{TSS}_{\text{havuz}} ek blokta (GA, Kappa, AUC ile) yazılır; kat ortalamasından biraz farklı olabilir.
  • Gösterilen eşik, tüm veride uydurulan son modelin eşiğidir; katlarda kullanılan eşikler farklıdır.
  • Örneklem içi TSS, "Karşılaştırma: örneklem içi (iyimser) TSS" satırında yazılır.

65.5.5 Ek blok: TSS GA'sı, Kappa ve AUC

Wald GA (classification_eval.py:923–926):

\widehat{\operatorname{Var}}(\text{TSS})=\frac{\text{Se}(1-\text{Se})}{m}+\frac{\text{Sp}(1-\text{Sp})}{n},\qquad \text{GA}=\text{TSS}\pm z_{1-\alpha/2}\sqrt{\widehat{\operatorname{Var}}}
  • Se ve Sp iki bağımsız binom orandır (farklı birimler); kovaryans terimi yoktur.
  • GA, TSS'in tanım aralığı olan [-1;\ 1]'e kırpılır (Kappa GA'sı gibi); eşiğin aynı veride seçildiğini hesaba katmaz.

Bootstrap GA (:928–946): eşik ve sınıflama sabit tutulur, satırlar tabakasız yerine koyarak çekilir (B=1000), tek sınıflı örnekler atlanır; yüzdelik GA ve bootstrap SS. CV'de uygulanmaz, Wald'a döner.

Cohen κ (:883–907), tablo \begin{pmatrix}\text{DP}&\text{YN}\\\text{YP}&\text{DN}\end{pmatrix} üzerinde:

\hat\kappa=\frac{p_o-p_e}{1-p_e},\qquad \text{ASE}^2=\frac{\sum_i p_{ii}\big[1-(p_{i\cdot}+p_{\cdot i})(1-\hat\kappa)\big]^2+(1-\hat\kappa)^2\sum_{i\neq j}p_{ij}(p_{\cdot i}+p_{j\cdot})^2-\big[\hat\kappa-p_e(1-\hat\kappa)\big]^2}{N(1-p_e)^2}
\text{SE}_0^2=\frac{p_e+p_e^2-\sum_i p_{i\cdot}p_{\cdot i}(p_{i\cdot}+p_{\cdot i})}{N(1-p_e)^2},\qquad z=\frac{\hat\kappa}{\text{SE}_0}
  • ASE: Fleiss, Cohen ve Everitt (1969) H₁ varyansı; GA \hat\kappa\pm z\,\text{ASE}, [-1;\ 1]'e kırpılır.
  • SE₀: H₀: κ = 0 altındaki varyans, yalnız z testinde. Ayrıntı ve gerekçe: Bölüm 29.5.3.

AUC: aynı skorların DeLong AUC'si ve GA'sı (Bölüm 64.5.4). CV'de kat-dışı (out-of-fold) skorlardan hesaplanır.

65.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Ara değerler dogrulama/tss/elle_hesap.py ile, MerQur kodu çağrılmadan (lojistik model Newton–Raphson, eşikler doğrudan tarama) hesaplanmıştır.

Adım 1 — Lojistik model. \hat\beta_0=-4{,}2500, \hat\beta_1=5{,}1361 (risk_factor1), \hat\beta_2=4{,}2608 (risk_factor2). 200 olasılık 199 farklı değer alır (bir bağ).

Adım 2 — Youden eşiği. Taranan 199 aday eşik içinde Se + Sp en büyük değerine 0,878138'de ulaşır:

Tahmin + Tahmin − Toplam
Gerçek + DP = 70 YN = 88 158
Gerçek − YP = 2 DN = 40 42
\text{Se}=\frac{70}{158}=0{,}443038,\qquad \text{Sp}=\frac{40}{42}=0{,}952381,\qquad \text{TSS}=0{,}443038+0{,}952381-1=0{,}395419

Bir alt olasılık (0,878116) bir sağlam bireye aittir; onu da pozitif saymak YP'yi 3'e çıkarır ve TSS'i 0,3716'ya düşürür.

Adım 3 — Öteki ölçütler.

Ölçüt Eşik DP YP DN YN Se Sp TSS
Youden (maks. Se+Sp) 0,878138 70 2 40 88 0,4430 0,9524 0,3954
Se = Sp 0,805193 105 14 28 53 0,6646 0,6667 0,3312
Tahmini = gözlenen prevalans 0,684308 134 24 18 24 0,8481 0,4286 0,2767
Maks. Kappa 0,603452 149 27 15 9 0,9430 0,3571 0,3002
Se ≥ 0,90 0,645877 143 26 16 15 0,9051 0,3810 0,2860
Elle eşik 0,5 0,5 151 32 10 7 0,9557 0,2381 0,1938

Prevalans 0,79 olduğundan "tahmini = gözlenen prevalans" ölçütü 158 pozitif tahmin ister (DP + YP = 158). Klasik 0,5 eşiği, prevalans yüksek olduğundan hemen herkesi pozitif sayar ve en düşük TSS'i verir.

Adım 4 — Wald GA.

\widehat{\operatorname{Var}}=\frac{0{,}443038\cdot0{,}556962}{158}+\frac{0{,}952381\cdot0{,}047619}{42}=0{,}0015618+0{,}0010798,\qquad \text{SE}=0{,}051396
\text{GA}_{95}=0{,}395419\mp1{,}959964\cdot0{,}051396=[0{,}2947;\ 0{,}4962]

Bootstrap (B = 1000, tohum 42, tabakasız): SE = 0,051105, GA [0{,}2957;\ 0{,}4913].

Adım 5 — Kappa. p_o=(70+40)/200=0{,}55; p_e=(72\cdot158+128\cdot42)/200^2=0{,}4188:

\hat\kappa=\frac{0{,}55-0{,}4188}{1-0{,}4188}=0{,}225740,\qquad \text{ASE}=0{,}041407,\qquad \text{SE}_0=0{,}047572,\qquad z=4{,}7452

p=2{,}08\times10^{-6}; GA [0{,}1446;\ 0{,}3069]. TSS 0,40 "kabul edilebilir"ken κ 0,23'tür: prevalans 0,79 olduğu için p_e yüksek, κ bastırılmıştır.

Adım 6 — AUC. Aynı olasılıkların DeLong AUC'si 0,752637 (SE 0,038696).

Adım 7 — Bağımsız test seti. Tabakalı bölme: eğitim 140, test 60 (47 pozitif, 13 negatif). Eğitimde Youden eşiği 0,737464. Testte DP = 38, YP = 8, DN = 5, YN = 9; Se = 0,8085, Sp = 0,3846, TSS = 0,1931. Örneklem içi TSS (0,3954) ile fark, eşik ve modelin aynı veride seçilmesinin getirdiği iyimserliği gösterir; 13 negatifle Sp çok oynaktır.

Adım 8 — 5-kat CV. Kat TSS'leri 0,3125; 0,21875; 0,3750; 0,3871; 0,2939. Ortalama 0,3175, SS 0,0680; kat ortalaması Se 0,4869, Sp 0,8306. Havuzlanmış matris DP = 77, YP = 7, DN = 35, YN = 81 → TSS 0,3207; havuzlanmış κ 0,1947 (ASE 0,0486), kat-dışı AUC 0,7458.

Adım 9 — Hazır olasılık sütunu. prediction_score ile Youden eşiği 0,539: Se 0,8544, Sp 0,4286, TSS 0,2830. Pozitif sınıf 0 seçilirse skor 1-p alınır, eşik 0,463 olur; Se ve Sp yer değiştirir, TSS aynıdır.

65.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucundan, stats.classification_eval modülünde round() bellekte etkisizleştirilerek alınmıştır (dogrulama/tss/merqur_calistir.py). R: 4.5.3; stats::glm, PresenceAbsence::optimal.thresholds (aday eşikler gözlenen olasılıklar) ve presence.absence.accuracy, irr::kappa2 (z, p), vcd::Kappa (ASE, GA), pROC (DeLong). PresenceAbsence eşiği "> eşik" kuralıyla verdiğinden R sütununa bir üstteki gözlenen olasılık yazılmıştır (Bölüm 65.5.2). Test seti ve CV için bölme indisleri MerQur'un çağırdığı sklearn fonksiyonlarıyla aynı tohumla üretilmiş (bolme_indisleri.json) ve hem Python hem R hesabına girdi olarak verilmiştir; modeller her iki tarafta bağımsız uydurulmuştur. Bootstrap satırları aynı tohumla yeniden üretimdir.

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
\beta_0 (lojistik) — −4,250015 −4,250015 4,1e−12 ✓
\beta_1 (lojistik) — 5,136051 5,136051 3,7e−12 ✓
\beta_2 (lojistik) — 4,260838 4,260838 4,6e−12 ✓
Youden (maks. Se+Sp): eşik 0,878138 0,878138 0,878138 2,6e−13 ✓
Youden (maks. Se+Sp): duyarlılık 0,443038 0,443038 0,443038 2,8e−16 ✓
Youden (maks. Se+Sp): özgüllük 0,952381 0,952381 0,952381 3,3e−16 ✓
Youden (maks. Se+Sp): TSS 0,395419 0,395419 0,395419 4,4e−16 ✓
Se = Sp: eşik 0,805193 0,805193 0,805193 3,5e−13 ✓
Se = Sp: duyarlılık 0,664557 0,664557 0,664557 4,4e−16 ✓
Se = Sp: özgüllük 0,666667 0,666667 0,666667 3,3e−16 ✓
Se = Sp: TSS 0,331224 0,331224 0,331224 5,6e−17 ✓
Tahmini = gözlenen prevalans: eşik 0,684308 0,684308 0,684308 4,5e−13 ✓
Tahmini = gözlenen prevalans: duyarlılık 0,848101 0,848101 0,848101 2,2e−16 ✓
Tahmini = gözlenen prevalans: özgüllük 0,428571 0,428571 0,428571 4,4e−16 ✓
Tahmini = gözlenen prevalans: TSS 0,276673 0,276673 0,276673 2,8e−16 ✓
Maks. Kappa: eşik 0,603452 0,603452 0,603452 3,3e−13 ✓
Maks. Kappa: duyarlılık 0,943038 0,943038 0,943038 3,3e−16 ✓
Maks. Kappa: özgüllük 0,357143 0,357143 0,357143 1,7e−16 ✓
Maks. Kappa: TSS 0,300181 0,300181 0,300181 4,4e−16 ✓
Duyarlılık ≥ 0,90: eşik 0,645877 0,645877 0,645877 3,2e−13 ✓
Duyarlılık ≥ 0,90: duyarlılık 0,905063 0,905063 0,905063 4,4e−16 ✓
Duyarlılık ≥ 0,90: özgüllük 0,380952 0,380952 0,380952 5,6e−17 ✓
Duyarlılık ≥ 0,90: TSS 0,286016 0,286016 0,286016 3,9e−16 ✓
Elle eşik 0,5: duyarlılık 0,955696 0,955696 0,955696 4,4e−16 ✓
Elle eşik 0,5: özgüllük 0,238095 0,238095 0,238095 8,3e−17 ✓
TSS Wald SE 0,051396 0,051396 0,051396 6,9e−18 ✓
TSS Wald %95 GA alt 0,294685 0,294685 0,294685 5,6e−17 ✓
TSS Wald %95 GA üst 0,496153 0,496153 0,496153 5,6e−17 ✓
Kappa 0,225740 0,225740 0,225740 5,6e−17 ✓
Kappa ASE (H₁) 0,041407 0,041407 0,041407 0,0e+00 ✓
Kappa SE₀ (H₀) 0,047572 0,047572 — 6,9e−18 ✓
Kappa z 4,745199 4,745199 4,745199 1,8e−15 ✓
Kappa p 2,0830·10−6 2,0830·10−6 2,0830·10−6 9,7e−17 ✓
Kappa %95 GA alt 0,144584 0,144584 0,144584 3,3e−16 ✓
Kappa %95 GA üst 0,306896 0,306896 0,306896 2,2e−16 ✓
AUC 0,752637 0,752637 0,752637 3,3e−16 ✓
AUC SE (DeLong) 0,038696 0,038696 0,038696 6,9e−18 ✓
AUC %95 GA alt 0,676794 0,676794 0,676794 3,3e−16 ✓
Bootstrap TSS GA alt (tohum 42, B = 1000) 0,295687 0,295687 — 5,6e−17 ✓
Bootstrap TSS GA üst 0,491333 0,491333 — 0,0e+00 ✓
Bootstrap TSS SE 0,051105 0,051105 — 0,0e+00 ✓
Test seti: eğitim eşiği 0,737464 0,737464 0,737464 1,7e−13 ✓
Test seti: TP 38 38 38 0,0e+00 ✓
Test seti: FP 8 8 8 0,0e+00 ✓
Test seti: TSS 0,193126 0,193126 0,193126 2,8e−17 ✓
CV kat 1 TSS 0,312500 0,312500 0,312500 0,0e+00 ✓
CV kat 2 TSS 0,218750 0,218750 0,218750 0,0e+00 ✓
CV kat 3 TSS 0,375000 0,375000 0,375000 0,0e+00 ✓
CV kat 4 TSS 0,387097 0,387097 0,387097 5,0e−16 ✓
CV kat 5 TSS 0,293907 0,293907 0,293907 1,7e−16 ✓
CV TSS ortalaması 0,317451 0,317451 0,317451 1,1e−16 ✓
CV TSS SS 0,067976 0,067976 0,067976 2,8e−17 ✓
CV duyarlılık (kat ort.) 0,486895 0,486895 0,486895 3,9e−16 ✓
CV özgüllük (kat ort.) 0,830556 0,830556 0,830556 5,6e−16 ✓
CV havuzlanmış TSS 0,320675 0,320675 0,320675 1,7e−16 ✓
CV havuzlanmış Kappa 0,194729 0,194729 0,194729 5,8e−16 ✓
CV havuzlanmış Kappa ASE 0,048623 0,048623 0,048623 2,1e−17 ✓
CV kat-dışı AUC 0,745781 0,745781 0,745781 4,4e−16 ✓
CV kat-dışı AUC SE 0,039362 0,039362 0,039362 3,5e−17 ✓
Hazır olasılık: eşik 0,539000 0,539000 0,539000 0,0e+00 ✓
Hazır olasılık: TSS 0,283002 0,283002 0,283002 5,6e−17 ✓
Hazır, pozitif = 0: eşik (1 − p) 0,463000 0,463000 0,463000 5,6e−17 ✓
Hazır, pozitif = 0: duyarlılık 0,428571 0,428571 0,428571 4,4e−16 ✓

Sonuç: 63 büyüklüğün tamamı ölçütü karşılar.

65.7 Çıktıyı okuma

Varsayılan ayarlarla sonuç metni (APA başlığı kısaltılmıştır):

GERÇEK BECERİ İSTATİSTİĞİ (TSS)
──────────────────────────────────────────────────
TSS               : 0.3954
Eşik              : 0.8781
Duyarlılık        : 0.443
Özgüllük          : 0.9524

Karmaşıklık Matrisi:
  TP = 70   FP = 2
  FN = 88   TN = 40

Gözlem            : n = 200

TSS = 0.3954  (kabul edilebilir)
Eşik = 0.8781   |   Duyarlılık = 0.4430,  Özgüllük = 0.9524
Karmaşıklık matrisi: TP=70, FP=2, TN=40, FN=88
TSS = .40, Duyarlılık = .44, Özgüllük = .95, N = 200

"TSS GA + Kappa + AUC" açıkken eklenen blok:

── Eşik ve ek metrikler ──
  Eşik ölçütü: Maks. duyarlılık+özgüllük (Youden)  →  eşik = 0.8781   (pozitif durum: 1)
  TSS = 0.3954, SE = 0.0514, %95 GA [0.2947, 0.4962] (Wald (bağımsız binom))
  Cohen Kappa = 0.2257, ASE = 0.0414, %95 GA [0.1446, 0.3069];  H0: κ = 0 → z = 4.745, p < .001
  AUC = 0.7526, SE (DeLong) = 0.0387, %95 GA [0.6768, 0.8285]
Satır Ne yazar Nasıl yorumlanır
TSS ve etiket Se + Sp − 1, eşikte Etiket eşikleri Bölüm 65.5.3; SDM yazınında TSS > 0,5 çoğu zaman "iyi" sayılır.
Eşik Olasılık ölçeğinde "Skor ≥ eşik → pozitif". Hazır olasılıkta pozitif sınıf çevrildiyse 1-p ölçeğinde.
Karmaşıklık matrisi DP, YP, YN, DN Gövde ve grafikte satır gerçek, sütun tahmin.
[Bağımsız test seti] / [k-katlı CV] Değerlendirme türü Ek blokta eğitim/test n, kat TSS'leri ve örneklem içi karşılaştırma.
TSS GA Wald ya da bootstrap Eşiği sabit sayar; iyimser.
Cohen Kappa κ, ASE, GA, z (SE₀ ile) Prevalans yüksek/düşükse TSS'ten belirgin düşük çıkar.
AUC Eşikten bağımsız ayırma CV'de kat-dışı skorlardan.
Ayrışma uyarısı Lojistik modelde tam/yarı ayrışma Olasılıklar 0/1'e yığılır; TSS iyimser.
Grafik 2×2 karmaşıklık matrisi ısı haritası Başlıkta TSS ve eşik.

APA biçiminde rapor cümlesi:

İki risk faktörüyle kurulan lojistik modelin ayırma başarısı gerçek beceri istatistiğiyle (TSS) değerlendirildi (n = 200; 158 hasta, 42 sağlam). Youden ölçütüyle seçilen olasılık eşiğinde (0,878) duyarlılık 0,44, özgüllük 0,95 ve TSS = 0,40 (Wald %95 GA [0,29; 0,50]) bulundu; Cohen κ = 0,23 (%95 GA [0,14; 0,31]), AUC = 0,75 idi. Beş katlı tabakalı çapraz doğrulamada TSS 0,32 ± 0,07'ye düştü.

65.8 Uzman soruları

S1. TSS ile Youden J arasında fark var mı?

Formül aynıdır: \text{Se}+\text{Sp}-1. Fark kullanım alanı ve eşiktir: Youden J çoğunlukla "eşiği seçen" ölçüt olarak, TSS ise "seçilmiş eşikteki başarım" olarak raporlanır. MerQur'da varsayılan eşik Youden olduğundan örneklem içi TSS, ROC eğrisindeki en büyük J'dir. Tıp #61'de ROC panelinin lojistik modundaki Youden noktası (Se 0,4430, 1 − Sp 0,0476) ile buradaki TSS (0,3954) aynı noktadır.

S2. Wald GA neden bağımsız binom varsayıyor; eşik seçimi varyansa girmiyor mu?

Se pozitiflerden, Sp negatiflerden hesaplandığı için bu iki oran farklı birimlere dayanır ve bağımsızdır (classification_eval.py:923). Ama eşik aynı veride TSS'i büyütmek için seçildiğinden gerçek değişkenlik daha büyüktür ve nokta kestirimi yukarı yanlıdır. Bağımsız test seti ya da CV bu yanlılığı giderir; GA'yı test kümesinin karmaşıklık matrisinden hesaplamak (ek blok test setinde zaten bunu yapar) en dürüst yoldur.

S3. Bootstrap GA'sı neden tabakasız ve neden eşik sabit?

_tss_extras satırları yerine koyarak çeker ve eşiği, dolayısıyla tahmin edilen sınıfı sabit tutar (classification_eval.py:931–942); yalnız örnekleme belirsizliği ölçülür, model ve eşik seçimi değil. Tabakasız çekiliş prevalansın da değişmesine izin verir. Çıktı satırı yöntemi "Bootstrap (yüzdelik, tabakasız, B = 1000)" diye adıyla yazar; ROC panelinin tabakalı bootstrap'ı (B=2000) ayrı bir yöntemdir.

S4. Prevalans 0,79 iken κ 0,23, TSS 0,40. Hangisi doğru?

İkisi de doğru, farklı soruları yanıtlar. κ şansla beklenen uyumu marjinallerden hesaplar: model 72 kişiyi pozitif, 128 kişiyi negatif tahmin ederken gerçekte 158 pozitif vardır; p_e=0{,}42 yüksektir. TSS ise her sınıfın içindeki doğru oranlarına bakar. Allouche ve ark. (2006) bu nedenle SDM'de TSS'i önerir. Tanı testinde PPV/NPV gibi prevalansa bağlı ölçüler de ayrıca raporlanmalıdır.

S5. CV'de neden iki farklı TSS var?

Ana satır kat TSS'lerinin ortalamasıdır (0,3175); her kat kendi eşiğiyle değerlendirilir. Ek blok, katların karmaşıklık matrislerini toplayıp tek bir TSS (0,3207) ve onun GA'sını verir (classification_eval.py:583–585, :920). biomod2 ve ENMeval kat ortalamasını raporlar; havuzlanmış değer küçük katlarda daha kararlıdır. Hangisinin raporlandığı yazılmalıdır.

S6. Bir katta hiç negatif yoksa ne olur?

Tabakalı bölme bunu büyük ölçüde önler; ama negatif sayısı k'dan küçükse sklearn hata verir. Bir test kümesinde bir sınıf yine de boş kalırsa Se ya da Sp'nin paydası 0 olur ve MerQur bu oranı 0 sayar (classification_eval.py:545–548); TSS yapay olarak düşer. Karmaşıklık matrisi paneli aynı durumda "tanımsız" yazar. Küçük sınıfta en az 2·k gözlem önerilir.

S7. Hazır olasılık sütunu neden otomatik pozitif sınıfın olasılığı sayılıyor?

Çoğu yazılım (sklearn predict_proba[:, 1], R predict(type = "response")) 0/1 hedefte 1'in olasılığını verir; MerQur bu sözleşmeyi varsayar. Pozitif sınıf olarak öteki değer seçilirse skor 1-p alınır ve not yazılır (classification_eval.py:515–521). Sütun bir olasılık değil de "küçük değer = riskli" bir skor ise TSS negatif çıkar; MerQur bu durumda skor yönünün ters olabileceğini uyarır. Sütun önceden ters çevrilmelidir.

S8. PresenceAbsence ile neden eşik farklı, TSS aynı?

PresenceAbsence "> eşik", MerQur "≥ eşik" kuralını kullanır; aynı sınıflama iki farklı sayıyla yazılır (Bölüm 65.5.2). Ayrıca PresenceAbsence varsayılanı 0,00–1,00 arası 101 noktalı ızgaradır; MerQur bütün gözlenen olasılıkları tarar. Izgara kullanılırsa bu veride Youden TSS'i biraz farklı çıkabilir. MerQur'un taraması kesin en büyüğü bulur.

65.9 Sık hatalar ve tuzaklar

  • Örneklem içi TSS'i model başarımı diye raporlamak. Eşik ve model aynı veride seçilir; test seti ya da CV değerini verin.
  • Eşik ölçütünü yazmamak. Aynı veride TSS 0,28 ile 0,40 arasında değişebilir.
  • ROC'un bootstrap GA'sıyla TSS'inkini aynı sanmak. TSS bootstrap'ı tabakasız ve B = 1000'dir; ROC'unki tabakalı ve B = 2000'dir.
  • Test setinde tüm veri n'sini raporlamak. Test setinde TSS 60 gözlemden hesaplanır; APA ve gövde test n'sini yazar.
  • 0,5 eşiğini varsayılan sanmak. MerQur'da varsayılan Youden'dır; 0,5 ancak "Elle eşik" alanına yazılırsa kullanılır ve dengesiz sınıflarda kötü sonuç verir.
  • Hazır olasılık sütununda yönü denetlememek. Pozitif sınıfı değiştirince not satırını okuyun.
  • κ ile TSS'i aynı ölçekte yorumlamak. Etiket sınırları farklıdır; prevalans uçtayken κ düşer.
  • Kat sayısını küçük sınıfa göre seçmemek. Az negatifli verilerde k = 5 ile her katta 8–9 negatif kalır; Sp ve TSS katlar arasında çok oynar (SS 0,07).

65.10 Kaynaklar

  • Allouche, O., Tsoar, A., & Kadmon, R. (2006). Assessing the accuracy of species distribution models: Prevalence, kappa and the true skill statistic (TSS). Journal of Applied Ecology, 43(6), 1223–1232. https://doi.org/10.1111/j.1365-2664.2006.01214.x
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
  • Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323–327. https://doi.org/10.1037/h0028106
  • Freeman, E. A., & Moisen, G. G. (2008). PresenceAbsence: An R package for presence absence analysis. Journal of Statistical Software, 23(11), 1–31. https://doi.org/10.18637/jss.v023.i11
  • Liu, C., Berry, P. M., Dawson, T. P., & Pearson, R. G. (2005). Selecting thresholds of occurrence in the prediction of species distributions. Ecography, 28(3), 385–393. https://doi.org/10.1111/j.0906-7590.2005.03957.x
  • Peirce, C. S. (1884). The numerical measure of the success of predictions. Science, 4(93), 453–454. https://doi.org/10.1126/science.ns-4.93.453-a