64. ROC Eğrisi
Analiz kimliği: roc · Menü adı: ROC Curve · Panel: gui/panels/analyses/roc_curve.py (form 42–135, read_options 138–160, execute 165–172, ek metin 198–291) · Motor: stats/classification_eval.py, ClassificationEval.roc_curve (satır 137–198), _roc_main (200–248), _roc_core (250–355); çıkarım _roc_add_inference (754–812), DeLong _delong_auc_ci (1144–1164), kesim ölçütleri _roc_cutpoint (971–1015)
64.1 Ne işe yarar
ROC (Receiver Operating Characteristic, alıcı işletim karakteristiği) eğrisi, sürekli bir test sonucunun ya da model skorunun ikili bir durumu (hasta/sağlam) bütün olası eşiklerde ne kadar iyi ayırdığını gösterir. Cevapladığı soru şudur: "Rastgele seçilen bir hastanın skoru, rastgele seçilen bir sağlam bireyin skorundan ne olasılıkla yüksektir?" Bu olasılık eğrinin altındaki alandır (AUC).
- X_{+}: pozitif durumdaki (hasta) bir bireyin skoru; X_{-}: negatif durumdaki (sağlam) bir bireyin skoru.
- \tfrac12 P(X_+=X_-): bağlı skorlara yarım puan verilir; böylece AUC, Mann–Whitney U istatistiğinin mn'ye bölümüne eşit olur.
- AUC = 0,5: test yazı-turadan iyi değildir; AUC = 1: tam ayrım.
Eğrinin her noktası bir eşiğe karşılık gelir: yatay eksende yanlış pozitif oranı (1 − özgüllük), düşey eksende doğru pozitif oranı (duyarlılık). MerQur ayrıca bir kesme noktası önerir (varsayılan Youden J), o noktadaki duyarlılık/özgüllüğü, isteğe bağlı olarak PPV/NPV ve güven aralıklarını verir.
Ne zaman kullanılır?
- Tek bir sürekli biyobelirtecin (troponin, PSA, skor) tanısal doğruluğunu ölçmek ve kesme noktası seçmek için.
- Bir lojistik modelin (birden çok yordayıcı) ayırt etme gücünü (C istatistiği) raporlamak için.
- Aynı hastalarda ölçülmüş iki testin AUC'sini karşılaştırmak için (ayrı eğri modu, eşleşik DeLong testi).
Ne zaman kullanılmaz?
- Test sonucu zaten ikiliyse (pozitif/negatif): tek bir nokta vardır; Confusion Matrix Metrics (Bölüm 66).
- Tek bir eşikte duyarlılık + özgüllük − 1 özeti isteniyorsa (tür dağılım modellerinde yaygın): TSS (Bölüm 65).
- Sonuç ikiden çok sınıfa sahipse: MerQur ROC'u ikili hedef ister (
classification_eval.py:665–666); çok sınıflı başarım için Confusion Matrix Metrics'in çok sınıflı özeti. - Amaç olasılıkların doğruluğu (kalibrasyon) ise: AUC yalnız sıralamayı ölçer; Logistic Regression (Bölüm 46) Hosmer–Lemeshow ve kalibrasyon çıktıları.
- Olay zamana bağlıysa (sansürlü izlem): zamana bağlı ROC gerekir; bu panel sansürü bilmez.
Sık karıştırılan analizler. Mann–Whitney U testi (Bölüm 18) aynı sıralama bilgisini kullanır: \text{AUC}=U/(mn). Fark, ROC'un ayrıca eşik bazında duyarlılık/özgüllük ve bir güven aralığı vermesidir. Lojistik regresyonun C istatistiği, model olasılıklarının AUC'sidir; ROC panelinde iki ve daha çok yordayıcı seçildiğinde MerQur bu modeli kendisi uydurur. Kesinlik–duyarlılık (PR) eğrisi, prevalans düşükken ROC'tan daha bilgilendiricidir; bu panelde ek çıktı olarak verilir.
64.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| İkili hedef | Hedef sütunda tam iki farklı değer. | Değilse hata (classification_eval.py:665–666). |
| Sürekli ya da sıralı skor | Test değişkeni sayısal. | Sayısal olmayan sütun düşer (ml/_preprocessing.py:222–242). |
| Altın standart doğru | Hedef, gerçek durumu yansıtır. | Denetlenmez. |
| Bağımsız birimler | Her satır ayrı hasta. | Denetlenmez. |
| Yön | Büyük (ya da küçük) değer hastalığı gösterir. | "Test yönü" alanı; otomatikte medyan kuralı. |
| Lojistik modelde ayrışma yok | İki ve daha çok yordayıcıda ML tahminleri sonlu. | Konis LP denetimi, uyarı (classification_eval.py:353–354). |
Eksik değer. Önce hedefi eksik satırlar atılır (classification_eval.py:659), sonra seçilen değişkenlerde eksik olan satırlar liste bazında silinir (prepare_numeric_data, missing_strategy="drop"). n, iki koşulu da sağlayan satır sayısıdır.
Uç durumlar.
- Hedefte iki değer yoksa hata; değişken seçilmemişse hata (
classification_eval.py:654–655). - Silme sonrası 10'dan az satır kalırsa hata (
min_rows=10,:691). - Sabit (varyansı sıfır) ya da kategorik işaretli bir yordayıcı analizden çıkarılır (
:688–693); çıkarılan sütunlar ve kalan yordayıcı sayısı notta yazılır. İki değişkenden biri düşerse analiz tek değişkenli ham ROC'a döner (bkz. Bölüm 64.9). - Her sınıfta en az iki gözlem yoksa DeLong SE ve GA hesaplanmaz (
:1155–1156). - Youden J hiçbir eşikte 0'ı aşmıyorsa (AUC ≤ 0,5) eşik ±∞ yazılır ve not eklenir (
:336–337).
64.3 Parametreler
Varsayılanlar roc_curve.py:42–160 içinden okunmuştur.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Hedef (İkili) | ilk kategorik sütun | Gerçek durum. | Pozitif durum değeriyle birlikte duyarlılığın tanımını belirler. |
| Bağımsız değişkenler | — (en az 1) | Test değişkeni ya da yordayıcılar. | 1 değişken: ham skor; ≥ 2: lojistik model olasılığı. |
| Pozitif sınıf | Otomatik (ortak olay kuralı: 0/1'de 1, 1/2'de 2; iki düzeyden yalnız biri tanınan olumlu etiketse (evet, yes, var, present, pozitif …) o düzey; aksi hâlde düzey sırasındaki ikinci değer ve uyarı) | Hangi değerin "hasta" sayılacağı. | Ters seçim AUC'yi değiştirmez (yön otomatikse), eşiği ve PPV/NPV'yi değiştirir. |
| Test yönü | Otomatik (medyanlara göre) | Büyük ya da küçük değerin pozitif sayılması. | Elle ters yön AUC'yi 1-\text{AUC} yapar. |
| Birden çok değişken | Tek birleşik lojistik model eğrisi | Ya da her değişkene ayrı eğri. | Ayrı modda eşleşik DeLong karşılaştırması eklenir. |
| AUC GA yöntemi | DeLong | Hanley–McNeil ya da tabakalı bootstrap. | Yalnız ek GA. |
| Güven Düzeyi | %95 | z_{1-\alpha/2} | Ek GA ve Wilson GA'ları; ana satır %95 DeLong GA'sını yazar ve seçilen düzey ya da yöntem farklıysa bunu notla belirtir. |
| Kesme ölçütü | Youden J | (0,1)'e en yakın, ağırlıklı Youden, duyarlılık ≥ hedef, özgüllük ≥ hedef. | Ek blokta önerilen eşik değişir. |
| Maliyet oranı (YN/YP) | 1,00 | Ağırlıklı ölçütlerde r katsayısı. | Yalnız "Ağırlıklı Youden" ve "(0,1)'e en yakın" ölçütü. |
| Hedef duyarlılık/özgüllük | 0,90 | "≥ hedef" ölçütlerinin alt sınırı. | Yalnız bu iki ölçütte. |
| Kısmi AUC (özgüllük ≥) | Kapalı | Özgüllüğün bu değerle 1 arasındaki kısmi alan. | Ek satır. |
| İyimserlik düzeltmesi (bootstrap) | Kapalı (0) | B tekrarla Harrell bootstrap'ı. | Yalnız lojistik modelde; tek değişkende not ile yok sayılır. |
| Ek çıktılar: Eşikte PPV/NPV + GA | kapalı | Seçilen eşikte dört oran ve Wilson GA. | Ek blok. |
| Ek çıktılar: PR eğrisi + AP | kapalı | Kesinlik–duyarlılık eğrisi, ortalama kesinlik. | Grafik ikiye bölünür. |
Bootstrap tekrar sayısı (2000) ve tohum (seed) değeri (42) formda yoktur; motor varsayılanlarıdır (classification_eval.py:148–149). Aynı veride bootstrap GA her çalıştırmada aynıdır.
Pozitif sınıf ve yön neden ayrı ayrı soruluyor?
"Pozitif sınıf" duyarlılığın paydasını belirler: hangi gruptaki doğru sınıflama "duyarlılık" sayılır. "Yön" ise skorun hangi ucunun bu gruba işaret ettiğini söyler. Otomatik yön, pROC'un kuralıdır: negatiflerin medyanı pozitiflerin medyanından küçük ya da eşitse büyük değer pozitif sayılır (classification_eval.py:262). Bu kural AUC'yi hep 0,5'in üstüne iter; gerçekte işe yaramayan bir testte bile AUC < 0,5 görmezsiniz. Önceden kayıtlı bir hipotez varsa yönü elle verin; elle verilen ters yön AUC'yi 1-\text{AUC} yapar (bu veride 0,0311).
64.4 Tıp örneği
Dosya: english/datasets/Tip/60_roc_biomarker_cancer.xlsx (Türkçe kopya: samples/Tum_Analiz_Tip/60_roc_biyobelirtec_kanser.xlsx).
| Değişken | Rol | Tür | Açıklama/özet |
|---|---|---|---|
cancer_present |
Hedef | ikili (0/1) | 1 = kanser; 93 pozitif, 157 negatif |
biomarker_score |
Test değişkeni | sürekli | Medyan: kanserlilerde 76,1, kansersizlerde 40,8; 213 farklı değer |
patient_id |
kullanılmaz | 1–250 |
n ve eksik değer: 250 hasta, eksik değer yok. Prevalans 93/250 = 0,372.
Klinik soru: Biyobelirteç skoru kanseri ne kadar iyi ayırıyor, hangi eşikte pozitif sayılmalı? (VIDEO_SCRIPT_TR.txt, #60.)
Seçilen ayarlar: Arayüz varsayılanı (otomatik pozitif sınıf ve yön, DeLong %95, Youden). Sayısal yürüyüş için ayrıca Hanley–McNeil ve bootstrap GA, %99 güven, ters yön, bütün kesim ölçütleri (maliyet oranı 2, hedef 0,90), kısmi AUC (özgüllük ≥ 0,80) ve PR eğrisi çalıştırıldı. #60'ta tek yordayıcı olduğundan birleşik lojistik model, ayrı eğriler ve iyimserlik düzeltmesi Tıp #61 verisiyle (61_tss_disease_prediction.xlsx: risk_factor1, risk_factor2 → disease_present, n = 200, 158 pozitif) gösterilmiştir.
Şekil 64.1. Solda biyobelirtecin ROC eğrisi ve Youden noktası (eşik 61,7); gölgeli şerit kısmi AUC bölgesidir (1 − özgüllük ≤ 0,20). Sağda kesinlik–duyarlılık eğrisi; kesikli çizgi şans düzeyidir (prevalans).
64.5 Formüller ve hesap adımları
MerQur'un sırası şudur: (1) hedefi 0/1'e çevir ve eksikleri sil, (2) skoru kur (tek değişkende değişkenin kendisi, yöne göre işaretli; çok değişkende cezasız ML lojistik olasılığı), (3) bütün eşiklerde ROC noktalarını hesapla ve yamuk kuralıyla AUC'yi bul, (4) Youden J ile eşiği seç, (5) DeLong SE ve %95 GA, (6) seçilen yöntem ve düzeyde ek GA, H₀: AUC = 0,5 testleri, koordinat tablosu, (7) istenen ekler: kesim ölçütü, kısmi AUC, PR/AP, iyimserlik düzeltmesi, eşleşik testler.
64.5.1 Skor ve yön
Tek test değişkeninde skor s_i=x_i (yön "<") ya da s_i=-x_i (yön ">") olur (classification_eval.py:258–264). Lojistik dönüşüm yapılmaz; AUC aynı kalır ve eşik değişken biriminde okunur. İki ve daha çok yordayıcıda:
- \hat\beta: cezasız en çok olabilirlik (ML) katsayıları; IRLS ile, R
glm.fitile aynı başlangıç (\mu=(y+0{,}5)/2), sapma ölçütü |D-D_{\text{eski}}|/(|D|+0{,}1)<10^{-8} ve en çok 25 yineleme (classification_eval.py:1077–1109). - \hat\pi_i: 12 ondalığa yuvarlanmış tahmin olasılığı (
:1117); eşik olasılık ölçeğindedir.
Koddaki tercih
Çok değişkenli skor cezasız ML lojistik modelden gelir (:266–272); sklearn LogisticRegression() varsayılanı L2 cezalı (C=1) olduğundan kullanılmaz. Böylece AUC, R glm + pROC ile aynıdır. Olasılıkların 10^{-12}'ye yuvarlanması, matematiksel olarak eşit doğrusal öngörücülerin kayan nokta gürültüsüyle sahte ayrı eşik üretmesini önler.
64.5.2 ROC noktaları ve AUC
Her aday eşik c için:
- m: pozitif birim sayısı (93); n: negatif birim sayısı (157).
- T_k, F_k: k. ROC noktasının duyarlılığı ve 1 − özgüllüğü; noktalar artan F ile sıralıdır.
- Aday eşikler gözlenen farklı skorlardır;
roc_curve(..., drop_intermediate=False)hiçbir noktayı atlamaz (classification_eval.py:275).
Yamuk kuralı, bağları yarım sayan Mann–Whitney tanımıyla aynı sonucu verir: \text{AUC}=\frac{1}{mn}\sum_{i\in+}\sum_{j\in-}\psi(s_i,s_j), \psi=1 (s_i>s_j), 1/2 (eşit), 0.
64.5.3 Youden eşiği
- u_j: c^* noktasındaki gözlenen skor; u_{j+1}: bir sonraki küçük gözlenen skor.
- Tek değişkende gösterilen eşik, bitişik iki gözlenen değerin orta noktasıdır (
classification_eval.py:281–294); kural "skor > eşik → pozitif" olarak okunur. pROC aynı tanımı kullanır. - Lojistik modelde eşik orta nokta değil, gözlenen olasılığın kendisidir ve kural "olasılık ≥ eşik" olur (
:295–296). - Eşitlikte
argmaxilk noktayı, yani en yüksek eşiği (en düşük yanlış pozitif oranı) seçer.
Neden orta nokta?
61,6 ile 61,8 arasındaki her eşik aynı sınıflamayı verir. Orta nokta (61,7), yeni bir hastanın tam 61,6 ya da 61,8 ölçülmesi durumunda bile "eşiğin hangi tarafında" sorusunu belirsiz bırakmaz ve iki yazılım arasında karşılaştırılabilir bir sayı verir. Lojistik modelde olasılıklar ölçek gereği birimsizdir; orada sklearn'ün "olasılık ≥ eşik" tanımı korunmuştur. Bu yüzden aynı noktayı pROC 0,878127 (orta nokta), MerQur 0,878138 (gözlenen olasılık) yazar.
64.5.4 DeLong standart hatası ve güven aralığı
DeLong, DeLong ve Clarke-Pearson (1988) yöntemi her birimin "yerleşim değeri"ni (placement value) kullanır. MerQur bunu Sun ve Xu'nun (2014) orta-sıra (midrank) biçimiyle hesaplar (classification_eval.py:1144–1164):
- V_{10}(i): i. pozitifin, negatiflerin yüzde kaçından yüksek olduğu; V_{01}(j): j. negatifin, pozitiflerin yüzde kaçından düşük kaldığı.
- R_i: birleşik örneklemdeki orta-sıra; R^{+}_i, R^{-}_j: kendi grubu içindeki orta-sıra.
- S_{10}, S_{01}: yerleşim değerlerinin örneklem varyansları (n-1 paydalı,
np.var(..., ddof=1)). - GA [0;\ 1]'e kırpılır; pROC
ci.auc(method = "delong")ile aynı.
Neden DeLong?
AUC bir U istatistiğidir; asimptotik varyansı iki bileşenden oluşur: pozitif örneklemin ve negatif örneklemin değişkenliği. DeLong yöntemi bu bileşenleri dağılım varsaymadan, gözlenen yerleşim değerlerinden kestirir. Hanley–McNeil formülü ise skorların negatif üstel dağıldığını varsayar; AUC yüksek ve gruplar dengesizken genellikle SE'yi büyütür (bu veride 0,0129 ile DeLong'un 0,0100'ü).
64.5.5 Seçilebilir GA yöntemleri ve H₀: AUC = 0,5 testleri
Hanley–McNeil (1982) (classification_eval.py:790–797):
- A: AUC; Q_1: rastgele seçilen iki pozitifin ikisinin de bir negatiften yüksek olma olasılığı; Q_2: bir pozitifin rastgele iki negatiften yüksek olma olasılığı (negatif üstel varsayımıyla kapalı biçim).
- GA [0;\ 1]'e kırpılır.
Tabakalı bootstrap (:778–789): pozitifler kendi içinde, negatifler kendi içinde yerine koyarak çekilir (B=2000, default_rng(42)), her örnekte AUC hesaplanır; GA np.quantile (doğrusal aradeğerleme) yüzdelikleri, SE bootstrap AUC'lerinin standart sapmasıdır.
H₀: AUC = 0,5. İki ayrı p verilir (:768–776):
- z_{\text{DeLong}}: H₁ altındaki SE ile kurulur; p=2\,[1-\Phi(|z|)]
norm.sfile (küçük p korunur). - z_U: Mann–Whitney asimptotik testi, bağ düzeltmeli, süreklilik düzeltmesiz (
mannwhitneyu(..., method="asymptotic", use_continuity=False)); t_g: g. bağ grubundaki gözlem sayısı, N=m+n.
İki p neden farklı?
z_{\text{DeLong}}'un paydası gerçek AUC'nin çevresindeki SE'dir; H₀ doğruyken beklenen SE'den genellikle küçüktür (AUC 1'e yaklaştıkça yerleşim değerlerinin varyansı küçülür). Bu yüzden z_{\text{DeLong}} z_U'dan büyük çıkar (bu veride 46,67'ye karşı 12,39) ve p değeri daha küçük olur. Test için H₀ varyansını kullanan Mann–Whitney p'si kuramsal olarak doğru olandır; DeLong z'si GA ile tutarlılık için verilir. İkisi de < 0,001 olduğunda fark önemsizdir; sınırda raporlanacaksa Mann–Whitney p'si yeğlenir.
64.5.6 Kesme ölçütleri ve eşikte tanı oranları
Aday eşikler koordinat tablosunun satırlarıdır. r=(1-\pi)/(c\,\pi) ile (classification_eval.py:985–1000):
- \pi: prevalans (örneklemden, m/(m+n)); c: "Maliyet oranı (YN/YP)", yanlış negatifin yanlış pozitife göre maliyeti.
- r=1 olduğunda (maliyet 1 ve prevalans 0,5) ağırlıklı ölçüt Youden'a, (0,1) ölçütü düz Öklid uzaklığına iner. Tanımlar
pROC::coords(best.method, best.weights = c(c, π))ile aynıdır. - "Duyarlılık ≥ hedef": \text{Se}\ge h olan noktalar içinde en yüksek özgüllük; "Özgüllük ≥ hedef": tersi.
- Eşitlikte, 10^{-12} toleransla, en yüksek özgüllüklü nokta seçilir (
:998–1000).
Seçilen eşikte dört hücre \text{DP}=\text{round}(\text{Se}\cdot m), \text{DN}=\text{round}(\text{Sp}\cdot n) ile geri kurulur (:1004–1005) ve Wilson skor GA'sı verilir (:958–968):
- \hat p: oran (duyarlılık için \text{DP}/m, özgüllük için \text{DN}/n, PPV için \text{DP}/(\text{DP}+\text{YP}), NPV için \text{DN}/(\text{DN}+\text{YN})); N: oranın paydası.
- z=z_{1-\alpha/2}; sınırlar [0;\ 1]'e kırpılır. R
prop.test(correct = FALSE)ile aynı.
Eşik ve GA aynı veride seçildiğinde
Eşik bu veride Youden J'yi en büyütecek biçimde seçildiği için o eşikteki duyarlılık ve özgüllük iyimserdir. Wilson GA'sı eşiği sabit sayar ve bu seçim belirsizliğini içermez (Fluss, Faraggi ve Reiser 2005). Eşik, bağımsız bir örneklemde doğrulanmadan klinik kural olarak sunulmamalıdır.
64.5.7 Kısmi AUC, PR eğrisi ve ortalama kesinlik
Kısmi AUC (classification_eval.py:1018–1037): özgüllük [s_0;\ 1], yani F\in[0;\ a], a=1-s_0 aralığında ROC altı alan; son parça doğrusal aradeğerlemeyle kesilir. McClish (1989) düzeltmesi:
- a^2/2: o bölgede köşegenin (rastgele test) altındaki alan; a: o bölgedeki en büyük olası alan.
- Düzeltilmiş değer 0,5 (rastgele) ile 1 (kusursuz) arasında yorumlanır.
pROC::auc(partial.auc = c(1, s0), partial.auc.focus = "specificity", partial.auc.correct = TRUE)ile aynı.
Ortalama kesinlik (AP): sklearn average_precision_score ile, \text{AP}=\sum_k(R_k-R_{k-1})P_k (adım tanımı; yamuk değil). Şans düzeyi prevalanstır.
64.5.8 Çok değişkenli modelde iyimserlik ve eşleşik karşılaştırma
Harrell bootstrap iyimserliği (classification_eval.py:1040–1064): B kez satırlar yerine koyarak çekilir, model bootstrap örneğinde yeniden uydurulur:
- \text{AUC}_b(\text{boot}\to\text{boot}): bootstrap modelinin kendi örneğindeki AUC; \text{AUC}_b(\text{boot}\to\text{özgün}): aynı modelin özgün veride AUC'si.
- Tek sınıflı bootstrap örnekleri atlanır; tohum 42. Tek değişkende model uydurulmadığından seçenek uygulanmaz ve not yazılır (
:193–196).
Eşleşik DeLong testi (ayrı eğri modu, classification_eval.py:821–843): iki eğrinin yerleşim değerlerinin kovaryansıyla
- S^{(12)}_{10}: iki testin pozitiflerdeki yerleşim değerlerinin örneklem kovaryansı; aynı hastalarda ölçüldükleri için genellikle pozitiftir ve farkın varyansını küçültür.
pROC::roc.test(method = "delong", paired = TRUE)ile aynı.
64.6 Elle hesap: Tıp verisinde sayısal yürüyüş
Ara değerler dogrulama/roc/elle_hesap.py ile, MerQur kodu çağrılmadan (AUC çift sayımıyla, yerleşim değerleri doğrudan karşılaştırmayla) hesaplanmıştır.
Adım 1 — Yön. Kanserlilerde medyan 76,1, kansersizlerde 40,8. 40{,}8\le76{,}1 olduğundan yön "<": büyük skor pozitif.
Adım 2 — AUC. 93 × 157 = 14601 hasta–sağlam çiftinin \psi toplamı U=14147{,}5'tir (yarım puanlar bağlardan; 250 skorda 36 tekrar var):
Yamuk kuralıyla 215 ROC noktası (213 farklı değer + iki uç) aynı değeri verir.
Adım 3 — DeLong SE. Yerleşim değerlerinin varyansları S_{10}=0{,}0013184 (93 pozitif), S_{01}=0{,}0136256 (157 negatif):
Negatiflerin varyansı on kat büyüktür: bazı kansersiz hastaların skoru, kanserlilerin çoğundan yüksektir. %99 GA [0{,}9431;\ 0{,}9948].
Adım 4 — Testler. z_{\text{DeLong}}=(0{,}968940-0{,}5)/0{,}010048=46{,}670; p kayan noktada 0'dır. Mann–Whitney p=2{,}97\times10^{-35}.
Adım 5 — Hanley–McNeil ve bootstrap. Q_1=0{,}939752, Q_2=0{,}953656, \text{SE}=0{,}012884, GA [0{,}9437;\ 0{,}9942]. Bootstrap (B = 2000, tohum 42): SE = 0,010183, GA [0{,}9462;\ 0{,}9866]; DeLong'a yakın.
Adım 6 — Youden eşiği. En büyük J, 61,6 ile 61,8 arasında elde edilir; gösterilen eşik orta nokta 61,7'dir:
| Eşik | DP | YP | DN | YN | Se | Sp | J |
|---|---|---|---|---|---|---|---|
| skor > 61,7 | 86 | 10 | 147 | 7 | 0,924731 | 0,936306 | 0,861037 |
PPV = 86/96 = 0,8958, NPV = 147/154 = 0,9545. Wilson %95 GA'ları: duyarlılık [0,8527; 0,9631], özgüllük [0,8867; 0,9650], PPV [0,8188; 0,9424], NPV [0,9092; 0,9778].
Adım 7 — Öteki kesim ölçütleri. (0,1)'e en yakın nokta da 61,7'dir. Maliyet oranı 2'de r=(1-0{,}372)/(2\cdot0{,}372)=157/186=0{,}844086; eşik 61,7 ile 60,3 amaç fonksiyonunda tam eşittir: 86/93+r\cdot147/157=88/93+r\cdot143/157, çünkü 2/93=r\cdot4/157. MerQur eşitlikte yüksek özgüllüğü (61,7) seçer. Duyarlılık ≥ 0,90: eşik 63,0 (Se 0,9032, Sp 0,9427). Özgüllük ≥ 0,90: eşik 60,3 (Se 0,9462, Sp 0,9108); aynı duyarlılığı veren 60,15'e göre özgüllüğü yüksek olduğu için seçilir.
Adım 8 — Kısmi AUC ve AP. Özgüllük 0,80–1 bölgesinde (a=0{,}2) alan 0,168940'tır. Bu bölgede köşegenin altı 0{,}02, en büyük alan 0{,}2:
Ortalama kesinlik AP = 0,931896 (şans düzeyi 0,372).
Adım 9 — Tıp #61: birleşik lojistik model. ML katsayıları \hat\beta=(-4{,}2500;\ 5{,}1361;\ 4{,}2608). Olasılıkların AUC'si 0,752637, DeLong SE 0,038696, GA [0{,}6768;\ 0{,}8285]. Youden eşiği 0,878138 (olasılık ≥ eşik): Se = 70/158 = 0,4430, 1 − Sp = 2/42 = 0,0476. Harrell iyimserliği (B = 200, tohum 42) 0,006289; düzeltilmiş AUC 0,746348.
Adım 10 — Tıp #61: ayrı eğriler. risk_factor1 AUC 0,669454 (SE 0,047376), risk_factor2 AUC 0,681058 (SE 0,045430). Fark −0,011603, eşleşik SE 0,074742, z=-0{,}155, p=0{,}8766: iki risk faktörü ayrı ayrı benzer ayırma gücündedir; birleşik model (0,753) ikisinden de iyidir.
64.6.1 Doğrulama: MerQur, Python ve R
MerQur değerleri execute() sonucundan, stats.classification_eval modülünde round() bellekte etkisizleştirilerek alınmıştır (dogrulama/roc/merqur_calistir.py). R: 4.5.3, pROC (roc, ci.auc, var, coords, auc(partial.auc), roc.test), stats::glm, wilcox.test(exact = FALSE, correct = FALSE), prop.test(correct = FALSE) (Wilson). Hanley–McNeil ve AP için R'de hazır fonksiyon olmadığından R sütunu formülden hesaplanmıştır; "≥ hedef" ölçütleri pROC'ta yoktur, koordinat tablosundan aynı eşitlik kuralıyla seçilmiştir. pROC lojistik eşiği orta nokta olarak verdiğinden, R sütununa eşiğin üstündeki en küçük gözlenen olasılık yazılmıştır. Maliyet oranı 2 satırında eşik yerine amaç fonksiyonunun değeri karşılaştırılmıştır (Adım 7'deki eşitlik). Bootstrap ve iyimserlik satırları aynı tohum ve çekiliş sırasıyla yeniden üretimdir; R'de karşılığı yoktur.
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| AUC | 0,968940 | 0,968940 | 0,968940 | 4,4e−16 | ✓ |
| AUC (yamuk kuralı = Mann–Whitney) | 0,968940 | 0,968940 | — | 0,0e+00 | ✓ |
| SE (DeLong) | 0,010048 | 0,010048 | 0,010048 | 4,7e−17 | ✓ |
| %95 GA alt (DeLong) | 0,949247 | 0,949247 | 0,949247 | 0,0e+00 | ✓ |
| %95 GA üst (DeLong) | 0,988634 | 0,988634 | 0,988634 | 1,1e−16 | ✓ |
| %99 GA alt (DeLong) | 0,943058 | 0,943058 | 0,943058 | 0,0e+00 | ✓ |
| %99 GA üst (DeLong) | 0,994823 | 0,994823 | 0,994823 | 0,0e+00 | ✓ |
| z (H₀: AUC = 0,5) | 46,669598 | 46,669598 | 46,669598 | 1,4e−14 | ✓ |
| Mann–Whitney p | 2,9657·10−35 | 2,9657·10−35 | 2,9657·10−35 | 1,2e−49 | ✓ |
| AUC, yön '>' (küçük değer pozitif) | 0,031060 | 0,031060 | 0,031060 | 5,2e−17 | ✓ |
| SE, yön '>' | 0,010048 | 0,010048 | 0,010048 | 4,7e−17 | ✓ |
| Hanley–McNeil SE | 0,012884 | 0,012884 | 0,012884 | 1,6e−17 | ✓ |
| Hanley–McNeil GA alt | 0,943688 | 0,943688 | 0,943688 | 1,1e−16 | ✓ |
| Hanley–McNeil GA üst | 0,994193 | 0,994193 | 0,994193 | 1,1e−16 | ✓ |
| Bootstrap SE (tohum 42) | 0,010183 | 0,010183 | — | 8,7e−18 | ✓ |
| Bootstrap GA alt (tohum 42) | 0,946165 | 0,946165 | — | 2,2e−16 | ✓ |
| Bootstrap GA üst (tohum 42) | 0,986576 | 0,986576 | — | 2,2e−16 | ✓ |
| Koordinat (eşik) sayısı | 215 | 215 | 215 | 0,0e+00 | ✓ |
| Youden eşiği | 61,700000 | 61,700000 | 61,700000 | 0,0e+00 | ✓ |
| Youden duyarlılık | 0,924731 | 0,924731 | 0,924731 | 1,1e−16 | ✓ |
| Youden 1 − özgüllük | 0,063694 | 0,063694 | 0,063694 | 4,4e−16 | ✓ |
| Youden PPV | 0,895833 | 0,895833 | 0,895833 | 0,0e+00 | ✓ |
| Youden NPV | 0,954545 | 0,954545 | 0,954545 | 0,0e+00 | ✓ |
| Wilson GA alt, duyarlılık | 0,852703 | 0,852703 | 0,852703 | 1,1e−16 | ✓ |
| Wilson GA üst, duyarlılık | 0,963063 | 0,963063 | 0,963063 | 4,4e−16 | ✓ |
| Wilson GA alt, özgüllük | 0,886733 | 0,886733 | 0,886733 | 1,1e−16 | ✓ |
| Wilson GA üst, özgüllük | 0,965038 | 0,965038 | 0,965038 | 4,4e−16 | ✓ |
| Wilson GA alt, PPV | 0,818778 | 0,818778 | 0,818778 | 2,2e−16 | ✓ |
| Wilson GA üst, PPV | 0,942428 | 0,942428 | 0,942428 | 2,2e−16 | ✓ |
| Wilson GA alt, NPV | 0,909156 | 0,909156 | 0,909156 | 0,0e+00 | ✓ |
| Wilson GA üst, NPV | 0,977810 | 0,977810 | 0,977810 | 1,1e−16 | ✓ |
| (0,1)'e en yakın: eşik | 61,700000 | 61,700000 | 61,700000 | 0,0e+00 | ✓ |
| Ağırlıklı (maliyet 2): r | 0,844086 | 0,844086 | — | 0,0e+00 | ✓ |
| Ağırlıklı: amaç Se+r\,Sp | 1,715054 | 1,715054 | 1,715054 | 2,2e−16 | ✓ |
| Duyarlılık ≥ 0,90: eşik | 63 | 63 | 63 | 0,0e+00 | ✓ |
| Duyarlılık ≥ 0,90: özgüllük | 0,942675 | 0,942675 | 0,942675 | 2,2e−16 | ✓ |
| Duyarlılık ≥ 0,90: PPV GA alt | 0,826213 | 0,826213 | 0,826213 | 2,2e−16 | ✓ |
| Özgüllük ≥ 0,90: eşik | 60,300000 | 60,300000 | 60,300000 | 0,0e+00 | ✓ |
| Özgüllük ≥ 0,90: duyarlılık | 0,946237 | 0,946237 | 0,946237 | 0,0e+00 | ✓ |
| Özgüllük ≥ 0,90: NPV GA üst | 0,985485 | 0,985485 | 0,985485 | 1,1e−16 | ✓ |
| Kısmi AUC (özgüllük 0,80–1) | 0,168940 | 0,168940 | 0,168940 | 5,0e−16 | ✓ |
| McClish düzeltilmiş kısmi AUC | 0,913724 | 0,913724 | 0,913724 | 2,2e−16 | ✓ |
| Ortalama kesinlik (AP) | 0,931896 | 0,931896 | 0,931896 | 1,1e−16 | ✓ |
| #61 lojistik AUC | 0,752637 | 0,752637 | 0,752637 | 2,2e−16 | ✓ |
| #61 lojistik SE (DeLong) | 0,038696 | 0,038696 | 0,038696 | 6,9e−18 | ✓ |
| #61 lojistik GA alt | 0,676794 | 0,676794 | 0,676794 | 3,3e−16 | ✓ |
| #61 lojistik GA üst | 0,828481 | 0,828481 | 0,828481 | 2,2e−16 | ✓ |
| #61 Youden eşiği (olasılık) | 0,878138 | 0,878138 | 0,878138 | 2,6e−13 | ✓ |
| #61 Youden duyarlılık | 0,443038 | 0,443038 | 0,443038 | 2,8e−16 | ✓ |
| #61 İyimserlik (B = 200, tohum 42) | 0,006289 | 0,006289 | — | 2,8e−17 | ✓ |
| #61 Düzeltilmiş AUC | 0,746348 | 0,746348 | — | 1,1e−16 | ✓ |
| #61 AUC risk_factor1 | 0,669454 | 0,669454 | 0,669454 | 3,3e−16 | ✓ |
| #61 AUC risk_factor2 | 0,681058 | 0,681058 | 0,681058 | 4,4e−16 | ✓ |
| #61 SE risk_factor1 | 0,047376 | 0,047376 | 0,047376 | 0,0e+00 | ✓ |
| #61 SE risk_factor2 | 0,045430 | 0,045430 | 0,045430 | 4,2e−17 | ✓ |
| #61 eşleşik DeLong z | −0,155246 | −0,155246 | −0,155246 | 1,4e−15 | ✓ |
| #61 eşleşik DeLong p | 0,876627 | 0,876627 | 0,876627 | 1,1e−15 | ✓ |
| #61 Youden eşiği risk_factor1 | 0,715500 | 0,715500 | 0,715500 | 0,0e+00 | ✓ |
| #61 Youden eşiği risk_factor2 | 0,457500 | 0,457500 | 0,457500 | 0,0e+00 | ✓ |
Sonuç: 59 büyüklüğün tamamı ölçütü karşılar.
64.7 Çıktıyı okuma
Varsayılan ayarlarla sonuç metni (APA başlığı ve koordinat notu kısaltılmıştır):
ROC EĞRİSİ
──────────────────────────────────────────────────
AUC : 0.9689 — mükemmel ayırıcı güç
En iyi eşik (J) : 61.7
Duyarlılık : 0.9247
1 − Özgüllük : 0.0637
Gözlem : n = 250 (pozitif = 93, negatif = 157)
AUC = 0.9689 (mükemmel ayırıcı güç). Youden J optimum eşiği: 61.7000 → Duyarlılık = 0.9247,
1−Özgüllük = 0.0637. n=250 (pozitif=93, negatif=157). AUC SH (DeLong) = 0.0100, %95 GA: [0.9492, 0.9886].
Skor: test değişkeninin kendisi (lojistik dönüşüm yok). Kesme noktası 'biomarker_score' biriminde:
biomarker_score > 61.7000 → pozitif. Eşik, bitişik gözlenen değerlerin orta noktasıdır.
AUC = .97 (N = 250, n_+ = 93, n_- = 157)
── Ek ROC çıktıları ──
Pozitif durum değeri: 1
[biomarker_score] AUC = 0.9689 (yön: Büyük değer pozitif)
AUC %95 GA (DeLong): SH = 0.0100, [0.9492, 0.9886]
H0: AUC = 0.5 → z (DeLong) = 46.670, p < .001; Mann-Whitney asimptotik p < .001
"Eşikte PPV/NPV + GA" açıkken eklenen blok:
Seçilen eşik — biomarker_score: Youden J (%95 Wilson GA)
Eşik = 61.7000 (TP=86, FP=10, TN=147, FN=7)
Duyarlılık = 0.9247 [0.8527, 0.9631]
Özgüllük = 0.9363 [0.8867, 0.9650]
PPV = 0.8958 [0.8188, 0.9424]
NPV = 0.9545 [0.9092, 0.9778]
| Satır | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| AUC ve etiket | Alan ve Hosmer–Lemeshow sınıfı (classification_eval.py:1167–1184) |
< 0,5 hatalı, 0,5–0,6 anlamsız, 0,6–0,7 zayıf, 0,7–0,8 kabul edilebilir, 0,8–0,9 iyi, ≥ 0,9 mükemmel. |
| En iyi eşik (J) | Youden eşiği | Tek değişkende değişken biriminde, "> eşik"; lojistikte olasılık, "≥ eşik". |
| AUC SH (DeLong), %95 GA | Her zaman %95 | Seçilen düzey ve yöntem ek blokta. |
| Skor satırı | Skorun türü ve kural | Lojistikte eşik değişken biriminde değildir. |
| H0: AUC = 0.5 | DeLong z ve Mann–Whitney p | Bölüm 64.5.5'teki fark. |
| Koordinat tablosu | Tablo sekmesi: her eşikte Se, Sp, 1 − Sp, J | Uçlar ±∞ ("hepsi pozitif"/"hepsi negatif"). |
| Ayrışma uyarısı | Lojistikte tam/yarı ayrışma | AUC ve eşik iyimser; daha az yordayıcı ya da Firth. |
| Grafik | ROC eğrisi, köşegen, Youden noktası; PR açıksa sağda PR eğrisi | Ayrı eğri modunda her değişken ayrı renkte. |
APA biçiminde rapor cümlesi:
Biyobelirteç skorunun kanseri ayırt etme gücü ROC analiziyle değerlendirildi (n = 250; 93 kanser, 157 kanser değil). Eğri altındaki alan AUC = 0,97 idi (DeLong %95 GA [0,95; 0,99]), p < 0,001. Youden indeksine göre en iyi kesme noktası 61,7 bulundu; bu noktada duyarlılık %92,5 (%95 GA [85,3; 96,3]), özgüllük %93,6 (%95 GA [88,7; 96,5]) idi. Kesme noktası aynı veride seçildiğinden bağımsız bir örneklemde doğrulanmalıdır.
64.8 Uzman soruları
S1. Lojistik modelde AUC neden aynı veride hesaplanıyor; iyimser değil mi?
İyimserdir. Görünen AUC, modelin kestirildiği veride ölçülür. "İyimserlik düzeltmesi" alanına B (ör. 200) girildiğinde Harrell bootstrap'ı uygulanır (classification_eval.py:1040–1064). Tıp #61'de görünen 0,7526, düzeltilmiş 0,7463'tür; iki yordayıcı ve 200 gözlemde iyimserlik küçüktür. Çok yordayıcıda ve az olayda fark büyür.
S2. AUC ile DeLong GA'sı neden kırpılıyor, bu yanlılık getirmez mi?
Wald GA'sı AUC ± z·SE simetriktir ve AUC 1'e yakınken 1'i aşabilir. MerQur, pROC ile aynı biçimde sınırları [0;\ 1]'e kırpar (classification_eval.py:1164). Kırpma kapsama olasılığını değiştirmez, yalnız olanaksız değerleri siler. AUC 0,95'in üstünde ve örneklem küçükken logit dönüşümlü ya da bootstrap GA daha iyi kapsama verir; panelde bootstrap seçilebilir.
S3. Hanley–McNeil seçildiğinde SE neden DeLong'dan büyük çıktı?
Hanley–McNeil, Q_1 ve Q_2'yi negatif üstel dağılım varsayımıyla AUC'den türetir; gözlenen yerleşim değerlerini kullanmaz. Bu veride negatiflerin yerleşim varyansı pozitiflerinkinden on kat büyük, gruplar da dengesizdir (93 ve 157). Varsayım bu asimetriyi yakalayamaz; SE 0,0129 çıkar, DeLong 0,0100. Araç ipucunda yazdığı gibi, Q_1 ve Q_2 gözlenen veriden hesaplanırsa ve gruplar eşitse iki yöntem yakınsar.
S4. Youden eşiği neden pROC'ta 0,878127, MerQur'da 0,878138 (Tıp #61)?
İkisi aynı ROC noktasıdır. pROC eşikleri her zaman bitişik değerlerin orta noktası olarak verir; MerQur bunu yalnız tek test değişkeninde yapar, lojistik olasılıkta sklearn'ün "olasılık ≥ eşik" tanımını korur (classification_eval.py:295–296). Tek değişkende iki program aynı sayıyı (61,7) yazar.
S5. Ağırlıklı Youden'da maliyet oranı 2 iken neden eşik değişmedi?
Bu veride r=157/186 ile 61,7 ve 60,3 eşikleri amaç fonksiyonunda tam eşittir (Adım 7). MerQur eşitlikte, 10^{-12} toleransla, en yüksek özgüllüğü seçer (classification_eval.py:998–1000); pROC kayan nokta farkıyla 60,3'ü döndürür. Maliyet oranı 2'nin biraz üstünde 60,3, altında 61,7 seçilir. Bu tür eşitlikler kesikli veride sık görülür; raporda ölçüt ve eşitlik kuralı yazılmalıdır.
S6. Bütün hastalar aynı skoru alırsa ya da test ters çalışırsa ne olur?
Skor sabitse değişken hazırlıkta düşer; geçerli sütun kalmadığı için DataValidationError ("Geçerli sütun sayısı yetersiz … Düşürülen sütunlar: …") verilir ve panel bunu öneri diyaloğuyla gösterir (ml/_preprocessing.py:296–310, stats_panel.py:4195–4197). Test ters çalışıyorsa otomatik yön onu çevirir ve AUC > 0,5 olur. Yön elle ters verilirse AUC < 0,5, Youden J her eşikte ≤ 0 olur; MerQur eşiği "−∞" yazar ve "AUC < 0,5 ise test yönünü ters çevirin" notunu ekler (classification_eval.py:336–337). Tıp #60'ta ters yönle AUC 0,0311 çıkar.
S7. Bootstrap GA'sı neden tabakalı?
Pozitif ve negatif sayıları sabit tutulur (classification_eval.py:780–786); böylece her bootstrap örneğinde iki sınıf da bulunur ve prevalans değişmez. Bu, vaka–kontrol örneklemesine uygundur ve pROC ci.auc(method = "bootstrap", stratified = TRUE) varsayılanıyla aynıdır. Kesitsel örneklemde tabakasız bootstrap da savunulabilir; panelde seçenek yoktur. Tohum değeri formda olmadığından her zaman 42'dir.
64.9 Sık hatalar ve tuzaklar
- Aynı veride seçilen eşiği klinik kural gibi sunmak. Youden noktasındaki duyarlılık/özgüllük iyimserdir; Wilson GA'sı seçim belirsizliğini içermez.
- Otomatik yönü "test iyi çalışıyor" sanmak. Medyan kuralı AUC'yi her zaman 0,5'in üstüne çeker; önceden belirlenmiş yönü elle girin.
- Lojistik eşiği değişken birimiyle karıştırmak. İki ve daha çok yordayıcıda eşik bir olasılıktır (ör. 0,878); "risk_factor1 > 0,878" diye okunmaz.
- Düşen sütunu gözden kaçırmak. İki değişken seçip birinin (sabit ya da metin olduğu için) düştüğü durumda analiz tek değişkenli ham ROC'a döner; çıkarılan sütunları yazan notu ve "Skor:" satırını denetleyin.
- Güven düzeyini değiştirip ana satıra bakmak. Ana satır %95 DeLong GA'sını verir; seçilen düzeydeki GA "Ek ROC çıktıları"ndadır (ana satırın altındaki not bunu söyler).
- İki p'yi karıştırmak. DeLong z'si H₁ SE'siyle kurulur; test için Mann–Whitney p'si kullanılmalıdır.
- Prevalans düşükken yalnız AUC'ye bakmak. AUC prevalanstan bağımsızdır, PPV değildir; PR eğrisi ve eşikteki PPV birlikte raporlanmalıdır.
- Bootstrap GA'yı tohum vermeden raporlamak. Tohum 42 ve B = 2000 sabittir; yöntem bölümünde yazılmalıdır.
- Eşleşik testi bağımsız örneklemlerde kullanmak. Ayrı eğri modu aynı hastalarda ölçülmüş testler içindir; farklı hasta gruplarının AUC'leri bu testle karşılaştırılmaz.
64.10 Kaynaklar
- DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837–845. https://doi.org/10.2307/2531595
- Fluss, R., Faraggi, D., & Reiser, B. (2005). Estimation of the Youden index and its associated cutoff point. Biometrical Journal, 47(4), 458–472. https://doi.org/10.1002/bimj.200410135
- Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36. https://doi.org/10.1148/radiology.143.1.7063747
- Harrell, F. E., Lee, K. L., & Mark, D. B. (1996). Multivariable prognostic models: Issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics in Medicine, 15(4), 361–387. https://doi.org/10.1002/(SICI)1097-0258(19960229)15:4<361::AID-SIM168>3.0.CO;2-4
- Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). Wiley.
- McClish, D. K. (1989). Analyzing a portion of the ROC curve. Medical Decision Making, 9(3), 190–195. https://doi.org/10.1177/0272989X8900900307
- Perkins, N. J., & Schisterman, E. F. (2006). The inconsistency of "optimal" cutpoints obtained using two criteria based on the receiver operating characteristic curve. American Journal of Epidemiology, 163(7), 670–675. https://doi.org/10.1093/aje/kwj063
- Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C., & Müller, M. (2011). pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12, 77. https://doi.org/10.1186/1471-2105-12-77
- Saito, T., & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), e0118432. https://doi.org/10.1371/journal.pone.0118432
- Sun, X., & Xu, W. (2014). Fast implementation of DeLong's algorithm for comparing the areas under correlated receiver operating characteristic curves. IEEE Signal Processing Letters, 21(11), 1389–1393. https://doi.org/10.1109/LSP.2014.2337313
- Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209–212. https://doi.org/10.1080/01621459.1927.10502953
- Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35. https://doi.org/10.1002/1097-0142(1950)3:1<32::AID-CNCR2820030106>3.0.CO;2-3