İstatistik Sözlüğü → ROC Eğrisi
ROC Eğrisianaliz
Sürekli bir test değeri ya da model olasılığının, iki durumu (hasta/sağlıklı, olay var/yok) tüm olası eşiklerde ne kadar iyi ayırt ettiğini gösteren eğri ve bu ayırt etme gücünü tek sayıda özetleyen eğri altındaki alan (AUC).
Kavram
Birçok tanı testi ya da tahmin modeli 'evet/hayır' değil, sürekli bir değer üretir: kandaki bir belirtecin düzeyi, bir modelin hesapladığı risk olasılığı. Bu değerin hangi eşiğin üstünde 'pozitif' sayılacağına karar verildiğinde duyarlılık (hastaları yakalama oranı) ile özgüllük (sağlıklıları doğru dışlama oranı) arasında bir değiş tokuş ortaya çıkar: eşik düşürüldükçe daha çok hasta yakalanır ama daha çok sağlıklı kişi de yanlışlıkla pozitif çıkar. ROC eğrisi, tüm olası eşikler için duyarlılığı (dikey eksen) 1 − özgüllüğe (yatay eksen) karşı çizer.
Eğri altındaki alan (AUC), rastgele seçilen bir pozitif bireyin test değerinin, rastgele seçilen bir negatif bireyinkinden daha yüksek çıkma olasılığıdır. AUC = 0,5 testin yazı tura atmaktan farksız olduğunu, AUC = 1 kusursuz ayırt etmeyi gösterir; genel bir kılavuz olarak 0,7-0,8 kabul edilebilir, 0,8-0,9 iyi, 0,9'un üstü çok iyi ayırt etme sayılır. AUC eşikten bağımsızdır; uygulamada kullanılacak eşik ise Youden indeksi (duyarlılık + özgüllük − 1'i en büyük yapan nokta) gibi bir ölçütle ya da yanlış negatif ve yanlış pozitif sonuçların göreli maliyetine göre seçilir.
AUC yalnız ayırt etme gücünü ölçer; tahmin edilen olasılıkların doğru olup olmadığını (kalibrasyon) göstermez. Eşik ve AUC aynı veride seçilip değerlendirildiğinde sonuçlar iyimser olur; bağımsız bir veride doğrulama ya da bootstrap iyimserlik düzeltmesi gerekir. Pozitif sınıf çok seyrekse AUC yüksek görünürken pozitif tahminlerin çoğu yanlış olabilir; bu durumda kesinlik-duyarlılık (PR) eğrisi de incelenmelidir. Aynı hastalarda ölçülen iki testin AUC'leri eşleşik DeLong testiyle karşılaştırılır.
Ne zaman kullanılır?
- Sürekli bir test değerinin ya da bir modelin tahmin olasılığının iki durumu ne kadar iyi ayırdığını değerlendirmek ve uygun bir kesme noktası seçmek istendiğinde (tanı testleri, biyobelirteçler, risk skorları, sınıflandırma modelleri).
- Eşik zaten belirlenmişse ve yalnız o eşikteki performans raporlanacaksa karışıklık matrisi ölçütleri; tür dağılım modellerinde eşiğe bağlı beceri özetleniyorsa TSS kullanılır.
- Sınıflar çok dengesizse ve pozitiflerin doğru tahmin edilmesi önemliyse ROC'a ek olarak PR eğrisi ve ortalama kesinlik; olasılıkların doğruluğu da önemliyse kalibrasyon grafikleri ya da Hosmer-Lemeshow testi değerlendirilir.
Gündelik bir örnek
Bir çocuk acil servisinde ateşli çocuklarda kandaki CRP düzeyinin bakteriyel enfeksiyonu ayırt edip edemeyeceği inceleniyor. 300 çocuktan 60'ında sonradan bakteriyel enfeksiyon kesinleşmiş. ROC analizi AUC = 0,84 bulursa, rastgele seçilen enfeksiyonlu bir çocuğun CRP değeri, rastgele seçilen enfeksiyonsuz bir çocuğunkinden %84 olasılıkla daha yüksektir. Youden ölçütü eşiği 40 mg/L olarak önerebilir: bu eşikte enfeksiyonların %80'i yakalanır ve enfeksiyonsuz çocukların %75'i doğru biçimde dışlanır. Hekimler enfeksiyonu kaçırmamayı daha önemli görüyorsa daha düşük bir eşik seçebilir.
MerQur'da parametreler
Özellikler ve Hedef (İkili)
Kavram: Test değişkeni ayırt etme gücü değerlendirilen sürekli ölçümdür; hedef ise gerçek durumu gösteren ikili değişkendir. Birden fazla test değişkeni seçildiğinde bunlar bir lojistik modelde birleştirilebilir ve modelin tahmin ettiği olasılık skor olarak kullanılır.
Gündelik örnek: CRP örneğinde test değişkeni CRP düzeyi, hedef ise bakteriyel enfeksiyonun kesinleşip kesinleşmediğidir. CRP'ye ateş süresi ve beyaz küre sayısı da eklenirse üçü bir lojistik modelde birleşir ve tek bir risk olasılığının ROC eğrisi çizilir.
Ne işe yarar: Test değişken(ler)i ve ikili durum değişkeni. Tek değişkende skor değişkenin kendisidir; birden çok değişkende "birleşik" modda lojistik model tahmin olasılığı skordur.
Sonuca etkisi: Skor ve dolayısıyla AUC, SE, eşik ve Se/Sp bu seçime bağlıdır; birden çok değişkende birleşik mod cezasız en çok olabilirlik (ML) lojistik model uydurur.
Doğrulama verisinde: aSAH s100b AUC 0.7314, DeLong SE 0.0517, %95 GA [0.6301, 0.8326], Youden eşiği 0.205 (Se 0.6341, Sp 0.8056). Birleşik model (s100b + ndka + wfns + age): cezasız ML lojistik, AUC 0.8621; remisyon verisinde adım 2 c 0.8735.
Pozitif sınıf (Otomatik / 0 / 1)
Kavram: Hedef değişkenin hangi değerinin 'pozitif' (aranan durum) sayılacağını belirler. Duyarlılık ve özgüllük bu seçime göre tanımlanır; pozitif sınıf değişirse ikisi yer değiştirir, AUC ise aynı kalır.
Gündelik örnek: Pozitif sınıf 'enfeksiyon var' seçilirse duyarlılık enfeksiyonlu çocukları yakalama oranıdır. 'Enfeksiyon yok' pozitif seçilirse aynı sayı bu kez özgüllük olarak görünür.
Ne işe yarar: Pozitif durum değeri; otomatik = sıralamada ikinci değer (Good/Poor ise Poor; 0/1 ise 1).
Sonuca etkisi: Otomatik yönle birlikte AUC aynı kalır; Se/Sp ve eşik yönü değişir.
Doğrulama verisinde: aSAH pozitif Good: yön ">" (küçük değer pozitif), AUC 0.7314, Youden Se 0.8056 ve Sp 0.6341 (yer değiştirdi). Pozitif 0 ile alb, totscore, tp AUC 0.7366, 0.7258, 0.6478.
Test yönü (Otomatik / Büyük değer pozitif / Küçük değer pozitif)
Kavram: Test değerinin büyük mü yoksa küçük mü olmasının pozitif durumu gösterdiğini belirler. Yön ters seçilirse eğri köşegenin altına düşer ve AUC, 1 − AUC olarak çıkar.
Gündelik örnek: CRP enfeksiyonda yükseldiği için 'büyük değer pozitif' yönü doğrudur. Bazı belirteçler ise hastalıkta düşer; örneğin kanda düşük albümin kötü seyri gösterebilir ve bu durumda 'küçük değer pozitif' seçilmelidir.
Ne işe yarar: Ham test değişkeninde hangi yönün pozitif sayılacağı; otomatik = medyan(negatif) <= medyan(pozitif) ise büyük değer pozitif (pROC direction = "auto" kuralı). Birleşik lojistik skorda yok sayılır.
Sonuca etkisi: AUC ve eşik yönü değişir: ters yön zorlanırsa AUC 1 - AUC olur.
Doğrulama verisinde: s100b otomatik yön "<" ile aynıdır; ">" zorlanınca AUC 0.2686, GA [0.1674, 0.3699], maksimum Youden 0.0244.
Birden çok değişken (Tek birleşik lojistik model eğrisi / Her test değişkeni ayrı eğri (+ eşleşik DeLong))
Kavram: Birden fazla test değişkeninin birleştirilip tek bir eğriyle mi, yoksa her birinin ayrı eğrilerle mi değerlendirileceğini belirler. Ayrı eğrilerde aynı bireylerde ölçülen testlerin AUC'leri, ölçümlerin ilişkili olduğunu hesaba katan eşleşik DeLong testiyle karşılaştırılır.
Gündelik örnek: CRP ve prokalsitonin aynı çocuklarda ölçüldüyse, iki testin ayrı eğrileri çizilip 'hangisi enfeksiyonu daha iyi ayırt ediyor?' sorusu eşleşik DeLong testiyle yanıtlanır. Birleşik model ise 'ikisi birlikte tek başlarına olduklarından daha iyi mi?' sorusuna yöneliktir.
Ne işe yarar: Birleşik lojistik model skoru ya da her değişken için ayrı eğri ve eşleşik DeLong testleri.
Sonuca etkisi: Birleşik modda tek eğri ve tek AUC; ayrı modda her değişkene bir eğri ve her çift için eşleşik DeLong z ve p.
Doğrulama verisinde: aSAH ayrı eğriler: wfns - s100b z 2.2090, p 0.0272; wfns - ndka z 2.7978, p 0.0051; s100b - ndka z 1.3908, p 0.1643. CT2: mod1 - mod2 z² = 2.3146. Birleşik modelde eşik, gözlenen bir olasılık değeri olarak raporlanır.
AUC GA yöntemi (DeLong / Bootstrap (tabakalı, 2000) / Hanley-McNeil)
Kavram: AUC'nin güven aralığının hangi yöntemle hesaplanacağını belirler. DeLong yöntemi dağılım varsayımı gerektirmeyen standart yaklaşımdır; bootstrap veriden yeniden örneklem çekerek aralığı kurar; Hanley-McNeil basit bir yaklaşık formüldür.
Gündelik örnek: AUC = 0,84 için DeLong yöntemi [0,79; 0,89] gibi bir aralık verebilir. Bootstrap aynı veriden 2000 kez yeni 'çocuk grupları' çekip her birinde AUC'yi hesaplayarak benzer bir aralık üretir; sonuç rastgele tohuma göre biraz değişebilir.
Ne işe yarar: DeLong; tabakalı yüzdelik bootstrap (2000, tohum 42); Hanley-McNeil (1982) negatif üstel yaklaşım Q1 = A/(2-A), Q2 = 2A²/(1+A).
Sonuca etkisi: AUC değişmez; SE ve güven aralığı değişir. Bootstrap sonucu tohuma bağlıdır.
Doğrulama verisinde: (s100b): DeLong [0.6301, 0.8326]; Hanley [0.6309, 0.8318] (SE 0.0512); bootstrap [0.6175, 0.8288] (30 tohumun ortalama alt sınırı 0.6268; fark tohuma bağlı Monte Carlo değişkenliğidir). Hanley derecelendirme verisinde Hanley SE 0.0325 (Q1 ve Q2, Hanley-McNeil formülüyle AUC'den hesaplanır).
Güven Düzeyi (%90 / %95 / %99 / özel)
Kavram: AUC ve eşikteki ölçütler için verilen aralıkların güven düzeyini belirler; güven düzeyi arttıkça aralık genişler.
Gündelik örnek: AUC'nin %95 güven aralığı [0,79; 0,89] ise %99 güvende aralık [0,77; 0,91] gibi genişler. Alt sınır 0,5'in üstünde kaldığı sürece CRP'nin şanstan daha iyi ayırt ettiği söylenebilir.
Ne işe yarar: Ek GA ve kesme ayrıntısı Wilson GA'larının düzeyi (ana %95 DeLong satırı değişmez).
Sonuca etkisi: AUC ve nokta tahminleri değişmez; yalnız GA genişliği değişir.
Doğrulama verisinde: (s100b DeLong): %80 [0.6652, 0.7976]; %90 [0.6464, 0.8163]; %97.5 [0.6156, 0.8472]; %99 [0.5983, 0.8644]; %99.9 [0.5614, 0.9014].
Kesme ölçütü, Maliyet oranı (YN/YP), Hedef duyarlılık/özgüllük
Kavram: Uygulamada kullanılacak eşiğin nasıl seçileceğini belirler. Youden indeksi duyarlılık ile özgüllüğün toplamını en büyük yapar; maliyet oranı yanlış negatif ile yanlış pozitif sonuçların göreli bedelini hesaba katar; hedef duyarlılık ya da özgüllük ise birinin belirli bir düzeyin altına düşmemesini güvenceye alır.
Gündelik örnek: Enfeksiyonu kaçırmak gereksiz antibiyotik vermekten dört kat daha kötü sayılırsa maliyet oranı 4 girilir ve eşik aşağı kayar. Hekimler 'enfeksiyonların en az %95'ini yakalamalıyız' diyorsa hedef duyarlılık 0,95 seçilir ve bu koşulu sağlayan en yüksek özgüllüklü eşik bulunur.
Ne işe yarar: Youden J; (0,1)'e en yakın nokta; ağırlıklı Youden (maliyet ve prevalansa göre r = (1 - prev)/(maliyet·prev), pROC best.weights); duyarlılık >= hedef (en yüksek özgüllük) veya özgüllük >= hedef (en yüksek duyarlılık). Maliyet yalnız en yakın ve ağırlıklı ölçütte, hedef yalnız duyarlılık/özgüllük ölçütünde etkilidir.
Sonuca etkisi: AUC değişmez; seçilen eşik ve o eşikteki Se, Sp, PPV, NPV değişir.
Doğrulama verisinde: (s100b): En yakın nokta 0.205; ağırlıklı (maliyet 1) 0.51 (Se 0.2927, Sp 1.0), maliyet 4 ise 0.065 (Se 0.9756), 0.25 ise 0.51, 100 ise -sonsuz (hepsi pozitif); Se >= 0.90 ise 0.075 (Sp 0.2222), Se >= 0.50 ise 0.29, Se >= 0.99 ise -sonsuz; Sp >= 0.90 ise 0.435 (Se 0.3902).
Ek çıktılar: Eşikte PPV/NPV ve GA
Kavram: Pozitif öngörü değeri (PPV), testi pozitif çıkanların gerçekten pozitif olma olasılığı; negatif öngörü değeri (NPV), testi negatif çıkanların gerçekten negatif olma olasılığıdır. Duyarlılık ve özgüllükten farklı olarak durumun toplumdaki sıklığına (prevalans) bağlıdırlar.
Gündelik örnek: 40 mg/L eşiğinde CRP'si yüksek çıkan çocukların %44'ünde gerçekten enfeksiyon varsa PPV 0,44'tür; CRP'si düşük çıkanların %94'ünde enfeksiyon yoksa NPV 0,94'tür. Enfeksiyonun daha seyrek olduğu bir aile hekimliği ortamında aynı test daha düşük PPV verir.
Ne işe yarar: Seçilen eşikte Se, Sp, PPV, NPV ve Wilson GA'ları.
Sonuca etkisi: Eşiğe bağlı ek tablo verir; AUC ve eşik seçimi değişmez.
Doğrulama verisinde: s100b Youden: TP 26, FP 14, TN 58, FN 15; Se 0.6341 [0.4812, 0.7641], PPV 0.65 [0.4951, 0.7787] (süreklilik düzeltmesiz Wilson aralığı). Hanley verisi ">= 4" eşiği Se 86.27%, Sp 77.59%.
Kısmi AUC (özgüllük >=)
Kavram: ROC eğrisinin yalnız yüksek özgüllük bölgesindeki alanıdır. Tam AUC tüm eşikleri eşit önemde sayar; uygulamada yalnız yanlış pozitiflerin az olduğu bölge önemliyse kısmi AUC o bölgedeki performansı ayrıca gösterir.
Gündelik örnek: Bir tarama programı sağlıklı çocukların en az %90'ını doğru dışlamak zorundaysa, eğrinin yalnız özgüllüğün 0,90'ın üstünde kaldığı kısmı önemlidir. İki test tam AUC'de benzer olsa da bu bölgede birinin belirgin biçimde üstün olduğu görülebilir.
Ne işe yarar: Özgüllük [alt, 1] aralığında ROC altı alan (doğrusal enterpolasyon) ve McClish (1989) düzeltmesi; 0 = kapalı.
Sonuca etkisi: Tam AUC'nin yanında yüksek özgüllük bölgesinin alanını ve düzeltilmiş değerini ekler; tam AUC değişmez.
Doğrulama verisinde: wfns özgüllük >= 0.90: 0.03344, düzeltilmiş 0.64969; ndka 0.01070 ve 0.53002; s100b özgüllük >= 0.80: 0.0806 ve 0.6683.
İyimserlik düzeltmesi (bootstrap)
Kavram: Model aynı veride hem kurulup hem değerlendirildiğinde AUC olduğundan yüksek çıkar. Bootstrap iyimserlik düzeltmesi modeli yeniden örneklemlerde tekrar kurarak bu iyimserliğin büyüklüğünü kestirir ve görünen AUC'den çıkarır.
Gündelik örnek: CRP, ateş süresi ve beyaz küre sayısıyla kurulan model kendi verisinde AUC = 0,88 verebilir; düzeltme sonrası değer 0,85 çıkarsa, yeni çocuklarda beklenecek ayırt etme gücü 0,85'e daha yakındır.
Ne işe yarar: Birleşik lojistik modelde Harrell bootstrap iyimserlik düzeltmesi (B örneklem, tohum 42); tek değişkende uygulanmaz ve bu çıktıda belirtilir.
Sonuca etkisi: Görünen AUC'den bootstrap iyimserliği çıkarılarak düzeltilmiş AUC verilir; sonuç tohuma ve B'ye bağlıdır.
Doğrulama verisinde: aSAH B = 200: görünen 0.8621, iyimserlik 0.0198, düzeltilmiş 0.8423; B = 2000: 0.0176; remisyon (n = 27) B = 200: 0.0415. İyimserlik tohuma bağlı Monte Carlo değişkenliği taşır.
Ek çıktılar: PR eğrisi ve ortalama kesinlik (AP)
Kavram: Kesinlik-duyarlılık eğrisi, her eşikte pozitif tahminlerin ne kadarının doğru olduğunu (kesinlik) yakalanan pozitiflerin oranına (duyarlılık) karşı çizer. Ortalama kesinlik (AP) bu eğrinin özetidir; şans düzeyi pozitif sınıfın oranına eşittir. Pozitifler seyrek olduğunda ROC'tan daha bilgilendiricidir.
Gündelik örnek: Enfeksiyon yalnız çocukların %5'inde görülseydi CRP'nin AUC'si yüksek olsa bile pozitif çıkanların çoğu enfeksiyonsuz olabilirdi. PR eğrisi bu durumu açıkça gösterir ve AP değerini %5'lik şans düzeyiyle karşılaştırma olanağı verir.
Ne işe yarar: Kesinlik-duyarlılık eğrisi ve adım toplamıyla ortalama kesinlik.
Sonuca etkisi: ROC sonuçlarını değiştirmez; dengesiz sınıflarda yararlı ek bir özet (AP) verir.
Doğrulama verisinde: s100b AP 0.6856 (şans düzeyi 0.3628).
Gerçek veride örnek
Veri: aSAH (subaraknoid kanama), R pROC paketi (Robin ve ark., 2011)
Değişkenler: hedef outcome (Good/Poor klinik sonuç), test değişkeni s100b (biyobelirteç)
- Soru: Subaraknoid kanama hastalarında S100B biyobelirteci (s100b) kötü klinik sonucu (Poor) iyi sonuçtan (Good) ayırabiliyor mu?
- Sonuç: AUC = 0.731 (DeLong SE = 0.052), %95 GA [0.630, 0.833]; H0: AUC = 0.5 için z = 4.48, p < .001. Ayırma gücü kabul edilebilir düzeydedir.
- Kesme noktası: Youden J'yi en büyük yapan eşik s100b > 0.205; bu eşikte duyarlılık = .634, özgüllük = .806 (1 - özgüllük = .194).
- Betimsel: n = 113 (41 kötü, 72 iyi sonuç); yüksek s100b değeri kötü sonuçla ilişkilidir (otomatik yön: büyük değer pozitif).
- Sınırlılık: Eşik aynı veride seçildiğinden iyimserdir; duyarlılık %63 düzeyinde kaldığından belirteç tek başına tarama için yetersizdir, klinik değişkenlerle birlikte değerlendirilmelidir.
- APA: AUC = .73, %95 GA [.63, .83], N = 113 (n+ = 41, n- = 72); Youden eşiği 0.205 (duyarlılık = .63, özgüllük = .81).
İlgili kavramlar
ROC eğrisi altındaki alan (AUC)DeLong testi ve AUC güven aralığıKısmi AUCYouden J indeksi (optimal eşik)Pozitif ve negatif kestirim değeri (PPV, NPV)Bootstrap iyimserlik düzeltmesiKesinlik-duyarlılık (PR) eğrisi ve ortalama kesinlikSınıflandırma eşiği (kesim değeri)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.