170. Kalibrasyon ve Karar Eğrisi Analizi
Analiz kimliği: kalibrasyon_dca · Menü adı: Kalibrasyon ve Karar Eğrisi Analizi · Panel: gui/panels/analyses/kalibrasyon_dca_panel.py (read_options 70–81, execute 88–98) · Motor: stats/kalibrasyon_dca.py, kalibrasyon_dca (satır 212–261), _model (satır 132–209), _loess_dogrudan (satır 77–108), _auc_ci (satır 111–124)
170.1 Ne işe yarar
İkili sonuç için bir tahmin modelinin (ya da birkaçının) öngördüğü olasılıkları değerlendirir: kalibrasyon (öngörülen olasılıklar gerçek oranlara uyuyor mu?) ve klinik yarar (model karar vermeye yardım ediyor mu?). TRIPOD raporlamasının kalibrasyon ve karar eğrisi bölümleri için gereklidir.
Ne zaman kullanılır? Bir risk skorunu ya da lojistik modeli bağımsız bir doğrulama örnekleminde değerlendirirken; birden çok modeli klinik yarar açısından karşılaştırırken.
Ne zaman kullanılmaz? Modelin geliştirildiği aynı örneklemde (kalibrasyon yapı gereği iyi görünür; bootstrap ile iyimserlik düzeltmesi gerekir); sonuç ikili değilse (sağkalım sonucu için zaman noktasındaki olasılık kullanılabilir ama bu analiz kesme noktasız ikili sonuç içindir).
Sık karıştırılan analizler. "ROC Eğrisi" ayırt etmeyi (AUC) ölçer, kalibrasyonu ölçmez; yüksek AUC'li bir model kötü kalibre olabilir.
170.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Olasılık girdisi | Öngörüler 0 ile 1 arasında olasılıklardır. | Aralık dışı değer hata; yüzde için birim seçilir. |
| Bağımsız örneklem | Model değerlendirme örnekleminde geliştirilmemiştir. | Denetlenmez; yorumda uyarılır. |
| Yeterli gözlem | En az 20 gözlem ve her iki sınıftan en az 2. | Aksi hâlde hata. |
| Sabit olmayan öngörü | Öngörüler tek bir değer değildir. | Sabit öngörüde hata. |
170.3 Parametreler
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Öngörü sütunları | boş | Bir ya da birkaç (en çok 6) model olasılığı. | Çoklu seçimde karar eğrisi modelleri yan yana verir. |
| Öngörü birimi | olasılık | Olasılık ya da yüzde. | Yüzde 100'e bölünür; sonuç aynıdır. |
| Hosmer–Lemeshow grup sayısı | 10 | Kantil grup sayısı (ve kalibrasyon grafiğindeki nokta sayısı). | Az grup HL'nin gücünü azaltır; sd =g-2 olur. |
| Loess aralığı | 0,75 | Yerel ikinci derece düzeltmenin komşuluk oranı. | Küçük aralık eğriyi dalgalandırır; ICI ve E ölçüleri değişir. |
| Eşik aralığı ve adımı | 0,01–0,50, 0,01 | Karar eğrisinde taranan eşik olasılıkları. | Klinik olarak makul aralık seçilmelidir; net fayda eşik değerine bağlıdır. |
170.4 Veri örneği
Gerçek veri: dcurves paketinin df_binary verisi (n=750; sonuç cancer, öngörücüler: aile öyküsü, belirteç, yaş). Lojistik model uydurulur ve öngörülen olasılıklar (tests/data/klinik/dca_in.csv) bu analize girer; ayrıca bozuk kalibre edilmiş bir öngörü (dca_in2.csv, \operatorname{logit} ölçeğinde 0{,}7\,\mathrm{lp}-0{,}3) kullanılır.
170.5 Formüller ve hesap adımları
Kalibrasyon kesişimi: \operatorname{logit}(P(Y=1))=a+\mathrm{lp} (eğim 1'e sabit, offset(lp)); eğim: \operatorname{logit}(P(Y=1))=a+b\,\mathrm{lp}, \mathrm{lp}=\operatorname{logit}(\hat p) (Steyerberg ve Vergouwe, 2014; Van Calster ve ark., 2016). Hosmer–Lemeshow \chi^2=\sum_g (O_g-E_g)^2/[E_g(1-E_g/n_g)], sd =G-2. Loess: tricube ağırlıklı yerel ikinci derece, ICI =\overline{|\hat o-\hat p|}, E50, E90 ve Emax mutlak farkın ortancası, 90. yüzdeliği ve en büyüğü (Austin ve Steyerberg, 2019). Net fayda =\mathrm{DP}/n-\mathrm{YP}/n\cdot p_t/(1-p_t) (Vickers ve Elkin, 2006); 100 hastada kaçınılan gereksiz girişim =(\mathrm{NF}_{model}-\mathrm{NF}_{herkes})/(p_t/(1-p_t))\times100.
170.6 Doğrulama: MerQur ve R (rms, pROC, glm, loess direct, dcurves::dca)
| Ölçüt | MerQur | Başvuru | Yöntem |
|---|---|---|---|
| Brier / E:O | 0,0849291 / 1 | aynı | doğrudan |
| AUC (DeLong GA) | 0,8606275 (0,8219268; 0,8993282) | aynı | pROC::roc, ci.auc |
| HL \chi^2 / p | 14,40063 / 0,07190238 | aynı | kantil gruplar |
| Spiegelhalter Z / p | −0,1297644 / 0,8967528 | aynı | doğrudan |
| ICI / E50 / E90 / Emax | 0,0182896 / 0,0105384 / 0,04739583 / 0,1410334 | aynı | loess(surface='direct') |
| net fayda 0,05 / 0,10 / 0,20 / 0,35 | 0,10554386 / 0,08740741 / 0,06733333 / 0,05015385 | aynı | dcurves::dca |
| bozuk kalibrasyon: kesişim / eğim | 0,4285714 / 1,428571 (SH 0,1367895) | aynı | glm |
| bozuk kalibrasyon: HL / ICI | 21,6892 (p 0,005525) / 0,04009079 | aynı | bağımsız R |
Not: yerel regresyon loess(surface='direct') tanımıyla, yani kd-ağacı yaklaştırması olmadan hesaplanır. R'ın varsayılan interpolate yüzeyi bu örnekte ICI değerini yaklaşık %5 farklı verir (0,01927; direct için 0,01829). Tanım olarak direct seçilmiştir.
170.7 Çıktıyı okuma
Aşağıdaki çıktı, bu bölümdeki örnek veriyle MerQur'un ürettiği sonuç metnidir.
KALİBRASYON VE KARAR EĞRİSİ ANALİZİ
────────────────────────────────────────────────────────────────
750 gözlem, 105 olay (olay oranı %14,0); 2 model.
Model başarımı ve kalibrasyon
--------------------------------------------------------------------
Ölçüt p p2
--------------------------------------------------------------------
E:O oranı (beklenen / gözlenen) 1,000 1,088
Ortalama öngörü 0,1400 0,1523
Brier skoru 0,0849 0,0872
Ölçekli Brier (1 − Brier / Brier_maks) 0,295 0,276
C istatistiği (AUC) 0,861 0,861
AUC %95 GA (DeLong) 0,822 - 0,899 0,822 - 0,899
Kalibrasyon kesişimi (CITL) 0,000 -0,120
CITL p değeri 1,0000 0,3006
Kalibrasyon eğimi 1,000 1,429
Eğim %95 GA 0,812 - 1,188 1,160 - 1,697
Hosmer-Lemeshow ki-kare 14,401 (sd 8) 21,689 (sd 8)
Hosmer-Lemeshow p 0,0719 0,0055
Spiegelhalter Z -0,130 -2,557
Spiegelhalter p 0,8968 0,0105
ICI 0,0183 0,0401
E50 0,0105 0,0257
E90 0,0474 0,0717
Emax 0,1410 0,1517
--------------------------------------------------------------------
ICI: ortalama mutlak kalibrasyon hatası; E50 ve E90: mutlak hatanın ortancası ve 90. yüzdeliği; Emax: en büyük mutlak hata (loess eğrisi).
Karar eğrisi: net fayda ve 100 hastada kaçınılan gereksiz girişim
-------------------------------------------------------------------------------------------------------------------
Eşik Herkesi tedavi et Kimseyi tedavi etme Net fayda (p) Net fayda (p2) Kaçınılan/100 (p) Kaçınılan/100 (p2)
-------------------------------------------------------------------------------------------------------------------
0,050 0,0947 0,0000 0,1055 0,1073 20,5 23,9
0,100 0,0444 0,0000 0,0874 0,0846 38,7 36,1
0,150 -0,0118 0,0000 0,0792 0,0711 51,6 46,9
0,200 -0,0750 0,0000 0,0673 0,0670 56,9 56,8
0,250 -0,1467 0,0000 0,0640 0,0631 63,2 62,9
0,300 -0,2286 0,0000 0,0547 0,0507 66,1 65,2
0,350 -0,3231 0,0000 0,0502 0,0417 69,3 67,8
-------------------------------------------------------------------------------------------------------------------
Net fayda = DP/n − YP/n × pₜ / (1 − pₜ). Kaçınılan/100 = (NF_model − NF_herkes) / (pₜ / (1 − pₜ)) × 100: model kullanıldığında, herkesi tedavi etmeye göre 100 hastada gereksiz girişimden kaçınılan hasta sayısı.
Kalibrasyon grupları: p
---------------------------------------------------------------------
Grup n Olay Gözlenen (%) Öngörülen (%) Gözlenen %95 GA (Wilson)
---------------------------------------------------------------------
1 75 0 0,0 0,6 0,0 - 4,9
2 75 1 1,3 1,3 0,2 - 7,2
3 75 2 2,7 2,1 0,7 - 9,2
4 75 6 8,0 3,3 3,7 - 16,4
5 75 0 0,0 5,0 0,0 - 4,9
6 75 8 10,7 7,3 5,5 - 19,7
7 75 5 6,7 11,4 2,9 - 14,7
8 75 10 13,3 18,0 7,4 - 22,8
9 75 26 34,7 30,8 24,9 - 45,9
10 75 47 62,7 60,3 51,4 - 72,7
---------------------------------------------------------------------
Kalibrasyon grupları: p2
---------------------------------------------------------------------
Grup n Olay Gözlenen (%) Öngörülen (%) Gözlenen %95 GA (Wilson)
---------------------------------------------------------------------
1 75 0 0,0 1,9 0,0 - 4,9
2 75 1 1,3 3,4 0,2 - 7,2
3 75 2 2,7 4,8 0,7 - 9,2
4 75 6 8,0 6,5 3,7 - 16,4
5 75 0 0,0 8,6 0,0 - 4,9
6 75 8 10,7 11,1 5,5 - 19,7
7 75 5 6,7 14,9 2,9 - 14,7
8 75 10 13,3 20,4 7,4 - 22,8
9 75 26 34,7 29,6 24,9 - 45,9
10 75 47 62,7 51,2 51,4 - 72,7
---------------------------------------------------------------------
Kalibrasyon kesişimi: lojistik model y ~ offset(lp); eğim: y ~ lp (Steyerberg ve Vergouwe 2014; Van Calster ve ark. 2016). Hosmer-Lemeshow: kantil grupları, sd = g − 2. Loess: yerel ikinci derece, tricube ağırlık (Austin ve Steyerberg 2019). Karar eğrisi: Vickers ve Elkin 2006.
── APA 7 ÖZET ──
p modelinde C istatistiği 0,86, kalibrasyon kesişimi 0,00, kalibrasyon eğimi 1,00, Brier skoru 0,085 ve ICI 0,018 bulunmuştur.
Raporlama örneği (APA):
p modelinde C istatistiği 0,86, kalibrasyon kesişimi 0,00, kalibrasyon eğimi 1,00, Brier skoru 0,085 ve ICI 0,018 bulunmuştur.
170.8 Uzman soruları
S1. Kalibrasyon eğimi 1,43 ne anlama gelir?
Eğim 1'den büyükse öngörüler çok ılımlıdır (gerçek risk öngörünün uçlarında daha ekstrem); eğim 1'den küçükse (tipik aşırı uyum) öngörüler fazla uçtadır. Burada öngörüler kasıtlı olarak küçültülmüş olduğundan eğim 1,43'tür.
S2. Neden HL yerine loess eğrisi ve ICI de veriliyor?
HL gruplamaya ve örneklem büyüklüğüne bağımlıdır, kalibrasyonun yönünü ve büyüklüğünü vermez. Loess eğrisi öngörü aralığı boyunca sapmayı gösterir; ICI ortalama mutlak sapmadır (Austin ve Steyerberg, 2019).
S3. Karar eğrisinde hangi eşik aralığı seçilmeli?
Yanlış pozitif ve yanlış negatifin klinik maliyet oranını yansıtan aralık: ör. biyopsi için %5–%20. Eşiğe karar vermek klinik bilgi gerektirir; tüm [0,1] aralığına bakmak yanıltıcıdır.
170.9 Kaynaklar
- Steyerberg, E. W. ve Vergouwe, Y. (2014). Towards better clinical prediction models: seven steps for development and an ABCD for validation. European Heart Journal, 35, 1925–1931.
- Van Calster, B., Nieboer, D., Vergouwe, Y. ve ark. (2016). A calibration hierarchy for risk models was defined. Journal of Clinical Epidemiology, 74, 167–176.
- Austin, P. C. ve Steyerberg, E. W. (2019). The integrated calibration index (ICI) and related metrics. Statistics in Medicine, 38, 4051–4065.
- Vickers, A. J. ve Elkin, E. B. (2006). Decision curve analysis. Medical Decision Making, 26, 565–574.
- Collins, G. S., Reitsma, J. B., Altman, D. G. ve Moons, K. G. M. (2015). TRIPOD statement. BMJ, 350, g7594.