İstatistik Sözlüğü → Gerçek Beceri İstatistiği
Gerçek Beceri İstatistiğianaliz
Bir sınıflandırıcının ya da tür dağılım modelinin varlık ve yokluğu belirli bir eşikte ne kadar becerili ayırdığını duyarlılık + özgüllük − 1 formülüyle özetleyen ölçüt.
Kavram
Tür dağılım modelleri bir türün bulunduğu ve bulunmadığı yerlerden öğrenerek her nokta için bir uygunluk olasılığı üretir. Bu olasılığın kullanılabilmesi için bir eşik seçilip 'var' ve 'yok' tahminine çevrilmesi gerekir; ardından tahminlerin gerçek gözlemlerle ne kadar örtüştüğü ölçülür. Basit doğruluk oranı yanıltıcı olabilir: tür alanların yalnız %10'unda bulunuyorsa her yere 'yok' diyen bir model bile %90 doğruluk elde eder.
Gerçek beceri istatistiği (TSS) bu sorunu duyarlılık (türün bulunduğu yerleri doğru tahmin etme oranı) ve özgüllüğü (bulunmadığı yerleri doğru tahmin etme oranı) birlikte kullanarak aşar: TSS = duyarlılık + özgüllük − 1. Değer −1 ile +1 arasındadır; 0 şanstan farksız, 1 kusursuz bir tahmini gösterir. Formül Youden indeksiyle aynıdır. Cohen kappa'nın aksine TSS, türün yaygınlığından (prevalans) büyük ölçüde etkilenmez; bu yüzden farklı yaygınlıktaki türlerin modellerini karşılaştırmada sık kullanılır.
TSS eşiğe bağlıdır; eşik değişince duyarlılık ve özgüllük değişir, TSS de değişir. Eşik aynı veride seçilip değerlendirildiğinde değer iyimserdir; güvenilir bir değerlendirme için bağımsız bir test seti ya da çapraz doğrulama kullanılmalıdır. TSS, yanlış negatiflere ve yanlış pozitiflere eşit ağırlık verir; uygulamada bu iki hatanın bedeli farklıysa tek başına yeterli olmayabilir. Eşikten bağımsız ayırt etme gücü için AUC birlikte raporlanır.
Ne zaman kullanılır?
- Tür dağılım modellerinin ya da ikili sınıflandırıcıların eşiğe bağlı başarısı, özellikle sınıfların dengesiz olduğu durumlarda tek bir ölçütle özetlenmek istendiğinde.
- Eşikten bağımsız ayırt etme gücü değerlendirilecekse ROC eğrisi ve AUC; tek bir eşikteki tüm ölçütler (PPV, NPV, F1, MCC) ayrıntılı raporlanacaksa karışıklık matrisi ölçütleri kullanılır.
- Tahmin ile gözlem arasındaki uyumun şans düzeyine göre değerlendirilmesi isteniyorsa Cohen kappa da verilebilir; ancak kappa prevalansa duyarlıdır ve farklı yaygınlıktaki türler arasında karşılaştırmayı zorlaştırır.
Gündelik bir örnek
Bir orman müdürlüğü, nadir bir orkide türünün nerelerde bulunabileceğini tahmin eden bir model kurmuş. 400 örnekleme noktasının 80'inde orkide bulunmuş. Model, uygun eşikte orkideli noktaların 64'ünü doğru tahmin ediyor (duyarlılık 0,80) ve orkidesiz 320 noktanın 256'sını doğru biçimde 'yok' olarak işaretliyor (özgüllük 0,80). TSS = 0,80 + 0,80 − 1 = 0,60 olur; model şanstan belirgin biçimde daha iyidir. Her noktaya 'yok' diyen bir model ise %80 doğruluk elde ederdi ama TSS'si 0 olurdu.
MerQur'da parametreler
Özellikler ve Hedef (İkili)
Kavram: Hedef, türün var ya da yok olduğu gözlenen ikili durumdur; özellikler ise bu durumu tahmin eden lojistik modelin açıklayıcılarıdır. Modelin her nokta için verdiği tahmin olasılığı, TSS'nin hesaplandığı skordur.
Gündelik örnek: Orkide örneğinde hedef her noktada orkidenin bulunup bulunmadığı, özellikler ise yükselti, eğim, toprak nemi ve gölgelenmedir. Lojistik model bunlardan her nokta için bir 'orkide bulunma olasılığı' hesaplar.
Ne işe yarar: Hazır olasılık sütunu seçilmemişse lojistik modelin açıklayıcılarıdır; hedef ikili gözlenen durumdur.
Sonuca etkisi: Skor lojistik tahmin olasılığıdır (cezasız en çok olabilirlik, IRLS).
Doğrulama verisinde: UCLA binary (n = 400) örneklem içi maksimum TSS 0.3087; eşik 0.5'te FP 20, TSS 0.1551, κ 0.1856.
Değerlendirme (Tüm veride (örneklem içi) / Bağımsız test seti / k-katlı çapraz doğrulama)
Kavram: TSS'nin hangi veride hesaplanacağını belirler. Tüm veride hesaplanan değer iyimserdir, çünkü model ve eşik aynı veriden seçilmiştir. Bağımsız test seti ya da k-katlı çapraz doğrulama, modelin yeni noktalardaki başarısını daha dürüst gösterir.
Gündelik örnek: Model tüm 400 noktada TSS = 0,60 verirken, 280 noktayla kurulup kalan 120 noktada sınandığında TSS = 0,50 çıkabilir. Yeni bir vadide yapılacak tahminlerin başarısı ikinci değere daha yakın olur.
Ne işe yarar: Örneklem içi (iyimser), bağımsız test seti (tabakalı bölme; model ve eşik eğitimde, TSS testte) ya da tabakalı k-kat CV (kat TSS ortalaması ± SS, karışıklık matrisi katların toplamı).
Sonuca etkisi: Bildirilen TSS, Se, Sp ve sayımlar; ek kartta GA, κ, AUC test ya da kat-dışı skorlardan hesaplanır.
Doğrulama verisinde: (UCLA): Örneklem içi 0.3087; test seti (0.30, tohum 42) 0.2336; 5-kat CV 0.2853 ± 0.0218.
Test oranı, CV kat sayısı (k), Rastgele tohum
Kavram: Test seti oranı verinin ne kadarının sınama için ayrılacağını, kat sayısı çapraz doğrulamada verinin kaç parçaya bölüneceğini, rastgele tohum ise bölmenin hangi rastgele düzenle yapılacağını belirler. Küçük test setlerinde TSS bölmeden bölmeye belirgin biçimde değişebilir.
Gündelik örnek: 400 noktanın yalnız %10'u (40 nokta, yaklaşık 8 orkideli) test için ayrılırsa tek bir orkidenin doğru ya da yanlış tahmini bile TSS'yi çok oynatır. Farklı tohumlarla tekrarlamak sonucun ne kadar kararlı olduğunu gösterir.
Ne işe yarar: Test seti oranı; CV kat sayısı; bölme, karıştırma ve bootstrap tohumu.
Sonuca etkisi: Yalnız ilgili değerlendirme modunda; tohum bootstrap GA'yı da etkiler. Örneklem içinde etkisizdir ve alanlar ilgisiz modda devre dışıdır.
Doğrulama verisinde: Test oranı 0.10, 0.30, 0.50 için TSS 0.4302, 0.2336, 0.2477 (n_test 40, 120, 200); k = 2, 5, 10, 20 için 0.2253, 0.2853, 0.2809, 0.2689 (SS 0.017, 0.022, 0.098, 0.196); tohum 0, 42, 123456 (test seti) için 0.2632, 0.2336, 0.0789. Küçük testte ve çok katlı CV'de TSS'nin örnekleme oynaklığı büyüktür.
Hazır olasılık sütunu
Kavram: Lojistik model kurmak yerine başka bir yöntemle (MaxEnt, rastgele orman, GAM gibi) önceden hesaplanmış olasılık ya da uygunluk değerlerini skor olarak kullanır; böylece farklı modellerin TSS'si aynı ölçütle karşılaştırılabilir.
Gündelik örnek: Orkide için MaxEnt ile bir uygunluk haritası zaten üretildiyse, her noktanın uygunluk değeri bu sütuna girilir ve TSS doğrudan bu değerlerden hesaplanır.
Ne işe yarar: Başka bir modelin (MaxEnt, RF, GAM) tahmin olasılığı ya da uygunluk skorunu doğrudan kullanır; lojistik model uydurulmaz.
Sonuca etkisi: Skor model yerine bu sütundur; TSS, eşik, κ ve AUC doğrudan bu olasılıklardan hesaplanır.
Doğrulama verisinde: ABCO GAM eşik 0.5: Se 0.5000, Sp 0.9474, TSS 0.4474, κ 0.4658, AUC 0.8809. See5: TSS 0.3461; SGB: 0.3292.
Pozitif sınıf
Kavram: Hedef değişkenin hangi değerinin 'var' (pozitif) sayılacağını belirler. Pozitif sınıf değişirse duyarlılık ile özgüllük yer değiştirir; ikisinin toplamına dayanan TSS ise aynı kalır.
Gündelik örnek: Pozitif sınıf 'orkide var' seçilirse duyarlılık orkideli noktaları yakalama oranıdır. 'Orkide yok' seçilirse aynı sayı özgüllük olarak görünür, ama TSS = 0,60 değişmez.
Ne işe yarar: Varlık (pozitif) değeri; otomatik = sıralamada ikinci değer. Hazır olasılık sütunu "sınıf 1 olasılığı" kabul edilir; diğer değer pozitif seçilirse skor 1 - p alınır ve not yazılır.
Sonuca etkisi: TSS aynı kalır, duyarlılık ve özgüllük yer değiştirir; hazır olasılık sütununda skor 1 - p alınır.
Doğrulama verisinde: UCLA lojistik pozitif 0: TSS aynı (0.3087), Se/Sp yer değiştirir. ABCO GAM ve pozitif 0: TSS 0.6326 (olasılık seçilen pozitif sınıfa göre 1 - p olarak çevrilir).
Eşik ölçütü (Maks. duyarlılık+özgüllük (Youden) / Duyarlılık = özgüllük / Tahmini = gözlenen prevalans / Maks. Kappa / Duyarlılık >= 0.90)
Kavram: Olasılığı 'var' ve 'yok' tahminine çevirecek eşiğin hangi kurala göre seçileceğini belirler: duyarlılık ve özgüllüğün toplamını en büyük yapmak (Youden, TSS'yi en büyük yapan eşik), ikisini eşitlemek, tahmin edilen yaygınlığı gözlenen yaygınlığa eşitlemek, kappa'yı en büyük yapmak ya da belirli bir duyarlılığı güvenceye almak.
Gündelik örnek: Koruma amaçlı bir çalışmada orkidenin bulunabileceği yerlerin neredeyse hiçbirini kaçırmamak istenebilir; bu durumda 'duyarlılık ≥ 0,90' kuralı seçilir. Eşik düşer, orkideli noktaların %90'ı yakalanır ama daha çok orkidesiz nokta da 'uygun' görünür.
Ne işe yarar: Elle eşik yoksa eşiği seçer (PresenceAbsence optimal.thresholds tanımları).
Sonuca etkisi: Eşik ve ona bağlı tüm sayımlar. MerQur aday eşikleri gözlenen skor değerleridir (eşitlikte en yüksek); PresenceAbsence 0.00-1.00 arasında 101 eşik ızgarası kullanır ve eşitlikte ortalama alır; pROC bitişik değerlerin orta noktasını kullanır.
Doğrulama verisinde: (QUGA GAM): Youden 0.3059 (TSS 0.7813); Se=Sp 0.1342 (TSS 0.7526); PredPrev 0.4432 (TSS 0.6707); MaxKappa 0.3059; ReqSens 0.0507. Aday eşikler gözlenen skorlardır.
Elle eşik
Kavram: Eşiği bir kurala göre seçmek yerine araştırmacının belirlediği sabit bir değerde kullanır; skor bu değere eşit ya da büyükse tahmin 'var' olur.
Gündelik örnek: Alan kılavuzunda 'uygunluk 0,3 ve üstü olan yerler taranacak' denmişse eşik elle 0,3 girilir ve TSS bu uygulamaya özgü eşikte hesaplanır.
Ne işe yarar: Sabit eşik (skor >= eşik ise pozitif); otomatik iken ölçüt kullanılır.
Sonuca etkisi: Eşik ölçütünün yerine geçer; TSS, Se, Sp, κ ve sayımlar bu eşikte hesaplanır.
Doğrulama verisinde: ABCO GAM eşik 0.2: TSS 0.5811; 0.5: 0.4474; Youden (0.1001): 0.6326 (sayımlar, κ ve ASE raporlanır).
TSS GA + Kappa + AUC ve TSS GA yöntemi (Wald / Bootstrap (tabakalı, 2000))
Kavram: TSS için güven aralığı, tahmin ile gözlem arasındaki şans ötesi uyumu ölçen Cohen kappa ve eşikten bağımsız ayırt etme gücünü gösteren AUC'yi birlikte verir. Aralık formülle (Wald) ya da veriden yeniden örneklem çekerek (bootstrap) hesaplanabilir.
Gündelik örnek: TSS = 0,60 için %95 aralık [0,50; 0,70] ise modelin becerisi oldukça kesin biçimde orta-iyi düzeydedir. AUC = 0,88 ise model eşik ne olursa olsun orkideli ve orkidesiz noktaları iyi sıralamaktadır.
Ne işe yarar: TSS için Wald GA (Var = Se(1-Se)/n1 + Sp(1-Sp)/n0; Youden 1950) ya da satır bootstrap GA (1000, eşik sabit); Cohen κ (Fleiss-Cohen-Everitt ASE, GA, H0 SE ile z); AUC (DeLong). CV modunda bootstrap seçilse de Wald kullanılır (belgeli).
Sonuca etkisi: TSS nokta değeri değişmez; GA, κ ve AUC ek kartta verilir. Bootstrap GA tohuma bağlıdır.
Doğrulama verisinde: (QUGA GAM Youden): TSS 0.7813 [0.6832, 0.8794], κ 0.7236 (ASE 0.0483), AUC 0.9381 [0.9033, 0.9729]. Bootstrap: PICO SGB [0.8720, 0.9370].
Gerçek veride örnek
Veri: UCLA OARC binary.csv (lisansüstü kabul, n = 400)
Değişkenler: hedef admit (kabul 0/1), lojistik model açıklayıcıları gre, gpa ve rank
- Soru: GRE, not ortalaması (gpa) ve okul sıralaması (rank) ile kurulan lojistik model lisansüstü kabulü (admit) ne kadar becerili tahmin eder (TSS = duyarlılık + özgüllük - 1)?
- Model: Lojistik regresyonda rank (b = -0.56, p < .001), gpa (b = 0.78, p = .018) ve gre (b = 0.002, p = .036) anlamlıdır; tahmin olasılığı skor olarak kullanılır (tüm veri, n = 400).
- Sonuç: Youden eşiği 0.335'te TSS = 0.309; duyarlılık = .646, özgüllük = .663. Karmaşıklık matrisi: TP = 82, FN = 45, FP = 92, TN = 181.
- Yorum: TSS = 0.31 şans düzeyinin (0) üzerinde, ancak sınırlı bir beceriyi gösterir (kabul edilebilir); model kabul edilenlerin üçte ikisini yakalar, reddedilenlerin üçte birini yanlış pozitif sayar.
- Sınırlılık: Değerlendirme örneklem içidir ve eşik aynı veride seçildiğinden TSS iyimserdir; bağımsız test seti ya da k-katlı çapraz doğrulama ile yeniden hesaplanmalıdır.
- APA: TSS = .31, duyarlılık = .65, özgüllük = .66, N = 400 (eşik = 0.335).
İlgili kavramlar
Eğitim-test ayırımı (holdout)Kappa katsayısı (Cohen κ)Sınıflandırma eşiği (kesim değeri)ROC eğrisi altındaki alan (AUC)Youden J indeksi (optimal eşik)k-katlı çapraz geçerlemeDuyarlılık ve özgüllükDeLong testi ve AUC güven aralığı
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.