İstatistik Sözlüğü → Kesinlik-duyarlılık (PR) eğrisi ve ortalama kesinlik
Kesinlik-duyarlılık (PR) eğrisi ve ortalama kesinlikkavram
Bir sınıflandırıcının farklı eşiklerdeki kesinliğini (pozitif tahminlerin ne kadarının doğru olduğu) duyarlılığına (gerçek pozitiflerin ne kadarının yakalandığı) karşı gösteren eğri ve bu eğriyi tek sayıda özetleyen ortalama kesinlik (AP).
Kesinlik = DP / (DP + YP), duyarlılık (recall) = DP / (DP + YN) olarak tanımlanır. Eşik düşürüldükçe duyarlılık artar, kesinlik ise genellikle azalır. PR eğrisi bu ödünleşimi tüm eşikler için çizer. Ortalama kesinlik, eğri altındaki alanın adım toplamıyla hesaplanan bir özetidir: AP = Σ (Rₙ − Rₙ₋₁)·Pₙ. Kesinlik, ardışık noktalar arasında doğrusal olarak değişmediği için noktaları düz çizgiyle birleştirip alan hesaplamak sonucu iyimser gösterir.
ROC eğrisi gerçek negatifleri de kullandığı için, pozitif sınıf çok nadir olduğunda yüksek AUC'ye rağmen pratikte işe yaramaz çok sayıda yanlış pozitif gizlenebilir. PR eğrisi doğrudan pozitif sınıfa odaklandığı için böyle dengesiz problemlerde daha bilgilendiricidir. Rastgele bir sınıflandırıcının PR eğrisi, prevalansa eşit yatay bir çizgidir. Bu yüzden AP her zaman prevalansla birlikte yorumlanmalıdır; prevalansı farklı veri setleri arasında AP değerleri doğrudan karşılaştırılamaz.
Gündelik bir örnek
Bir e-posta servisi, mesajların yalnızca %2'si zararlı yazılım içerirken bir filtre geliştiriyor. ROC AUC 0,95 çıkıyor. Ama PR eğrisi, zararlıların %80'ini yakalamak için seçilen eşikte işaretlenen her 10 mesajdan yalnızca 3'ünün gerçekten zararlı olduğunu gösteriyor. AP 0,42'dir; rastgele bir filtrenin AP'si ise 0,02 olurdu.
MerQur'da
ROC eğrisi analizinde 'Ek çıktılar: PR eğrisi ve ortalama kesinlik (AP)' seçeneği kesinlik-duyarlılık eğrisini ve adım toplamıyla ortalama kesinliği verir.
Bu kavramın geçtiği analizler
İlgili kavramlar
ROC eğrisi altındaki alan (AUC)F1 skoru, MCC ve dengeli doğruluk