MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → F1 skoru, MCC ve dengeli doğruluk

F1 skoru, MCC ve dengeli doğrulukkavram

Sınıflar dengesiz olduğunda yalın doğruluk oranının yanıltıcılığını gidermek için kullanılan, karışıklık matrisinden hesaplanan üç sınıflandırma başarım ölçüsü.

Olayların %5 olduğu bir veride her gözleme 'olay yok' diyen bir model %95 doğruluk elde eder ama hiçbir işe yaramaz. F1 skoru, kesinlik (pozitif tahminlerin ne kadarının doğru olduğu) ile duyarlılığın (gerçek pozitiflerin ne kadarının yakalandığı) harmonik ortalamasıdır: F1 = 2·DP / (2·DP + YP + YN). Dengeli doğruluk, duyarlılık ile özgüllüğün aritmetik ortalamasıdır ve her sınıfa eşit önem verir. Matthews korelasyon katsayısı (MCC), gerçek ve tahmin edilen sınıflar arasındaki korelasyondur; -1 ile +1 arasında değişir ve karışıklık matrisinin dört hücresini de kullanır.

F1 doğru negatifleri hiç kullanmaz; bu yüzden hangi sınıfın 'pozitif' sayıldığına bağlıdır ve negatif sınıfın başarımını göstermez. MCC, ancak model iki sınıfta da iyi olduğunda yüksek çıktığı için dengesiz veride en bilgilendirici tek sayı olarak sıkça önerilir. Üç ölçü de bir olasılık eşiğine bağlıdır; eşikten bağımsız ayırt etme gücü için AUC kullanılır. Kapalı biçimli standart hataları yaygın olmadığından güven aralıkları genellikle bootstrap ile kurulur.

Gündelik bir örnek

Bir e-posta servisi 1000 iletinin 50'sinin spam olduğu bir test setinde filtresini deniyor. Filtre 40 spamı yakalıyor, 10'unu kaçırıyor ve 20 normal iletiyi yanlışlıkla spam sayıyor. Doğruluk %97 gibi parlak görünürken kesinlik 40/60 = 0,67, duyarlılık 0,80, F1 ≈ 0,73 ve MCC ≈ 0,71 çıkıyor; bunlar filtrenin hâlâ geliştirilmesi gerektiğini daha dürüst gösteriyor.

MerQur'da

Karışıklık matrisi metrikleri analizinin temel çıktılarındandır; 'F1/MCC/BA/Youden bootstrap GA' ek çıktısı bunlar için yüzdelik bootstrap aralıkları verir. Rastgele orman, destek vektör makinesi ve karar ağacının test kümesi başarım çıktılarında da yer alır.

Bu kavramın geçtiği analizler

Karışıklık Matrisi MetrikleriRastgele OrmanDestek Vektör MakinesiKarar Ağacı

İlgili kavramlar

Sınıflandırma tablosu (karışıklık matrisi)Kesinlik-duyarlılık (PR) eğrisi ve ortalama kesinlik