İstatistik Sözlüğü → Karışıklık Matrisi Metrikleri
Karışıklık Matrisi Metriklerianaliz
Bir sınıflandırıcının ya da tanı testinin tahminlerini gerçek sınıflarla çapraz tablolayan karışıklık matrisinden doğruluk, duyarlılık, özgüllük, öngörü değerleri, F1, MCC ve kappa gibi performans ölçütlerini hesaplayan analiz.
Kavram
Bir test ya da model 'pozitif' veya 'negatif' tahmin verdiğinde dört olası sonuç vardır: gerçek pozitifi doğru yakalamak (doğru pozitif, TP), gerçek pozitifi kaçırmak (yanlış negatif, FN), gerçek negatifi yanlışlıkla pozitif saymak (yanlış pozitif, FP) ve gerçek negatifi doğru dışlamak (doğru negatif, TN). Bu dört sayının oluşturduğu 2×2 tablo karışıklık matrisidir ve tüm performans ölçütleri bu tablodan türetilir.
Ölçütler farklı soruları yanıtlar. Duyarlılık TP / (TP + FN), gerçek pozitiflerin ne kadarının yakalandığını; özgüllük TN / (TN + FP), gerçek negatiflerin ne kadarının doğru dışlandığını gösterir. Pozitif öngörü değeri (PPV) TP / (TP + FP), pozitif tahminlerin ne kadarının doğru olduğunu; negatif öngörü değeri (NPV) negatif tahminler için aynısını söyler. PPV ve NPV, duyarlılık ve özgüllükten farklı olarak durumun yaygınlığına (prevalans) güçlü biçimde bağlıdır. Olabilirlik oranları (LR+, LR−) bir test sonucunun hastalık olasılığını ne kadar değiştirdiğini, tanısal odds oranı ise testin genel ayırt etme gücünü tek sayıda özetler.
Sınıflar dengesizken doğruluk yanıltıcıdır: hastalık %1 yaygınsa herkese 'sağlıklı' diyen bir test %99 doğru olur. Bu nedenle dengeli doğruluk (duyarlılık ile özgüllüğün ortalaması), F1 (PPV ile duyarlılığın harmonik ortalaması), Matthews korelasyon katsayısı (MCC; dört hücrenin tümünü kullanan ve −1 ile +1 arasında değişen bir ölçüt) ve şans ötesi uyumu ölçen Cohen kappa birlikte raporlanmalıdır. Tüm bu ölçütler belirli bir eşikteki performansı gösterir; eşik değişirse değerler de değişir.
Ne zaman kullanılır?
- Bir sınıflandırıcının ya da tanı testinin belirli bir eşikteki performansı ayrıntılı biçimde raporlanmak istendiğinde (tanı testi doğrulama, makine öğrenmesi model değerlendirme, kalite kontrol).
- Eşik henüz belirlenmemişse ve testin tüm eşiklerdeki ayırt etme gücü incelenecekse ROC eğrisi ve AUC; tür dağılım modellerinde eşiğe bağlı beceri tek ölçütle özetlenecekse TSS kullanılır.
- Aynı bireylerde iki testin ya da iki değerlendiricinin sonuçları karşılaştırılıyorsa McNemar testi ve Cohen kappa; ikiden fazla değerlendirici varsa Fleiss kappa gibi uyum ölçütleri tercih edilir.
Gündelik bir örnek
Bir şirketin e-posta filtresi 1000 iletiyi inceliyor; bunların 100'ü gerçekten istenmeyen ileti (spam). Filtre 85 spamı yakalıyor (TP), 15'ini kaçırıyor (FN), 45 normal iletiyi yanlışlıkla spam sayıyor (FP) ve 855 normal iletiyi doğru geçiriyor (TN). Doğruluk %94, duyarlılık %85, özgüllük %95 çıkar. Ancak spam klasörüne düşen 130 iletinin yalnız 85'i gerçekten spamdır (PPV ≈ %65); yani kullanıcı spam klasörünü kontrol etmezse önemli iletilerin bir kısmını kaçırabilir. MCC ≈ 0,71 ve F1 ≈ 0,74, sınıfların dengesiz olduğu bu durumda filtrenin başarısını doğruluktan daha gerçekçi özetler.
MerQur'da parametreler
Hedef (gerçek) ve Tahmin
Kavram: Hedef her gözlemin gerçek sınıfını, tahmin ise test ya da modelin verdiği sınıfı içerir. Karışıklık matrisi bu iki sütunun çapraz tablosudur; eksik değerli satırlar hesaba katılmaz.
Gündelik örnek: E-posta örneğinde hedef sütunu iletinin gerçekten spam olup olmadığını (elle etiketlenmiş), tahmin sütunu ise filtrenin kararını içerir. 1000 iletinin bu iki sütunu karşılaştırılarak TP, FN, FP ve TN sayıları elde edilir.
Ne işe yarar: Gerçek ve tahmin edilen sınıf sütunlarını belirler; gerçek ya da tahmini eksik satırlar atılır.
Sonuca etkisi: Pozitif sınıfa göre ikili indirgeme yapılır (gerçek ya da tahmin pozitif değere eşitse 1, değilse 0; çok sınıfta bire-karşı-diğerleri).
Doğrulama verisinde: (FOB): TP 20, FN 10, FP 180, TN 1820; doğruluk 0.9064, Se 0.6667, Sp 0.91, PPV 0.10, NPV 0.9945, F1 0.1739, MCC 0.2335, BA 0.7883, κ 0.1521, J 0.5767.
Pozitif sınıf
Kavram: Hangi sınıfın 'pozitif' (aranan durum) sayılacağını belirler. Pozitif sınıf değişirse duyarlılık ile özgüllük, PPV ile NPV yer değiştirir ve F1 gibi pozitif sınıfa odaklı ölçütler değişir; doğruluk, kappa ve MCC gibi simetrik ölçütler aynı kalır.
Gündelik örnek: Pozitif sınıf 'spam' seçilirse duyarlılık spamları yakalama oranıdır (%85). 'Normal ileti' pozitif seçilirse duyarlılık normal iletileri doğru geçirme oranı (%95) olur ve F1 çok daha yüksek çıkar, çünkü normal iletiler çoğunluktadır.
Ne işe yarar: TP/FN'in "pozitif" saydığı sınıf.
Sonuca etkisi: Se ile Sp, PPV ile NPV yer değiştirir; LR+/LR-, prevalans, tespit oranları ve F1 değişir. Doğruluk, κ, MCC, BA, J ve DOR değişmez.
Doğrulama verisinde: (FOB, pozitif 1 ve 0): Se 0.6667 ve 0.91; PPV 0.10 ve 0.9945; F1 0.1739 ve 0.9504; LR+ 7.4074 ve 2.73; LR- 0.3663 ve 0.135; κ 0.1521 ve DOR 20.2222 her ikisinde aynıdır.
Güven Düzeyi (%90 / %95 / %99 / özel)
Kavram: Ölçütler için verilen güven aralıklarının düzeyini belirler. Duyarlılık ya da PPV gibi oranlar sınırlı sayıda gözleme dayandığından belirsizlik taşır; güven düzeyi arttıkça aralık genişler.
Gündelik örnek: Duyarlılık 100 spam üzerinden hesaplandığı için %95 güven aralığı yaklaşık %77 ile %91 arasındadır. Yalnız 20 spam olsaydı aynı %85'lik duyarlılığın aralığı çok daha geniş olurdu.
Ne işe yarar: Wilson aralıkları (doğruluk, Se, Sp, PPV, NPV, prevalans), LR+/LR-/DOR log aralıkları, κ aralığı, kesin doğruluk aralığı ve bootstrap yüzdelikleri için düzeyi belirler.
Sonuca etkisi: Yalnız aralık genişliği; nokta tahminleri ve p değerleri değişmez.
Doğrulama verisinde: (FOB, Se aralığı): %80 [0.5503, 0.7658]; %90 [0.5166, 0.7892]; %95 [0.4878, 0.8077]; %99 [0.4336, 0.8394]; %99.9 [0.3757, 0.8692]; LR+ %95 [5.549, 9.888].
Ek çıktılar: Kappa SE/GA + McNemar + NIR testi
Kavram: Kappa'nın standart hatası ve güven aralığı, uyumun şanstan farklı olup olmadığını gösterir. McNemar testi, iki hata türünün (yanlış negatif ve yanlış pozitif) sayıca dengeli olup olmadığını, yani testin sistematik olarak bir yöne kayıp kaymadığını sınar. NIR testi, doğruluğun herkese çoğunluk sınıfını tahmin etmekle elde edilecek doğruluktan (bilgisiz oran) yüksek olup olmadığını sınar.
Gündelik örnek: Normal iletiler %90 olduğundan herkese 'normal' diyen bir filtre %90 doğru olurdu; NIR testi %94'lük doğruluğun bu düzeyden anlamlı biçimde yüksek olup olmadığını söyler. McNemar testi ise filtrenin 45 yanlış alarm ile 15 kaçırma arasındaki dengesizliğinin şansla açıklanıp açıklanamayacağını gösterir.
Ne işe yarar: κ'nın asimptotik SE'si (Fleiss-Cohen-Everitt 1969) ve aralığı, H0: κ = 0 için z ve p; McNemar (sistematik hata; süreklilik düzeltmeli χ² ve kesin binom p; b = FN, c = FP; düzeltmesiz χ² de verilir); doğruluk için Clopper-Pearson aralığı ve H1: doğruluk > NIR tek yönlü binom testi.
Sonuca etkisi: Matris ve temel metrikler değişmez; κ'nın SE, GA ve z testi, McNemar χ² ve p, doğruluk için kesin aralık ve NIR testi eklenir.
Doğrulama verisinde: Wikipedia örneği κ = 0.4000, ASE 0.1270, z 2.887; Drugs A-F verisi κ -0.0328, McNemar χ² 9.389 (düzeltmeli); düzeltmesiz 10.8889, p 0.00097; kesin p de verilir; NIR 0.75 ve doğruluğun NIR'den büyük olduğunu sınayan p raporlanır.
Ek çıktılar: Çok sınıflı matris
Kavram: İkiden fazla sınıf olduğunda tüm sınıflarla karışıklık matrisini kurar ve her sınıf için o sınıf ile geri kalanların karşılaştırılmasından ölçütler hesaplar. Makro ortalama her sınıfa eşit ağırlık verir; mikro ve ağırlıklı ortalamalar kalabalık sınıflara daha çok ağırlık verir.
Gündelik örnek: Filtre iletileri 'iş', 'kişisel', 'reklam' ve 'spam' diye dört sınıfa ayırıyorsa her sınıf için ayrı duyarlılık ve PPV hesaplanır. Makro F1, seyrek ama önemli 'kişisel' sınıfındaki başarısızlığı, mikro F1'e göre daha açık gösterir.
Ne işe yarar: Tüm sınıflarla karışıklık matrisi; sınıf başına bire-karşı-diğerleri Se, Sp, PPV, NPV, F1, BA; makro, mikro ve ağırlıklı F1; çok sınıflı κ (ASE, aralık); doğruluk aralığı ve NIR testi.
Sonuca etkisi: İkili indirgeme yerine tüm sınıflar raporlanır; sınıf başına metrikler ve makro, mikro, ağırlıklı ortalamalar eklenir.
Doğrulama verisinde: SkinCondition (4 sınıf) κ 0.3449, ASE 0.0724, aralık [0.2030, 0.4868]; sınıf başına metrikler ayrıca raporlanır.
Ek çıktılar: F1/MCC/BA/Youden bootstrap GA
Kavram: F1, MCC, dengeli doğruluk ve Youden indeksi gibi ölçütler için basit formüllü standart hatalar yaygın olmadığından, güven aralıkları veriden yeniden örneklem çekilerek (bootstrap) hesaplanır. Sonuç rastgele tohuma göre biraz değişebilir.
Gündelik örnek: 1000 iletiden yerine koyarak binlerce yeni 'ileti kümesi' çekilir ve her birinde MCC yeniden hesaplanır. MCC'nin bu kümelerde 0,64 ile 0,78 arasında dolaşması, 0,71'lik değerin belirsizliğini gösterir.
Ne işe yarar: Yüzdelik bootstrap aralığı (2000 tekrar, tohum 42; bir sınıfı boş kalan örneklem atlanır). F1 ve MCC için kapalı biçimli SE yaygın değildir.
Sonuca etkisi: Nokta değerleri değişmez; F1, MCC, BA ve J için aralık eklenir ve sonuç tohuma bağlıdır.
Doğrulama verisinde: (FOB): F1 [0.109, 0.242], MCC [0.154, 0.307]; aralıklar tohuma bağlı Monte Carlo değişkenliği taşır.
Gerçek veride örnek
Veri: Wikipedia, gaitada gizli kan (FOB) tarama örneği (n = 2030)
Değişkenler: gerçek sınıf gercek (kanser var/yok), tahmin tahmin (FOB test sonucu)
- Soru: Dışkıda gizli kan (FOB) testi, 2030 kişide kolorektal kanseri (gerçek = 1) ne kadar doğru saptıyor?
- Matris: TP = 20, FN = 10, FP = 180, TN = 1820; prevalans %1.48 (30/2030), sınıflar çok dengesizdir.
- Sonuç: Doğruluk = .906 [.893, .918], duyarlılık = .667 [.488, .808], özgüllük = .910 [.897, .922]; test kanserlerin üçte ikisini yakalar.
- Pozitif sonucun anlamı: PPV = .10 [.066, .149], NPV = .995; pozitif çıkan her 10 kişiden yalnız 1'i kanserlidir, negatif sonuç ise kanseri büyük ölçüde dışlar. LR+ = 7.41 [5.55, 9.89], LR- = 0.37.
- Dengesizliğe duyarlı ölçütler: F1 = .17, MCC = .23, dengeli doğruluk = .79, Cohen κ = .15 (önemsiz uyum); yüksek doğruluk büyük ölçüde negatif sınıfın çokluğundan gelir, MCC ve dengeli doğruluk esas alınmalıdır.
- APA: FOB testi (N = 2030): duyarlılık = .67, %95 GA [.49, .81]; özgüllük = .91, %95 GA [.90, .92]; PPV = .10; MCC = .23; κ = .15.
İlgili kavramlar
Olabilirlik oranı testi (LRT)Bootstrap (yeniden örnekleme)F1 skoru, MCC ve dengeli doğrulukKappa katsayısı (Cohen κ)Pozitif ve negatif kestirim değeri (PPV, NPV)Sınıflandırma tablosu (karışıklık matrisi)Youden J indeksi (optimal eşik)Duyarlılık ve özgüllük
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.