MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Cohen's Kappa

Cohen's Kappaanaliz

Aynı nesneleri kategorilere ayıran iki ya da daha fazla değerlendiricinin uyumunu, yalnız şansla oluşacak uyumu düşerek ölçen katsayı.

Kavram

İki değerlendirici (ör. iki doktor, iki öğretmen, iki kodlayıcı) aynı olguları sınıflandırdığında ne kadar aynı kararı verdikleri ölçümün güvenilirliği hakkında bilgi verir. Ancak basit yüzde uyum yanıltıcıdır: iki kişi tamamen rastgele karar verse bile, özellikle bir kategori çok yaygınsa, bir miktar uyum kendiliğinden oluşur.

Kappa gözlenen uyumdan şansla beklenen uyumu çıkarır ve bunu ulaşılabilecek en yüksek fazlalığa böler: κ = (p_o − p_e) / (1 − p_e). Burada p_o iki değerlendiricinin aynı kategoriyi verdiği olguların oranı, p_e ise her değerlendiricinin kategori kullanma sıklıklarından hesaplanan şans uyumudur. κ = 1 tam uyumu, κ = 0 şanstan farksız uyumu, negatif değerler şanstan kötü uyumu gösterir. Kategoriler sıralıysa ağırlıklı kappa yakın kategorilerdeki anlaşmazlığa kısmi puan verir; ikiden fazla değerlendiricide Fleiss kappa ya da Krippendorff alfa kullanılır.

Kappa'nın değeri kategorilerin yaygınlığından ve değerlendiricilerin kategori kullanma eğilimlerinden etkilenir: yüzde uyum çok yüksekken bile bir kategori çok baskınsa κ düşük çıkabilir. Bu nedenle κ yanında gözlenen uyum yüzdesi ve gerekirse PABAK gibi ölçüler de raporlanmalıdır. Sözel eşikler (ör. 0,41-0,60 'orta') yalnız kabaca yol gösterir. Kappa uyumu ölçer, değerlendiricilerin doğru karar verip vermediğini ölçmez.

Ne zaman kullanılır?

  • İki değerlendiricinin aynı olgulara verdiği kategorik kararların ne kadar uyumlu olduğunu ölçerken (gözlemciler arası güvenirlik, iki tanı yönteminin uyumu).
  • Kategoriler sıralıysa ağırlıklı kappa; üç ya da daha fazla değerlendirici varsa Fleiss kappa, eksik değerlendirmeler ya da sürekli puanlar varsa Krippendorff alfa kullanılır.
  • Ölçümler sürekliyse (ör. iki cihazın kan basıncı ölçümü) kappa yerine sınıf içi korelasyon katsayısı ya da Bland-Altman analizi uygundur.

Gündelik bir örnek

Bir okulda iki öğretmen aynı 100 kompozisyonu birbirinden habersiz 'zayıf', 'orta', 'iyi' ve 'çok iyi' diye notluyor. 70 kompozisyonda aynı notu vermişler, yani gözlenen uyum %70. Ancak iki öğretmenin her notu ne sıklıkla kullandığına bakıldığında, rastgele not verselerdi bile yaklaşık %30 uyum beklenirdi. Kappa = (0,70 − 0,30) / (1 − 0,30) ≈ 0,57 çıkar: öğretmenler şansın belirgin biçimde ötesinde uyumludur ama notlandırma ölçütleri tam olarak aynı değildir.

MerQur'da parametreler

Gözlemci 1 ve Gözlemci 2

Kavram: İki değerlendiricinin aynı olgulara verdiği kararları içeren iki sütundur; her satır bir olgudur. Uyum tablosunun satırları birinci, sütunları ikinci değerlendiricinin kararlarıdır ve köşegen, aynı kararın verildiği olguları gösterir.

Gündelik örnek: Okul örneğinde her satır bir kompozisyondur; birinci sütunda birinci öğretmenin, ikinci sütunda ikinci öğretmenin notu yer alır. İki öğretmenin yeri değiştirilse kappa değişmez.

Ne işe yarar: Uyum tablosunun satırı ve sütunudur. İki taraftaki kategori kümeleri birleştirilir; gözlenmeyen kategori sıfır satır/sütun olarak eklenir. Eksik değerli denekler çift olarak dışlanır.

Sonuca etkisi: κ, SE, z, p, kategori κ, Bowker ve Stuart-Maxwell gözlemcilerin yer değiştirmesinden etkilenmez. Ağırlıklı κ kategori sırasına bağlıdır; sayısal kodlar sayısal, metin etiketleri alfabetik sıralanır ve uyarı yazılır.

Doğrulama verisinde: SkinCondition'da gözlemciler yer değiştirince doğrusal κ 0.5082 ve Bowker 4.5354 aynı kalır. UCLA film verisinde tablo 3x3'e tamamlanır: κ = 0.5000, ASE 0.1559, GA [0.1944, 0.8056].

Ağırlık (Ağırlıksız (nominal/binary), Doğrusal ağırlıklı (ordinal), Kuadratik ağırlıklı (ordinal))

Kavram: Kategoriler sıralıysa her anlaşmazlığın eşit derecede ciddi olmadığını hesaba katar. Ağırlıksız kappa yalnız tam aynı kararı uyum sayar; doğrusal ağırlık komşu kategorilere kısmi puan verir, kuadratik ağırlık ise uzak kategoriler arasındaki anlaşmazlığı çok daha ağır cezalandırır.

Gündelik örnek: Bir öğretmen 'iyi', diğeri 'çok iyi' derse bu küçük bir anlaşmazlıktır; biri 'zayıf', diğeri 'çok iyi' derse büyük bir anlaşmazlıktır. Ağırlıklı kappa bu ayrımı yapar ve not ölçeği sıralı olduğu için okul örneğinde daha uygun bir ölçüdür.

Ne işe yarar: Ağırlıksız κ yalnız köşegendeki tam uyumu sayar. Doğrusal (Cicchetti-Allison) w = 1 - |i-j|/(k-1), kuadratik (Fleiss-Cohen) w = 1 - ((i-j)/(k-1))² kısmi uyuma puan verir. GA H1 altındaki SE ile, z sınaması H0 altındaki SE ile hesaplanır.

Sonuca etkisi: κ, SE, GA, z, p, p_o, p_e değişir; kategori κ, Bowker, Stuart-Maxwell ve PABAK değişmez.

Doğrulama verisinde: SkinCondition (n = 88): ağırlıksız 0.3449 (SE 0.0724), doğrusal 0.5082 (SE 0.0655), kuadratik 0.6607 (SE 0.0616). Göz verisi (n = 7477): 0.5954 / 0.6524 / 0.7023.

→ Ağırlıklı kappa

Güven Düzeyi (%90, %95, %99, Diğer (özel))

Kavram: Kappa için verilen güven aralığının genişliğini ve 'uyum şanstan farklı mı' kararının eşiğini (α) belirler. Kappa'nın kendisi değişmez.

Gündelik örnek: 100 kompozisyonla κ = 0,57'nin %95 güven aralığı ör. 0,45 ile 0,69 arası çıkabilir; yani gerçek uyum 'orta' ile 'iyi' arasında bir yerdedir. %99 güven istenirse aralık genişler.

Ne işe yarar: alfa = 1 - güven düzeyi; κ aralığı (κ ± z·SE), karar (p < alfa), özel ağırlıklı κ aralığı, bootstrap yüzdelik sınırları ve Fleiss κ aralığı bu düzeyle hesaplanır.

Sonuca etkisi: κ, SE, z, p değişmez; aralık genişliği ve sınırdaki p'lerde karar değişir. Krippendorff α'da aralık ve p olmadığından çıktı değişmez.

Doğrulama verisinde: SkinCondition doğrusal κ 0.5082: %80 [0.4242, 0.5921], %90 [0.4004, 0.6159], %95 [0.3798, 0.6366], %99 [0.3394, 0.6769], %99.9 [0.2926, 0.7237].

→ Güven düzeyi ve güven aralığı

Çok değerlendirici (Yok (Cohen κ, 2 değerlendirici), Fleiss κ, Krippendorff α (nominal), Krippendorff α (sıralı), Krippendorff α (aralık), Krippendorff α (oran)) ve Ek değerlendiriciler

Kavram: İkiden fazla değerlendirici varsa kullanılacak ölçüyü seçer. Fleiss kappa, her olgunun aynı sayıda değerlendirici tarafından sınıflandırıldığı durumlar için kappa'nın genellemesidir; Krippendorff alfa eksik değerlendirmelere izin verir ve nominal, sıralı, aralık ya da oran ölçekli veriler için uygun fark ölçütünü kullanır.

Gündelik örnek: Kompozisyonları dört öğretmen notluyorsa Fleiss kappa dördünün genel uyumunu tek sayıda özetler. Bazı öğretmenler bazı kompozisyonları hiç okumadıysa Krippendorff alfa bu eksik notlarla da hesaplanabilir.

Ne işe yarar: Fleiss κ (Fleiss, 1971) eksik değerli denekleri dışlar. Krippendorff α eşleşme matrisinden, seçilen fark fonksiyonuyla hesaplanır; eksik değere izin verir, p ve aralık vermez. Değerlendiriciler Gözlemci 1 ve 2 ile ek sütunlardır.

Sonuca etkisi: Ağırlık, kategori κ, PABAK, bootstrap ve özel ağırlık matrisi çok değerlendiricili yolda kullanılmaz ve çıktıda not yazılır. Ek değerlendirici listesi Cohen yolunda etkisizdir.

Doğrulama verisinde: Wikipedia Fleiss örneği: κ = 0.2099. Krippendorff (2011) C verisi: nominal 0.7434, sıralı 0.8154, aralık 0.8491, oran 0.7974.

→ Fleiss κ ve Krippendorff α (çok değerlendirici)

Ek çıktılar: Kategori κ + simetri testleri

Kavram: Kategori kappaları, uyumun hangi kategorilerde iyi hangilerinde zayıf olduğunu gösterir. Simetri testleri ise değerlendiricilerden birinin sistematik olarak daha yüksek ya da daha düşük kategorileri seçip seçmediğini, yani anlaşmazlıkların bir yöne yığılıp yığılmadığını sınar.

Gündelik örnek: Öğretmenler 'zayıf' kompozisyonlarda çok iyi anlaşıyor ama 'iyi' ile 'çok iyi' arasında sık ayrışıyor olabilir; kategori kappaları bunu gösterir. Birinci öğretmen anlaşmazlıklarda hep daha yüksek not veriyorsa simetri testleri bu sertlik farkını yakalar.

Ne işe yarar: Her kategori için "bu kategori / diğerleri" 2x2 tablosunda Cohen κ, SE ve z; Bowker simetri testi (n_ij + n_ji = 0 olan çiftler atlanır, df buna göre düşer); Stuart-Maxwell marjinal homojenlik testi (df = k - 1).

Sonuca etkisi: Yalnız ek satırlar.

Doğrulama verisinde: SkinCondition kategori κ 0.5421 / 0.1904 / 0.2063 / 0.5231; Bowker χ²(5) = 4.5354, p = 0.4752 (iki hücresi de boş olan simetrik çift serbestlik derecesine katılmaz); Stuart-Maxwell 3.2476, p = 0.3550.

→ Kappa katsayısı (Cohen κ)

Ek çıktılar: PABAK / κ_max

Kavram: Bir kategori çok yaygınsa ya da değerlendiriciler kategorileri farklı sıklıkta kullanıyorsa kappa, yüksek yüzde uyuma karşın düşük çıkabilir. PABAK bu yaygınlık ve yanlılık etkisinden arındırılmış bir uyum ölçüsüdür; κ_max ise değerlendiricilerin kategori kullanma sıklıkları göz önüne alındığında ulaşılabilecek en yüksek kappa'dır.

Gündelik örnek: Bir yıl kompozisyonların %90'ı 'iyi' olsa öğretmenler %92 uyum gösterse bile kappa düşük çıkabilir, çünkü şansla beklenen uyum zaten çok yüksektir. PABAK ve κ_max bu durumda düşük kappa'nın gerçekten zayıf uyumdan mı yoksa dağılımın dengesizliğinden mi kaynaklandığını ayırmaya yardım eder.

Ne işe yarar: PABAK = (k·p_o - 1)/(k - 1) (Byrt, Bishop ve Carlin, 1993), κ_max (Cohen, 1960); 2x2'de prevalans indeksi |a - d|/n ve yanlılık indeksi |b - c|/n. Yüksek prevalans ya da yanlılık varken düşük κ'yı yorumlamaya yardımcıdır; κ'nın yanında raporlanır.

Sonuca etkisi: Yalnız ek satırlar.

Doğrulama verisinde: Wikipedia örnekleri PABAK 0.4 / 0.2 / 0.2, κ_max 0.8 / 0.7826 / 0.4444; Drugs PABAK -0.2857, prevalans 0.0714, yanlılık 0.5000.

→ PABAK ve κ_max

Ek çıktılar: Bootstrap GA

Kavram: Kappa'nın güven aralığını formül yerine olguları yerine koyarak binlerce kez yeniden örnekleyip her seferinde kappa hesaplayarak bulur. Formüle dayalı aralığın varsayımlarına güvenilemediği küçük ya da dengesiz örneklemlerde yararlıdır.

Gündelik örnek: 100 kompozisyon yerine rastgele (bazıları birden çok kez) seçilmiş 100 kompozisyondan oluşan binlerce 'yeni deste' oluşturup her birinde iki öğretmenin kappa'sını hesaplamak gibidir. Kappa'ların ortadaki %95'inin yayıldığı aralık güven aralığını verir.

Ne işe yarar: Denekler yerine koyarak 2000 kez çekilir (tohum 12345), seçili ağırlıkla κ hesaplanır, alfa/2 ve 1 - alfa/2 yüzdelikleri alınır. Çekim sayısı formda değiştirilemez.

Sonuca etkisi: Yalnız ek aralık; ana κ değişmez.

Doğrulama verisinde: SkinCondition ağırlıksız [0.1979, 0.4898] (asimptotik [0.2030, 0.4868]); göz verisi doğrusal [0.6388, 0.6659].

→ Bootstrap (yeniden örnekleme)

Özel ağırlık matrisi

Kavram: Hangi anlaşmazlığın ne kadar 'kısmi uyum' sayılacağını araştırmacının kendisinin belirlemesini sağlar. Köşegen tam uyuma (1) karşılık gelir; diğer hücrelere 0 ile 1 arasında, alanın bilgisine dayanan ağırlıklar verilir.

Gündelik örnek: Okul 'zayıf' ile 'orta' arasındaki ayrımı kritik (geçme-kalma sınırı), 'iyi' ile 'çok iyi' arasındaki ayrımı ise önemsiz sayabilir. Özel ağırlık matrisiyle 'iyi'-'çok iyi' anlaşmazlığına 0,8, 'zayıf'-'orta' anlaşmazlığına 0 puan verilebilir.

Ne işe yarar: Kullanıcının verdiği uyum ağırlıklarıyla (köşegen 1) ek κ, SE, GA ve p satırı hesaplar; boyut k x k değilse açık hata verir.

Sonuca etkisi: Yalnız ek satırlar; ana κ değişmez.

Doğrulama verisinde: Doğrusal matris elle girildiğinde 0.5082 (= doğrusal seçenek); Fleiss-Cohen matrisi 0.6607 (= kuadratik); yalnız komşu kategoriye 0.5 puan veren matris 0.4692 (SE 0.0676).

→ Ağırlıklı kappa

Kategori sırası

Kavram: Ağırlıklı kappa ve sıralı Krippendorff alfa kategorilerin uzaklığına göre hesaplandığı için kategorilerin doğru sırada olması gerekir. Kategoriler metinle etiketlenmişse alfabetik sıra anlamlı sırayla örtüşmeyebilir; bu nedenle sıra açıkça belirtilmelidir.

Gündelik örnek: Not etiketleri bilgisayarın harf sırasıyla dizilirse 'iyi, orta, zayıf, çok iyi' gibi anlamsız bir sıra oluşabilir ve 'çok iyi' ile 'zayıf' komşu kategori sayılır. Sıra 'zayıf, orta, iyi, çok iyi' diye yazıldığında ağırlıklı kappa anlaşmazlıkların büyüklüğünü doğru ölçer.

Ne işe yarar: Ağırlıklı κ ve sıralı Krippendorff α için kategorilerin düşükten yükseğe sırasını virgülle ayrılmış olarak verir. Dize etiketli sıralı kategorilerde (ör. "Never Fun ... Always fun") sıranın açıkça verilmesini sağlar.

Sonuca etkisi: Ağırlıklı κ, SE, GA, z ve p değişir; ağırlıksız κ değişmez.

Doğrulama verisinde: SexualFun'da doğal sırayla doğrusal κ = 0.2374; sıra verilmediğinde MerQur alfabetik sıraya düşer (uyarı yazarak) ve κ = 0.0655 çıkar. MS Winnipeg doğal sırayla 0.3797, alfabetik 0.1767.

Gerçek veride örnek

Veri: SkinCondition, SAS/STAT PROC FREQ uyum örneği

Değişkenler: gözlemci 1 Derm1_kod, gözlemci 2 Derm2_kod (iki dermatoloğun 88 hastaya verdiği 1-4 sıralı derece)

  • Soru: İki dermatoloğun 88 hastanın deri durumuna verdiği dört düzeyli puanlar (1-4) şans düzeyinin ötesinde uyumlu mu? Ağırlıksız Cohen kappa kullanılır.
  • Betimsel: Gözlenen uyum p_o = 0.511 (hastaların yaklaşık yarısında aynı puan); yalnız şansla beklenen uyum p_e = 0.254.
  • Sonuç: κ = 0.345, z = 5.64, p < .001. Sıfır hipotezi (κ = 0) reddedilir: uyum şans düzeyinden yüksektir.
  • Etki büyüklüğü: κ = 0.34 MerQur yorum ölçeğinde "yetersiz" uyumdur; %95 GA [0.203, 0.487] üst sınırı bile iyi uyum düzeyinin altında kalır.
  • Not: Puanlar sıralı olduğundan ağırlıklı kappa (yakın puanlara kısmi uyum) daha uygun olabilir; doğrusal ağırlıklı κ 0.508'dir.
  • APA: Cohen's κ = .345, %95 GA [.203, .487], z = 5.64, p < .001.

İlgili kavramlar

Bootstrap (yeniden örnekleme)Yüzdelik (kantil) ve yüzdelik tanımlarıSıfır hipotezi (H₀) ve test değeriStandart hataAğırlıklı kappaKappa katsayısı (Cohen κ)Fleiss κ ve Krippendorff α (çok değerlendirici)PABAK ve κ_max

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.