İstatistik Sözlüğü → Sınıf İçi Korelasyon Katsayısı
Sınıf İçi Korelasyon Katsayısıanaliz
Aynı denekleri ölçen birden fazla değerlendiricinin, cihazın ya da ölçüm zamanının birbirine ne kadar uyumlu sonuç verdiğini 0 ile 1 arasında bir güvenirlik katsayısıyla gösteren analiz.
Kavram
Bir ölçümün işe yaraması için, aynı kişiyi kimin ya da hangi cihazın ölçtüğüne bakmaksızın benzer sonuç vermesi gerekir. Sınıf içi korelasyon katsayısı (ICC) bu soruyu yanıtlar: puanlardaki toplam değişkenliğin ne kadarı denekler arasındaki gerçek farklardan, ne kadarı değerlendiriciler arası farklardan ve ölçüm hatasından gelir? Sıradan Pearson korelasyonu yalnız iki ölçümün birlikte artıp azalmasına bakar; bir değerlendirici herkese sistematik olarak 5 puan fazla verse bile korelasyon yüksek kalır. ICC ise istenirse bu sistematik farkı da hesaba katar.
Mantık varyans analizine dayanır: ICC kabaca denekler arası varyansın toplam varyansa oranıdır, ICC = σ²(denek) / (σ²(denek) + σ²(değerlendirici) + σ²(hata)). Hangi bileşenlerin paydaya gireceği modele göre değişir: değerlendiricilerin her denek için farklı olduğu tek yönlü model, değerlendiricilerin daha geniş bir havuzdan örneklendiği iki yönlü rasgele model ve yalnız bu değerlendiricilerle ilgilenilen iki yönlü karma model. Ayrıca mutlak uyum (puanların birebir aynı olması) ile tutarlılık (sıralamanın aynı olması) ve tek bir değerlendiricinin ya da birkaç değerlendirici ortalamasının güvenirliği ayrı ayrı ele alınır.
Katsayı 1'e yaklaştıkça uyum artar; yaygın bir yorum ölçütüne göre .50'nin altı zayıf, .50-.75 orta, .75-.90 iyi, .90 üstü mükemmel güvenirliktir. Nokta değer kadar güven aralığına da bakılmalıdır: az denekle aralık çok geniş olur ve sıfırı bile içerebilir. Hangi ICC tipinin kullanıldığı mutlaka raporlanmalıdır, çünkü aynı veriden farklı tipler oldukça farklı değerler verebilir.
Ne zaman kullanılır?
- Birden fazla değerlendiricinin, cihazın ya da ölçüm zamanının aynı denekleri sürekli bir ölçekte puanladığı gözlemciler arası uyum ve test-tekrar test güvenirliği çalışmalarında.
- Değerlendiriciler kategorik (ör. var / yok) karar veriyorsa ICC yerine Cohen ya da Fleiss kappa kullanılır.
- İki ölçüm yönteminin birbirinin yerine kullanılıp kullanılamayacağını farkların büyüklüğü üzerinden görmek için ICC'ye ek olarak Bland-Altman analizi yapılır.
Gündelik bir örnek
Bir jimnastik yarışmasında üç hakem aynı 20 sporcunun serisine 10 üzerinden puan veriyor. Hakemlerden biri herkese diğerlerinden yaklaşık yarım puan fazla veriyorsa sporcuları aynı sıraya dizseler bile puanlar birebir örtüşmez. ICC, sporcular arasındaki gerçek performans farklarının puanlardaki değişkenliğin ne kadarını açıkladığını söyler: 0,85 gibi bir değer hakemlerin büyük ölçüde aynı şeyi ölçtüğünü, 0,30 gibi bir değer ise sporcunun puanının büyük ölçüde hangi hakeme denk geldiğine bağlı olduğunu gösterir.
MerQur'da parametreler
Değerlendirici sütunları
Kavram: ICC için veri geniş biçimde düzenlenir: her satır ölçülen bir denek, her sütun o deneği ölçen bir değerlendirici, cihaz ya da zaman noktasıdır. Uyumdan söz edebilmek için aynı deneğin en az iki kez ölçülmüş olması gerekir.
Gündelik örnek: Tabloda her satır bir sporcu, üç sütun da üç hakemin o sporcuya verdiği puandır. Bir hakem bir sporcuyu puanlamadıysa o sporcu karşılaştırmadan çıkar, çünkü üç hakemi yan yana koymak için üç puanın da bulunması gerekir.
Ne işe yarar: Her sütun bir değerlendirici, cihaz veya zaman noktasıdır; her satır bir denektir (geniş biçim). En az 2 sütun gerekir.
Sonuca etkisi: Herhangi bir sütunu eksik olan denek atılır (listwise); n < 5 ise hata verilir.
Doğrulama verisinde: M255'te 1428 satırdan 1413'ü (tam satırlar) kullanılır.
ICC modeli (Tümü, Tek yönlü rasgele, İki yönlü rasgele, İki yönlü karma)
Kavram: ICC modeli, değerlendiricilerin nasıl seçildiğini ve sonucun kime genellenmek istendiğini yansıtır. Tek yönlü modelde her denek farklı değerlendiricilerce ölçülür; iki yönlü rasgele modelde değerlendiriciler daha geniş bir havuzdan örneklenmiş sayılır; iki yönlü karma modelde yalnız bu değerlendiricilerle ilgilenilir.
Gündelik örnek: Her sporcuyu o gün boşta olan farklı üç hakem puanladıysa tek yönlü model uygundur. Aynı üç hakem herkesi puanladı ve sonuç başka yarışmalardaki hakemlere de genellenmek isteniyorsa iki yönlü rasgele, yalnız bu üç hakemin kendi aralarındaki uyumu merak ediliyorsa iki yönlü karma model seçilir.
Ne işe yarar: "Tümü" altı Shrout-Fleiss/McGraw-Wong tipini tablolar; diğer seçenekler buna ek olarak seçilen modeli raporlar. Değerlendiriciler denekler arasında değişiyorsa tek yönlü, rasgele örneklemse iki yönlü rasgele, yalnız bu değerlendiricilerle ilgileniliyorsa karma model uygundur (Koo ve Li, 2016).
Sonuca etkisi: Seçili ICC bölümü ve tablodaki yıldızlı satır. İki yönlü rasgele ve karma modeller aynı sayıyı verir, yalnız yorum notu farklıdır.
Doğrulama verisinde: Shrout-Fleiss verisinde ICC(1,1) = 0.1657 [-0.1329, 0.7226], F(5, 18) = 1.795, p = 0.165; ICC(A,1) = 0.2898 [0.0188, 0.7611]; ICC(C,1) = 0.7148 [0.3425, 0.9459].
ICC tipi (Mutlak uyum, Tutarlılık)
Kavram: Mutlak uyum, değerlendiricilerin aynı denek için birebir aynı puanı verip vermediğine bakar; değerlendiriciler arası sistematik farkları da hata sayar. Tutarlılık ise yalnız sıralamanın ve göreli farkların aynı olup olmadığına bakar; bir değerlendiricinin herkese sabit miktarda fazla puan vermesini sorun saymaz.
Gündelik örnek: Bir hakem her sporcuya diğer ikisinden tam yarım puan fazla veriyorsa sıralama değişmez ve tutarlılık yüksek kalır. Ama sporcunun madalya alıp almaması doğrudan puana bağlıysa o yarım puan önemlidir; bu durumda mutlak uyum seçilmelidir.
Ne işe yarar: Mutlak uyum, değerlendirici ortalamalarındaki sistematik farkı paydaya katar; tutarlılık katmaz. Ölçümlerin birbirinin yerine kullanılabilirliği için mutlak uyum, yalnız sıralama uyumu için tutarlılık seçilir.
Sonuca etkisi: Yalnız iki yönlü modellerde etkindir. Mutlak uyumda güven aralığı Satterthwaite serbestlik derecesini kullanır (McGraw ve Wong, 1996).
Doğrulama verisinde: Shrout-Fleiss tek ölçüm 0.2898 (mutlak) ve 0.7148 (tutarlılık); hakem ortalamaları çok farklıdır (MSC = 32.49, MSE = 1.02).
Birim (Tek ölçüm, Ortalama ölçüm)
Kavram: Tek ölçüm ICC'si, ileride yalnız bir değerlendiricinin puanı kullanılacaksa bu puanın güvenirliğini; ortalama ölçüm ICC'si ise birkaç değerlendiricinin ortalaması kullanılacaksa o ortalamanın güvenirliğini verir. Birden fazla puanın ortalaması bireysel hataları kısmen dengelediği için daha güvenilirdir.
Gündelik örnek: Sporcunun sonuç puanı üç hakemin ortalamasıysa ortalama ölçüm ICC'si raporlanır. Küçük bir kulüp yarışmasında yalnız bir hakem bulunabilecekse, tek hakemin puanının ne kadar güvenilir olduğunu tek ölçüm ICC'si söyler; bu değer genellikle daha düşüktür.
Ne işe yarar: Tek değerlendiricinin güvenirliğini ya da k değerlendirici ortalamasının güvenirliğini (Spearman-Brown) verir.
Sonuca etkisi: "Tümü" dışında etkindir; ortalama ölçüm ICC'si her zaman tek ölçümünkinden büyüktür.
Doğrulama verisinde: Shrout-Fleiss verisinde ICC(A,1) 0.2898 iken ICC(A,k) 0.6201 [0.0711, 0.9272]; ICC(C,k) 0.9093 (Cronbach alfa'ya eşit).
Güven düzeyi (%90, %95, %99, özel)
Kavram: Örneklemden hesaplanan ICC'nin evrendeki gerçek değeri hangi aralıkta yakalayacağının güvencesini belirler. Güven düzeyi yükseldikçe aralık genişler.
Gündelik örnek: Hakem uyumu ICC = 0,80 bulunduysa, %95 güvenle gerçek uyumun örneğin 0,62 ile 0,91 arasında olduğu söylenebilir. %99 güven istenirse aynı veriyle aralık daha da genişler.
Ne işe yarar: Seçili ICC ve kesin tablonun güven aralığı düzeyini belirler. Altı tipli varsayılan tablo ve "Önerilen" satırı her zaman %95'tir; model "Tümü" ve kesin tablo kapalıyken bu alan devre dışıdır.
Sonuca etkisi: Yalnız seçili ICC ve "kesin güven aralığı" ek çıktısı.
Doğrulama verisinde: Shrout-Fleiss verisinde ICC(A,1) %90 [0.0429, 0.6911], %95 [0.0188, 0.7611], %99 [-0.0129, 0.8703]; karma ICC(C,k) %97.5 [0.6094, 0.9897].
Test değeri (H0: ICC = rho0)
Kavram: Olağan test yalnız ICC'nin sıfırdan büyük olup olmadığını sorar; oysa sıfırdan büyük bir uyum pratikte çoğu zaman yetersizdir. Test değeri, ICC'nin önceden belirlenmiş bir eşikten (ör. 0,70) anlamlı biçimde büyük olup olmadığını sınamayı sağlar.
Gündelik örnek: Federasyon, hakem kurulunun güvenilir sayılması için uyumun en az 0,70 olmasını istiyor. Test değeri 0,70 yapıldığında sorulan soru 'hakemler hiç uyumlu mu?' değil 'hakemlerin uyumu 0,70 çıtasını aşıyor mu?' olur.
Ne işe yarar: ICC'nin rho0 değerinden büyük olup olmadığını F testiyle sınar (McGraw ve Wong, 1996); 0 olağan testtir.
Sonuca etkisi: Seçili ICC ve kesin tablodaki F, ikinci serbestlik derecesi (mutlak uyumda Satterthwaite) ve p; ICC ve güven aralığı değişmez.
Doğrulama verisinde: Shrout-Fleiss verisinde rho0 = 0.3, ICC(A,1): F = 0.956, sd2 = 4.75, p = 0.522 (rho0 = 0'da F = 11.03, p = 0.0001). ICC(A,k): F = 3.035, sd2 = 7.14, p = 0.088.
Ek çıktı: 6 ICC tipi, seçili güven düzeyi ve 4 ondalık (kesin formüller)
Kavram: Altı yaygın ICC tipini (tek yönlü, iki yönlü mutlak uyum ve tutarlılık; her biri tek ve ortalama ölçüm için) aynı tabloda seçilen güven düzeyi ve test değeriyle daha fazla ondalıkla gösterir. Farklı tiplerin neden farklı değerler verdiğini görmeyi kolaylaştırır.
Gündelik örnek: Hakem uyumunun tek hakem için 0,62, üç hakemin ortalaması için 0,83 ve tutarlılık ölçütüyle biraz daha yüksek çıktığını yan yana görmek, hangi rakamın raporlanacağına karar vermeyi kolaylaştırır.
Ne işe yarar: Altı tipi formdaki güven düzeyi ve rho0 ile 4 ondalık basamakla yeniden hesaplar.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: Shrout-Fleiss verisinde %90 ve rho0 = 0.3'te ICC(1,1) F = 0.661 (p = 0.657); ICC(C,1) F = 4.063 (p = 0.016).
Ek çıktı: ANOVA / varyans bileşenleri tablosu
Kavram: ICC'nin hesaplandığı varyans analizi tablosudur: toplam değişkenliği denekler, değerlendiriciler ve hata arasında paylaştırır. Değerlendirici satırı anlamlıysa değerlendiricilerin ortalama puanları sistematik olarak farklıdır.
Gündelik örnek: Tablo, puan farklarının çoğunun sporcuların gerçekten farklı performans göstermesinden mi, yoksa bazı hakemlerin genel olarak cömert, bazılarının sert puan vermesinden mi kaynaklandığını gösterir.
Ne işe yarar: Denek, değerlendirici, hata ve denek içi kareler toplamı/ortalaması/F/p değerlerini ve iki yönlü varyans bileşenlerini verir.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: Shrout-Fleiss kareler toplamı: denek 56.208, değerlendirici 97.458, hata 15.292, toplam 168.958. Varyans bileşenleri: denek 2.556, hakem 5.244, hata 1.019.
Ek çıktı: SEM ve MDC95 (test-tekrar test)
Kavram: Ölçümün standart hatası (SEM), bir kişinin gözlenen puanının gerçek puanından tipik olarak ne kadar saptığını puan biriminde verir. En küçük saptanabilir değişim (MDC95), iki ölçüm arasındaki farkın ölçüm hatasıyla açıklanamayacak kadar büyük sayılması için gereken en küçük değeri gösterir.
Gündelik örnek: SEM 0,3 puan çıktıysa bir sporcunun puanı ölçüm hatası yüzünden tipik olarak ±0,3 puan oynar. MDC95 yaklaşık 0,8 ise, sporcunun iki yarışma arasında 0,5 puan yükselmesi gerçek bir gelişme kanıtı sayılmaz; en az 0,8 puanlık bir artış gerekir.
Ne işe yarar: SEM = SD x kök(1 - ICC) (SD tüm puanların standart sapması) ve MDC95 = 1.96 x kök(2) x SEM; ayrıca kök(MSE) tabanlı SEM de verilir.
Sonuca etkisi: Yalnız ek çıktı; seçili ICC modeline bağlıdır ("Tümü" için ICC(A,1) kullanılır).
Doğrulama verisinde: Shrout-Fleiss verisinde 'Tümü' ile ICC(A,1): SD = 2.710, SEM = 2.284, MDC95 = 6.33; karma tutarlılık seçiliyken ICC(C,1) = 0.7148 ile SEM = 1.447.
→ Ölçümün standart hatası (SEM) ve en küçük saptanabilir değişim (MDC)
Gerçek veride örnek
Veri: Yorum: R irr anxiety (n = 20 denek, 3 değerlendirici). Parametre örnekleri: Shrout-Fleiss verisi ve M255 verisi.
Değişkenler: değerlendiriciler rater1, rater2, rater3 (20 deneğin kaygı puanları)
- Soru: R irr anxiety verisinde üç değerlendiricinin 20 deneğin kaygı düzeyine verdiği puanlar birbiriyle ne kadar uyumludur?
- Model seçimi: Değerlendiriciler daha geniş bir değerlendirici evreninden örneklenmiş sayıldığından iki yönlü rasgele, mutlak uyum, tek ölçüm ICC(A,1) önerilir.
- Sonuç: ICC(A,1) = 0.198, %95 GA [-0.039, 0.494], F(19, 38) = 1.83, p = .056; uyum sıfırdan anlamlı biçimde büyük değildir ve Cicchetti (1994) ölçütüne göre "zayıf"tır.
- Diğer tipler: Tek yönlü ICC(1,1) = 0.175 ve tutarlılık ICC(C,1) = 0.216; üç değerlendiricinin ortalaması için güvenirlik daha yüksektir (ICC(A,k) = 0.426, ICC(C,k) = 0.453 "vasat").
- Ek bulgu: Değerlendirici ana etkisi (kareler ortalaması 4.817, F = 3.33, p = .047) değerlendiricilerin ortalama puanlarının sistematik olarak farklı olduğunu gösterir; bu, mutlak uyumu tutarlılıktan düşük kılar.
- Sınırlılık: n = 20 küçük bir örneklemdir; güven aralıkları çok geniştir ve sıfırı içerir.
- APA: ICC(A,1) = .20, 95% CI [-0.04, 0.49], F(19, 38) = 1.83, p = .056.
İlgili kavramlar
Sıfır hipotezi (H₀) ve test değeriVaryans analizi (ANOVA) tablosuSınıf içi korelasyon (ICC)Ölçümün standart hatası (SEM) ve en küçük saptanabilir değişim (MDC)Mutlak uyum ve tutarlılık (ICC türleri)Spearman-Brown formülü (tek ve ortalama ölçüm)Varyans bileşenleriFleiss κ ve Krippendorff α (çok değerlendirici)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.