MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Hiyerarşik Bayesci Regresyon

Hiyerarşik Bayesci Regresyonanaliz

Öğrencilerin okullara, hastaların hastanelere bağlı olduğu gruplu verilerde, gruplar arasındaki farkları hesaba katarak yordayıcıların etkisini kestiren ve her grup için 'ödünç güçle' iyileştirilmiş tahminler veren çok düzeyli regresyon modeli.

Kavram

Gözlemler gruplar hâlinde toplandığında aynı gruptakiler birbirine benzer: aynı okuldaki öğrenciler aynı öğretmenlerden ders alır, aynı kişinin tekrarlanan ölçümleri birbirine yakın çıkar. Bu bağımlılığı yok sayan sıradan regresyon standart hataları olduğundan küçük gösterir; her grup için ayrı regresyon kurmak ise küçük gruplarda çok kararsız sonuçlar verir. Hiyerarşik model bu iki uç arasında bir yol izler.

Model, her grubun kendi kesişimine (ve istenirse kendi eğimine) sahip olmasına izin verir, ancak bu grup değerlerinin ortak bir dağılımdan geldiğini varsayar: y_ij = (β₀ + u_j) + β₁x_ij + ε_ij, u_j ~ N(0, σ²_u). Sonuç olarak her grubun tahmini kendi verisi ile tüm grupların ortalaması arasında bir ağırlıklı ortalamadır; az gözlemli gruplar genel ortalamaya daha çok çekilir (büzülme). Bu grup tahminleri (BLUP) ampirik Bayes kestirimleridir. Sınıf içi korelasyon (ICC = σ²_u / (σ²_u + σ²_ε)), toplam değişkenliğin ne kadarının gruplar arası farktan geldiğini gösterir. Bu analizde model REML ile kestirilir ve grup yapısının gerekliliği BIC'ye dayalı bir Bayes faktörüyle değerlendirilir; tam Bayesçi (MCMC) bir sonsal üretilmez.

Varsayımlar: grup etkileri ve artıklar yaklaşık normal dağılır, gruplar birbirinden bağımsızdır, ilişki doğrusaldır. Grup sayısı az olduğunda (ör. 5'ten az) varyans bileşenleri güvenilir kestirilemez. Sabit etkiler tüm gruplar için ortalama ilişkiyi, varyans bileşenleri ise grupların bu ortalamadan ne kadar saptığını anlatır.

Ne zaman kullanılır?

  • Veri doğal gruplara ayrıldığında (okul-öğrenci, hastane-hasta, aynı kişinin tekrarlı ölçümleri, bölge-hane) ve hem genel ilişki hem de gruplar arası farklılık önemli olduğunda.
  • Bir yordayıcının etkisinin gruptan gruba değiştiğinden şüpheleniliyorsa rastgele eğimli model; gruplar da daha üst gruplara bağlıysa (sınıf içinde okul) iç içe model kullanılır.
  • Sonuç ikili ya da sayım verisiyse genelleştirilmiş doğrusal karma model (GLMM); yalnız ortalama etki isteniyor ve grup yapısı bir sorun olarak görülüyorsa küme-sağlam standart hatalı regresyon ya da GEE bir alternatiftir.

Gündelik bir örnek

Bir il milli eğitim müdürlüğü, 25 okuldaki 1200 öğrencinin matematik puanını haftalık ders çalışma süresiyle açıklamak istiyor. Bazı okullarda yalnız 15 öğrenci var. Hiyerarşik model her okula kendi başlangıç düzeyini tanır, ama 15 öğrencili bir okulun tahminini diğer okulların bilgisiyle dengeler. Sonuçta örneğin 'her ek çalışma saati puanı ortalama 2 puan artırıyor, puanlardaki farklılığın %20'si okullar arası farktan geliyor' denebilir.

MerQur'da parametreler

Bağımlı DV, Sabit etkiler (X), Grup değişkeni

Kavram: Sabit etkiler tüm gruplar için ortak kabul edilen ortalama ilişkileri verir; grup değişkeni gözlemlerin hangi kümeye ait olduğunu belirtir ve modelin rastgele kesişimini tanımlar.

Gündelik örnek: Matematik puanı bağımlı değişken, haftalık çalışma süresi sabit etki, okul kimliği grup değişkenidir. Model 'ortalama bir okulda çalışma süresinin etkisi nedir?' ve 'okullar başlangıç düzeyinde ne kadar farklı?' sorularını birlikte yanıtlar.

Ne işe yarar: Değişken seçimi. Metin sabit etkiler kukla kodlanır (alfabetik ilk düzey temel düzeydir). En az 15 gözlem ve 3 grup gerekir; yalnız kesişimli model (sabit etki seçmeden) çalışır.

Sonuca etkisi: Tüm sabit etkiler, varyans bileşenleri, ICC ve BLUP'lar değişir.

Doğrulama verisinde: radon: kesişim 1.46160, basement -0.69299; σ²_u = 0.10773, σ²_ε = 0.57091; SE 0.05158 ve 0.07043.

→ Sabit ve rastgele etkiler

Rastgele eğimler (isteğe bağlı)

Kavram: Rastgele eğim, bir yordayıcının etkisinin gruptan gruba değişmesine izin verir; eğimlerin yayılımı ve kesişimlerle korelasyonu da kestirilir.

Gündelik örnek: Bazı okullarda çalışma süresinin puana etkisi güçlü, bazılarında zayıf olabilir (ör. etüt programı olan okullarda daha güçlü). Rastgele eğim bu farkı modelleyerek 'çalışmanın etkisi okuldan okula ne kadar değişiyor?' sorusunu yanıtlar.

Ne işe yarar: (1 + x | grup) modeli; kesişim-eğim kovaryansı serbesttir. Yalnız sayısal ve sabit etkilerde seçili değişkenler için geçerlidir; X'te olmayan bir değişken eğim olarak seçilirse yok sayılır.

Sonuca etkisi: Sabit etkiler ve varyans bileşenleri değişir.

Doğrulama verisinde: sleepstudy: β = 251.405 (SE 6.825) ve 10.467 (SE 1.546); Var(kesişim) 612.09, Var(Days) 35.07, korelasyon 0.066, σ²_ε 654.94; REML -2LL = 1743.63.

→ Rastgele eğim

İç içe alt grup (isteğe bağlı)

Kavram: İç içe gruplama, alt grupların üst grupların içinde yer aldığı yapıyı modeller; her düzey için ayrı bir varyans bileşeni kestirilir.

Gündelik örnek: Öğrenciler sınıflara, sınıflar okullara bağlıysa, okul ve okul içindeki sınıf iki ayrı düzey olarak eklenir. Böylece puan farklılığının ne kadarının okullar arası, ne kadarının aynı okuldaki sınıflar arası farktan geldiği ayrılır.

Ne işe yarar: (1 | g/g2) = (1 | g) + (1 | g:g2) modelini kurar.

Sonuca etkisi: Ek bir varyans bileşeni eklenir.

Doğrulama verisinde: Pastes: batch 1.6573, batch:cask 8.4337, σ²_ε 0.6780, kesişim 60.0533 (SE 0.6769); REML -2LL = 246.99.

→ İç içe (yuvalanmış) ve çapraz rastgele etkiler

Güven Düzeyi (%90 / %95 / %99 / Diğer, özel değer)

Kavram: Sabit etkilerin, grup tahminlerinin (BLUP) ve ICC'nin aralık tahminlerinin güven düzeyini belirler; düzey yükseldikçe aralıklar genişler.

Gündelik örnek: Çalışma süresi etkisi %95 güvenle saat başına 1,6 ile 2,4 puan arasında bulunursa, %99 güvende aralık biraz genişler.

Ne işe yarar: Sabit etki aralığı (β ± z·SE, "Wald GA"), BLUP aralığı ve ICC aralığı düzeyi.

Sonuca etkisi: Yalnız aralık sınırları değişir.

Doğrulama verisinde: radon basement %95 [-0.8310, -0.5550].

→ Güven düzeyi ve güven aralığı

Varyans bileşenleri için profil GA

Kavram: Varyans bileşenleri negatif olamaz ve örnekleme dağılımları çoğu zaman çarpıktır; bu nedenle simetrik 'kestirim ± 2 SE' aralığı yerine olabilirlik fonksiyonunun biçimini izleyen profil olabilirlik aralığı daha doğrudur.

Gündelik örnek: Okullar arası standart sapma 6 puan bulunduysa profil aralığı [4; 9] gibi asimetrik çıkabilir: gerçek değer 6'dan biraz düşük olabilir ama çok daha yüksek de olabilir. Simetrik bir aralık ise alt sınırı sıfırın altına bile düşürebilirdi.

Ne işe yarar: σ_u ve σ_ε için profil olabilirlik güven aralığı.

Sonuca etkisi: Yalnız ek aralıklar ekler.

Doğrulama verisinde: radon %95 σ_u [0.24351, 0.42225], σ_ε [0.72054, 0.79260]; sleepstudy rastgele kesişim σ_u [26.007, 52.936]; eğimli modelde σ_u [14.381, 37.716] (profil olabilirlik aralıkları).

→ Varyans bileşenleri

ICC aralığı bootstrap örneği (B)

Kavram: ICC'nin aralığı, kestirilen modelden çok sayıda yapay veri seti üretilip her birinde ICC yeniden hesaplanarak (parametrik bootstrap) bulunur. Yineleme sayısı arttıkça aralık sınırları daha kararlı olur.

Gündelik örnek: Model 25 okul ve 1200 öğrencilik yapay veri setlerini 1000 kez üretir ve her seferinde ICC'yi hesaplar. Bu 1000 değerin ortadaki %95'i ICC için güven aralığını verir; 200 yinelemeyle sınırlar her çalıştırmada biraz oynayabilir.

Ne işe yarar: ICC aralığı için parametrik bootstrap yineleme sayısı (100 ile 20 000 arası; varsayılan 1000; sabit tohum).

Sonuca etkisi: Yalnız ICC aralığı değişir (Monte Carlo hatası yaklaşık 1/√B); kestirimler değişmez. Süre B ile doğrusal artar.

Doğrulama verisinde: radon %95 ICC aralığı: B = 200 için [0.0774, 0.2416], 1000 için [0.0863, 0.2385], 3000 için [0.0845, 0.2348].

→ Sınıf içi korelasyon (ICC)

Gerçek veride örnek

Veri: Belenky ve ark. 2003 sleepstudy, R lme4

Değişkenler: bağımlı Reaction (tepki süresi, ms), sabit etki Days (uykusuzluk günü), grup Subject (18 katılımcı)

  • Soru: Uykusuz geçen gün sayısı (Days) tepki süresini (Reaction, ms) ne kadar artırır? 18 denek her gün ölçüldüğünden gözlemler denek içinde bağımlıdır; denek için rastgele kesişimli hiyerarşik model kurulur.
  • Sonuç: Her ek uykusuz gün tepki süresini ortalama 10.47 ms uzatır (SE = 0.80, z = 13.02, p < .001, %95 GA [8.89, 12.04]); başlangıç düzeyi 251.41 ms'dir.
  • Varyans bileşenleri: Denekler arası varyans σ²_u = 1378.18 (SD 37.12), artık varyans σ²_ε = 960.46; ICC = 0.589 (%95 bootstrap GA [0.36, 0.74]): toplam değişkenliğin yaklaşık %59'u denekler arası farktan gelir.
  • Model karşılaştırma: Hiyerarşik model ile tek düzeyli OLS'nin BIC yaklaşımıyla Bayes faktörü BF₁₀ = 8.64e+21 (BIC 1814.85 ve 1915.87): grup yapısını hesaba katmak için kanıt kesindir.
  • Ek bulgu (ampirik Bayes): En yavaş denek 337, ortalamanın 72.18 ms üstündedir (%95 aralık [53.61, 90.75]); BLUP'lar grup ortalamalarını genel ortalamaya doğru büzer.
  • Sınırlılık: Yöntem ampirik Bayes'tir (REML); sabit etki aralıkları Wald z aralığıdır, tam Bayesçi kredibl aralık değildir. Model eğimin deneğe göre değişmediğini varsayar.
  • APA: Doğrusal karma model (REML, N = 180, K = 18): Days β = 10.47, SE = 0.80, z = 13.02, p < .001; ICC = .59, BF₁₀ (LMM/OLS) = 8.64e+21.

İlgili kavramlar

Sınıf içi korelasyon (ICC)Varyans bileşenleriRastgele eğimSabit ve rastgele etkilerEn iyi doğrusal yansız kestirim (BLUP)İç içe (yuvalanmış) ve çapraz rastgele etkilerBayes faktörü (BF₁₀)Kısıtlı en çok olabilirlik (REML)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.