MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Bayesci Doğrusal Regresyon

Bayesci Doğrusal Regresyonanaliz

Bir sonucu birden fazla yordayıcıyla açıklayan doğrusal regresyonu, katsayılar için önsel bilgiyi veriyle birleştirerek kestiren ve her katsayı için sonsal dağılım ile kredibl aralık veren yöntem.

Kavram

Klasik doğrusal regresyon her katsayı için tek bir kestirim, bir standart hata ve bir p-değeri verir. Bayesci regresyon ise katsayıların her biri için olası değerlerin bütün dağılımını (sonsal dağılım) üretir. Bu sayede 'katsayının pozitif olma olasılığı %95' ya da 'katsayı %95 olasılıkla 0,4 ile 0,9 arasında' gibi doğrudan olasılık ifadeleri kurulabilir; önceki çalışmalardan gelen bilgi de önsel dağılım aracılığıyla modele katılabilir.

Model klasik regresyonla aynıdır: y = β₀ + β₁x₁ + … + ε, ε ~ N(0, σ²). Farkı, β'lar ve σ² için bir önsel dağılım belirtilmesidir. Bayes kuralına göre sonsal dağılım, olabilirlik ile önselin çarpımıyla orantılıdır: önsel ne kadar belirsizse (geniş) sonuç o kadar klasik kestirime (EKK) yaklaşır; önsel ne kadar kesinse katsayılar önsel ortalamaya o kadar çekilir (büzülme). Ayrıca modelin yalnız sabitli modele göre kanıtı Bayes faktörüyle raporlanabilir.

Klasik regresyonun varsayımları geçerlidir: doğrusallık, bağımsız gözlemler, sabit varyanslı ve yaklaşık normal artıklar. Önsel seçimi sonucu etkileyebileceğinden, özellikle küçük örneklemlerde önsel duyarlılık analizi yapılmalıdır. Kredibl aralık bir katsayının belirtilen olasılıkla bulunduğu aralığı verir; yordayıcılar arasında güçlü çoklu doğrusallık varsa katsayıların sonsalı geniş ve birbirine bağımlı olur.

Ne zaman kullanılır?

  • Sürekli bir sonucu bir ya da daha fazla yordayıcıyla açıklarken katsayıların belirsizliği olasılık diliyle ifade edilmek ya da önceki bilgi modele katılmak istendiğinde.
  • Örneklem küçük ve önceki çalışmalardan güvenilir bilgi varsa bilgilendirilmiş önsel; önsel bilgi yoksa referans (Jeffreys) önsel ya da Zellner g-önseli kullanılır.
  • Gözlemler okul, hastane gibi kümelere ayrılıyorsa hiyerarşik (karma) model; sonuç ikili ya da sayım verisiyse lojistik ya da Poisson gibi genelleştirilmiş doğrusal modeller tercih edilir.

Gündelik bir örnek

Bir emlak ofisi, ilçedeki 40 dairenin satış fiyatını metrekare ve bina yaşıyla açıklamak istiyor. Bayesci regresyon metrekare katsayısının sonsal ortalamasını örneğin metrekare başına 28 bin TL, %95 kredibl aralığını 22 ile 34 bin TL bulabilir. Bina yaşı katsayısı için aralık sıfırı içeriyor ama katsayının negatif olma olasılığı %90 ise, ofis 'eski binalar büyük olasılıkla biraz daha ucuz, ama emin olmak için daha fazla satış gerekli' diyebilir.

MerQur'da parametreler

Hedef (Y) ve Prediktörler (X)

Kavram: Hedef, açıklanmak istenen sürekli sonuçtur; yordayıcılar onu açıklamak için kullanılan değişkenlerdir. Kategorik bir yordayıcı kukla değişkenlere açılır ve her düzey temel düzeye göre okunur.

Gündelik örnek: Emlak örneğinde hedef satış fiyatı, yordayıcılar metrekare ve bina yaşıdır. 'Asansör var / yok' gibi bir değişken eklenirse katsayısı asansörlü dairelerin asansörsüzlere göre fiyat farkını verir.

Ne işe yarar: Değişken seçimi. Metin sütunlar kukla kodlanır (ilk düzey temel düzeydir), eksik satırlar atılır, sabit terim her zaman eklenir.

Sonuca etkisi: Tüm çıktılar seçilen modele bağlıdır.

Doğrulama verisinde: attitude rating ~ complaints + learning (n = 30; ana model), yalnız complaints, 6 öngörücü ve swiss Fertility ~ 5 öngörücü.

Prior precision (önsel kesinliği τ)

Kavram: Önsel kesinliği, katsayılara ilişkin önsel inancın ne kadar güçlü olduğunu ifade eder. Kesinlik küçükse önsel belirsizdir ve sonuç klasik kestirime yakın çıkar; kesinlik büyüdükçe katsayılar önsel ortalamaya doğru büzülür.

Gündelik örnek: Çok küçük bir τ, 'metrekare katsayısı hakkında hiçbir fikrim yok' demektir ve sonuç EKK'ya eşit gibidir. Çok büyük bir τ ise '0 olduğuna eminim' gibi davranır ve katsayıyı veri ne derse desin sıfıra çeker; bu yüzden τ bilinçli seçilmelidir.

Ne işe yarar: Konjugat önselde β | σ² ~ N(μ0·1, σ²/τ·I); sabit terim dahil tüm katsayılar aynı kesinlikle μ0'a çekilir.

Sonuca etkisi: τ küçükken sonuç EKK'ya yakındır; büyüdükçe katsayılar (özellikle ölçeği büyük olan sabit) μ0'a büzülür. σ² sonsalı ve log marjinal olabilirlik de değişir.

Doğrulama verisinde: Sabit terim: τ = 0.0001 için 9.870, 0.01 için 9.766, 1 için 4.766, 100 için 0.099; complaints katsayısı 0.6435; 0.6444; 0.6843; 0.7132; log marjinal olabilirlik -126.47; -119.58; -113.62; -109.92.

→ Önsel (prior) dağılım

Önsel hiperparametreleri (μ0, a0, b0)

Kavram: μ₀ katsayıların önsel ortalamasıdır, yani veriden önce beklenen değerdir. a₀ ve b₀, hata varyansı σ² için ters gama önselin biçimini belirler; bu değerler büyüdükçe σ² hakkındaki önsel bilgi kesinleşir.

Gündelik örnek: Önceki yılların verisi her katsayının yaklaşık 1 olduğunu düşündürüyorsa μ₀ = 1 seçilebilir. Fiyatların modelden tipik sapması hakkında güçlü bir bilgi varsa a₀ ve b₀ bu bilgiyi yansıtacak biçimde ayarlanır; bilgi yoksa küçük değerler bırakılır.

Ne işe yarar: μ0 tüm katsayılar için önsel ortalama; σ² ~ ters gama(a0 şekil, b0 ölçek). Yalnız konjugat önselde etkindir.

Sonuca etkisi: Katsayı sonsalları ve σ² sonsalı değişir; referans önselde bu kutular etkisizdir.

Doğrulama verisinde: μ0 = 1 için sabit terim 9.777; a0 = 10 için σ² ortalaması 26.20 (varsayılan 41.92); a0 = 0.01 için 44.88; b0 = 10 için 42.52. Birleşik (μ0 = 1, a0 = b0 = 10, τ = 1): sabit 5.275, σ² 27.36.

→ Önsel (prior) dağılım

Önsel türü (Konjugat (NIG) / Referans (Jeffreys) / Zellner g-önseli) ve g

Kavram: Önsel türü, önsel bilginin hangi biçimde verileceğini belirler. Konjugat önsel ortalama ve kesinlikle açıkça ayarlanır; referans (Jeffreys) önsel bilgi içermez ve sonuç sayısal olarak EKK'ya eşit çıkar; Zellner g-önseli eğimleri tek bir g değeriyle, yordayıcıların ölçeğine uygun biçimde sıfıra doğru büzer.

Gündelik örnek: Emlak ofisinin önceki bir bilgisi yoksa referans önsel 'yalnızca veri konuşsun' demektir. Zellner g-önselinde g = 40 (daire sayısı) seçilirse eğimler EKK değerlerinin 40/41'i kadar, yani çok az büzülür.

Ne işe yarar: Konjugat NIG; referans önsel (Jeffreys, p(β, σ²) ∝ 1/σ²: sonsal ortalama EKK'ya, aralık t aralığına eşittir); Zellner g-önseli (sabit düz, eğimler EKK'nın g/(1+g) katına büzülür; g = 0 girilirse g = n). g yalnız g-önselde etkindir.

Sonuca etkisi: Katsayı sonsalları, kredibl aralıklar ve log BF değişir.

Doğrulama verisinde: Referans önsel: complaints 0.6435 [0.4004, 0.8866]. g = n = 30: 0.6228, log BF10(g) = 13.324; g = 10: 0.5850, 12.564; g = 1000: 0.6429, 10.906.

→ Eşlenik önsel (normal-ters gamma, Zellner g)

Bayes faktörü (JZS) + R² ve JZS önsel ölçeği (r)

Kavram: Bayes faktörü, verinin yordayıcıları içeren model altında yalnız sabit terimli model altındakinden kaç kat daha olası olduğunu gösterir. Önsel ölçeği, H₁ altında beklenen etkilerin genişliğini ayarlar.

Gündelik örnek: BF₁₀ = 5000 ise metrekare ve bina yaşının birlikte fiyatı açıkladığına dair kanıt çok güçlüdür. R² ise bu iki değişkenin fiyattaki değişkenliğin ne kadarını açıkladığını söyler.

Ne işe yarar: Tam modelin yalnız sabit modele karşı JZS (Zellner-Siow) Bayes faktörünü (Liang ve ark. 2008; Rouder ve Morey 2012) ve R²'yi verir. Ölçek, sürekli yordayıcıların JZS önsel ölçeğidir (medium √2/4, wide 1/2, ultrawide √2/2) ve yalnız Bayes faktörü açıkken etkilidir.

Sonuca etkisi: BF10 değişir; sonsal katsayılar etkilenmez.

Doğrulama verisinde: attitude yalnız complaints BF10 = 417 938.6; complaints + learning 207 271.9, wide 265 544.5, ultrawide 315 512.9; swiss 2.408e7.

→ Bayes faktörü (BF₁₀)

Güven Düzeyi (%90 / %95 / %99 / Diğer (özel))

Kavram: Kredibl aralığın düzeyini belirler: %95 kredibl aralık, katsayının veri ve önsel ışığında %95 olasılıkla bulunduğu aralıktır.

Gündelik örnek: Metrekare katsayısının %95 kredibl aralığı 22 ile 34 bin TL ise, %90 seçildiğinde aralık daralır, %99 seçildiğinde genişler.

Ne işe yarar: Kredibl aralık düzeyi (t kantilleri).

Sonuca etkisi: Yalnız aralık sınırları değişir.

Doğrulama verisinde: complaints katsayısı: %90 [0.4600, 0.8287], %95 [0.4227, 0.8660], %99 [0.3463, 0.9424], %80 [0.5019, 0.7868].

→ Güven düzeyi ve güven aralığı

Ek çıktı: Standart β + HDI; Önsel duyarlılığı; Posterior tahmin kontrolü

Kavram: Standartlaştırılmış katsayılar farklı birimlerdeki yordayıcıları karşılaştırılabilir kılar; önsel duyarlılığı sonuçların önsel kesinliğiyle nasıl değiştiğini gösterir; sonsal öngörü kontrolü ise modelden üretilen yapay verinin gerçek veriye benzeyip benzemediğini sınar.

Gündelik örnek: Metrekare ve bina yaşı farklı birimlerde olduğundan hangisinin fiyatı daha çok etkilediği standart β ile görülür. Sonsal öngörü kontrolünde modelin ürettiği fiyatlar gerçek fiyatların dağılımını yakalayamıyorsa model eksik bir şeyi kaçırıyor demektir.

Ne işe yarar: Standartlaştırılmış katsayılar β·sd(X)/sd(Y) ile σ² için en dar (HDI) ve eşit kuyruklu aralık; τ ızgarasında (0.001 ile 100 arası) sonsal ortalamalar ve log marjinal olabilirlik; analitik %95 öngörü aralığının kapsaması ve 2000 benzetimli sonsal öngörü p değeri.

Sonuca etkisi: Yalnız ek çıktı ekler.

Doğrulama verisinde: Ana model σ² HDI [23.194, 64.274]; PPC kapsaması %100. Standartlaştırma ve duyarlılık kapalı formla, PPC Monte Carlo benzetimiyle hesaplanır.

→ Standartlaştırılmış regresyon katsayısı (β)

Sabit terim için düz önsel

Kavram: Sabit terim, tüm yordayıcılar sıfırken sonucun değeridir ve büyüklüğü verinin ölçeğine bağlıdır. Ona düz önsel vermek, sabit terimi önsel ortalamaya çekmeden yalnız eğimlere önsel bilgi uygulamak anlamına gelir.

Gündelik örnek: Daire fiyatları milyonlarca TL düzeyinde olduğundan sabit terimi 0'a çekmek anlamsızdır. Düz önsel sabit terimi serbest bırakır; büzülme yalnız metrekare ve bina yaşı katsayılarına uygulanır.

Ne işe yarar: Konjugat önselde sabit terim için düz (uygunsuz) önsel p(β0) ∝ 1; diğer katsayılar β_j | σ² ~ N(μ0, σ²/τ). Yalnız konjugat önselde etkindir.

Sonuca etkisi: Sabit μ0'a büzülmez; σ² sonsalının serbestlik derecesi bir azalır (a_n = a0 + (n-1)/2); log marjinal olabilirlik tanımsızdır.

Doğrulama verisinde: Ana model: sabit 9.871 (EKK 9.871; varsayılan konjugat 9.766), SD 6.819; τ = 1 ile 9.878 (düz önsel olmadan 4.766). Referans önselde işaretlenmesi etkisizdir.

→ Bilgi vermeyen (düz, Jeffreys) önsel

Gerçek veride örnek

Veri: Chatterjee ve Price 1977 attitude, R datasets

Değişkenler: hedef rating (genel değerlendirme), prediktörler complaints ve learning

  • Soru: 30 birimde yöneticinin genel değerlendirmesi (rating), şikâyetleri ele alış (complaints) ve öğrenme fırsatları (learning) ile nasıl ilişkilidir? Katsayıların sonsal dağılımını konjugat önselle (τ = 0.01, belirsiz önsel) kestiriyoruz.
  • Sonuç: complaints sonsal ortalaması 0.644 (SD 0.112), %95 kredibl aralık [0.423, 0.866], P(β > 0) ≈ 1.00: complaints puanındaki 1 birimlik artış değerlendirmeyi yaklaşık 0.64 puan artırır.
  • İkinci yordayıcı: learning sonsal ortalaması 0.212, %95 kredibl aralık [-0.040, 0.464]; aralık 0'ı içerir ancak P(β > 0) = .952; pozitif etki olası ama belirsizdir.
  • Model uyumu: σ² sonsal ortalaması 41.92 (SD 11.20); log marjinal olabilirlik -119.58 (model karşılaştırmada kullanılır).
  • Önsel etkisi: τ = 0.01 belirsiz olduğundan sonuç EKK'ya çok yakındır (EKK complaints 0.6435, sonsal 0.6444); sabit terim 0'a hafifçe büzülür (EKK 9.871, sonsal 9.766).
  • APA: Bayesci doğrusal regresyon (konjugat NIG, τ = 0.01): complaints β = 0.64, %95 CrI [0.42, 0.87]; learning β = 0.21, %95 CrI [-0.04, 0.46]; N = 30.

İlgili kavramlar

Eşlenik önsel (normal-ters gamma, Zellner g)Önsel (prior) dağılımBayes faktörü (BF₁₀)Bilgi vermeyen (düz, Jeffreys) önselSonsal (posterior) dağılım ve sonsal kestirim kontrolüStandartlaştırılmış regresyon katsayısı (β)JZS (Cauchy) önseli ve ölçek parametresi rİnanılırlık aralığı ve en yüksek yoğunluk aralığı (HDI)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.