MerQuR+Başvuru Kitabı

217. Kullanıcı tanımlı olabilirlik ve öncülle MCMC (Metropolis)

Şablon kimliği: mcmc_ozel_model · Kategori: bayes · Dil: R · Dosya: pro/sablonlar/bayes/mcmc_ozel_model.R (satır 1–245; üstbilgi 1–117) · Örnek veri: _ornek/birthwt.csv · Paketler: MCMCpack 1.7.1, coda 0.19.4.1 (R 4.5.3)

217.1 Ne işe yarar

Şablon, bir log-sonsal yoğunluktan rastgele yürüyüş Metropolis örneklemesi yapar. Hazır üç model vardır (lojistik, Poisson, normal doğrusal); koddaki log_olabilirlik() ve log_oncul() işlevleri değiştirilerek herhangi bir model kurulabilir. Cevapladığı soru: "Bu model ve öncül altında parametrelerin sonsal dağılımı nedir ve zincirler bu dağılıma yakınsadı mı?"

\log\pi(\boldsymbol\theta\mid\mathbf y)=\ell(\boldsymbol\theta;\mathbf y)+\log p(\boldsymbol\theta)+\text{sabit},\qquad \boldsymbol\theta'=\boldsymbol\theta+\mathbf e,\ \ \mathbf e\sim\mathrm N\!\big(\mathbf 0,\ \tau^{2}\mathbf V\big)
  • \ell: log-olabilirlik; p(\boldsymbol\theta): öncül (düz ya da her katsayıya \mathrm N(\mu_0,s^2)).
  • \mathbf V: sonsal moddaki Hessian'ın tersi; \tau: öneri ölçeği (ayar, varsayılan 1).
  • \boldsymbol\theta': önerilen nokta; kabul olasılığı \min\{1,\ \pi(\boldsymbol\theta'\mid\mathbf y)/\pi(\boldsymbol\theta\mid\mathbf y)\}.

Ne zaman kullanılır?

  • Hazır bir pakette bulunmayan bir olabilirlik ya da öncül yazılacaksa ve düşük boyutlu (en çok onlarca parametre) bir model için Metropolis yeterliyse.
  • Sonsal ortalamayı sonsal modla (ML) karşılaştırmak, öncülün etkisini görmek ve zincir tanılarını (R-hat, ESS, MC SH) okumak isteniyorsa.

Ne zaman kullanılmaz?

  • Karma modeller ve hazır aileler: brms_cok_duzeyli (Bölüm 216; NUTS). Çok boyutlu ve eşdoğrusal sonsallarda rastgele yürüyüş yavaş karışır.
  • Model uzayı belirsizliği: bayes_model_ortalamasi (Bölüm 215).

Temel programla ilişki. Temel programda kullanıcı tanımlı olabilirlikle MCMC yoktur. Yakın analizler: İkili Lojistik Regresyon (en çok olabilirlik ve Wald aralığı; bu şablonun sonsal modu aynı ML kestirimidir), Bayesçi Doğrusal Regresyon (konjugat, analitik sonsal), Bayesçi Aracılık Analizi (Gibbs örnekleyici; zincir sayısı, tohum, R-hat, ESS ve MCSE verir; gui/panels/analyses/bayesian_mediation.py). Temel programdaki tanılar bölünmüş ve sıra normalleştirilmiş R-hat'tır; bu şablonda klasik Gelman–Rubin R-hat'ı (coda) kullanılır.

217.2 Şablonun girdileri

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt · y (satır 10–14) sayısal sütun · Değişkenler ilk sayısal sütun sayısal Yanıt (128–133).
Açıklayıcı değişkenler · x (15–20) sütunlar · Değişkenler boş sütunlar Tasarım matrisi (149).
Olabilirlik · aile (21–27) seçim · Model lojistik lojistik, poisson, normal log_olabilirlik (156–162).
Referans düzeyleri · referans (28–33) metin · Model boş değişken=düzey; … relevel (135–144).
Katsayı öncülü s · oncul_sd (34–41) ondalık · Model 0 0–10⁶ 0: düz; >0: \mathrm N(\mu_0,s^2) (163–165); açıkken kesişime de uygulandığı çıktıda notlanır (224–225).
Normal öncül ortalaması · oncul_ort (90–98) ondalık · Model 0 ±10⁶ Yalnız s>0.
Zincir başına yineleme (seyreltmeden önce; kaydedilen = yineleme ÷ seyreltme) · yineleme (42–49) tamsayı · Seçenekler 20000 500–2 000 000 mcmc = (198). Kaydedilen örnek sayısı yineleme ÷ seyreltme'dir; çıktı ikisini birlikte yazar.
Isınma · isinma (50–57) tamsayı · Seçenekler 2000 0–10⁶ burnin =.
Seyreltme · seyreltme (58–65) tamsayı · Seçenekler 1 1–1000 thin =.
Zincir sayısı · zincir (66–73) tamsayı · Seçenekler 3 1–8 Zincir döngüsü (191–206).
Öneri ölçeği · ayar (74–81) ondalık · Gelişmiş 1 0,05–10 tune =.
Rastgele sayı tohumu (0 = çalıştırma tohumu) · tohum (82–89) tamsayı · Gelişmiş 1 0–2 147 483 647 tohum_ (193): 0 (ya da boş) ise kod panelindeki çalıştırma tohumu (mq_tohum), o da yoksa 1. set.seed(tohum_) ve zincir i için seed = tohum_ + i − 1 (194, 202); tohum çıktıda yazılır.
Güvenilir aralık düzeyi · guven (99–107) ondalık · Seçenekler 0,95 0,5–0,999 Kantil sütunları (212–216).
Sonsal mod için en çok yineleme · maks_yineleme (108–116) tamsayı · Gelişmiş 5000 10–10⁶ BFGS maxit (178–180).

Şablona özgü denetimler: veri yok (121); yanıt sayısal değil (129); gözlem < açıklayıcı sayısı + 5 (130); lojistikte yanıt 0/1 değil (131); Poisson'da negatif ya da tamsayı olmayan yanıt (132); yanıt sabit (133); referans tanımı değişken=düzey değil ya da değişken/düzey yok (140–142); tek düzeyli faktör ya da sabit sayısal sütun (146–147); tasarım matrisi tam ranklı değil (151); BFGS yakınsamadı (182); Hessian tersinir değil ya da pozitif tanımlı değil (185–187); MCMC hatası (201). Eksik değerli satırlar çıkarılır ve sayıları çıktıda yazılır (124–127, 223). Son üç hata düz öncülde tam ayrışmada çıkar; çözüm bir öncül s'sidir (217.7).

Örnek ayar (satır 9): low ~ age + lwt + race + smoke + ptd + ht + ui + ftv, lojistik, başvuru race=white; öncül düz, 3 zincir × 20 000, ısınma 2000.

217.3 Örnek veri

birthwt.csv: Hosmer ve Lemeshow'un düşük doğum ağırlığı verisi (MASS birthwt; Hosmer ve ark., 2013): 189 doğum, eksik değer yok. low: bebeğin doğum ağırlığı < 2,5 kg (1) ya da değil (0).

Değişken Rol Tür Özet
low yanıt binary 59 vaka (%31)
age, lwt açıklayıcı numeric yaş; annenin gebelik öncesi ağırlığı (libre)
race açıklayıcı categorical white, black, other; başvuru white (referans)
smoke, ptd, ht, ui açıklayıcı binary sigara, erken doğum öyküsü, hipertansiyon, uterus irritabilitesi (0/1)
ftv açıklayıcı categorical 0, 1, 2+ ziyaret; başvuru 0 (ilk düzey)

İki ikili sütun race ve ftv kategorik, diğerleri sayısal gelir. Başvuru düzeyi, referans boşsa Veri sekmesinin düzey sırasına göre ilk düzeydir (Bölüm 1.3): ftv için 0. Kullanılan çalıştırmalar: örnek (q11_mc_ornek, tohum 1); form tohumu 3; \mathrm N(0{,}2{,}5^2) öncülü; ayar 0,05 ve 10; 500 yineleme ve ısınmasız; 1 ve 8 zincir; seyreltme 10; ölçeklenmiş sütunlar; tam ayrışma verisi; Poisson ve normal modeller (benzetim verisi).

217.4 Yöntem: formüller ve hesap adımları

Şablon sırayla: (1) tasarım matrisini kurar, (2) sonsal modu iki aşamalı BFGS ile bulur ve Hessian'dan \mathbf V'yi çıkarır, (3) her zincir için MCMCmetrop1R ile örnekler, (4) zincirleri codayla özetler.

217.4.1 Modeller

\ell_{\text{lojistik}}=\sum_i\big[y_i\eta_i-\log(1+e^{\eta_i})\big],\quad \ell_{\text{Poisson}}=\sum_i\log\mathrm{Pois}(y_i;e^{\eta_i}),\quad \ell_{\text{normal}}=\sum_i\log\mathrm N(y_i;\eta_i,e^{2\lambda})
  • \eta_i=\mathbf x_i^{\top}\boldsymbol\beta: doğrusal belirteç; kesişim tasarım matrisinin ilk sütunudur.
  • \lambda=\log\sigma: normal modelde ek parametre (log_sigma); üzerinde öncül yoktur.

Öncül: oncul_sd = 0 ise \log p=0 (düz, uygunsuz); aksi hâlde \log p=\sum_j\log\mathrm N(\beta_j;\mu_0,s^2) ve kesişim de dahildir (satır 163–165); çıktı bunu not eder.

Öncül ve ölçek bağımlılığı

Aynı \mathrm N(0,s^2) her katsayıya, kesişim dahil, ham ölçekte uygulanır ve yordayıcılar merkezlenmez; kesişim "tüm yordayıcılar 0" noktasındaki değerdir. s=1 iken kesişim modu 0{,}823\to0{,}369 olur ve yaş eğimi -0{,}0372\to-0{,}0275 ile kilo eğimi -0{,}0157\to-0{,}0117 ile bunu telafi eder. Düz öncül uygunsuzdur; tam ayrışmada sonsal uygunsuz olur (217.7).

217.4.2 Sonsal mod, Hessian ve öneri

Mod, ölçeklenmiş BFGS ile iki geçişte bulunur (parscale = sütun SS'sinin tersi; ikinci geçişte reltol 10^{-14}, ndeps 10^{-5}); düz öncülde mod ML kestirimidir. \mathbf V=(-\mathbf H)^{-1}, \mathbf H moddaki sayısal Hessian. Öneri kovaryansı \tau^2\mathbf V'dir: ayar büyüdükçe adımlar büyür ve kabul oranı düşer (örnekte ayar 0,05: kabul %94; 1: %14; 10: %0).

217.4.3 Zincirler ve tanılar

Zincir 1 modda başlar; öteki zincirler \hat{\boldsymbol\theta}+0{,}5\,\mathbf L\mathbf z (\mathbf L\mathbf L^{\top}=\mathbf V, \mathbf z\sim\mathrm N(\mathbf 0,\mathbf I)) noktasından. Özetler:

\mathrm{MCSE}=\frac{\mathrm{SS}}{\sqrt{\mathrm{ESS}}},\qquad \widehat R=\sqrt{\frac{\frac{n-1}{n}W+\frac1nB}{W}}
  • ESS: coda::effectiveSize (zincirler toplamı); SS: tüm zincirlerin birleşik standart sapması.
  • W: zincir içi, B: zincirler arası varyans; \widehat R Gelman–Rubin kestirimi (autoburnin = FALSE, çok değişkenli değil).
  • Uyarılar: \widehat R>1{,}05; ESS <400; kabul oranı 0{,}1–0{,}6 dışında.

Koddaki tercih

MCMCmetrop1R(logfun = TRUE, force.samp = TRUE, verbose = 0); zincir i için seed = tohum_ + i − 1, ayrıca set.seed(tohum_) bir kez (192–194); tohum_ alan değeri 0 (ya da boş) ise çalıştırma tohumudur. Kantil sütunları quantile ile (tip 7). guven ≠ 0,95 ise sütun adları Q_{100\cdot\text{alt}} olarak değişir (örn. Q5, Q95).

217.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
118–133 Paketler, veri ve yanıt denetimi; eksik satırlar çıkarılır (sayısı tutulur). Poisson yanıtı tamsayı olmalı.
134–151 Referans ayrıştırma, faktör düzeyleri, model.matrix, rank denetimi. Faktörler dummy; referans yanlışsa hata.
152–169 log_olabilirlik, log_oncul, log_sonsal. Sonlu olmayan değer −1e300 olur.
171–189 Başlangıç, iki geçişli BFGS, Hessian ve \mathbf V; sonsal mod tablosu. Ayrışmada burada durur.
191–206 Çalıştırma tohumu, zincir döngüsü; kabul oranı ekrandan okunur. Kabul oranı çıktı metnindendir.
207–217 mcmc.list, ESS, MCSE, R-hat, özet tablo. Tek zincirde R-hat boş.
218–228 Zincir bilgisi (kayıt sayısı, yineleme ÷ seyreltme, tohum), eksik satır, tek zincir ve öncül notları, uyarılar (tıkanmış zincir dahil).
230–245 İz ve yoğunluk grafikleri (4 parametre/şekil).

217.6 Elle hesap: örnek veride bağımsız yeniden hesap

dogrulama/mcmc_ozel_model/elle_hesap.py (numpy; optim, MCMCpack ve şablon kodu yok) ve r_dogrulama.R (glm/lm, MCMClogit, MCMCmetrop1R doğrudan) kullanıldı.

Adım 1 — Sonsal mod. Newton–Raphson ile lojistik ML: kesişim 0{,}82302, yaş -0{,}037234, kilo -0{,}015653, raceblack 1{,}1924, ptd 1{,}3438, ht 1{,}9132. Şablonun sonsal modu ve glm ile 10^{-5} içinde aynıdır.

Adım 2 — Hessian SH. Çözümsel gözlenen bilgiden: kesişim 1{,}2447, yaş 0{,}0387, kilo 0{,}00708; şablonun sayısal Hessian'ıyla 2{\cdot}10^{-5} içinde.

Adım 3 — MCMCmetrop1R doğrudan. Aynı tohum, ayar ve \mathbf V ile doğrudan çağrıda sonsal ortalamalar, R-hat ve ESS şablonunkinin birebir aynısıdır; şablon belirlenimcidir.

Adım 4 — Bağımsız örnekleyiciler. Ayrı tohum ve uyarlamalı öneri kovaryansıyla yazılan Metropolis (3 × 50 000) ve MCMClogit (farklı Metropolis uygulaması), 11 sonsal ortalamada dört Monte Carlo SH içinde şablonla uyuşur (örn. kesişim: 0{,}9591; 0{,}9550; 1{,}0216). Sonsal ortalama sonsal moddan farklıdır (kesişim 0{,}959 ↔ 0{,}823): düz öncülde sonsal çarpıktır.

Adım 5 — Öteki modeller ve öncül. Poisson ve normal modellerin modları ve Hessian SH'leri Newton ve glm/lm ile 10^{-4} içinde aynıdır (normal: \log\hat\sigma=0{,}2526). \mathrm N(0{,}2{,}5^2) öncüllü mod (0{,}66488 kesişim) bağımsız Newton ve R optim ile 10^{-4} içinde uyuşur.

217.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark Ölçüt
Sonsal mod (Intercept) (ML) 0,82301899 0,82301899 0,82301896 3,6e−8 1e−5 ✓
Sonsal mod age (ML) −0,03723429 −0,03723429 −0,03723429 1,9e−9 1e−5 ✓
Sonsal mod lwt (ML) −0,01565301 −0,01565301 −0,01565301 2,0e−10 1e−5 ✓
Sonsal mod raceblack (ML) 1,19241323 1,19241323 1,19241321 1,6e−8 1e−5 ✓
Sonsal mod raceother (ML) 0,7406849 0,7406849 0,74068488 1,8e−8 1e−5 ✓
Sonsal mod smoke (ML) 0,75552839 0,75552839 0,75552837 1,8e−8 1e−5 ✓
Sonsal mod ptd (ML) 1,34376339 1,34376339 1,34376338 9,8e−9 1e−5 ✓
Sonsal mod ht (ML) 1,91316588 1,91316588 1,91316586 1,2e−8 1e−5 ✓
Sonsal mod ui (ML) 0,68019548 0,68019548 0,68019548 2,4e−9 1e−5 ✓
Sonsal mod ftv1 (ML) −0,43637968 −0,43637968 −0,43637967 6,3e−9 1e−5 ✓
Sonsal mod ftv2+ (ML) 0,17900853 0,17900853 0,17900852 7,4e−9 1e−5 ✓
Hessian SH (Intercept) 1,24473805 1,24476058 1,24471433 1,9e−5 1e−4 ✓
Hessian SH age 0,03870401 0,03870424 0,03870238 1,6e−6 1e−4 ✓
Hessian SH lwt 0,00708064 0,00708073 0,00708041 2,3e−7 1e−4 ✓
Hessian SH raceblack 0,53598157 0,53598064 0,53596458 1,7e−5 1e−4 ✓
Hessian SH raceother 0,46176577 0,46176535 0,46174434 2,1e−5 1e−4 ✓
Hessian SH smoke 0,42503604 0,42503534 0,42501665 1,9e−5 1e−4 ✓
Hessian SH ptd 0,48063346 0,48063375 0,4806207 1,3e−5 1e−4 ✓
Hessian SH ht 0,72075638 0,72075835 0,72073686 2,0e−5 1e−4 ✓
Hessian SH ui 0,46435029 0,46434974 0,46434032 1,0e−5 1e−4 ✓
Hessian SH ftv1 0,47940989 0,47941053 0,47939359 1,6e−5 1e−4 ✓
Hessian SH ftv2+ 0,45638986 0,45639014 0,45637777 1,2e−5 1e−4 ✓
Sonsal ortalama (Intercept): şablon ↔ MCMCmetrop1R doğrudan 0,95911098 — 0,95911098 0 1e−6 ✓
Sonsal ortalama age: şablon ↔ MCMCmetrop1R doğrudan −0,03962706 — −0,03962706 0 1e−6 ✓
Sonsal ortalama lwt: şablon ↔ MCMCmetrop1R doğrudan −0,01726617 — −0,01726617 0 1e−6 ✓
Sonsal ortalama raceblack: şablon ↔ MCMCmetrop1R doğrudan 1,27753295 — 1,27753295 0 1e−6 ✓
Sonsal ortalama raceother: şablon ↔ MCMCmetrop1R doğrudan 0,79123683 — 0,79123683 0 1e−6 ✓
Sonsal ortalama smoke: şablon ↔ MCMCmetrop1R doğrudan 0,80237632 — 0,80237632 0 1e−6 ✓
Sonsal ortalama ptd: şablon ↔ MCMCmetrop1R doğrudan 1,4381856 — 1,4381856 0 1e−6 ✓
Sonsal ortalama ht: şablon ↔ MCMCmetrop1R doğrudan 2,06504374 — 2,06504374 0 1e−6 ✓
Sonsal ortalama ui: şablon ↔ MCMCmetrop1R doğrudan 0,71723062 — 0,71723062 0 1e−6 ✓
Sonsal ortalama ftv1: şablon ↔ MCMCmetrop1R doğrudan −0,48764737 — −0,48764737 0 1e−6 ✓
Sonsal ortalama ftv2+: şablon ↔ MCMCmetrop1R doğrudan 0,1849588 — 0,1849588 0 1e−6 ✓
R-hat (Intercept): şablon ↔ coda doğrudan 1,00194477 — 1,00194477 0 1e−6 ✓
ESS (Intercept): şablon ↔ coda doğrudan 1515,32553359 — 1515,32553359 0 1e−6 ✓
R-hat age: şablon ↔ coda doğrudan 1,00309945 — 1,00309945 0 1e−6 ✓
ESS age: şablon ↔ coda doğrudan 1468,04265306 — 1468,04265306 0 1e−6 ✓
R-hat lwt: şablon ↔ coda doğrudan 1,00233736 — 1,00233736 0 1e−6 ✓
ESS lwt: şablon ↔ coda doğrudan 1546,63468583 — 1546,63468583 0 1e−6 ✓
R-hat raceblack: şablon ↔ coda doğrudan 1,0002635 — 1,0002635 0 1e−6 ✓
ESS raceblack: şablon ↔ coda doğrudan 1473,62278006 — 1473,62278006 0 1e−6 ✓
R-hat raceother: şablon ↔ coda doğrudan 1,00282084 — 1,00282084 0 1e−6 ✓
ESS raceother: şablon ↔ coda doğrudan 1502,84201387 — 1502,84201387 0 1e−6 ✓
R-hat smoke: şablon ↔ coda doğrudan 1,00391015 — 1,00391015 0 1e−6 ✓
ESS smoke: şablon ↔ coda doğrudan 1520,88942198 — 1520,88942198 0 1e−6 ✓
R-hat ptd: şablon ↔ coda doğrudan 1,00115008 — 1,00115008 0 1e−6 ✓
ESS ptd: şablon ↔ coda doğrudan 1423,53652526 — 1423,53652526 0 1e−6 ✓
R-hat ht: şablon ↔ coda doğrudan 1,00268353 — 1,00268353 0 1e−6 ✓
ESS ht: şablon ↔ coda doğrudan 1342,05377779 — 1342,05377779 0 1e−6 ✓
R-hat ui: şablon ↔ coda doğrudan 1,00006751 — 1,00006751 0 1e−6 ✓
ESS ui: şablon ↔ coda doğrudan 1493,49777251 — 1493,49777251 0 1e−6 ✓
R-hat ftv1: şablon ↔ coda doğrudan 1,00173369 — 1,00173369 0 1e−6 ✓
ESS ftv1: şablon ↔ coda doğrudan 1505,68823252 — 1505,68823252 0 1e−6 ✓
R-hat ftv2+: şablon ↔ coda doğrudan 1,00138533 — 1,00138533 0 1e−6 ✓
ESS ftv2+: şablon ↔ coda doğrudan 1495,01856154 — 1495,01856154 0 1e−6 ✓
Sonsal ortalama (Intercept): şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 0,95911098 0,9549795 — 4,1e−3 2e−1 ✓
Sonsal ortalama age: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) −0,03962706 −0,04021123 — 5,8e−4 5e−3 ✓
Sonsal ortalama lwt: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) −0,01726617 −0,01710623 — 1,6e−4 9e−4 ✓
Sonsal ortalama raceblack: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 1,27753295 1,2608639 — 1,3e−2 5e−2 ✓
Sonsal ortalama raceother: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 0,79123683 0,79977527 — 8,5e−3 6e−2 ✓
Sonsal ortalama smoke: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 0,80237632 0,80097057 — 1,4e−3 5e−2 ✓
Sonsal ortalama ptd: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 1,4381856 1,44198045 — 2,6e−3 4e−2 ✓
Sonsal ortalama ht: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 2,06504374 2,05760623 — 3,6e−3 5e−2 ✓
Sonsal ortalama ui: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 0,71723062 0,70244566 — 1,5e−2 6e−2 ✓
Sonsal ortalama ftv1: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) −0,48764737 −0,49325812 — 5,6e−3 6e−2 ✓
Sonsal ortalama ftv2+: şablon ↔ bağımsız Metropolis (ölçüt 4 MC SH) 0,1849588 0,18354121 — 1,4e−3 6e−2 ✓
Sonsal ortalama (Intercept): şablon ↔ MCMClogit (ölçüt 4 MC SH) 0,95911098 — 1,02160899 6,2e−2 2e−1 ✓
Sonsal ortalama age: şablon ↔ MCMClogit (ölçüt 4 MC SH) −0,03962706 — −0,04152236 1,9e−3 6e−3 ✓
Sonsal ortalama lwt: şablon ↔ MCMClogit (ölçüt 4 MC SH) −0,01726617 — −0,01735955 9,3e−5 1e−3 ✓
Sonsal ortalama raceblack: şablon ↔ MCMClogit (ölçüt 4 MC SH) 1,27753295 — 1,2452327 2,5e−2 7e−2 ✓
Sonsal ortalama raceother: şablon ↔ MCMClogit (ölçüt 4 MC SH) 0,79123683 — 0,77758244 1,4e−2 7e−2 ✓
Sonsal ortalama smoke: şablon ↔ MCMClogit (ölçüt 4 MC SH) 0,80237632 — 0,79202532 1,0e−2 7e−2 ✓
Sonsal ortalama ptd: şablon ↔ MCMClogit (ölçüt 4 MC SH) 1,4381856 — 1,44038125 1,5e−3 5e−2 ✓
Sonsal ortalama ht: şablon ↔ MCMClogit (ölçüt 4 MC SH) 2,06504374 — 2,10707645 2,0e−2 6e−2 ✓
Sonsal ortalama ui: şablon ↔ MCMClogit (ölçüt 4 MC SH) 0,71723062 — 0,70534605 1,2e−2 7e−2 ✓
Sonsal ortalama ftv1: şablon ↔ MCMClogit (ölçüt 4 MC SH) −0,48764737 — −0,49215734 4,5e−3 7e−2 ✓
Sonsal ortalama ftv2+: şablon ↔ MCMClogit (ölçüt 4 MC SH) 0,1849588 — 0,18716981 2,2e−3 7e−2 ✓
Sonsal mod (Intercept), öncül N(0, 2,5²) 0,6648815 0,6648815 0,66491924 3,8e−5 1e−4 ✓
Sonsal mod age, öncül N(0, 2,5²) −0,03417903 −0,03417903 −0,0341798 7,8e−7 1e−4 ✓
Sonsal mod lwt, öncül N(0, 2,5²) −0,01453548 −0,01453548 −0,01453564 1,6e−7 1e−4 ✓
Sonsal mod raceblack, öncül N(0, 2,5²) 1,12812516 1,12812516 1,12812671 1,4e−6 1e−4 ✓
Sonsal mod raceother, öncül N(0, 2,5²) 0,71784663 0,71784663 0,71784487 1,8e−6 1e−4 ✓
Sonsal mod smoke, öncül N(0, 2,5²) 0,74158053 0,74158053 0,74158004 4,9e−7 1e−4 ✓
Sonsal mod ptd, öncül N(0, 2,5²) 1,29286072 1,29286072 1,29286307 1,8e−6 1e−4 ✓
Sonsal mod ht, öncül N(0, 2,5²) 1,7436664 1,7436664 1,74367304 3,8e−6 1e−4 ✓
Sonsal mod ui, öncül N(0, 2,5²) 0,6613288 0,6613288 0,66132776 1,0e−6 1e−4 ✓
Sonsal mod ftv1, öncül N(0, 2,5²) −0,41746086 −0,41746086 −0,41746039 4,7e−7 1e−4 ✓
Sonsal mod ftv2+, öncül N(0, 2,5²) 0,1554384 0,1554384 0,15544107 2,7e−6 1e−4 ✓
Poisson sonsal mod (Intercept) 0,44984114 0,44984072 0,44984072 4,2e−7 1e−5 ✓
Poisson Hessian SH (Intercept) 0,08783598 0,08783592 0,08783578 2,0e−7 1e−4 ✓
Poisson sonsal mod x1 0,34589293 0,34589297 0,34589297 4,4e−8 1e−5 ✓
Poisson Hessian SH x1 0,04670701 0,04670701 0,04670696 4,2e−8 1e−4 ✓
Poisson sonsal mod kata 0,44512263 0,44512281 0,44512281 1,9e−7 1e−5 ✓
Poisson Hessian SH kata 0,11544276 0,11544273 0,11544261 1,5e−7 1e−4 ✓
Poisson sonsal mod katb 0,317831 0,31783137 0,31783137 3,6e−7 1e−5 ✓
Poisson Hessian SH katb 0,10994395 0,10994386 0,10994374 2,1e−7 1e−4 ✓
Normal sonsal mod (Intercept) −0,30544642 −0,30544637 −0,30544637 5,6e−8 1e−5 ✓
Normal sonsal mod x1 0,42798408 0,42798408 0,42798408 1,7e−9 1e−5 ✓
Normal sonsal mod kata 0,68141914 0,68141911 0,68141911 3,5e−8 1e−5 ✓
Normal sonsal mod katb 0,50804291 0,50804287 0,50804287 4,4e−8 1e−5 ✓
Normal sonsal mod log σ 0,25257752 0,25257751 0,25257751 1,8e−8 1e−5 ✓
Normal Hessian SH (Intercept) 0,14395773 0,14395735 — 3,7e−7 1e−4 ✓
Normal Hessian SH x1 0,08422318 0,08422317 — 4,4e−9 1e−4 ✓
Normal Hessian SH kata 0,21606394 0,21606368 — 2,5e−7 1e−4 ✓
Normal Hessian SH katb 0,19492439 0,194924 — 3,9e−7 1e−4 ✓
Normal Hessian SH log_sigma 0,04564355 0,04564355 — 4,9e−9 1e−4 ✓

Ölçütü karşılayan: 106/106. Bağımsız Python: sonsal modu Newton–Raphson ile, Hessian SH'sini çözümsel gözlenen bilgiden hesaplar; lojistik model için ayrı tohumlu uyarlamalı rastgele yürüyüş Metropolis (3 zincir × 50 000; öneri kovaryansı deneme zincirinden). Bağımsız R: glm ve lm ile en çok olabilirlik, MCMCpack::MCMClogit (ayrı Metropolis uygulaması), MCMCmetrop1R'ın şablon sarmalayıcısı olmadan aynı tohum ve ayarla doğrudan çağrısı. Düz öncülde sonsal mod ML'ye eşittir. Sayısal Hessian ve öncüllü mod satırlarında ölçüt 10⁻⁴'tür (BFGS ve sonlu fark toleransı). Ortalamalar için iki örnekleyicinin Monte Carlo SH'si kullanılır.

217.7 Çıktıyı okuma

Örnek ayar, tohum 1 (q11_mc_ornek):

  parametre  sonsal_mod  SH_Hessian
(Intercept)     0.82302      1.2447
        age   -0.037234    0.038704
        lwt   -0.015653   0.0070806
  raceblack      1.1924     0.53598
  raceother     0.74068     0.46177
      smoke     0.75553     0.42504
        ptd      1.3438     0.48063
         ht      1.9132     0.72076
         ui      0.6802     0.46435
       ftv1    -0.43638     0.47941
      ftv2+     0.17901     0.45639

  parametre  ortalama        SS      MC_SH      Q2.5    medyan      Q97.5    ESS  R_hat
(Intercept)   0.95911    1.3032   0.033477    -1.538   0.94373      3.552 1515.3 1.0019
        age -0.039627  0.040971  0.0010693  -0.12078  -0.03937   0.041225   1468 1.0031
        lwt -0.017266 0.0072219 0.00018364 -0.031652 -0.017166 -0.0035799 1546.6 1.0023
  raceblack    1.2775    0.5679   0.014794   0.20143    1.2533     2.4099 1473.6 1.0003
  raceother   0.79124   0.47985   0.012378  -0.13343   0.78062     1.7555 1502.8 1.0028
      smoke   0.80238   0.44188   0.011331 -0.031552   0.79291     1.6924 1520.9 1.0039
        ptd    1.4382   0.50567   0.013402   0.46241    1.4365     2.4366 1423.5 1.0012
         ht     2.065   0.78768   0.021501   0.62095    2.0295     3.6861 1342.1 1.0027
         ui   0.71723   0.48437   0.012533  -0.21764   0.71422     1.6477 1493.5 1.0001
       ftv1  -0.48765    0.4962   0.012788   -1.4668  -0.48489    0.48757 1505.7 1.0017
      ftv2+   0.18496   0.47117   0.012186  -0.75288   0.18087     1.0942   1495 1.0014

3 zincir × 20000 kayıt (zincir başına 20000 yineleme ÷ seyreltme 1; ısınma 2000); tohum 1; Metropolis kabul oranları: 0,138; 0,144; 0,132

Şekil 217.1. Şablonun iz ve yoğunluk grafikleri, ilk dört parametre (kesişim, yaş, kilo, `raceblack`); üç zincir.

Öğe Ne yazar Nasıl yorumlanır
sonsal_mod, SH_Hessian Sonsal mod ve Hessian SH'si. Düz öncülde ML ve Wald SH; MCMC'ye başlangıç ve öneri.
ortalama, SS, medyan Sonsal özetler. Ortalama–medyan farkı çarpıklık gösterir (kesişim 0{,}959 ↔ 0{,}944).
MC_SH \mathrm{SS}/\sqrt{\mathrm{ESS}}. Ortalamanın Monte Carlo hatası; raporlanan basamağın altında olmalı.
Q2.5, Q97.5 Eşit kuyruklu aralık. Kantil aralığıdır, HPD değildir; 0'ı içermeyen: lwt, raceblack, ptd, ht.
ESS Etkin örneklem. \ge400; örnekte 1342–1547 (60 000 örnekten, kabul %14).
R_hat Gelman–Rubin. <1{,}05 (burada \le1{,}0039); 1 zincirde boştur.
Kabul oranları Metropolis kabul. 0{,}1–0{,}6 aralığı beklenir (0,13–0,14).

Yorum örneği. raceblack sonsal ortalaması 1{,}2775: siyah annelerde düşük doğum ağırlığının lojit ölçeğinde beyazlardan 1{,}28 fazla (\exp=3{,}59; %95: 0{,}20–2{,}41 lojit). Tanı durumunun okunması. Kısa zincir (500 kayıt, ısınmasız; kisa): R-hat 1{,}15, ESS 31; uyarılar çıkar. ayar = 0,05: kabul %94, ESS 28–58. ayar = 10: kabul %0, ESS 0, R-hat inf; tablo yine yazılır, ama "kabul oranı 0,01'in altında; zincir tıkanmış olabilir" uyarısı çıkar. Tam ayrışma (ayrisma): düz öncülde "Sonsal moddaki Hessian tersinir değil … bir öncül s'si verin" hatası; s=5 ile çalışır (kesişim 0{,}60, x_1 eğimi 11{,}2; kabul %46). Tohum: form tohum 1 (varsayılan) iken panel tohumu etkisizdir; form tohum 0 verilirse panel tohumu kullanılır; tohum çıktıda yazılır. Seyreltme: yineleme = 5000, seyreltme = 10 yalnız 500 kayıt verir; çıktı "3 zincir × 500 kayıt (zincir başına 5000 yineleme ÷ seyreltme 10; …)" yazar.

Rapor cümlesi: "Düşük doğum ağırlığı, düz öncüllü Bayesci lojistik regresyonla çözümlenmiştir (rastgele yürüyüş Metropolis; MCMCpack 1.7.1; 3 zincir × 20 000 kayıt, ısınma 2000). Sonsal ortalama (%95 kantil aralığı): siyah ırk 1{,}28 (0{,}20–2{,}41), hipertansiyon 2{,}07 (0{,}62–3{,}69), annenin kilosu (libre başına) -0{,}0173 (-0{,}0317–-0{,}0036); Gelman–Rubin \widehat R\le1{,}004, en küçük etkin örneklem 1342."

217.8 Sık hatalar ve tuzaklar

  • Tanıya bakmadan özet yazmak. Tablo tanılarla birlikte yazılır, ama uyarı metindir; tıkanmış zincir de özet üretir (uyarı verir).
  • Kabul oranını gözetmemek. Öneri ölçeğini 0,1–0,6 kabul bandına getirin.
  • Düz öncülle tam ayrışma. Hessian tersinmez; bir öncül s'si verin. Küçük s sonucu belirler.
  • Öncülün kesişime de uygulandığını unutmak. Çıktıdaki nota bakın; yordayıcıları merkezleyin ya da s'yi büyük seçin.
  • yineleme ve seyreltme. Kaydedilen örnek yineleme ÷ seyreltme'dir.
  • Tek zincir. R-hat yoktur; şablon bunu not eder.
  • Panel tohumuna güvenmek. Form tohum 1 iken etkisizdir; 0 yaparsanız panel tohumu kullanılır.
  • Eksik satırlar atılır; sayısı çıktıda yazılır.
  • Çok boyutlu sonsal. Rastgele yürüyüş, korelasyonlu çok sayıda parametrede ESS'yi çok düşürür.

217.9 Uzman soruları

S1. Sonsal mod neden ML'ye eşittir?

Düz öncülde \log\pi=\ell+\text{sabit}'tir; \pi'yi en büyükleyen nokta olabilirliği en büyükleyendir. Sonsal ortalama ise çarpık sonsalda moddan ayrılır (kesişim 0{,}959 ↔ 0{,}823).

S2. Öneri ölçeği 1 neden uygun değil gibi görünüyor?

Rastgele yürüyüşte yaklaşık 2{,}38/\sqrt d ölçek en uygundur (Roberts ve ark., 1997); d=11'de bu 0{,}72'dir. Burada ayar = 1 kabul %14 verir; ESS yeterli (>1300) olduğundan yeterlidir.

S3. R-hat 1,05 eşiği yeterli mi?

Gelman–Rubin klasik tanıdır; güncel öneri \widehat R<1{,}01 ve sıra normalleştirilmiş bölünmüş R-hat'tır (Vehtari ve ark., 2021). Şablon eşiği gevşektir.

S4. Düz öncül ne zaman uygunsuz sonsal verir?

Lojistikte tam ayrışmada olabilirlik doğrusal ayırıcı doğrultusunda sınırsız artar; sonsal uygunsuzdur (Albert ve Anderson, 1984). Zayıf bilgilendirici öncül (örn. \mathrm N(0{,}5^2) ya da Cauchy; Gelman ve ark., 2008) çözer.

S5. Kesişime de öncül konması nasıl etkiler?

Kesişim x=0'daki değerdir; merkezlenmemiş yordayıcılarda uzak bir ekstrapolasyondur. s=1 onu çeker ve eğimler bunu telafi eder (217.4.1).

S6. Tohum sonucu ne kadar değiştirir?

Örnekte tohum 1 ↔ 3: kesişim 0{,}9591 ↔ 0{,}9629 (MC SH 0{,}033); farklar Monte Carlo düzeyindedir. Sonucun kararlılığı ESS ve MC SH ile ölçülür.

S7. Poisson ve normal modelde ne değişir?

Poisson'da yanıt tamsayı olmalı; normal modelde \log\sigma eklenir ve öncülsüzdür. Normal modelde sonsal ortalama (\log\sigma 0{,}262) moddan (0{,}253) ayrılır.

S8. Kendi modelimi nasıl yazarım?

log_olabilirlik(theta) ve log_oncul(theta) işlevleri düzenlenir; theta önce p katsayıyı, normalde ardından log_sigma'yı içerir; ayarlar ve tanılar aynı kalır.

217.10 Kaynaklar

  • Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika, 71(1), 1–10. https://doi.org/10.1093/biomet/71.1.1
  • Gelman, A., & Rubin, D. B. (1992). Inference from iterative simulation using multiple sequences. Statistical Science, 7(4), 457–472. https://doi.org/10.1214/ss/1177011136
  • Gelman, A., Jakulin, A., Pittau, M. G., & Su, Y.-S. (2008). A weakly informative default prior distribution for logistic and other regression models. The Annals of Applied Statistics, 2(4), 1360–1383. https://doi.org/10.1214/08-AOAS191
  • Geyer, C. J. (1992). Practical Markov chain Monte Carlo. Statistical Science, 7(4), 473–483. https://doi.org/10.1214/ss/1177011137
  • Hastings, W. K. (1970). Monte Carlo sampling methods using Markov chains and their applications. Biometrika, 57(1), 97–109. https://doi.org/10.1093/biomet/57.1.97
  • Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3. baskı). Wiley. https://doi.org/10.1002/9781118548387
  • Martin, A. D., Quinn, K. M., & Park, J. H. (2011). MCMCpack: Markov chain Monte Carlo in R. Journal of Statistical Software, 42(9), 1–21. https://doi.org/10.18637/jss.v042.i09
  • Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. H., & Teller, E. (1953). Equation of state calculations by fast computing machines. The Journal of Chemical Physics, 21(6), 1087–1092. https://doi.org/10.1063/1.1699114
  • Roberts, G. O., Gelman, A., & Gilks, W. R. (1997). Weak convergence and optimal scaling of random walk Metropolis algorithms. The Annals of Applied Probability, 7(1), 110–120. https://doi.org/10.1214/aoap/1034625254
  • Vehtari, A., Gelman, A., Simpson, D., Carpenter, B., & Bürkner, P.-C. (2021). Rank-normalization, folding, and localization: An improved \widehat R for assessing convergence of MCMC. Bayesian Analysis, 16(2), 667–718. https://doi.org/10.1214/20-BA1221
  • Yazılım kaydı: MCMCpack 1.7.1 (Martin ve ark., 2011), coda 0.19.4.1, R 4.5.3 (şablon çalıştırmasının yazılım kaydından).