20. Genişletilmiş aileli karma model ve yayılım alt modeli (glmmTMB: beta, Gamma, Tweedie, genelleştirilmiş Poisson, COM-Poisson, NB1)
Şablon kimliği: glmmtmb_aileler · Kategori: karma model · Dil: R · Dosya: pro/sablonlar/karma_model/glmmtmb_aileler.R (satır 1–262; üstbilgi 1–114) · Örnek veri: _ornek/gasolineyield.csv · Paketler: glmmTMB 1.1.15.2 (TMB 1.9.25)
20.1 Ne işe yarar
Şablon, binom ve Poisson'un karşılamadığı yanıt türleri için regresyon ve karma model kurar: (0, 1) aralığında sürekli oran, pozitif sürekli ölçüm, sıfır içeren pozitif ölçüm ve varyansı ortalamasından farklı olan sayım. Cevapladığı soru şudur: "Yanıtın ortalaması açıklayıcı değişkenlerle nasıl değişiyor; saçılımı da değişkenlere bağlı mı; gruplar arası farklar ayıklandığında sonuç değişiyor mu?"
- \mu_{ij}=E[y_{ij}\mid b_j]: j. gruptaki i. gözlemin koşullu ortalaması; g beta ailesinde lojit, öteki ailelerde log.
- \mathbf x_{ij}^{\top}\boldsymbol\beta: ortalama modelinin sabit etkileri; o_{ij}: ofset (seçilmezse 0).
- b_j: grubun rastgele kesişimi. Grup seçilmezse terim yoktur ve model sabit etkili bir regresyondur.
- \phi_{ij}: ailenin yayılım parametresi (20.4.1). Yayılım alt modeli seçilmezse tek bir sabittir (\log\phi=\delta_0); seçilirse \mathbf w_{ij} değişkenlerine log bağlantıyla bağlanır.
| Aile | Yanıt | Bağlantı | Varyans |
|---|---|---|---|
| Beta | 0<y<1 oran | lojit | \mu(1-\mu)/(1+\phi) |
| Gamma | y>0 | log | \phi\,\mu^2 (\phi=\sigma^2) |
| Tweedie | y\ge0, sıfırlar olabilir | log | \phi\,\mu^{p}, 1<p<2 |
| Genelleştirilmiş Poisson | sayım | log | \phi\,\mu |
| Conway-Maxwell-Poisson | sayım | log | kapalı biçim yok; \nu ile yönetilir |
| Negatif binom NB1 | sayım | log | \mu(1+\phi) |
Ne zaman kullanılır? Yanıt bir yüzde ya da orandır ama deneme sayısı yoktur (verim oranı, örtü yüzdesi, indeks); pozitif ve sağa çarpıktır (süre, maliyet, derişim); çoğu zaman sıfır, bazen pozitif bir miktardır (yağış, av ağırlığı); sayımdır ve Poisson'un "varyans = ortalama" koşulu tutmaz, özellikle eksik yayılım (varyans < ortalama) vardır; saçılımın bir değişkenle değiştiği düşünülür.
Ne zaman kullanılmaz?
- Yanıt başarı / deneme sayısı ya da 0/1 ise:
glmer_ileri(binom karma model). - Sayımda aşırı yayılım karesel ise (NB2) ya da sıfır bileşeni değişkenlere bağlanacaksa, engel modeli isteniyorsa:
r_glmmtmb_nb. Bu şablondaki sıfır şişmesi yalnız sabit olasılıklıdır. - Rastgele eğim, iç içe ya da çapraz rastgele etki gerekiyorsa: şablonun formu yalnız tek rastgele kesişim kurar; binom ve Poisson için
glmer_ileri, öteki aileler için şablon kodu düzenlenir. - Gruplama yok ve yanıt oransa:
beta_regresyonşablonu da kullanılabilir; pozitif sürekli yanıtta temel programdaki Gamma / Ters Gauss / Tweedie GLM; sayımda temel programdaki Poisson / Negatif Binomial Regresyon. - Yanıtın dağılım biçimi (çarpıklık, basıklık) de modellenecekse:
gamlss.
Temel programla ilişki. Temel programın GLMM (Genelleştirilmiş Doğrusal Karma Modeller) analizi binom ve sayım ailelerini kapsar; Gamma / Ters Gauss / Tweedie GLM analizi rastgele etkisizdir. Bu şablon glmmTMB paketiyle altı aileyi tek formda toplar ve iki şey ekler: aynı ailelerde rastgele kesişim ve yayılım parametresi için ayrı bir regresyon (yayılım alt modeli).
20.2 Şablonun girdileri
Form, üstbilgideki on beş [[param]] bloğundan kurulur (glmmtmb_aileler.R:10–113).
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Yanıt · y |
sayısal sütun · Değişkenler | ilk sayısal sütun | aileye göre (20.4.1) | Bağımlı değişken (134–147). |
Dağılım ailesi · aile |
seçim · Model | beta |
beta, gamma, tweedie, genpois, compois, nbinom1 |
family = … (177–178). |
Sabit etkiler (ortalama) · x |
sütunlar · Değişkenler | boş | herhangi sütunlar | Ortalama modeli; boşsa yalnız kesişim (172). |
Faktör olarak ele alınacak sayısal sütunlar · faktor |
sütunlar · Değişkenler | boş | x ya da yayilim içindeki sütunlar |
factor() (150). |
Rastgele kesişim grubu (isteğe bağlı) · grup |
kategorik sütun · Değişkenler | boş | en az 3 düzey | + (1 | grup) (156–159, 174). |
Yayılım alt modeli değişkenleri (dispformula; isteğe bağlı) · yayilim |
sütunlar · Değişkenler | boş | herhangi sütunlar | dispformula = ~ … (176). |
Beta: 0 ve 1 değerlerini içeri çek (Smithson-Verkuilen) · sinir_duzelt |
onay · Seçenekler | kapalı | açık / kapalı | y^*=(y(n-1)+0{,}5)/n (139–143). |
Önsel ağırlık (isteğe bağlı) · agirlik |
sayısal sütun · Değişkenler | boş | negatif olmayan, hepsi sıfır değil | weights = … (131, 179, 186). |
Ofset (bağlantı ölçeğinde; isteğe bağlı) · ofset |
sayısal sütun · Değişkenler | boş | sonlu sayılar | + offset(…) (132, 173). |
Sıfır şişmesi (sabit olasılık) · sifir_sisme |
onay · Model | kapalı | açık / kapalı; yalnız sayım aileleri ve Tweedie | ziformula = ~1 (133, 185). |
REML kestirimi · reml |
onay · Model | kapalı (ML) | açık / kapalı | REML = TRUE (185). |
Güven düzeyi · guven |
ondalık · Seçenekler | 0,95 | 0,5–0,999 | Ortalama modelinin Wald aralıkları (198, 219). |
Optimizasyon algoritması · optimizer |
seçim · Gelişmiş | nlminb |
nlminb, BFGS |
glmmTMBControl(…) (180–181). |
En çok yineleme · maks_yineleme |
tamsayı · Gelişmiş | 300 | 10–100000 | iter.max ya da maxit (180–181). |
En çok işlev değerlendirmesi · maks_degerlendirme |
tamsayı · Gelişmiş | 400 | 10–100000 | Yalnız nlminb: eval.max (181). |
Örnek ayar (ornek_param, satır 9): y = yield, x = [batch, temp], aile = beta. Grup seçilmediğinden örnek ayar sabit etkili bir beta regresyonudur; öteki alanlar varsayılandadır.
Şablonun kendi denetimleri.
| Koşul | İleti (özet) | Satır |
|---|---|---|
| Veri açık değil | "Önce Veri sekmesinde bir veri açın." | 120 |
| Ağırlık ya da ofset, yanıt ya da grup sütunu | "Ağırlık/ofset sütunu yanıt ya da grup olamaz." | 126 |
| Eksiksiz satır sayısı 10'dan az | "Eksiksiz en az 10 satır gerekli." | 130 |
| Ağırlık sayısal değil, negatif ya da hepsi sıfır | "Ağırlıklar negatif olmayan sayılar olmalı …" | 131 |
| Ofset sayısal değil ya da sonsuz | "Ofset sonlu sayısal değerler içermeli." | 132 |
| Sıfır şişmesi beta ya da Gamma ile seçilmiş | "Sıfır şişmesi yalnız sayım aileleri ve Tweedie ile kullanılabilir." | 133 |
| Yanıt sayısal değil | "Yanıt sayısal olmalı." | 135 |
| Yanıt sabit | "Yanıt sabit; model kurulamaz." | 136 |
| Beta: yanıt 0–1 dışında | "Beta ailesi için yanıt 0-1 aralığında olmalı." | 138 |
| Beta: yanıtta tam 0 ya da 1 var, içeri çekme kapalı | "Yanıtta tam 0 ya da 1 var; … Dönüşümü açın." | 140 |
| Gamma: yanıt ≤ 0 | "Gamma ailesi için yanıt pozitif olmalı." | 145 |
| Tweedie: yanıt < 0 | "Tweedie ailesi için yanıt negatif olmamalı." | 146 |
| Sayım aileleri: yanıt negatif ya da tamsayı değil | "Sayım aileleri için yanıt negatif olmayan tamsayı olmalı." | 147 |
| Bir model değişkeni tek düzeyli ya da sabit | "'…' tek düzeyli / sabit; modelden çıkarın." | 153–154 |
| Grupta 3'ten az düzey | "Rastgele kesişim grubu en az 3 düzey içermeli." | 158 |
| n\le k+2 | "Gözlem sayısı parametre sayısına göre çok az." | 160–161 |
glmmTMB hata verdi |
"Model kurulamadı: …" | 187 |
| Log-olabilirlik sonlu değil | "Model yakınsamadı (log-olabilirlik hesaplanamadı); daha yalın bir model ya da başka bir aile deneyin." | 190 |
| Özet alınamadı | "Model özeti alınamadı: …" | 191 |
Satır 160'taki k, kaba bir parametre sayımıdır: 1 (kesişim) + sabit etkilerin sütun sayısı (faktörde düzey − 1) + yayılım değişkeni sayısı + 1. Örnek ayarda 1+9+1+0+1=12 ve 32>14'tür.
Durdurmayan iletiler ("Kestirim uyarıları:" satırında, 255): glmmTMB'nin kendi uyarıları; Hessian pozitif tanımlı değilse (189); sabit parametrelerin en büyük gradyanı 10^{-3}'ü aşarsa (196–197). Ayrıca dört not: sabit etki ya da yayılım listesinde Veri sekmesinden kategorik ya da metin olarak gelen her sütun için düzey sırası ve başvuru düzeyi (148–149; 20.7); içeri çekme uygulandıysa (142); sayısal değişken ölçeklendiyse (193–194); COM-Poisson ailesinde yayılım parametresi 1000'i aşarsa sınır çözümü uyarısı (252–254; 20.8).
Sessizce yapılanlar. Eksik satırlar liste bazında atılır (127–129). Sabit etki ve yayılım listelerinden yanıt ve grup sütunu uyarısız çıkarılır (122–123). Sıfır şişmesi yalnız sabit terimlidir; değişken alamaz.
20.3 Örnek veri
Dosya: _ornek/gasolineyield.csv. Prater'in (1956) ham petrolden benzin verimi verisi; beta regresyonun standart örneğidir (Ferrari ve Cribari-Neto, 2004; Cribari-Neto ve Zeileis, 2010). 32 damıtma denemesi, 10 ham petrol partisi; eksik değer yok.
| Değişken | Rol | Tür (veri sekmesi) | Özet |
|---|---|---|---|
yield |
Yanıt | sayısal | Ham petrolün benzine dönüşen oranı; 0,028–0,457, ortalama 0,197. |
batch |
Sabit etki (örnek ayar) ya da grup | kategorik (10 düzey) | Parti, B01–B10; partide 2–4 deneme. |
temp |
Sabit etki | sayısal | Benzinin tümüyle buharlaştığı sıcaklık (°F); 205–444, ortalama 332,09, SS 69,76. |
gravity, pressure, temp10 |
kullanılmaz (örnek ayarda) | sayısal | Ham petrolün özgül ağırlığı, buhar basıncı ve %10 buharlaşma sıcaklığı; parti içinde sabittir, partiyi tanımlar. |
batch kategoriktir; düzey sırası verideki ilk görülme sırasıdır (B01, B02, …, B10) ve referans düzey B01'dir; şablon bu sırayı çıktının ilk satırına yazar (20.7). Yayımlanmış çözümleme (Cribari-Neto ve Zeileis, 2010) son partiyi referans alır; iki kodlama aynı modeldir ve yalnız parti katsayıları ile kesişim farklı görünür. Karşılaştırma referanstan bağımsız büyüklüklerle yapılır: temp katsayısı, \phi, log-olabilirlik ve ilk ile son parti arasındaki fark (burada batchB10 =-1{,}7277; yayımlanan batch1 =1{,}7277).
Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) güven düzeyi 0,90; (3) yayılım alt modelinde temp; (4) yayılım alt modelinde pressure; (5) x = temp, grup = batch (beta karma model), ML ve REML; (6) aynı yapı Gamma ailesiyle; (7) Gamma, sabit etkili (temp, gravity); (8) önsel ağırlık, ofset ve 0/1 içeren yanıt (örnek veriye w, ofs, y01 sütunları eklenmiş kopya); (9) sayım aileleri için semender sayım verisi (_ornek/salamanders_tam.csv, Bölüm 27'nin örnek verisi; count ~ mined, grup = site): NB1, genelleştirilmiş Poisson, Tweedie, NB1 + sıfır şişmesi, NB1 + yayılım alt modeli; (10) eksik yayılımlı sayım için üretilmiş küçük bir veri (sayim_ek.csv: dört doz düzeyinde 50'şer gözlem, 12 denemeli binom sayıları; ortalama 5,50, varyans 5,10; doz içi varyans/ortalama 0,34–0,80): COM-Poisson ve genelleştirilmiş Poisson.
20.4 Yöntem: formüller ve hesap adımları
Hesap sırası: (1) sütunlar seçilir, eksik satırlar atılır, yanıt aileye göre denetlenir; (2) ortalama modelindeki sayısal değişkenler ortalanıp ölçeklenir; (3) formüller kurulur ve glmmTMB en çok olabilirlikle (ya da REML ile) kestirir; (4) ortalama modelinin ve yayılım alt modelinin katsayıları ile kovaryansları özgün ölçeğe geri çevrilir, Wald tabloları kurulur; (5) yayılım, sıfır şişmesi ve varyans parametreleri ile uyum ölçütleri yazılır; (6) gözlenen-kestirilen şekli çizilir.
20.4.1 Aileler: yoğunluk, varyans ve yayılım parametresinin anlamı
Beta. Ortalama ve hassasiyetle parametrelenmiş beta yoğunluğu (Ferrari ve Cribari-Neto, 2004):
- \mu: ortalama, 0<\mu<1; \operatorname{logit}\mu=\eta.
- \phi: hassasiyet. Büyük \phi küçük varyans demektir; "yayılım parametresi" adı bu ailede ters yönde okunur.
- y tam 0 ya da 1 olamaz: yoğunluk bu noktalarda tanımsız ya da sıfırdır.
Gamma. Şekil 1/\phi, ölçek \mu\phi: E[y]=\mu, \operatorname{Var}(y)=\phi\mu^2. Tablodaki "yayılım parametresi" \sigma=\sqrt\phi'dir, yani değişim katsayısı (SS/ortalama).
Tweedie. \operatorname{Var}(y)=\phi\mu^{p}, 1<p<2: Poisson sayıda Gamma büyüklüğün toplamı; y=0 noktasında pozitif olasılık taşır. p veriden kestirilir ve tabloya ayrı satır olarak yazılır (243).
Genelleştirilmiş Poisson (Consul ve Famoye, 1992):
- \phi>1 aşırı yayılım, \phi=1 Poisson, \phi<1 eksik yayılım.
- Eksik yayılımda (\lambda<0) dağılımın desteği üstten sınırlıdır; çok küçük \phi'de olabilirlik tanımsızlaşabilir.
Conway-Maxwell-Poisson (Shmueli ve ark., 2005; ortalamayla parametrelenmiş biçimi Huang, 2017):
- \nu: yayılım üssü. \nu=1 Poisson, \nu>1 eksik yayılım, \nu<1 aşırı yayılım; \nu\to0 geometrik dağılıma gider (aşırı yayılımın üst sınırı).
- \lambda: her gözlem için, dağılımın ortalaması \mu olacak biçimde çözülür; böylece katsayılar öteki ailelerdeki gibi log-ortalama ölçeğindedir.
- glmmTMB'nin kestirdiği ve
sigma()ile döndürdüğü yayılım parametresi \phi=1/\nu'dür: \phi>1 aşırı, \phi=1 Poisson, \phi<1 eksik yayılım. Şablonun tablosuna yazılan değer budur.
NB1. Negatif binom, boyut parametresi \mu/\phi: \operatorname{Var}(Y)=\mu(1+\phi). Varyans ortalamayla doğrusal büyür; NB2'de (\mu+\mu^2/\theta) karesel büyür.
Koddaki tercih
Aile nesneleri glmmTMB'nin varsayılan bağlantılarıyla kurulur (177–178): beta_family() lojit, Gamma(link = "log"), tweedie(), genpois(), compois(), nbinom1() log. "Yayılım ve varyans parametreleri" tablosunun ilk satırı sigma(m) değeridir (239) ve yanına ailenin yorumu yazılır (224–228): beta \phi, Gamma \sigma, Tweedie, genelleştirilmiş Poisson, COM-Poisson ve NB1 \phi. COM-Poisson satırında değer \phi=1/\nu'dür ve açıklama aynı büyüklüğü anlatır: "φ = 1/ν: φ > 1 aşırı, φ < 1 eksik yayılım"; \nu açıklamanın sonuna ayrıca eklenir (241). Tabloda 0,497182 ve "(ν = 2,01134)" yazıyorsa veri eksik yayılımlıdır (20.6, Adım 7).
20.4.2 Ortalama modeli ve iç ölçekleme
Şablon, en iyileme başlamadan önce ortalama modelindeki her sayısal değişkeni ortalar ve standart sapmasına böler (166–170):
- \bar x_k, s_k: değişkenin kullanılan satırlardaki ortalaması ve örneklem standart sapması (n-1 bölenli).
- \boldsymbol\beta^{z}: glmmTMB'nin kestirdiği, konsol özetinde görünen katsayılar; \boldsymbol\beta: tabloya yazılan özgün ölçek katsayıları.
- Dönüşüm doğrusaldır: \boldsymbol\beta=\mathbf A\boldsymbol\beta^{z} ve \hat{\mathbf V}_{\beta}=\mathbf A\hat{\mathbf V}_{z}\mathbf A^{\top} (
ozgun(), 202–216; çağrı 217). \mathbf A köşegeninde 1/s_k, kesişim satırında -\bar x_k/s_k taşır. Faktör sütunları dönüştürülmez.
Neden içeride ölçekleme?
temp 205–444 aralığındadır; katsayısı 0,011, kesişim −4,43 düzeyindedir. Bu ölçek farkıyla olabilirlik yüzeyi çok uzun ve dar bir vadidir; gradyan tabanlı eniyileyici vadinin dibinde durma ölçütünü sağlayamayabilir. Standart ölçekte iki katsayı aynı büyüklüktedir (−0,790 ve 0,765). Olabilirlik doğrusal yeniden parametrelemeye karşı değişmez olduğundan en büyük değer, kestirimler ve z istatistikleri aynıdır; yalnız sayısal yol kısalır.
Wald çıkarımı özgün ölçekte kurulur (212–213, 218–219): z_k=\hat\beta_k/\operatorname{SH}_k, p_k=2\Phi(-\lvert z_k\rvert), aralık \hat\beta_k\pm z_{(1+\gamma)/2}\operatorname{SH}_k. Son sütun e^{\hat\beta_k}'dir: beta ailesinde adı odds_orani, log bağlantılı ailelerde oran_orani'dır (220–221). Tabloda üstel aralık sütunu yoktur; gerekirse aralık uçlarının üsteli alınır.
Konsol özeti ölçekli, tablo özgün ölçekte
Konsoldaki glmmTMB özeti ölçeklenmiş değişkenlerin katsayılarını gösterir; şablon altına bunu söyleyen bir not yazar (193–194). Örnek ayarda özet temp için 0,76500 (bir SS'lik, yani 69,76 °F'lik artışın etkisi), "Ortalama modeli" tablosu 0,0109669 (1 °F'lik artışın etkisi) yazar: 0{,}76500/69{,}756=0{,}010967. Kesişim de farklıdır: özet ortalama sıcaklıktaki (332,09 °F) değeri, tablo 0 °F'deki değeri verir. Faktör katsayıları, z ve p iki yerde aynıdır. Aynı ayrım özetin "Dispersion model" bloğu ile "Yayılım alt modeli" tablosu arasında da vardır (20.4.3).
20.4.3 Yayılım alt modeli
- \mathbf w_i: yayılım değişkenleri; ortalama modelindekilerle aynı olabilir ya da olmayabilir.
- \delta_m>0: değişken arttıkça \phi büyür. Beta ailesinde bu daha az saçılım, öteki ailelerde daha çok saçılım demektir.
- Yayılım alt modeli kurulduğunda tek bir \phi yoktur; tablodaki "Yayılım parametresi" satırı boş kalır (239) ve katsayılar "Yayılım alt modeli (log ölçeği)" tablosuna yazılır (229–233).
Koddaki tercih
Ölçekleme veri çerçevesindeki sütunun kendisinde yapılır (166–170); bu nedenle ortalama modelinde de bulunan sayısal bir yayılım değişkeni yayılım formülüne ölçeklenmiş hâliyle girer ve glmmTMB onun için \delta^{z} katsayılarını kestirir. Şablon bu katsayıları ve kovaryanslarını ortalama modelindekiyle aynı doğrusal dönüşümle geri çevirir (ozgun(), 202–216; çağrı 230): \delta_m=\delta^{z}_m/s_m, \delta_0=\delta^{z}_0-\sum_m\delta^{z}_m\bar x_m/s_m ve \hat{\mathbf V}_{\delta}=\mathbf A\hat{\mathbf V}_{z}\mathbf A^{\top}. Yalnız yayılım listesinde bulunan bir değişken ölçeklenmez ve dönüşümden etkilenmez. Sonuçta "Yayılım alt modeli" tablosu, değişken ortalama modelinde bulunsun ya da bulunmasın, özgün ölçektedir: katsayı değişkendeki bir birimlik artışın \log\phi'ye etkisi, kesişim bütün yayılım değişkenleri sıfırken \log\phi'dir. Örnek veride yayılımda temp: tablo kesişim 1,364085 (SH 2,2099) ve temp 0,014570 (SH 0,006588; z=2{,}2116, p=0{,}0270) yazar. Konsol özetinin "Dispersion model" bloğu ölçekli değişken içindir (6,2028 ve 1,0164): 1{,}0164/69{,}756=0{,}014570 ve 6{,}2028-1{,}0164\cdot332{,}094/69{,}756=1{,}3641. Eğimin z ve p değerleri iki yerde aynıdır; kesişimin z değeri farklıdır (özette 24,85, tabloda 0,62), çünkü özet ortalama sıcaklıktaki, tablo 0 °F'deki \log\phi'yi sınar.
20.4.4 Rastgele kesişim: Laplace yaklaşımı
Grup seçildiğinde marjinal olabilirlik, her grup için rastgele kesişim üzerinden bir integraldir; glmmTMB bunu TMB'nin Laplace yaklaşımıyla hesaplar (Kristensen ve ark., 2016):
- \hat b_j: h_j'nin tepe noktası (koşullu mod); h_j'': aynı noktadaki ikinci türev. TMB türevleri otomatik türev almayla, yaklaşıksız hesaplar.
- \phi_N: normal yoğunluk; w_{ij}: önsel ağırlık.
- Eğrilik gözlenen ikinci türevdir; Bölüm 19'daki lme4 tanımı beklenen bilgiyi kullanır. Lojit bağlantılı beta ve log bağlantılı ailelerin çoğu kanonik olmadığından iki tanım burada genellikle farklı sayılar verir.
"Yayılım ve varyans parametreleri" tablosunun son satırı \hat\sigma_b^2 ve açıklama sütununda \hat\sigma_b'dir (244–247).
REML. reml açıkken glmmTMB sabit etkileri de rastgele etkiler gibi Laplace yaklaşımıyla integre eder; kalan parametreler (\phi, \sigma_b^2) bu kısıtlı olabilirlikle kestirilir. Varyans kestirimi sabit etkilerin harcadığı serbestliği hesaba katar ve genellikle büyür: örnek veride beta karma modelde \hat\sigma_b^2 ML ile 0,2655, REML ile 0,2963; \hat\phi 302,2 ve 289,4'tür. REML log-olabilirliği (57,281) ML değeriyle (60,593) ve sabit etkileri farklı modellerle karşılaştırılamaz.
20.4.5 Sıfır şişmesi, ağırlık, ofset ve 0/1 düzeltmesi
Sıfır şişmesi. Sayım aileleri ve Tweedie'de ziformula = ~1 ile sabit bir yapısal sıfır olasılığı \pi eklenir: P(Y=0)=\pi+(1-\pi)f(0), P(Y=y)=(1-\pi)f(y) (y>0). Tabloya lojit ölçeğinde katsayı ve olasilik =\operatorname{logit}^{-1}(\hat\gamma_0) yazılır (234–238).
Önsel ağırlık. Gözlemin log-olabilirlik katkısını çarpar (20.4.4). Ofset ortalama modelinin doğrusal yordayıcısına katsayısı 1 olarak eklenir; yayılım ve sıfır bileşenine eklenmez.
Smithson-Verkuilen dönüşümü. Beta ailesinde yanıtta tam 0 ya da 1 varsa ve seçenek açıksa bütün yanıtlar içeri çekilir (141):
- n: kullanılan (eksiksiz) satır sayısı. y=0\mapsto 0{,}5/n, y=1\mapsto 1-0{,}5/n; aradaki değerler de (n-1)/n oranında sıkışır.
- n=32 için uçlar 0,015625 ve 0,984375'tir.
Neden bütün değerler dönüştürülüyor, yalnız 0 ve 1 değil?
Yalnız uçlara küçük bir sabit eklemek sıralamayı bozmaz ama veriye keyfî bir nokta kütlesi koyar. Smithson ve Verkuilen'in (2006) dönüşümü bütün ölçeği aynı doğrusal kuralla sıkıştırır; dönüşüm n'ye bağlıdır ve n büyüdükçe etkisizleşir. Uçlardaki değerler yine de beta yoğunluğunun kuyruğuna düşer ve \hat\phi'yi güçlü biçimde düşürür: örnek veride iki gözlem 0 ve 1 yapıldığında \hat\phi 440'tan 9,9'a iner. 0 ve 1'ler gerçek bir sürecin ürünüyse (hiç dönüşmeme, tam dönüşme) doğru model sıfır-bir şişirilmiş beta ya da iki aşamalı modeldir; bu şablonun kapsamında değildir.
20.4.6 Uyum ölçütleri ve yakınsama denetimi
\text{AIC}=-2\ell+2k, \text{BIC}=-2\ell+k\log n; k kestirilen bütün parametrelerdir (ortalama katsayıları, yayılım katsayıları, Tweedie'de p, sıfır şişmesi katsayısı, \sigma_b). Örnek ayarda k=12. Sürekli ailelerde log-olabilirlik yoğunluk değerlerinin toplamıdır ve pozitif olabilir (örnek ayarda 84,80); AIC'nin negatif çıkması bir sorun değildir.
Şablon iki yakınsama göstergesini uyarıya çevirir: TMB'nin Hessian'ı pozitif tanımlı değilse (m$sdr$pdHess, 189) ve sabit parametrelere göre en büyük mutlak gradyan 10^{-3}'ü aşarsa (196–197). Uyarı çalıştırmayı durdurmaz; tablolar yazılır. Log-olabilirlik sonlu bir sayı değilse model yakınsamamıştır; bu durumda şablon tablo yazmadan "Model yakınsamadı (log-olabilirlik hesaplanamadı); daha yalın bir model ya da başka bir aile deneyin." iletisiyle durur (190).
20.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 1–114 | Üstbilgi: kimlik, açıklama, örnek veri ve ayar, on beş parametre. | Form ve varsayılanlar buradan kurulur (Bölüm 1.2). |
| 115–133 | glmmTMB yüklenir; isteğe bağlı alanlar çözülür; listelerden yanıt ve grup çıkarılır; eksik satırlar atılır; ağırlık, ofset ve sıfır şişmesi denetlenir. | sayim bayrağı üç sayım ailesini işaretler (119). |
| 134–161 | Yanıtın aileye göre denetimi; 0/1 dönüşümü; etken sütunlarının düzey sırası notu; faktör dönüşümleri; tek düzey / sabit denetimi; grup ve gözlem sayısı denetimi. | Dönüşüm veri çerçevesindeki yanıtı değiştirir (141); şekil dönüştürülmüş değeri çizer. Düzey notu (148–149) hesabı değiştirmez. |
| 163–170 | Ortalama modelindeki sayısal değişkenler ortalanıp ölçeklenir; ortalama ve SS saklanır. | Yalnız xs (ortalama) listesi; ama veri çerçevesindeki sütun değişir ve yayılım formülü aynı sütunu kullanır; iki katsayı kümesi de geri çevrilir (20.4.3). |
| 171–181 | Formüller, aile nesnesi, ağırlık sütunu ve eniyileyici denetimi kurulur. | BFGS seçilirse optim kullanılır; maks_degerlendirme yalnız nlminb içindir. |
| 182–197 | glmmTMB çağrısı (do.call); uyarılar toplanır; Hessian, log-olabilirlik ve gradyan denetimi; özet konsola yazılır. |
Sıfır şişmesi, REML ve ağırlık yalnız seçildiyse çağrıya eklenir (185–186). Log-olabilirlik sonlu değilse çalıştırma durur (190). |
| 198–222 | Geri çevirme işlevi ozgun(); katsayılar ve kovaryans özgün ölçeğe çevrilir; "Ortalama modeli" tablosu. |
\mathbf A matrisi (203–209); terim adlarındaki ters tırnaklar silinir (214). |
| 224–248 | Aile açıklaması; yayılım alt modeli ve sıfır şişmesi tabloları; "Yayılım ve varyans parametreleri" tablosu. | Yayılım katsayıları da ozgun() ile çevrilir (230). Yayılım alt modeli varsa sigma yerine boş değer (239); COM-Poisson'da \nu açıklamaya eklenir (241). |
| 249–262 | "Model uyumu" tablosu; COM-Poisson sınır uyarısı (252–254); kestirim uyarıları; gözlenen-kestirilen şekli. | fitted(m) rastgele etkilerin koşullu modlarını içerir. |
Geri çevirmenin çekirdeği ozgun() içindeki dört satırdır (207–208, 210–211); işlev önce ortalama modelinin (217), sonra yayılım alt modelinin (230) katsayılarıyla çağrılır:
A[ad, ad] <- 1 / olcek[[v]][["ss"]]
if ("(Intercept)" %in% names(b0)) A["(Intercept)", ad] <- -olcek[[v]][["ort"]] / olcek[[v]][["ss"]]
bk <- as.numeric(A %*% b0)
sk <- sqrt(diag(A %*% V %*% t(A)))
20.6 Elle hesap: örnek veride bağımsız yeniden hesap
Ara değerler dogrulama/glmmtmb_aileler/elle_hesap.py ve laplace_genel.py ile, glmmTMB ve TMB kullanılmadan hesaplanmıştır: yoğunluklar 20.4.1'deki formüllerle, sabit etkili modellerde log-olabilirliğin doğrudan en büyüklenmesiyle, rastgele kesişimli modellerde 20.4.4'teki Laplace toplamıyla. Değişkenler özgün ölçekte modele girer; böylece şablonun geri çevirme adımı da sınanmış olur.
Adım 1 — Bir gözlemin katkısı (örnek ayar). İlk satır: yield =0{,}122, parti B01, temp =205. Kestirimlerle
\hat\phi=440{,}278 ile beta parametreleri \mu_1\phi=44{,}5693 ve (1-\mu_1)\phi=395{,}7090; \log f(0{,}122)=2{,}224063. Bu gözlemin kestirilen standart sapması \sqrt{\mu_1(1-\mu_1)/(1+\phi)}=0{,}01436'dır.
Adım 2 — Log-olabilirlik ve uyum ölçütleri. 32 gözlemin toplamı \ell=84{,}797558. k=12 (kesişim, 9 parti farkı, sıcaklık, \phi):
Adım 3 — Standart hata ve test. Log-olabilirliğin 12 parametreye göre sayısal Hessian'ının tersinden \operatorname{SH}(\hat\beta_{\text{temp}})=0{,}00040770; z=0{,}0109669/0{,}00040770=26{,}8997; %95 aralık [0{,}010168;\ 0{,}011766]. Odds oranı e^{0{,}0109669}=1{,}011027: sıcaklık 1 °F arttığında verim odds'u %1,1 artar; 10 °F için e^{0{,}109669}=1{,}1159.
Adım 4 — Ölçekli ve özgün katsayılar. \bar x=332{,}09375, s=69{,}755961. Özgün ölçek kestirimlerinden ölçekli olanlar: 0{,}0109669\cdot69{,}755961=0{,}765005 ve -4{,}431842+0{,}0109669\cdot332{,}09375=-0{,}789812; konsol özetindeki 0,76500 ve −0,78981 ile aynıdır.
Adım 5 — Yayılım alt modeli. Yayılıma temp eklenince özgün ölçekte \hat\delta_0=1{,}364089, \hat\delta_1=0{,}014570 ve \ell=86{,}977065 bulunur. \hat\phi 205 °F'de e^{1{,}364089+0{,}014570\cdot205}=77{,}6, 444 °F'de 2523'tür: yüksek sıcaklıkta verim oranı çok daha az saçılır. Olabilirlik oranı istatistiği 2\,(86{,}977065-84{,}797558)=4{,}359 (1 sd, p=0{,}037). Şablonun "Yayılım alt modeli" tablosu aynı özgün ölçek değerlerini yazar: kesişim 1,364085, temp 0,014570 (SH 0,006588). Konsol özetindeki ölçekli değerler bunlardan elde edilir: 1{,}364089+0{,}014570\cdot332{,}09375=6{,}202800 ve 0{,}014570\cdot69{,}755961=1{,}016367.
Adım 6 — Rastgele kesişimli beta modeli. x = temp, grup = batch. Kestirimler \hat\beta=(-5{,}182298;\ 0{,}010829), \hat\phi=302{,}232, \hat\sigma_b=0{,}515270. B01 partisinde koşullu mod \hat b_1=0{,}784148, h_1(\hat b_1)=7{,}017875, h_1''(\hat b_1)=-212{,}7061:
On partinin toplamı \ell=60{,}593131. Partiyi sabit etki alan modelin sıcaklık katsayısı 0,010967, rastgele etki alan modelinki 0,010829'dur; parti farkları 9 parametre yerine tek bir varyansla özetlenmiştir.
Adım 7 — COM-Poisson'da yayılımın yönü. Eksik yayılımlı sayım verisinde (sayim ~ doz; doz içi varyans/ortalama 0,34–0,80) bağımsız hesap, ortalamayla parametrelenmiş COM-Poisson olabilirliğini seri toplamıyla en büyükler: \hat\beta_{\text{doz}}=0{,}266861, \log\hat\phi=-0{,}698799, yani \hat\phi=1/\hat\nu=0{,}497182 ve \hat\nu=2{,}011335; \ell=-383{,}439910. Şablonun "Yayılım parametresi" satırı 0,497182 yazar; açıklaması "φ = 1/ν: φ > 1 aşırı, φ < 1 eksik yayılım (ν = 2,01134)" biçimindedir: \phi<1, yani eksik yayılım. Aynı veride genelleştirilmiş Poisson \hat\phi=0{,}492390 verir (varyans ortalamanın yaklaşık yarısı).
20.6.1 Doğrulama: MerQuR+, Python ve R
MerQuR+ sütunu şablonun tablolarından tam hassasiyetle alınmıştır. R sütunu glmmTMB kullanmaz: yoğunluklar stats fonksiyonlarıyla (dbeta, dgamma, dnbinom), Tweedie yoğunluğu tweedie::dtweedie ile, Laplace toplamı açık formülle (tepe noktası Newton adımlarıyla, türevler merkezi farkla), eniyileme nlminb ve Newton adımlarıyla yapılmıştır. Semender verisinde şablonun terimi minedyes'tir (20.8); bağımsız hesaplardaki katsayı aynı karşılaştırmaya çevrilmiştir.
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | |
|---|---|---|---|---|---|
| Beta (örnek ayar): (Intercept) | −4,43184066 | −4,43184217 | −4,43184217 | 3,4e−7 | ✓ |
| Beta (örnek ayar): batchB02 | −0,40513199 | −0,40513196 | −0,40513196 | 3,4e−8 | ✓ |
| Beta (örnek ayar): batchB10 | −1,72772936 | −1,72772888 | −1,72772888 | 2,8e−7 | ✓ |
| Beta (örnek ayar): temp | 0,01096687 | 0,01096687 | 0,01096687 | 4,7e−9 | ✓ |
| Beta (örnek ayar): SH((Intercept)) | 0,14914779 | 0,1491478 | 0,14914783 | 4,0e−8 | ✓ |
| Beta (örnek ayar): SH(batchB10) | 0,10152614 | 0,10152609 | 0,10152609 | 4,5e−8 | ✓ |
| Beta (örnek ayar): SH(temp) | 4,076951·10−4 | 4,076951·10−4 | 4,076952·10−4 | 8,5e−11 | ✓ |
| Beta (örnek ayar): z(temp) | 26,89968629 | 26,89969889 | — | 4,7e−7 | ✓ |
| Beta (örnek ayar): temp %95 GA alt | 0,0101678 | 0,01016781 | — | 4,7e−9 | ✓ |
| Beta (örnek ayar): temp %95 GA üst | 0,01176594 | 0,01176594 | — | 4,7e−9 | ✓ |
| Beta (örnek ayar): odds oranı (temp) | 1,01102723 | 1,01102723 | — | 4,7e−9 | ✓ |
| Beta (örnek ayar): odds oranı (batchB10) | 0,17768742 | 0,1776875 | — | 8,7e−8 | ✓ |
| Beta (örnek ayar): \phi | 440,27827602 | 440,27838855 | 440,27838856 | 2,6e−7 | ✓ |
| Beta (örnek ayar): logLik | 84,79755796 | 84,79755796 | 84,79755796 | 5,7e−12 | ✓ |
| Beta (örnek ayar): AIC | −145,59511592 | −145,59511592 | — | 6,6e−12 | ✓ |
| Beta (örnek ayar): BIC | −128,00628509 | −128,00628509 | — | 7,5e−12 | ✓ |
| Beta, güven 0,90: temp GA alt | 0,01029627 | 0,01029628 | — | 4,7e−9 | ✓ |
| Beta + yayılım(temp): temp (ortalama) | 0,01035948 | 0,01035948 | 0,01035948 | 2,3e−9 | ✓ |
| Beta + yayılım(temp): SH(temp) (ortalama) | 5,185526·10−4 | 5,185513·10−4 | 5,185521·10−4 | 1,3e−9 | ✓ |
| Beta + yayılım(temp): logLik | 86,97706518 | 86,97706518 | 86,97706518 | 1,1e−11 | ✓ |
| Beta + yayılım(temp): yayılım kesişimi | 1,36408523 | 1,36408877 | 1,3640888 | 2,6e−6 | ✗ |
| Beta + yayılım(temp): yayılım katsayısı (temp) | 0,01457033 | 0,01457032 | 0,01457032 | 1,1e−8 | ✓ |
| Beta + yayılım(temp): SH(yayılım katsayısı) | 0,00658818 | 0,00658815 | 0,00658816 | 3,7e−8 | ✓ |
| Beta + yayılım(pressure): yayılım kesişimi | 6,02279039 | 6,02278907 | — | 2,2e−7 | ✓ |
| Beta + yayılım(pressure): yayılım katsayısı | 0,01531307 | 0,01531318 | — | 1,2e−7 | ✓ |
| Beta + yayılım(pressure): SH(yayılım katsayısı) | 0,10430867 | 0,1043093 | — | 6,3e−7 | ✓ |
| Beta + yayılım(pressure): logLik | 84,80843925 | 84,80843925 | — | 1,4e−11 | ✓ |
| Beta, ağırlık: temp | 0,01078599 | 0,010786 | 0,010786 | 7,2e−9 | ✓ |
| Beta, ağırlık: \phi | 466,50622596 | 466,50668763 | 466,50668754 | 9,9e−7 | ✓ |
| Beta, ağırlık: logLik | 128,08577677 | 128,08577677 | 128,08577677 | 2,8e−11 | ✓ |
| Beta, ofset: temp | 0,01096688 | 0,01096687 | 0,01096687 | 6,1e−9 | ✓ |
| Beta, ofset: \phi | 440,276826 | 440,27838852 | 440,27838858 | 3,5e−6 | ✗ |
| Beta, ofset: logLik | 84,79755796 | 84,79755796 | 84,79755796 | 1,2e−11 | ✓ |
| Beta, 0/1 içeri çekme: temp | 0,01203713 | 0,01203716 | 0,01203716 | 2,9e−8 | ✓ |
| Beta, 0/1 içeri çekme: \phi | 9,92434414 | 9,92433662 | 9,92433662 | 7,6e−7 | ✓ |
| Beta, 0/1 içeri çekme: logLik | 25,77533149 | 25,77533149 | 25,77533149 | 9,2e−12 | ✓ |
| Beta karma: (Intercept) | −5,18229816 | −5,18229817 | −5,18229817 | 1,0e−9 | ✓ |
| Beta karma: temp | 0,01082909 | 0,01082909 | 0,01082909 | 1,4e−11 | ✓ |
| Beta karma: SH((Intercept)) | 0,24048899 | 0,24048876 | 0,24048896 | 2,3e−7 | ✓ |
| Beta karma: SH(temp) | 4,936643·10−4 | 4,936638·10−4 | 4,936641·10−4 | 4,6e−10 | ✓ |
| Beta karma: yayılım parametresi | 302,23196279 | 302,231963 | 302,23196329 | 1,6e−9 | ✓ |
| Beta karma: rastgele kesişim varyansı | 0,26550314 | 0,26550314 | 0,26550314 | 1,4e−9 | ✓ |
| Beta karma: logLik | 60,59313104 | 60,59313104 | 60,59313104 | 3,6e−11 | ✓ |
| Beta karma: AIC | −113,18626209 | −113,18626209 | — | 3,9e−11 | ✓ |
| Gamma karma: (Intercept) | −4,88793213 | −4,88793228 | −4,88793228 | 2,9e−8 | ✓ |
| Gamma karma: temp | 0,00926041 | 0,00926041 | 0,00926041 | 3,2e−10 | ✓ |
| Gamma karma: SH((Intercept)) | 0,24388094 | 0,24388096 | 0,24388096 | 2,4e−8 | ✓ |
| Gamma karma: SH(temp) | 5,905786·10−4 | 5,905786·10−4 | 5,905786·10−4 | 7,1e−11 | ✓ |
| Gamma karma: yayılım parametresi | 0,18540989 | 0,18540993 | 0,18540993 | 4,1e−8 | ✓ |
| Gamma karma: rastgele kesişim varyansı | 0,18824277 | 0,18824275 | 0,18824275 | 1,6e−8 | ✓ |
| Gamma karma: logLik | 51,63492285 | 51,63492285 | 51,63492285 | 1,9e−11 | ✓ |
| Gamma karma: AIC | −95,2698457 | −95,26984569 | — | 2,0e−11 | ✓ |
| Gamma sabit: gravity | 0,04551055 | 0,04551054 | — | 5,6e−9 | ✓ |
| Gamma sabit: SH(gravity) | 0,01145628 | 0,01145628 | — | 7,3e−9 | ✓ |
| Gamma sabit: \sigma | 0,34451567 | 0,34451581 | — | 1,4e−7 | ✓ |
| Gamma sabit: logLik | 45,86074163 | 45,86074163 | — | 2,1e−13 | ✓ |
| NB1 karma: (Intercept) | 0,72977792 | 0,72977793 | 0,72977793 | 1,0e−8 | ✓ |
| NB1 karma: minedyes | −1,87336381 | −1,87336386 | −1,87336386 | 2,5e−8 | ✓ |
| NB1 karma: SH(minedyes) | 0,24941551 | 0,24941546 | 0,24941546 | 5,2e−8 | ✓ |
| NB1 karma: \phi | 2,79015773 | 2,79015766 | 2,79015766 | 2,4e−8 | ✓ |
| NB1 karma: rastgele kesişim varyansı | 0,19300289 | 0,19300283 | 0,19300283 | 5,6e−8 | ✓ |
| NB1 karma: logLik | −862,30178738 | −862,30178738 | −862,30178738 | 2,0e−12 | ✓ |
| Gen. Poisson karma: (Intercept) | 0,72835656 | 0,72835562 | 0,72835561 | 9,4e−7 | ✓ |
| Gen. Poisson karma: minedyes | −1,89710353 | −1,89710297 | −1,89710296 | 3,0e−7 | ✓ |
| Gen. Poisson karma: SH(minedyes) | 0,25441522 | 0,25441541 | 0,25441528 | 1,9e−7 | ✓ |
| Gen. Poisson karma: \phi | 4,13050689 | 4,13051501 | 4,13051503 | 2,0e−6 | ✗ |
| Gen. Poisson karma: rastgele kesişim varyansı | 0,20758464 | 0,20758489 | 0,20758488 | 2,5e−7 | ✓ |
| Gen. Poisson karma: logLik | −862,80384993 | −862,80384993 | −862,80384993 | 6,8e−13 | ✓ |
| NB1 + sıfır şişmesi: minedyes | −1,94301135 | −1,94301163 | −1,94301163 | 1,4e−7 | ✓ |
| NB1 + sıfır şişmesi: sıfır kesişimi (logit) | −2,06754425 | −2,06754441 | −2,0675444 | 7,6e−8 | ✓ |
| NB1 + sıfır şişmesi: olasılık | 0,1122916 | 0,11229158 | — | 1,6e−8 | ✓ |
| NB1 + sıfır şişmesi: \phi | 2,35845943 | 2,35845673 | 2,35845672 | 1,1e−6 | ✗ |
| NB1 + sıfır şişmesi: logLik | −861,37308698 | −861,37308698 | −861,37308698 | 1,2e−12 | ✓ |
| NB1 + yayılım(cover): cover (ortalama) | −0,1183641 | −0,11836544 | — | 1,3e−6 | ✗ |
| NB1 + yayılım(cover): yayılım katsayısı (cover) | −0,12708672 | −0,12708929 | — | 2,6e−6 | ✗ |
| NB1 + yayılım(cover): SH(yayılım katsayısı) | 0,150613 | 0,15061298 | — | 2,7e−8 | ✓ |
| NB1 + yayılım(cover): logLik | −861,7915111 | −861,79151109 | — | 6,4e−13 | ✓ |
| Gen. Poisson sabit: cover | −0,1425751 | −0,14257544 | — | 3,4e−7 | ✓ |
| Gen. Poisson sabit: SH(cover) | 0,06899103 | 0,06899103 | — | 5,3e−9 | ✓ |
| Gen. Poisson sabit: \phi | 4,32593825 | 4,3259386 | — | 8,3e−8 | ✓ |
| Gen. Poisson sabit: logLik | −870,18021788 | −870,18021788 | — | 1,2e−13 | ✓ |
| COM-Poisson: doz | 0,26686055 | 0,26686059 | — | 4,1e−8 | ✓ |
| COM-Poisson: SH(doz) | 0,02012353 | 0,02012353 | — | 4,2e−9 | ✓ |
| COM-Poisson: yayılım parametresi (1/\nu) | 0,49718203 | 0,49718213 | — | 9,8e−8 | ✓ |
| COM-Poisson: logLik | −383,43990958 | −383,43990958 | — | 7,7e−15 | ✓ |
| Gen. Poisson (eksik yayılım): doz | 0,25407933 | 0,25407935 | — | 1,1e−8 | ✓ |
| Gen. Poisson (eksik yayılım): \phi | 0,49239045 | 0,49239047 | — | 1,1e−8 | ✓ |
| Gen. Poisson (eksik yayılım): logLik | −380,65081678 | −380,65081678 | — | 1,1e−14 | ✓ |
| Tweedie sabit: minedyes | −2,03676247 | — | −2,03676247 | 2,0e−9 | ✓ |
| Tweedie sabit: SH(minedyes) | 0,16103472 | — | 0,16103473 | 8,9e−9 | ✓ |
| Tweedie sabit: \phi | 2,64250615 | — | 2,64250595 | 7,4e−8 | ✓ |
| Tweedie sabit: güç p | 1,23846211 | — | 1,23846208 | 2,2e−8 | ✓ |
| Tweedie sabit: logLik | −883,8294776 | — | −883,8294776 | 2,0e−13 | ✓ |
Ölçütü karşılayan: 87/93. Python: yoğunluklar açık formülle; sabit etkili modellerde doğrudan en çok olabilirlik, rastgele kesişimli modellerde grup başına Laplace yaklaşımı (tepe noktası kendi Newton döngüsüyle, eğrilik sayısal ikinci türevle), BFGS + Newton, SH sayısal Hessian'ın tersinden; değişkenler özgün ölçekte. R: aynı tanım stats yoğunlukları (dbeta, dgamma, dnbinom), tweedie::dtweedie ve nlminb ile (türevler merkezi farkla). glmmTMB çağrılmamıştır. ✗ satırlarının gerekçesi metindedir.
Sabit etkili modellerde (beta, Gamma, genelleştirilmiş Poisson, COM-Poisson, Tweedie) ve rastgele kesişimli beta, Gamma, NB1 ve genelleştirilmiş Poisson modellerinde şablonun katsayıları, standart hataları, yayılım ve varyans parametreleri ile log-olabilirliği bağımsız hesapla örtüşür; geri çevrilmiş katsayılar, değişkenleri özgün ölçekte kullanan hesapla aynıdır. "Yayılım alt modeli" tablosu da, değişken ortalama modelinde bulunsa bile, özgün ölçekteki bağımsız hesapla karşılaştırılmıştır (temp: 0,014570, SH 0,006588; cover: −0,1271).
Altı ✗ satırının tümü yakınsama duyarlığıdır: eniyileyici durduğunda bir parametre tam en büyükten göreli 1{,}1\times10^{-6} ile 3{,}5\times10^{-6} uzakta kalmıştır (ör. ofsetli beta modelinde \hat\phi 440,2768 ve 440,2784). Yayılım alt modelinin kesişimindeki fark (1,364085 ve 1,364089) aynı türdendir: ölçekli eğimdeki 8\times10^{-7}'lik fark geri çevirmede \bar x/s=4{,}76 ile çarpılarak kesişime taşınır; eğim ve standart hatası ölçütü karşılar. Bu çalıştırmaların log-olabilirlikleri bağımsız hesapla on basamak aynıdır; olabilirlik yüzeyi bu parametreler yönünde yassıdır ve fark sonucu etkilemez.
20.7 Çıktıyı okuma
Örnek ayarın konsol metni:
batch: düzey sırası Veri sekmesindeki sıradır (B01, B02, B03, B04, B05, B06, B07, B08, B09, B10); ilk düzey başvurudur.
Family: beta ( logit )
Formula: yield ~ batch + temp
Data: d
AIC BIC logLik -2*log(L) df.resid
-145.6 -128.0 84.8 -169.6 20
Dispersion parameter for beta family (): 440
Conditional model:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.78981 0.05734 -13.773 < 2e-16 ***
batchB02 -0.40513 0.09682 -4.184 2.86e-05 ***
batchB03 -0.15542 0.09387 -1.656 0.0978 .
[…]
batchB10 -1.72773 0.10153 -17.018 < 2e-16 ***
temp 0.76500 0.02844 26.900 < 2e-16 ***
Not: yukarıdaki özet ortalanmış ve ölçeklenmiş sayısal değişkenlerle; tablolar özgün ölçektedir.
İlk satır düzey sırası notudur: sabit etki ya da yayılım listesinde Veri sekmesinden kategorik ya da metin olarak gelen her sütun için bir satır yazılır ve ilk düzeyin başvuru (referans) olduğu bildirilir. Not, "Faktör olarak ele alınacak sayısal sütunlar" alanıyla faktöre çevrilen sayısal sütunlar için yazılmaz (148–150); bunlarda düzeyler küçükten büyüğe sıralanır ve en küçük değer başvurudur. Kategorik sütunda sıra Veri sekmesindeki sıradır; iki düzeyli metin sütununda alfabetiktir ve not bunu söyler. Semender verisinde x = mined ile aynı satır şöyledir: "mined: düzey sırası alfabetik (no, yes); ilk düzey başvurudur." On ikiden çok düzeyli sütunda ilk on iki düzey yazılır ve liste "…" ile kesilir.
Tablolar (ilk dört anlamlı ondalık):
| Tablo | Satır | Değerler |
|---|---|---|
| Ortalama modeli (logit bağlantı) | (Intercept) | kestirim −4,4318; SH 0,1491; z −29,71; GA [−4,7242; −4,1395]; odds 0,0119 |
| batchB02 | −0,4051; 0,0968; z −4,18; p 2,9·10⁻⁵; odds oranı 0,6669 | |
| batchB10 | −1,7277; 0,1015; z −17,02; odds oranı 0,1777 | |
| temp | 0,010967; 0,000408; z 26,90; GA [0,010168; 0,011766]; odds oranı 1,0110 | |
| Yayılım ve varyans parametreleri | Yayılım parametresi | 440,2783; "φ (hassasiyet): Var = μ(1-μ)/(1+φ)" |
| Model uyumu | n 32; logLik 84,7976; AIC −145,5951; BIC −128,0063 |
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Düzey sırası notu | Kategorik ya da metin sütununun düzey sırası ve başvuru düzeyi | Faktör katsayıları ilk düzeye göre farktır; terim adı (ör. minedyes) bu sırayla okunur. |
| Konsol özeti | glmmTMB'nin ölçekli değişkenlerle çıktısı | Sayısal değişken katsayıları ve kesişim için tablo kullanılır (20.4.2). |
| Ortalama modeli | kestirim, SH, z, p, Wald GA, üstel | Beta: lojit ölçeği; üstel sütun odds oranıdır (oranların oranı değil). Log bağlantıda üstel, ortalamaların oranıdır. |
| Yayılım alt modeli | \log\phi için katsayı, SH, z, p | Özgün ölçektedir: katsayı değişkendeki bir birimlik artışın \log\phi'ye etkisidir (20.4.3). |
| Sıfır şişmesi modeli | lojit katsayı ve olasilik |
Yapısal sıfır olasılığı; sayım dağılımının kendi sıfırları buna dahil değildir. |
| Yayılım parametresi | sigma(m) ve ailenin açıklaması |
Beta: büyük = az saçılım. Gamma: değişim katsayısı. COM-Poisson: \phi=1/\nu; 1'den küçük eksik, 1'den büyük aşırı yayılım; \nu açıklamada yazılır. |
| Rastgele kesişim varyansı | \hat\sigma_b^2; açıklamada SS | Bağlantı ölçeğinde gruplar arası varyans. |
| Kestirim uyarıları | Yakınsama iletileri | Hessian ya da gradyan uyarısında sonuç raporlanmaz; model sadeleştirilir ya da eniyileyici ve sınırlar değiştirilir. |
Şekil 20.1. Şablonun çizdiği gözlenen ve kestirilen değerler (örnek ayar, beta regresyon). Kesikli çizgi y=x doğrusudur.

Rapor cümlesi (örnek ayar):
Benzin verim oranı, parti ve buharlaşma sıcaklığını içeren beta regresyonla (lojit bağlantı, en çok olabilirlik) modellendi. Sıcaklıktaki her 10 °F artış verim odds'unu 1,12 katına çıkardı (b = 0{,}0110, SH = 0{,}0004, z = 26{,}90, p < 0{,}001; 1 °F için odds oranı 1,011, %95 GA [1,010; 1,012]). Hassasiyet parametresi \hat\phi = 440{,}3 kestirildi (log-olabilirlik 84,80; AIC −145,60).
20.8 Sık hatalar ve tuzaklar
- Konsol özetindeki katsayıyı raporlamak. Özet ölçekli değişkenlerledir; sayısal değişken katsayıları ve kesişim "Ortalama modeli" tablosundan, yayılım katsayıları özetin "Dispersion model" bloğundan değil "Yayılım alt modeli" tablosundan alınır. İki tablo da özgün ölçektedir.
- Beta ailesinde \phi'yi "yayılım" diye okumak. \phi hassasiyettir; büyük değer dar dağılım demektir. Yayılım alt modelinde pozitif katsayı saçılımın azaldığını gösterir.
- COM-Poisson satırını \nu diye okumak. Tablodaki sayı \phi=1/\nu'dür: 1'den küçükse eksik, 1'den büyükse aşırı yayılım vardır; \nu açıklama sütununda parantez içinde verilir.
- COM-Poisson'u çok aşırı yayılımlı veride kullanmak. Varyans, geometrik dağılımın \mu+\mu^2 sınırını aşıyorsa COM-Poisson sınıra dayanır: semender verisinde (
count ~ mined) yayılım parametresi 1{,}1\times10^{9} (\nu=9{,}0\times10^{-10}) çıkar. Yayılım parametresi 1000'i aştığında şablon şu notu yazar (252–254): "Uyarı: COM-Poisson yayılım parametresi sınıra gitti (ν ≈ 0); veri bu ailenin taşıyabileceğinden daha aşırı yayılımlıdır. NB1 ya da genelleştirilmiş Poisson ailesini seçin." Bu çalıştırmada Hessian ve gradyan uyarısı çıkmaz; tablolar yazılır ama model kullanılmaz. - COM-Poisson'u büyük veride karma modelle çalıştırmak. Her gözlem için normalleştirme toplamı ve ortalama denkleminin çözümü gerekir. Semender verisinde (644 gözlem, 23 grup) rastgele kesişimli COM-Poisson modeli on dakikalık süre sınırında bitmemiştir; aynı yapı NB1 ile dört saniye sürer.
- Parti içinde sabit değişkeni partiyle birlikte sabit etki yapmak.
gravity,pressurevetemp10her partide tek değer alır;batchsabit etkiyken bunlar doğrusal bağımlıdır ve kestirilemez. Bu değişkenlerin etkisi isteniyorsa parti rastgele kesişim yapılır ya da modelden çıkarılır. - İki düzeyli metin sütununun referans düzeyi. Veri sekmesi iki düzeyli metin sütunlarını (ör.
mined: yes / no) "ikili" türde tutar; bu sütunlar R'ye metin olarak gider ve düzeyler alfabetik sıralanır. Semender verisinde ilk satır "yes" olduğu hâlde referans "no", terimminedyes'tir; şablon bunu çıktıya yazar: "mined: düzey sırası alfabetik (no, yes); ilk düzey başvurudur." Üç ve daha çok düzeyli "kategorik" sütunlarda sıra verideki ilk görülme sırasıdır (Bölüm 1.3) ve not "düzey sırası Veri sekmesindeki sıradır (…)" biçimini alır. Referansı değiştirmek için sütun türü veri sekmesinde kategorik yapılır; katsayı yorumlanmadan önce not satırı okunur. - Sayısal sütunun kategorik işaretlenmesi. Yanıt, ağırlık ve ofset yalnız sayısal rollerdir; bu sütunlar Veri sekmesinde kategorik işaretlense de R'ye sayı olarak gider (Bölüm 1.3) ve sonuç değişmez. Sabit etki ve yayılım listeleri hem sayısal hem kategorik değişken kabul eder; burada kullanıcının tür seçimi geçerlidir. Sayısal bir açıklayıcı (ör.
temp) kategorik işaretlenirse faktör olarak girer ve düzey notu bunu gösterir ("temp: düzey sırası Veri sekmesindeki sıradır (205, 212, 218, 235, 267, 272, 273, 275, 285, 300, 307, 340, …); ilk düzey başvurudur."). 32 gözlemde 28 düzeyle model, parti de sabit etkiyken "Gözlem sayısı parametre sayısına göre çok az." iletisiyle (161), parti rastgele etkiyken "Model yakınsamadı (log-olabilirlik hesaplanamadı); daha yalın bir model ya da başka bir aile deneyin." iletisiyle (190) durur. Sütun türü çalıştırmadan önce denetlenir. - 0 ve 1'leri içeri çekip sonucu sorgusuz kullanmak. Dönüşüm \hat\phi'yi ve katsayıları güçlü biçimde değiştirir (20.4.5). Uç değer sayısı azsa duyarlılık çözümlemesi yapılır: uçlar çıkarılarak model yinelenir.
- Gradyan uyarısını görmezden gelmek. Ağırlıklı örnek çalıştırmada "En büyük gradyan 0,0015; yakınsama zayıf olabilir." uyarısı çıkar. Bu çalıştırmada kestirimler bağımsız hesapla yine örtüşür (\hat\phi'de göreli fark 10^{-6}), ama uyarı her zaman bu kadar zararsız değildir: görüldüğünde "En çok yineleme" ve "En çok işlev değerlendirmesi" artırılır ya da BFGS denenir ve sonuçların değişmediği doğrulanır.
- Tweedie'yi pozitif sürekli veriye uygulamak. Sıfır içermeyen veride güç parametresi alt sınıra (p\to1) kaçar (örnek veride 1,004); model Gamma'ya değil, ölçeklenmiş Poisson'a yaklaşır. Sıfır yoksa Gamma seçilir.
- REML log-olabilirliğiyle sabit etki karşılaştırmak. REML değerleri yalnız aynı sabit etki yapısındaki modeller arasında karşılaştırılır; sabit etki seçimi ML ile yapılır.
20.9 Uzman soruları
S1. Beta regresyonun standart hataları yayımlanmış değerlerden neden biraz farklı?
Katsayılar, \phi ve log-olabilirlik yayımlanmış çözümlemeyle (Cribari-Neto ve Zeileis, 2010: temp 0,0109669; \phi 440,278; logLik 84,80) aynıdır. Standart hatalar bilgi matrisinin tanımına bağlıdır: glmmTMB (ve şablon) gözlenen bilgiyi, yani log-olabilirliğin kestirim noktasındaki ikinci türevini kullanır (temp için 0,0004077); beta regresyonun klasik uygulaması beklenen Fisher bilgisini kullanır ve biraz daha büyük bir değer verir. İki tanım asimptotik olarak eşdeğerdir; 32 gözlemde fark yüzde bir düzeyindedir.
S2. İç ölçekleme sonuçları değiştirir mi?
Hayır. Ortalama modelinin doğrusal yeniden parametrelemesi olabilirliğin en büyük değerini, kestirilen ortalamaları, z ve p değerlerini değiştirmez. Bağımsız hesap değişkenleri özgün ölçekte kullanır ve şablonun geri çevrilmiş katsayıları ve standart hatalarıyla 20.6.1'deki tabloda örtüşür. Geri çevrilmeyen tek yer konsol özetidir; "Ortalama modeli" ve "Yayılım alt modeli" tabloları özgün ölçektedir.
S3. Yayılım alt modeli ne zaman gerekir, nasıl sınanır?
Artıkların saçılımı bir değişkenle sistemli değişiyorsa. Sınama iç içe iki modelin olabilirlik oranıyla yapılır: örnek veride yayılıma temp eklemek log-olabilirliği 84,798'den 86,977'ye çıkarır (\chi^2_1=4{,}36, p=0{,}037); AIC −145,60'tan −147,95'e iner. Tablodaki Wald z (2,21; p=0{,}027) aynı soruyu yaklaşık olarak yanıtlar. Yayılım alt modeli ortalama katsayılarının standart hatalarını da değiştirir: temp için 0,000408 yerine 0,000519.
S4. NB1, genelleştirilmiş Poisson ve NB2 arasında nasıl seçilir?
Üçü de aşırı yayılımı tek parametreyle modeller; fark varyansın ortalamayla ilişkisindedir: NB1 ve genelleştirilmiş Poisson'da doğrusal (\mu(1+\phi), \phi\mu), NB2'de karesel. Aynı ortalama modeliyle AIC karşılaştırılır. Semender verisinde (count ~ mined + (1 | site)) NB1 logLik −862,30, genelleştirilmiş Poisson −862,80 verir; ikisi pratikte eşdeğerdir. Genelleştirilmiş Poisson eksik yayılımı da karşılar, NB1 karşılamaz (\phi\ge0). NB2 için r_glmmtmb_nb kullanılır.
S5. Gamma ailesinde "yayılım parametresi" tam olarak nedir?
glmmTMB Gamma'yı ortalama \mu ve şekil parametresiyle kurar; sigma() 1/\sqrt{\text{şekil}} değerini döndürür. Bu, dağılımın değişim katsayısıdır: \operatorname{Var}(y)=\sigma^2\mu^2. Örnek veride rastgele kesişimli Gamma modeli \hat\sigma=0{,}1854 verir: parti içinde verim, koşullu ortalamasının yaklaşık %19'u kadar saçılır. Genelleştirilmiş doğrusal modellerin momentlere dayalı yayılım kestirimi (\hat\phi=X^2/\text{sd}) ile aynı büyüklük değildir; burada şekil parametresi en çok olabilirlikle kestirilir.
S6. Laplace yaklaşımı bu ailelerde ne kadar güvenilir?
Yaklaşımın doğruluğu grup içi bilginin miktarına bağlıdır. Sürekli yanıtlı ailelerde (beta, Gamma) her gözlem çok bilgi taşır ve integrand normale yakındır; birkaç gözlemli gruplarda bile hata küçüktür. Sayım ailelerinde küçük ortalamalar ve çok sıfır integrandı çarpıtır. glmmTMB uyarlanır kareleme sunmaz; kuşku varsa sayım için aynı model glmer_ileri'de Poisson ailesi ve AGQ ile kurulup Laplace sonucuyla karşılaştırılarak yaklaşımın bu veri yapısındaki büyüklüğü görülebilir.
S7. Sabit etkili örnek ayar ile rastgele kesişimli model arasında hangisi doğru?
İkisi farklı sorular sorar. Partiyi sabit etki almak "bu on parti" hakkında çıkarım yapar ve her parti için bir parametre harcar (9 fark); rastgele kesişim partileri bir kitlenin örneklemi sayar ve tek bir varyans kestirir. Sıcaklık katsayısı iki modelde yakındır (0,010967 ve 0,010829). Rastgele etkili model, parti düzeyindeki değişkenlerin (gravity, pressure) etkisini kestirmeye izin verir; sabit etkili model vermez. AIC bu veride sabit etkili modeli seçer (−145,60 ve −113,19): parti farkları normal dağılım varsayımının özetleyebileceğinden daha düzensizdir.
S8. Sıfır şişmesi ile Tweedie'nin sıfırları arasındaki fark nedir?
Tweedie'de sıfır, dağılımın kendi parçasıdır: Poisson sayısı sıfır olduğunda toplam sıfırdır ve sıfır olasılığı \mu, \phi ve p'den belirlenir. Sıfır şişmesi buna ek, ortalamadan bağımsız bir yapısal sıfır kaynağı ekler. Sayım ailelerinde de durum aynıdır. Semender verisinde NB1'e sabit olasılıklı sıfır şişmesi eklemek \hat\pi=0{,}112 verir ama log-olabilirliği yalnız 0,93 artırır (−862,30 → −861,37; AIC 1732,60 → 1732,75): fazladan sıfırlar aşırı yayılımla zaten açıklanmaktadır.
S9. Wald aralıkları neden yalnız ortalama modeli için?
Güven düzeyi alanı ortalama modelinin tablosuna uygulanır (219). Yayılım ve sıfır şişmesi tabloları kestirim, SH, z ve p verir; aralık istenirse \hat\delta\pm z\cdot\operatorname{SH} ile elde edilir. Varyans parametresi \hat\sigma_b^2 için tabloda standart hata yoktur: varyansın örnekleme dağılımı çarpıktır ve Wald aralığı sınıra yakın değerlerde yanıltır; rastgele etkinin gerekliliği, grupsuz modelle AIC ya da olabilirlik oranı karşılaştırmasıyla değerlendirilir.
20.10 Kaynaklar
- Brooks, M. E., Kristensen, K., van Benthem, K. J., Magnusson, A., Berg, C. W., Nielsen, A., Skaug, H. J., Mächler, M., & Bolker, B. M. (2017). glmmTMB balances speed and flexibility among packages for zero-inflated generalized linear mixed modeling. The R Journal, 9(2), 378–400. https://doi.org/10.32614/RJ-2017-066
- Consul, P. C., & Famoye, F. (1992). Generalized Poisson regression model. Communications in Statistics - Theory and Methods, 21(1), 89–109. https://doi.org/10.1080/03610929208830766
- Cribari-Neto, F., & Zeileis, A. (2010). Beta regression in R. Journal of Statistical Software, 34(2), 1–24. https://doi.org/10.18637/jss.v034.i02
- Dunn, P. K., & Smyth, G. K. (2005). Series evaluation of Tweedie exponential dispersion model densities. Statistics and Computing, 15(4), 267–280. https://doi.org/10.1007/s11222-005-4070-y
- Ferrari, S. L. P., & Cribari-Neto, F. (2004). Beta regression for modelling rates and proportions. Journal of Applied Statistics, 31(7), 799–815. https://doi.org/10.1080/0266476042000214501
- Huang, A. (2017). Mean-parametrized Conway–Maxwell–Poisson regression models for dispersed counts. Statistical Modelling, 17(6), 359–380. https://doi.org/10.1177/1471082X17697749
- Joe, H., & Zhu, R. (2005). Generalized Poisson distribution: The property of mixture of Poisson and comparison with negative binomial distribution. Biometrical Journal, 47(2), 219–229. https://doi.org/10.1002/bimj.200410102
- Jørgensen, B. (1987). Exponential dispersion models. Journal of the Royal Statistical Society: Series B (Methodological), 49(2), 127–145. https://doi.org/10.1111/j.2517-6161.1987.tb01685.x
- Kristensen, K., Nielsen, A., Berg, C. W., Skaug, H., & Bell, B. M. (2016). TMB: Automatic differentiation and Laplace approximation. Journal of Statistical Software, 70(5), 1–21. https://doi.org/10.18637/jss.v070.i05
- Prater, N. H. (1956). Estimate gasoline yields from crudes. Petroleum Refiner, 35(5), 236–238.
- Shmueli, G., Minka, T. P., Kadane, J. B., Borle, S., & Boatwright, P. (2005). A useful distribution for fitting discrete data: Revival of the Conway–Maxwell–Poisson distribution. Journal of the Royal Statistical Society: Series C (Applied Statistics), 54(1), 127–142. https://doi.org/10.1111/j.1467-9876.2005.00474.x
- Smithson, M., & Verkuilen, J. (2006). A better lemon squeezer? Maximum-likelihood regression with beta-distributed dependent variables. Psychological Methods, 11(1), 54–71. https://doi.org/10.1037/1082-989X.11.1.54