27. Sıfır şişirilmiş ve engel (hurdle) karma sayım modelleri (glmmTMB: NB2, NB1, Poisson)
Şablon kimliği: r_glmmtmb_nb · Kategori: karma model · Dil: R · Dosya: pro/sablonlar/karma_model/r_glmmtmb_nb.R (satır 1–196; üstbilgi 1–92) · Örnek veri: _ornek/salamanders_tam.csv · Paketler: glmmTMB 1.1.15.2 (TMB 1.9.25)
27.1 Ne işe yarar
Şablon, gruplar içinde kümelenmiş sayım verisine, sıfırların fazlalığını ayrıca modelleyen bir karma model uydurur. Cevapladığı soru şudur: "Sıfırların bir bölümü sayım sürecinden değil de ayrı bir süreçten geliyorsa, açıklayıcı değişkenler hem sıfır olma olasılığını hem de sayının büyüklüğünü nasıl etkiliyor?"
- \mu_{ij}: sayım bileşeninin koşullu ortalaması ("koşullu model"); b_j grubun rastgele kesişimi; o_{ij} ofset.
- \pi_{ij}: sıfır bileşeninin olasılığı. Sıfır şişirilmiş yapıda "yapısal sıfır" olasılığı, engel yapısında P(Y=0)'ın kendisidir.
- \mathbf z_{ij}: sıfır bileşeninin değişkenleri; yalnız sabit terim (\mathbf z=1) ya da koşullu modeldeki sabit etkilerin aynısı. Sıfır bileşeninde rastgele etki yoktur.
İki yapı sıfırları farklı ayırır:
- f: sayım dağılımının olasılık fonksiyonu (NB2, NB1 ya da Poisson; 27.4.1).
- Sıfır şişirilmiş yapıda sıfırların iki kaynağı vardır: yapısal sıfırlar (\pi) ve sayım dağılımının kendi sıfırları ("örnekleme sıfırları", (1-\pi)f(0)).
- Engel yapısında bütün sıfırlar tek süreçten gelir; pozitif sayımlar sıfırda kesik dağılımdan gelir (f(y)/(1-f(0))).
Ne zaman kullanılır? Yanıt negatif olmayan tamsayıdır ve sıfırların oranı sayım dağılımının öngördüğünden çoktur; aynı gruptan (alan, hasta, okul) birden çok gözlem vardır; "hiç var mı?" ile "varsa kaç tane?" sorularının farklı değişkenlerle yanıtlanabileceği düşünülür (engel) ya da bir bölüm gözlemin hiçbir koşulda pozitif sayım veremeyeceği kabul edilir (sıfır şişirilmiş).
Ne zaman kullanılmaz?
- Sıfır fazlalığı yoksa ve yalnız aşırı yayılım varsa: sıfır bileşensiz negatif binom karma model yeter; bu şablonda "Sıfır şişirme bileşeni" kapatılarak kurulur. Rastgele eğim ya da ikinci gruplama faktörü gerekiyorsa Poisson için
glmer_ileri. - Sayımda eksik yayılım varsa ya da yayılım değişkenlere bağlanacaksa:
glmmtmb_aileler(genelleştirilmiş Poisson, COM-Poisson, yayılım alt modeli). - Gruplama yoksa: temel programdaki Poisson / Negatif Binomial Regresyon (sıfır şişirilmiş seçenekleriyle).
- Yanıt sayım değil, deneme sayısı belli bir orandırsa:
glmer_ileri(binom). - Sıfır bileşenine koşullu modeldekinden farklı bir değişken kümesi ya da rastgele etki konacaksa: form bunu kurmaz; şablon kodu düzenlenir.
Temel programla ilişki. Temel programın Poisson / Negatif Binomial Regresyon analizi sıfır şişirilmiş modelleri bağımsız gözlemler için kurar; GLMM (Genelleştirilmiş Doğrusal Karma Modeller) analizi rastgele kesişimli Poisson ve negatif binom modelini sıfır bileşeni olmadan kurar. Bu şablon ikisini birleştirir (rastgele kesişim + sıfır bileşeni), engel yapısını ve NB1 dağılımını ekler ve seçilen modeli aynı ailenin sıfır bileşensiz karma modeliyle AIC üzerinden kendiliğinden karşılaştırır.
27.2 Şablonun girdileri
Form, üstbilgideki on iki [[param]] bloğundan kurulur (r_glmmtmb_nb.R:10–91).
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Sayım yanıtı · y |
sayısal sütun · Değişkenler | ilk sayısal sütun | negatif olmayan tamsayı | Bağımlı değişken (104–108). |
Sabit etkiler · x |
sütunlar · Değişkenler | — (en az 1) | herhangi sütunlar | Koşullu modelin sağ yanı (97–98, 128). |
Rastgele kesişim grubu · grup |
kategorik sütun · Değişkenler | ilk uygun sütun | en az 3 düzey | + (1 | grup) (112–113, 129). |
Sıfır şişirme bileşeni (sıfır şişirilmiş yapıda) · sifir_sisirme |
onay · Model | açık | açık / kapalı | Sıfır şişirilmiş yapıda bileşeni açar; engel yapısında dikkate alınmaz (123). |
Model yapısı · yapi |
seçim · Model | zi |
zi, engel |
Engel: sıfırda kesik aile (122, 132–133). |
Sayım dağılımı · aile |
seçim · Model | nbinom2 |
nbinom2, nbinom1, poisson |
family = … (131–133). |
Sıfır bileşeninin yordayıcıları · sifir_formulu |
seçim · Model | sabit |
sabit, ayni |
ziformula = ~1 ya da ~ x… (130). |
Ofset (log ölçeğinde; isteğe bağlı) · ofset |
sayısal sütun · Değişkenler | boş | sonlu sayılar | Koşullu modele + offset(…) (109, 129). |
Önsel ağırlık (isteğe bağlı) · agirlik |
sayısal sütun · Değişkenler | boş | negatif olmayan, hepsi sıfır değil | weights = … (110–111, 139). |
Optimizasyon algoritması · optimizer |
seçim · Gelişmiş | nlminb |
nlminb, BFGS |
glmmTMBControl(…) (134–135). |
En çok yineleme · maks_yineleme |
tamsayı · Gelişmiş | 300 | 10–100000 | iter.max ya da maxit (134–135). |
En çok işlev değerlendirmesi · maks_degerlendirme |
tamsayı · Gelişmiş | 400 | 10–100000 | Yalnız nlminb: eval.max (135). |
Örnek ayar (ornek_param, satır 9): y = count, x = [mined, spp], grup = site, sifir_sisirme = açık. Öteki alanlar varsayılandadır: yapı sıfır şişirilmiş, dağılım NB2, sıfır bileşeni yalnız sabit terim.
Üç seçimin birleşimi hangi modeli kurar:
yapi |
sifir_sisirme |
sifir_formulu |
Koşullu aile | ziformula |
|---|---|---|---|---|
zi |
kapalı | (etkisiz) | NB2 / NB1 / Poisson | ~0 (sıfır bileşeni yok) |
zi |
açık | sabit |
NB2 / NB1 / Poisson | ~1 |
zi |
açık | ayni |
NB2 / NB1 / Poisson | ~ x… |
engel |
(etkisiz) | sabit |
sıfırda kesik NB2 / NB1 / Poisson | ~1 |
engel |
(etkisiz) | ayni |
sıfırda kesik NB2 / NB1 / Poisson | ~ x… |
Şablonun kendi denetimleri.
| Koşul | İleti (özet) | Satır |
|---|---|---|
| Veri açık değil | "Önce Veri sekmesinde bir veri açın." | 96 |
| Sabit etki listesi, yanıt ve grup çıkarılınca boş | "Yanıt ve gruptan farklı en az bir sabit etki seçin." | 98 |
| Ofset ya da ağırlık, yanıt ya da grup sütunu | "Ofset/ağırlık sütunu yanıt ya da grup olamaz." | 101 |
| Eksiksiz satır sayısı 10'dan az | "En az 10 tam satır gerekli." | 105 |
| Yanıt sayısal değil | "Yanıt sayısal olmalı." | 106 |
| Yanıt negatif ya da tamsayı değil | "Yanıt negatif olmayan tamsayı (sayım) olmalı." | 107 |
| Yanıt sabit | "Yanıt sabit." | 108 |
| Ofset sayısal değil ya da sonsuz | "Ofset sonlu sayısal değerler içermeli." | 109 |
| Ağırlık sayısal değil, negatif ya da hepsi sıfır | "Ağırlıklar negatif olmayan sayılar olmalı …" | 110 |
| Grupta 3'ten az düzey | "Grup değişkeninde en az 3 düzey gerekli." | 113 |
| Bir sabit etki tek düzeyli ya da sabit | "'…' sabit (tek düzeyli); sabit etkilerden çıkarın." | 119–120 |
| Engel: yanıtta 2'den az sıfır | "Engel modeli için yanıtta en az 2 sıfır gerekli." | 124 |
| Engel: 3'ten az pozitif sayım | "Engel modeli için en az 3 pozitif sayım gerekli." | 125 |
glmmTMB hata verdi |
"Model kurulamadı: …" | 140 |
| Log-olabilirlik sonlu değil | "Model yakınsamadı (log-olabilirlik hesaplanamadı); …" | 144 |
Durdurmayan iletiler ve notlar:
- Her etken sabit etki için düzey sırası ve başvuru düzeyi yazılır (116): "mined: düzey sırası alfabetik (no, yes); ilk düzey başvurudur."
- Sıfır bileşeni birden çok terim içeriyorsa (160–161): "Not: sifir_olasiligi yalnız kesişim satırında verilir (etkenlerin başvuru düzeyinde, sayısal değişkenler 0 iken); öteki satırlar logit ölçeğinde farktır."
- Sıfır şişirilmiş yapıda sıfır bileşeni yalnız sabit terimken kestirilen olasılık 10^{-4}'ten küçükse (162–164): "Not: Sıfır şişirme olasılığı sıfıra kestirildi (sınır çözümü); model sıfır bileşensiz modele eşdeğerdir. Sıfır bileşeninin katsayısı ve standart hatası yorumlanmaz."
- Hessian pozitif tanımlı değilse uyarı (177); glmmTMB'nin kendi uyarıları "Uyarılar:" satırında (188).
Eksik değer: modele giren sütunlardan birinde eksik olan satır liste bazında atılır (102–103).
27.3 Örnek veri
Dosya: _ornek/salamanders_tam.csv. Appalaş dağlarında 23 dere noktasında (site) dere semenderlerinin sayımı (Price ve ark., 2016); glmmTMB paketiyle dağıtılır ve paketin tanıtım makalesinin (Brooks ve ark., 2017) örnek verisidir. Her noktada 4 örnekleme ve 7 tür/yaşam evresi: 23\times4\times7=644 satır; eksik değer yok.
| Değişken | Rol | Tür (veri sekmesi) | Özet |
|---|---|---|---|
count |
Yanıt | sayısal | Sayılan semender; 0–36, ortalama 1,323, varyans 6,947. 644 gözlemin 387'si (%60,1) sıfır. |
mined |
Sabit etki | ikili (yes / no) | Nokta dağ tepesi madenciliğinden etkilenmiş mi. 11 nokta "yes" (308 satır, ortalama 0,295, %84,1 sıfır), 12 nokta "no" (336 satır, ortalama 2,265, %38,1 sıfır). |
spp |
Sabit etki | kategorik (7 düzey) | Tür/evre: GP, PR, DM, EC-A, EC-L, DES-L, DF; her biri 92 satır. |
site |
Grup | kategorik (23 düzey) | Örnekleme noktası; her noktada 28 satır. |
cover, DOP, Wtemp, DOY |
kullanılmaz | sayısal | Standartlaştırılmış örtü, son yağıştan beri geçen gün, su sıcaklığı, yılın günü. |
sample |
kullanılmaz | sayısal (1–4) | Örnekleme sırası. |
Düzey sırası: mined için "no", spp için GP başvuru düzeyidir
Veri sekmesi iki düzeyli metin sütunlarını "ikili" türde tutar; bu sütunlar R'ye metin olarak gider ve şablonun factor() çağrısı (117) düzeyleri alfabetik sıralar (Bölüm 1.3). Dosyanın ilk satırında mined = yes olduğu hâlde başvuru düzeyi "no", tablodaki terim minedyes'tir. spp yedi düzeyli olduğundan "kategorik" algılanır ve düzeyleri verideki ilk görülme sırasıyla aktarılır: GP, PR, DM, EC-A, EC-L, DES-L, DF; başvuru düzeyi GP'dir. Şablon her etkenin sırasını çıktının başına yazar (116): "mined: düzey sırası alfabetik (no, yes); ilk düzey başvurudur." ve "spp: düzey sırası Veri sekmesindeki sıradır (GP, PR, DM, EC-A, EC-L, DES-L, DF); ilk düzey başvurudur." mined sütunu veri sekmesinde kategorik yapılırsa sıra ilk görülmeye döner ("mined: düzey sırası Veri sekmesindeki sıradır (yes, no); ilk düzey başvurudur."): başvuru düzeyi "yes" olur, terim minedno adını alır ve katsayı işaret değiştirir (2,2633); model ve log-olabilirlik aynıdır.
Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar (sıfır şişirilmiş NB2, sıfır bileşeni sabit); (2) sıfır bileşensiz NB2; (3) sıfır şişirilmiş NB2, sıfır bileşeni koşullu modelle aynı; (4) engel NB2, sıfır bileşeni sabit ve aynı; (5) engel Poisson, aynı; (6) sıfır şişirilmiş Poisson ve NB1; engel NB1; (7) yalnız spp ile engel Poisson (yayımlanmış karşılaştırma); (8) BFGS; (9) ofset ve önsel ağırlık (örnek veriye logsample =\log(\text{sample}) ve w sütunları eklenmiş kopya); (10) sütun türü denemeleri.
27.4 Yöntem: formüller ve hesap adımları
Hesap sırası: (1) sütunlar seçilir, eksik satırlar atılır, girdiler denetlenir; (2) yapı, aile ve sıfır formülü seçimlerinden koşullu formül, ziformula ve aile nesnesi kurulur; (3) glmmTMB modeli Laplace yaklaşımlı en çok olabilirlikle kestirir; (4) koşullu model ve sıfır bileşeni tabloları; (5) uyum tablosu ve özet satırları; (6) sıfır bileşeni varsa aynı ailenin sıfır bileşensiz karma modeli de kestirilir ve AIC karşılaştırılır; (7) gözlenen-kestirilen şekli.
27.4.1 Sayım dağılımları
- \theta (NB2): büyüdükçe dağılım Poisson'a yaklaşır; küçük \theta güçlü aşırı yayılım demektir. \phi (NB1): \phi=0 Poisson'dur; büyüdükçe aşırı yayılım artar. İki parametre ters yönde okunur.
- NB2'de varyans ortalamayla karesel, NB1'de doğrusal büyür.
- Poisson: f(y)=e^{-\mu}\mu^{y}/y!, \operatorname{Var}(Y)=\mu; yayılım parametresi yoktur.
- Uyum tablosundaki "yayılım" satırı
sigma(m)değeridir (166): NB2'de \theta, NB1'de \phi; Poisson'da boş kalır.
Neden varsayılan NB2?
Sayım verisinde aşırı yayılım çoğu zaman gözlenmeyen ortalama farklarından gelir; ortalaması Gamma dağılımlı bir Poisson karışımı NB2'yi verir ve bu, ekoloji ve epidemiyolojide en yaygın biçimdir. NB1, varyansın ortalamayla orantılı kaldığı durumlar içindir. Hangisinin uyduğu veriye bağlıdır ve AIC ile seçilir: örnek veride sıfır bileşensiz karma modelin AIC'si NB2 ile 1672,40, NB1 ile 1650,20'dir.
27.4.2 Sıfır şişirilmiş yapı
Gözlemin olabilirlik katkısı:
- \pi_{ij}=\operatorname{logit}^{-1}(\mathbf z_{ij}^{\top}\boldsymbol\gamma): yapısal sıfır olasılığı. \boldsymbol\gamma'nın pozitif katsayısı daha çok yapısal sıfır demektir.
- \mu_{ij}: yapısal sıfır olmayan gözlemlerin ortalaması; koşullu model katsayıları bu alt kitle içindir.
- \pi\to0 (\gamma_0\to-\infty) sınırında model sıfır bileşensiz modele iner.
Sıfır şişirme parametresi neden sınıra gidebilir?
Negatif binom dağılımı küçük \theta ile zaten çok sıfır üretir. Fazladan sıfırlar aşırı yayılımla açıklanabiliyorsa olabilirlik \pi=0'da en büyüktür; lojit ölçeğinde bu -\infty'dur ve eniyileyici büyük negatif bir sayıda durur. Örnek ayarda olan budur: \hat\gamma_0=-15{,}88 (SH 3103), \hat\pi=1{,}3\times10^{-7} ve log-olabilirlik sıfır bileşensiz NB2 modeliyle aynıdır (−826,2022). Katsayının sayısal değeri anlam taşımaz (BFGS ile −10,13 çıkar); anlamlı olan \hat\pi\approx0 sonucudur ve karşılaştırma tablosu bunu \Delta\text{AIC}=2 olarak gösterir: sıfır bileşeni bir parametre harcamış, uyumu iyileştirmemiştir. Şablon bu durumu kendisi bildirir: sıfır şişirilmiş yapıda sıfır bileşeni yalnız sabit terimken \hat\pi<10^{-4} ise sıfır tablosunun ardından "Not: Sıfır şişirme olasılığı sıfıra kestirildi (sınır çözümü); model sıfır bileşensiz modele eşdeğerdir. Sıfır bileşeninin katsayısı ve standart hatası yorumlanmaz." yazılır (162–164).
27.4.3 Engel yapısı
- \pi_{ij}: sıfır olma olasılığının tamamı. Tablonun başlığı bunu belirtir: "Engel (sıfır) bileşeni (logit; P(Y = 0))".
- f/(1-f(0)): sıfırda kesik dağılım. \mu_{ij} kesilmemiş dağılımın ortalamasıdır; pozitif sayımların ortalaması \mu/(1-f(0))'dır ve \mu'den büyüktür.
- Olabilirlik iki çarpana ayrılır: \boldsymbol\gamma yalnız "sıfır mı, değil mi" bilgisine, (\boldsymbol\beta,\theta,\sigma_b) yalnız pozitif sayımlara bağlıdır.
Ayrışmanın sonuçları
Sıfır bileşeni, yanıtı "sıfır / pozitif" diye ikiye bölen sıradan bir lojistik regresyondur ve sayım dağılımının seçiminden etkilenmez: örnek veride engel NB2 ile engel Poisson aynı \hat{\boldsymbol\gamma}'yı verir (minedyes 2,4038). Sıfır bileşeni yalnız sabit terimse \hat\gamma_0=\operatorname{logit}(387/644)=0{,}40935'tir: verideki sıfır oranı. Koşullu model ise yalnız 257 pozitif gözlemden kestirilir; rastgele kesişim varyansı da yalnız pozitif sayımların noktalar arası değişimini ölçer (örnek veride 0,0055; sıfır şişirilmiş modelde 0,2944). Engel yapısında sıfır bileşeni sınıra gitmez, çünkü \pi verideki sıfır oranını doğrudan karşılar.
Koddaki tercih
Engel seçilince aile sıfırda kesik karşılığıyla değiştirilir (truncated_nbinom2, truncated_nbinom1, truncated_poisson; 133) ve sıfır bileşeni her zaman kurulur: "Sıfır şişirme bileşeni" onayı bu yapıda dikkate alınmaz (123). glmmTMB kesik ailelerde sıfırları ziformula ile modeller; aynı lojit bileşen sıfır şişirilmiş yapıda "yapısal sıfır", burada "bütün sıfırlar" anlamına gelir. Engel için en az 2 sıfır ve 3 pozitif sayım aranır (124–125). Sıfır bileşeninde ofset ve rastgele etki yoktur; ofset yalnız koşullu modele eklenir (129–130).
27.4.4 Rastgele kesişim ve kestirim
Marjinal log-olabilirlik, grup başına rastgele kesişim üzerinden integralin Laplace yaklaşımıdır (Bölüm 20.4.4'teki tanımın aynısı):
- L_{ij}(b): 27.4.2 ya da 27.4.3'teki katkı, \mu_{ij}=\exp(\mathbf x_{ij}^{\top}\boldsymbol\beta+o_{ij}+b) ile. \pi_{ij} b'ye bağlı değildir.
- \hat b_j: h_j'nin tepe noktası; h_j'' oradaki gözlenen ikinci türev (TMB, otomatik türev).
- w_{ij}: önsel ağırlık; gözlemin log-olabilirlik katkısını çarpar.
Standart hatalar, bütün parametrelere (\boldsymbol\beta, \boldsymbol\gamma, \log\theta, \log\sigma_b) göre Laplace log-olabilirliğinin Hessian'ının tersinden gelir; tablolardaki z=\hat\beta/\operatorname{SH} ve p=2\Phi(-\lvert z\rvert) Wald testidir (148–151, 153–155). Koşullu tablonun son sütunu oran_orani =e^{\hat\beta}'dır: yapısal sıfır olmayan (ya da engelde kesilmemiş) dağılımın ortalamaları oranı. Sıfır tablosunun son sütunu sifir_olasiligi yalnız kesişim satırında doludur (155): \operatorname{logit}^{-1}(\hat\gamma_0), yani etkenlerin başvuru düzeyinde ve sayısal değişkenler 0 iken \hat\pi. Öteki satırlar boştur, çünkü bir katsayının tek başına ters lojiti olasılık değildir; o satırlardaki kestirim lojit ölçeğinde başvuru düzeyinden farktır. Sıfır bileşeni birden çok terim içerdiğinde tablonun ardından bunu belirten bir not yazılır (160–161). Başka bir düzeyin olasılığı için doğrusal yordayıcı toplanır ve ters lojit alınır: engel NB2 modelinde (sıfır bileşeni koşullu modelle aynı) GP için P(Y=0) madencilikten etkilenmeyen noktalarda \operatorname{logit}^{-1}(-0{,}6482)=0{,}343, etkilenen noktalarda \operatorname{logit}^{-1}(-0{,}6482+2{,}4038)=0{,}853'tür.
27.4.5 Sıfır bileşeninin gerekliliği: AIC karşılaştırması
Sıfır bileşeni olan her modelde şablon ikinci bir model kestirir (179–187): aynı koşullu formül, aynı rastgele kesişim, kesilmemiş aynı aile ve sıfır bileşeni yok.
- k: kestirilen parametre sayısı (
dfsütunu): koşullu katsayılar + sıfır katsayıları + yayılım (Poisson'da yok) + \sigma_b. - \Delta\text{AIC}=0 olan model daha iyi dengeyi kurar; öteki satırdaki değer aradaki farktır.
- Engel yapısında karşılaştırılan model yine sıfır bileşensiz, kesilmemiş karma modeldir (ör. engel Poisson ↔ Poisson karma model).
Neden olabilirlik oranı testi değil de AIC?
Sıfır şişirilmiş model ile sıfır bileşensiz model iç içedir, ama sıfır hipotezi (\pi=0) parametre uzayının sınırındadır; olabilirlik oranı istatistiğinin dağılımı \chi^2_1 değildir. Engel modeli ile kesilmemiş model ise iç içe değildir. AIC her iki durumda da tanımlıdır; şablon bu yüzden test yerine AIC farkını verir. Yaygın kullanılan kaba ölçüt: fark 2'den küçükse modeller ayırt edilemez, 10'dan büyükse zayıf olan model desteklenmez.
27.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 1–92 | Üstbilgi: kimlik, açıklama, örnek veri ve ayar, on iki parametre. | Form ve varsayılanlar buradan kurulur (Bölüm 1.2). |
| 93–111 | glmmTMB yüklenir; sabit etki listesinden yanıt ve grup çıkarılır; ofset ve ağırlık çözülür; eksik satırlar atılır; yanıt, ofset ve ağırlık denetlenir. | Yanıtın sayısal olduğu, tamsayı denetiminden önce sınanır (106). Ağırlık .mq_agirlik adıyla veri çerçevesine kopyalanır (111). |
| 112–121 | Grup factor yapılır; etken sabit etkilerin düzey sırası ve başvuru düzeyi çıktıya yazılır; metin ve mantıksal sabit etkiler factor'a çevrilir, kullanılmayan düzeyler atılır; tek düzey / sabit denetimi. |
Düzey notu hesabı değiştirmez (116). Metin sütununda düzeyler alfabetik sıralanır (117; 27.3). |
| 122–125 | Engel bayrağı; sıfır bileşeninin varlığı; engel için sıfır ve pozitif sayısı denetimi. | sifir_var <- engel || isTRUE(P$sifir_sisirme) (123). |
| 127–135 | Koşullu formül, ziformula, aile nesnesi ve eniyileyici denetimi. |
Sıfır formülü koşullu modelin sağ yanını yeniden kullanır; ofset eklenmez (130). |
| 136–146 | kur() yardımcı işlevi (uyarıları toplar, hatayı çevirir); model kestirilir; log-olabilirlik denetlenir; özet konsola yazılır. |
Aynı işlev karşılaştırma modeli için de kullanılır (180). |
| 148–165 | "Koşullu model" ve sıfır bileşeni tabloları; sıfır tablosunun iki notu. | Sıfır tablosunun başlığı yapıya göre değişir (156–157). sifir_olasiligi yalnız kesişim satırında doldurulur (155); kapsam notu (160–161) ve sınır çözümü notu (162–164) koşula bağlıdır. |
| 166–177 | Yayılım, rastgele kesişim varyansı, uyum tablosu, iki özet satırı, Hessian uyarısı. | Özet satırı aile adını glmmTMB'deki biçimiyle yazar (ör. truncated_nbinom2). |
| 179–187 | Sıfır bileşensiz karşılaştırma modeli ve AIC tablosu. | Model ikinci kez kestirilir; süre yaklaşık iki katına çıkar. |
| 188–196 | Uyarılar; gözlenen-kestirilen şekli. | fitted(m) sıfır bileşenini ve rastgele kesişimin koşullu modunu içeren beklenen sayıdır. |
Yapı seçimi üç satırda modele çevrilir (kısaltılmış; ayni, sıfır formülü seçiminin "Koşullu modeldeki sabit etkiler" olmasıdır):
zi <- if (!sifir_var) ~0 else if (ayni) stats::as.formula(paste("~", sag)) else ~1
aile <- if (!engel) temel_aile() else switch(..., nbinom2 = truncated_nbinom2(),
nbinom1 = truncated_nbinom1(), truncated_poisson())
m <- kur(formul, zi, aile)
27.6 Elle hesap: örnek veride bağımsız yeniden hesap
Ara değerler dogrulama/r_glmmtmb_nb/elle_hesap.py ve laplace_genel.py ile, glmmTMB ve TMB kullanılmadan hesaplanmıştır: yoğunluklar 27.4.1–27.4.3'teki formüllerle, grup başına Laplace toplamı kendi Newton döngüsü ve sayısal ikinci türevle, dış eniyileme BFGS ve Newton adımlarıyla, standart hatalar sayısal Hessian'ın tersinden.
Adım 1 — Bir gözlemin katkısı. Örnek ayarın vardığı model sıfır bileşensiz NB2 ile aynıdır (\hat\pi\approx0); kestirimler \hat\beta_0=0{,}580052, \hat\theta=0{,}942404, \hat\sigma_b^2=0{,}294447. Dördüncü satır: nokta R-1, mined = no, tür GP, count = 2. Sabit kısım \eta^0=0{,}580052 (başvuru düzeyleri); R-1'in koşullu modu \hat b=0{,}202850; \mu=e^{0{,}782902}=2{,}187811.
Bu gözlemin kestirilen varyansı \mu+\mu^2/\theta=7{,}2669'dur; ortalamasının 3,3 katı.
Adım 2 — Bir noktanın Laplace katkısı. R-1'in 28 gözlemi için h(\hat b)=-58{,}902884, h''(\hat b)=-21{,}131581:
Adım 3 — Toplam ve uyum ölçütleri. 23 noktanın toplamı \ell=-826{,}202205. Sıfır bileşensiz model k=10 (8 katsayı, \theta, \sigma_b): AIC =1652{,}404409+20=1672{,}404409. Örnek ayar bir parametre daha harcar (k=11) ve aynı \ell'ye varır: AIC =1674{,}404409; \Delta\text{AIC}=2{,}000000.
Adım 4 — Engel modeli iki parçadan oluşur. Sıfır bileşeni yalnız sabit terimken \hat\pi=387/644=0{,}600932, \hat\gamma_0=\operatorname{logit}(0{,}600932)=0{,}409349 ve
Sıfırda kesik NB2 karma modelinin 257 pozitif gözlemdeki log-olabilirliği \ell_{\text{sayım}}=-496{,}438872; toplam -929{,}613942. Sıfır bileşenine mined ve spp eklenince lojistik regresyonun log-olabilirliği -323{,}368695'e yükselir, sayım parçası değişmez: toplam -819{,}807567 (k=18, AIC 1675,615134).
Adım 5 — Engel modelinde beklenen sayı. Başvuru düzeyinde (mined = no, GP), ortalama bir noktada (b=0): \hat\mu=e^{0{,}749240}=2{,}115392, \hat\theta=1{,}513345, f(0)=(\theta/(\theta+\mu))^{\theta}=0{,}266198. Pozitif sayımların ortalaması 2{,}115392/(1-0{,}266198)=2{,}882784; sıfır olasılığı \operatorname{logit}^{-1}(-0{,}648191)=0{,}343397; beklenen sayı (1-0{,}343397)\cdot2{,}882784=1{,}892844.
Adım 6 — Yayımlanmış karşılaştırma. Brooks ve ark. (2017) yalnız spp içeren Poisson karma modeli ile aynı değişkenli engel Poisson modelinin AIC'lerini tamsayıya yuvarlanmış \DeltaAIC olarak verir (330 ve 314; fark 16). Aynı iki model burada \ell=-988{,}327389 (k=8, AIC 1992,654777) ve \ell=-973{,}256391 (k=15, AIC 1976,512781) verir; fark 16,141996'dır.
27.6.1 Doğrulama: MerQuR+, Python ve R
MerQuR+ sütunu şablonun tablolarından tam hassasiyetle alınmıştır. R sütunu glmmTMB kullanmaz: sıfır bileşensiz ve sıfır şişirilmiş NB2 modellerinde Laplace toplamı açık formülle (dnbinom; tepe noktası Newton adımlarıyla, türevler merkezi farkla) kurulmuş; engel modellerinde sıfır süreci glm(binomial) ile, pozitif sayımlar sıfırda kesik dağılımın açık Laplace toplamıyla ayrı ayrı kestirilip log-olabilirlikler toplanmıştır.
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | |
|---|---|---|---|---|---|
| Örnek ayar (sıfır şiş. NB2): (Intercept) | 0,58005183 | 0,58005184 | 0,58005186 | 3,5e−8 | ✓ |
| Örnek ayar (sıfır şiş. NB2): minedyes | −2,26327494 | −2,26327494 | −2,26327494 | 3,4e−9 | ✓ |
| Örnek ayar (sıfır şiş. NB2): sppPR | −1,31972513 | −1,31972514 | −1,31972514 | 5,1e−9 | ✓ |
| Örnek ayar (sıfır şiş. NB2): sppDES-L | 0,79292874 | 0,79292874 | 0,79292873 | 2,4e−9 | ✓ |
| Örnek ayar: SH((Intercept)) | 0,22551264 | 0,22551233 | 0,22551231 | 3,3e−7 | ✓ |
| Örnek ayar: SH(minedyes) | 0,28380744 | 0,2838074 | 0,28380741 | 4,6e−8 | ✓ |
| Örnek ayar: SH(sppDES-L) | 0,21664882 | 0,21664872 | 0,21664871 | 1,1e−7 | ✓ |
| Örnek ayar: z(minedyes) | −7,97468491 | −7,97468619 | — | 1,6e−7 | ✓ |
| Örnek ayar: p(minedyes) | 1,527701·10−15 | 1,527685·10−15 | — | 1,6e−20 | ✓ |
| Örnek ayar: oran oranı (minedyes) | 0,1040093 | 0,1040093 | — | 1,5e−11 | ✓ |
| Örnek ayar: sıfır olasılığı \hat\pi | 1,267238·10−7 | 9,934605·10−10 | 2,957884·10−8 | 1,3e−7 | ✓ |
| Örnek ayar: \theta | 0,94240357 | 0,94240357 | 0,94240365 | 7,6e−8 | ✓ |
| Örnek ayar: rastgele kesişim varyansı | 0,2944469 | 0,2944469 | 0,2944469 | 4,0e−9 | ✓ |
| Örnek ayar: logLik | −826,20220466 | −826,20220456 | −826,20220458 | 1,2e−10 | ✓ |
| Örnek ayar: AIC | 1674,40440932 | 1674,40440911 | — | 1,2e−10 | ✓ |
| Örnek ayar: BIC | 1723,5490953 | 1723,5490951 | — | 1,2e−10 | ✓ |
| Örnek ayar: sıfır bileşensiz model logLik | −826,20220456 | −826,20220455 | −826,20220455 | 4,9e−12 | ✓ |
| Örnek ayar: sıfır bileşensiz model AIC | 1672,40440912 | 1672,40440911 | — | 4,8e−12 | ✓ |
| Örnek ayar: dAIC (seçilen model) | 2,0000002 | 2 | — | 9,9e−8 | ✓ |
| NB2 (sıfır bileşensiz): minedyes | −2,26328421 | −2,26327494 | −2,26327495 | 4,1e−6 | ✗ |
| NB2: SH(minedyes) | 0,28380897 | 0,28380738 | 0,28380746 | 1,6e−6 | ✗ |
| NB2: \theta | 0,94240696 | 0,94240357 | 0,94240357 | 3,4e−6 | ✗ |
| NB2: rastgele kesişim varyansı | 0,29444957 | 0,2944469 | 0,29444691 | 2,7e−6 | ✗ |
| NB2: logLik | −826,20220456 | −826,20220455 | −826,20220455 | 4,9e−12 | ✓ |
| Engel NB2: (Intercept) (sayım) | 0,74924193 | 0,74924016 | 0,74924016 | 1,8e−6 | ✗ |
| Engel NB2: minedyes (sayım) | −1,08540238 | −1,08540355 | −1,08540355 | 1,1e−6 | ✗ |
| Engel NB2: SH(minedyes) (sayım) | 0,21893827 | 0,21893824 | 0,21893824 | 2,9e−8 | ✓ |
| Engel NB2: (Intercept) (sıfır) | −0,64820053 | −0,64819097 | −0,64819096 | 9,6e−6 | ✗ |
| Engel NB2: minedyes (sıfır) | 2,40379063 | 2,4037889 | 2,40378889 | 7,2e−7 | ✓ |
| Engel NB2: SH(minedyes) (sıfır) | 0,20888463 | 0,20888459 | 0,20887698 | 7,6e−6 | ✗ |
| Engel NB2: sppPR (sıfır) | 1,67851333 | 1,67850131 | 1,67850122 | 7,2e−6 | ✗ |
| Engel NB2: P(Y=0), başvuru düzeyi | 0,34339516 | 0,34339731 | 0,34339732 | 2,2e−6 | ✗ |
| Engel NB2: \theta | 1,51334771 | 1,51334466 | 1,51334466 | 2,0e−6 | ✗ |
| Engel NB2: rastgele kesişim varyansı | 0,0055499 | 0,00554967 | 0,00554967 | 2,3e−7 | ✓ |
| Engel NB2: logLik | −819,80756697 | −819,80756697 | −819,80756697 | 1,3e−12 | ✓ |
| Engel NB2: AIC | 1675,61513394 | 1675,61513393 | — | 1,2e−12 | ✓ |
| Engel NB2: dAIC (seçilen model) | 3,21072482 | 3,21072482 | — | 1,9e−9 | ✓ |
| Engel NB2, sıfır sabit: (Intercept) (sıfır) | 0,4093487 | 0,40934861 | 0,40934861 | 9,4e−8 | ✓ |
| Engel NB2, sıfır sabit: logLik | −929,61394185 | −929,61394185 | — | 1,2e−13 | ✓ |
| Engel Poisson: minedyes (sayım) | −1,01448674 | −1,01448924 | −1,01448924 | 2,5e−6 | ✗ |
| Engel Poisson: minedyes (sıfır) | 2,403806 | 2,4037889 | 2,40378889 | 7,1e−6 | ✗ |
| Engel Poisson: rastgele kesişim varyansı | 0,05318174 | 0,05318043 | 0,05318043 | 1,3e−6 | ✗ |
| Engel Poisson: logLik | −878,08343716 | −878,08343714 | −878,08343714 | 2,2e−11 | ✓ |
| Engel Poisson, yalnız spp: logLik | −973,25639051 | −973,2563905 | −973,2563905 | 8,4e−12 | ✓ |
| Engel Poisson, yalnız spp: AIC | 1976,51278102 | 1976,51278101 | 1976,51278101 | 8,2e−12 | ✓ |
| Poisson, yalnız spp (karşılaştırma modeli): logLik | −988,3273887 | −988,32738868 | −988,32738868 | 2,0e−11 | ✓ |
| Poisson, yalnız spp: AIC | 1992,6547774 | 1992,65477736 | 1992,65477736 | 2,0e−11 | ✓ |
| AIC farkı (Poisson − engel Poisson) | 16,14199638 | 16,14199636 | 16,14199636 | 1,5e−9 | ✓ |
| Sıfır şiş. Poisson: minedyes | −2,15934284 | −2,15931958 | — | 1,1e−5 | ✗ |
| Sıfır şiş. Poisson: sıfır kesişimi | −0,89582163 | −0,8958285 | — | 6,9e−6 | ✗ |
| Sıfır şiş. Poisson: \hat\pi | 0,28990991 | 0,2899085 | — | 1,4e−6 | ✗ |
| Sıfır şiş. Poisson: rastgele kesişim varyansı | 0,29310382 | 0,29309401 | — | 9,8e−6 | ✗ |
| Sıfır şiş. Poisson: logLik | −896,67714109 | −896,67714106 | — | 2,4e−11 | ✓ |
| Poisson (karşılaştırma modeli): AIC | 1962,80746568 | 1962,80746565 | — | 1,5e−11 | ✓ |
| Sıfır şiş. NB1: minedyes | −2,02659471 | −2,02659034 | — | 2,2e−6 | ✗ |
| Sıfır şiş. NB1: sıfır kesişimi | −2,88053652 | −2,88052371 | — | 4,4e−6 | ✗ |
| Sıfır şiş. NB1: \phi | 1,86070148 | 1,86067912 | — | 1,2e−5 | ✗ |
| Sıfır şiş. NB1: rastgele kesişim varyansı | 0,21678649 | 0,21678676 | — | 2,7e−7 | ✓ |
| Sıfır şiş. NB1: logLik | −814,54159228 | −814,54159227 | — | 1,4e−11 | ✓ |
| NB1 (karşılaştırma modeli): logLik | −815,10154703 | −815,10154703 | — | 2,1e−12 | ✓ |
| Engel NB1: \phi | 1,89261097 | 1,89260727 | — | 2,0e−6 | ✗ |
| Engel NB1: logLik | −930,80350973 | −930,80350973 | — | 1,4e−12 | ✓ |
| Ofset (sıfır şiş. NB2): minedyes | −2,38157819 | −2,38157819 | — | 4,5e−10 | ✓ |
| Ofset: \theta | 0,70050054 | 0,70050054 | — | 4,7e−9 | ✓ |
| Ofset: rastgele kesişim varyansı | 0,33537538 | 0,33537538 | — | 1,1e−9 | ✓ |
| Ofset: logLik | −859,32600105 | −859,32600097 | — | 9,6e−11 | ✓ |
| Ağırlık (sıfır şiş. NB2): minedyes | −2,35429177 | −2,35428965 | — | 9,0e−7 | ✓ |
| Ağırlık: \theta | 1,01385173 | 1,01384533 | — | 6,3e−6 | ✗ |
| Ağırlık: rastgele kesişim varyansı | 0,39222693 | 0,39222826 | — | 1,3e−6 | ✗ |
| Ağırlık: logLik | −1232,13398035 | −1232,13398035 | — | 1,2e−12 | ✓ |
| Sıfır şiş. NB2, sıfır aynı (iç çözüm): minedyes (sayım) | −1,42934334 | −1,42934778 | — | 3,1e−6 | ✗ |
| Sıfır şiş. NB2, sıfır aynı (iç çözüm): minedyes (sıfır) | 2,56306848 | 2,56303781 | — | 1,2e−5 | ✗ |
| Sıfır şiş. NB2, sıfır aynı (iç çözüm): \theta | 1,5116417 | 1,5116494 | — | 5,1e−6 | ✗ |
| Sıfır şiş. NB2, sıfır aynı (iç çözüm): rastgele kesişim varyansı | 0,14434804 | 0,14434415 | — | 3,9e−6 | ✗ |
| Sıfır şiş. NB2, sıfır aynı (iç çözüm): logLik | −817,14950621 | −817,14950619 | — | 1,9e−11 | ✓ |
Ölçütü karşılayan: 47/75. Python: yoğunluklar açık formülle; grup başına Laplace yaklaşımı (tepe noktası kendi Newton döngüsüyle, eğrilik sayısal ikinci türevle), BFGS + Newton, SH sayısal Hessian'ın tersinden. R: sıfır bileşensiz ve sıfır şişirilmiş NB2'de aynı tanım dnbinom ile; engel modellerinde sıfır süreci glm(binomial), pozitif sayımlar sıfırda kesik dağılımın açık Laplace toplamı. glmmTMB çağrılmamıştır. ✗ satırlarının gerekçesi metindedir.
Log-olabilirlik, AIC, BIC ve AIC farkı satırlarının hepsi (25 satır) ölçütü karşılar: şablonun vardığı olabilirlik değerleri bağımsız hesapla on basamak aynıdır. Örnek ayarın katsayıları ve standart hataları da 3\times10^{-7} içinde örtüşür. Örnek ayarın \hat\pi satırı üç hesapta üç ayrı sayı gösterir (1{,}3\times10^{-7}, 9{,}9\times10^{-10}, 3{,}0\times10^{-8}): hepsi "sıfır"dır; sınırdaki parametrenin lojit değeri belirlenemez (27.4.2).
✗ satırlarının tek kaynağı eniyileyicinin durma duyarlığıdır. glmmTMB'nin varsayılan eniyileyicisi durduğunda katsayılar ve yayılım parametreleri tam en büyükten göreli 10^{-6} ile 1{,}2\times10^{-5} uzakta kalır; bağımsız Python ve R hesapları ise birbirleriyle 10^{-8} düzeyinde aynıdır. Fark standart hataların on binde birinden küçüktür ve hiçbir sonucu değiştirmez; log-olabilirlik bu büyüklükteki kaymaya duyarsız olduğundan o satırlar örtüşür. Son beş satır, sıfır bileşeni koşullu modelle aynı olan sıfır şişirilmiş NB2 modeli içindir: bağımsız eniyileme şablonun vardığı çözümün yakınından başlatıldığında aynı noktaya ve aynı log-olabilirliğe (−817,149506) varır; bu modelin daha yüksek olabilirlikli ikinci bir çözümü 27.9 S6'da tartışılır.
27.7 Çıktıyı okuma
Örnek ayarın konsol metni:
mined: düzey sırası alfabetik (no, yes); ilk düzey başvurudur.
spp: düzey sırası Veri sekmesindeki sıradır (GP, PR, DM, EC-A, EC-L, DES-L, DF); ilk düzey başvurudur.
Family: nbinom2 ( log )
Formula: count ~ mined + spp + (1 | site)
Zero inflation: ~1
Data: d
AIC BIC logLik -2*log(L) df.resid
1674.4 1723.5 -826.2 1652.4 633
Random effects:
Conditional model:
Groups Name Variance Std.Dev.
site (Intercept) 0.2944 0.5426
Number of obs: 644, groups: site, 23
Dispersion parameter for nbinom2 family (): 0.942
Conditional model:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 0.5801 0.2255 2.572 0.010107 *
minedyes -2.2633 0.2838 -7.975 1.53e-15 ***
sppPR -1.3197 0.2875 -4.591 4.42e-06 ***
[…]
sppDES-L 0.7929 0.2166 3.660 0.000252 ***
sppDF 0.3120 0.2329 1.340 0.180329
Zero-inflation model:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -15.88 3103.37 -0.005 0.996
Not: Sıfır şişirme olasılığı sıfıra kestirildi (sınır çözümü); model sıfır bileşensiz modele eşdeğerdir. Sıfır bileşeninin katsayısı ve standart hatası yorumlanmaz.
n = 644; grup sayısı = 23; AIC = 1674,404; dağılım: nbinom2; yapı: sıfır şişirilmiş
Rastgele kesişim varyansı (site) = 0,2944
Tablolar (ilk dört ondalık):
| Tablo | Satır | Değerler |
|---|---|---|
| Koşullu model (log bağlantı) | (Intercept) | kestirim 0,5801; SH 0,2255; z 2,5721; p 0,0101; oran oranı 1,7861 |
| minedyes | −2,2633; 0,2838; z −7,9747; p 1,5·10⁻¹⁵; oran oranı 0,1040 | |
| sppPR | −1,3197; 0,2875; z −4,5905; oran oranı 0,2672 | |
| sppDES-L | 0,7929; 0,2166; z 3,6600; oran oranı 2,2099 | |
| Sıfır şişirme bileşeni (logit) | (Intercept) | −15,8813; SH 3103,37; p 0,9959; sıfır olasılığı 1,3·10⁻⁷ |
| Model uyumu | n 644; grup sayısı 23; logLik −826,2022; AIC 1674,4044; BIC 1723,5491; θ 0,9424; rastgele kesişim varyansı 0,2944 | |
| AIC karşılaştırması | Seçilen model | df 11; logLik −826,2022; AIC 1674,4044; dAIC 2,0000 |
| Sıfır bileşensiz karma model (aynı aile) | df 10; logLik −826,2022; AIC 1672,4044; dAIC 0 |
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| Düzey satırları | Her etken sabit etkinin düzey sırası ve başvuru düzeyi | Katsayılar ilk düzeye göre farktır: minedyes "yes − no", sppPR "PR − GP". |
| Koşullu model | Sayım bileşeninin log-ortalama katsayıları | minedyes oran oranı 0,104: aynı tür ve benzer bir noktada, madencilikten etkilenen yerde beklenen sayı %90 daha az. Engel yapısında katsayı kesilmemiş ortalamaya aittir. |
| Sıfır bileşeni | Lojit ölçeğinde \boldsymbol\gamma | Sıfır şişirilmişte yapısal sıfır, engelde P(Y=0). sifir_olasiligi yalnız kesişim satırında doludur: başvuru düzeyindeki olasılık (27.4.4). |
| "Not: Sıfır şişirme olasılığı sıfıra kestirildi …" | Sınır çözümü: sıfır kesişimi büyük negatif, SH'si binlerle ölçülür | \hat\pi\approx0; sıfır bileşeni gereksiz. Katsayı ve p değeri yorumlanmaz; model sıfır bileşensiz modele eşdeğerdir. |
| Yayılım | NB2'de \theta, NB1'de \phi | \theta küçük ya da \phi büyük: güçlü aşırı yayılım. |
| Rastgele kesişim varyansı | \hat\sigma_b^2 (log ölçeği) | SS 0,54: ortalamanın bir SS üstündeki noktada beklenen sayı e^{0{,}54}=1{,}72 kat. |
| AIC karşılaştırması | Seçilen model ve sıfır bileşensiz karşılığı | dAIC = 0 olan satır yeğlenir; burada sıfır bileşensiz model. |
Şekil 27.1. Şablonun çizdiği gözlenen ve kestirilen sayımlar (örnek ayar). Yatay eksen, rastgele kesişimin koşullu modunu içeren beklenen sayıdır; kesikli çizgi y=x doğrusudur.

Rapor cümlesi (örnek ayar):
Semender sayıları, nokta rastgele kesişimli sıfır şişirilmiş negatif binom (NB2) karma modeliyle çözümlendi (644 gözlem, 23 nokta; Laplace yaklaşımı). Sabit olasılıklı sıfır şişirme bileşeni sınırda kestirildi (\hat\pi < 0{,}001) ve modeli sıfır bileşensiz NB2 karma modeline göre iyileştirmedi (\DeltaAIC = 2,0); sonuçlar sıfır bileşensiz modelden raporlandı. Madencilikten etkilenen noktalarda beklenen sayı etkilenmeyenlerin 0,10 katıydı (b = -2{,}26, SH = 0{,}28, z = -7{,}97, p < 0{,}001). Yayılım parametresi \hat\theta = 0{,}94, noktalar arası varyans 0,29 kestirildi.
27.8 Sık hatalar ve tuzaklar
- Sınırdaki sıfır bileşenini yorumlamak. Sıfır kesişimi −10'dan küçük ve standart hatası çok büyükse \hat\pi\approx0'dır; katsayı, z ve p anlam taşımaz ve değer eniyileyiciye göre değişir (−15,88 ve −10,13). Şablon bu durumda "Not: Sıfır şişirme olasılığı sıfıra kestirildi (sınır çözümü) …" satırını yazar (örnek ayarda iki eniyileyiciyle de); AIC karşılaştırma tablosuna bakılır ve sıfır bileşeni kapatılır.
- "Sıfır çok" diye sıfır şişirilmiş model seçmek. Sıfır oranının yüksek olması tek başına yapısal sıfır kanıtı değildir; küçük ortalamalı ya da aşırı yayılımlı bir sayım dağılımı da çok sıfır üretir. Örnek veride sıfırların %60'ı NB2 ile açıklanır.
- İki yapıda sıfır katsayılarını aynı okumak. Sıfır şişirilmiş yapıda \boldsymbol\gamma yapısal sıfır olasılığını, engel yapısında bütün sıfırların olasılığını modeller. Aynı veride
minedyesiçin sıfır şişirilmiş NB2 (sıfır bileşeni aynı) 2,5631, engel NB2 2,4038 verir; ikincisi doğrudan "hiç gözlenmeme" odds'unun logaritmasıdır. sifir_olasiligisütunundaki değeri bütün düzeylere mal etmek. Sütun yalnız kesişim satırında doludur ve başvuru düzeyine aittir (engel NB2'demined = no, GP: 0,343). Başka bir düzeyin olasılığı kesişim ile ilgili katsayılar toplanıp ters lojit alınarak hesaplanır (madencilikten etkilenen noktada GP: 0,853; 27.4.4).- Engel yapısında "Sıfır şişirme bileşeni" onayını kapatarak sıfır bileşensiz model beklemek. Engel her zaman sıfır bileşenlidir; onay yalnız sıfır şişirilmiş yapıda etkilidir. Sıfır bileşensiz model için yapı "Sıfır şişirilmiş" seçilip onay kaldırılır.
- Engel modelinde rastgele kesişim varyansını bütün veriye mal etmek. Varyans yalnız pozitif sayımların gruplar arası değişimidir; grupların "hiç gözlenmeme" eğilimindeki farklar sıfır bileşenine rastgele etki konmadığı için modellenmez.
- İki düzeyli metin sütununun başvuru düzeyini ilk satırdan beklemek.
minedalfabetik sıralanır (başvuru düzeyi "no"); çıktının başındaki düzey satırı okunur (27.3'teki kutu). - Sayısal sütunun kategorik işaretlenmesi. Yanıt, ofset ve ağırlık sayısal rollerdir: yalnız bu rollere atanmış bir sütun, veri sekmesinde kategorik işaretli olsa da R'ye sayı olarak gider (Bölüm 1.3) ve sonuç değişmez; yanıtı, ofseti ya da ağırlığı kategorik işaretlenmiş veri, işaretlenmemiş veriyle aynı tabloları verir. Aynı sütun sayısal olmayan bir role de atanmışsa etken olarak gider ve şablon kendi iletisiyle durur: yanıt sütunu grup olarak da seçilirse "Yanıt sayısal olmalı." (106); ofset ve ağırlık için aynı denetim 109 ve 110. satırlardadır. Sayısal bir açıklayıcı kategorik işaretlenirse faktör olarak girer:
sample(1–4) sayısalken tek katsayı (0,0600), kategorikken üç gösterge katsayısı kestirilir; ikisi farklı modellerdir. - Sıfır formülünde "aynı" seçeneğiyle çok düzeyli faktör. Sıfır bileşeni koşullu modelin bütün katsayılarını yineler; örnek veride parametre sayısı 11'den 18'e çıkar. Bir düzeyde hiç sıfır (ya da hiç pozitif) yoksa o düzeyin sıfır katsayısı sonsuza gider. Sıfır şişirilmiş yapıda olabilirlik birden çok tepeli de olabilir (27.9 S6).
- Ofseti ham ölçekte vermek. Ofset log ölçeğindedir; örnekleme alanı ya da süre için sütunun logaritması verilir.
- AIC'yi farklı yanıt ya da farklı satır kümeleriyle karşılaştırmak. Karşılaştırma tablosundaki iki model aynı satırları kullanır. Elle yapılan karşılaştırmalarda eksik değer yüzünden satır sayısı değişiyorsa AIC'ler karşılaştırılamaz.
27.9 Uzman soruları
S1. Sıfır şişirilmiş model mi, engel modeli mi?
Sıfırların kaynağına ilişkin kabule bağlıdır. Bir bölüm birimin hiçbir koşulda pozitif sayım veremeyeceği (türün o noktada hiç bulunmaması) ve geri kalanında da rastlantıyla sıfır sayılabileceği düşünülüyorsa sıfır şişirilmiş model doğaldır. "Var mı?" ve "varsa kaç?" ayrı süreçlerse ve bütün sıfırlar ilkine aitse engel modeli doğaldır. Engel modeli sayısal olarak daha kararlıdır (olabilirlik ayrışır, sıfır bileşeni sınıra gitmez) ve sıfır katsayıları doğrudan yorumlanır; sıfır şişirilmiş model beklenen sayıyı tek bir ortalama üzerinden kurar. Örnek veride aynı değişkenlerle AIC: engel NB2 1675,62; sıfır bileşensiz NB2 1672,40.
S2. Örnek ayarda sıfır şişirme neden "yok" çıkıyor?
Sabit bir yapısal sıfır olasılığı bütün gözlemlere aynı \pi'yi verir. Bu veride sıfırlar madencilikten etkilenen noktalarda yoğunlaşır (%84 ve %38); bu fark koşullu modeldeki mined katsayısı ve NB2'nin küçük \theta'sı (0,94) ile karşılanır, geriye sabit bir \pi ile açıklanacak sıfır kalmaz. Aynı yapı Poisson ile kurulduğunda durum değişir: Poisson aşırı yayılımı taşıyamadığından sıfır bileşeni devreye girer (\hat\gamma_0=-0{,}896, \hat\pi=0{,}290; AIC 1813,35 ve sıfır bileşensiz Poisson 1962,81). Sıfır şişirmenin "anlamlı" çıkması bu yüzden çoğu zaman yanlış sayım dağılımının belirtisidir.
S3. NB1 ile NB2 arasında bu veri hangisini destekliyor?
Sıfır bileşensiz karma modelde NB1 logLik −815,10 (AIC 1650,20), NB2 −826,20 (AIC 1672,40) verir: varyansın ortalamayla doğrusal büyümesi bu veriye daha iyi uyar. NB1'e sabit sıfır şişirme eklemek (\hat\pi=0{,}053) log-olabilirliği −814,54'e çıkarır; AIC 1651,08 ile sıfır bileşensiz NB1'in 0,88 üstündedir. Bu bölümde kurulan modeller içinde en düşük AIC sıfır bileşensiz NB1 karma modelinindir. Şablonun karşılaştırma tablosu yalnız sıfır bileşeninin varlığını sınar; aile seçimi için model her aileyle ayrı çalıştırılıp AIC'ler karşılaştırılır.
S4. Engel modelinde karşılaştırma neden kesilmemiş aileyle yapılıyor?
Sorulan soru "sıfırlar için ayrı bir süreç gerekli mi?" sorusudur; karşılığı, sıfırları da sayım dağılımının ürettiği sıradan karma modeldir. Engel modelinden sıfır bileşenini çıkarmak anlamsızdır (kesik dağılım sıfır üretmez). İki model iç içe değildir; AIC farkı yine de yorumlanabilir. Yalnız spp içeren Poisson modellerinde engel yapısı AIC'yi 16,14 düşürür; bu, yayımlanmış karşılaştırmayla (Brooks ve ark., 2017) aynıdır.
S5. Engel NB2'de rastgele kesişim varyansı neden bu kadar küçük?
Engel modelinde koşullu bileşen yalnız pozitif sayımları görür. Noktalar arasındaki asıl fark semender bulunup bulunmamasındadır ve bu fark sıfır bileşenine gider; bulunduğu yerde sayılar noktadan noktaya az değişir (\hat\sigma_b^2=0{,}0055, SS 0,074). Sıfır şişirilmiş ve sıfır bileşensiz modellerde aynı varyans 0,29'dur, çünkü orada sıfırlar da rastgele kesişimi besler. Varyansın sıfıra bu kadar yakın olması sınır durumudur; standart hatası kendisinden büyüktür ve engel modelinde rastgele kesişim neredeyse gereksizdir.
S6. Sıfır bileşeni koşullu modelle aynı olduğunda sonuç eniyileyiciye bağlı olabilir mi?
Olabilir. Sıfır şişirilmiş karışım olabilirliği birden çok tepeli olabilir: bir sıfır, yapısal sıfır olarak da sayım dağılımının sıfırı olarak da açıklanabilir. Örnek veride sıfır şişirilmiş NB2 modelinde (sıfır bileşeni mined + spp) şablon \ell=-817{,}15 değerinde bir iç çözüme varır (minedyes sıfır katsayısı 2,5631; \hat\sigma_b^2=0{,}144). Bu nokta gerçek bir yerel en büyüktür: bağımsız eniyileme yakınından başlatıldığında aynı noktaya varır (gradyan 5\times10^{-8}). Aynı eniyileme başka bir başlangıç noktasından daha yüksek olabilirlikli (\ell=-814{,}91) bir sınır çözümü bulur: madencilikten etkilenmeyen noktalarda ve iki türde (PR, DF) yapısal sıfır olasılığı sıfıra gider (lojit katsayıları −33 ve −19 dolayında; standart hataları yüzlerle, binlerle ölçülür). Uygulamadaki ders şudur: sıfır katsayılarının standart hataları çok büyükse ya da sonuç eniyileyiciyle değişiyorsa model verinin taşıyabileceğinden zengindir; sıfır bileşeni sadeleştirilir ya da engel yapısına geçilir (orada olabilirlik ayrışır ve bu belirsizlik yoktur).
S7. Koşullu model katsayıları kitle ortalamasına mı, gruba mı aittir?
Gruba. Katsayılar rastgele kesişim sabit tutularak yorumlanır: "aynı noktada" bir değişkenin etkisi. Log bağlantıda rastgele kesişim ortalamayı çarpan olarak etkilediğinden (E[e^{b}]=e^{\sigma_b^2/2}) oran oranları kitle ortalaması için de aynıdır; yalnız kesişim \sigma_b^2/2 kadar kayar. Sıfır bileşeninde rastgele etki olmadığından lojit katsayılar zaten kitle düzeyindedir. Beklenen sayının kendisi ise iki bileşenin çarpımıdır (27.4.2, 27.4.3) ve bir değişken iki bileşene birden giriyorsa toplam etkisi tek bir katsayıdan okunamaz; düzeylerin beklenen sayıları ayrı ayrı hesaplanır (27.6, Adım 5).
S8. Laplace yaklaşımı burada yeterli mi?
Her noktada 28 gözlem vardır; integrand normale yakındır ve yaklaşım iyidir. Bağımsız hesap aynı Laplace tanımını uygular ve şablonla örtüşür; yaklaşımın kendisinin hatası bu karşılaştırmadan görülmez. Grup başına gözlem sayısı az (2–5) ve sayılar küçükse Laplace varyansı aşağı yanlı kestirebilir; o durumda sıfır bileşensiz Poisson modeli glmer_ileri'de uyarlanır karelemeyle kurulup fark ölçülebilir.
S9. Önsel ağırlık ve ofset iki bileşeni de etkiler mi?
Ağırlık gözlemin bütün log-olabilirlik katkısını çarpar; hem sıfır hem sayım bileşenini etkiler. Ofset yalnız koşullu modelin doğrusal yordayıcısına girer: maruz kalma arttıkça beklenen sayı artar, ama sıfır bileşeninin olasılığı ofsetle değişmez. Maruz kalmanın sıfır olasılığını da etkilediği düşünülüyorsa (uzun gözlemde "hiç görmeme" azalır) sıfır şişirilmiş yapı bunu kendiliğinden karşılar, çünkü örnekleme sıfırları f(0\mid\mu) üzerinden ofsete bağlıdır; engel yapısında karşılamaz.
27.10 Kaynaklar
- Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723. https://doi.org/10.1109/TAC.1974.1100705
- Brooks, M. E., Kristensen, K., van Benthem, K. J., Magnusson, A., Berg, C. W., Nielsen, A., Skaug, H. J., Mächler, M., & Bolker, B. M. (2017). glmmTMB balances speed and flexibility among packages for zero-inflated generalized linear mixed modeling. The R Journal, 9(2), 378–400. https://doi.org/10.32614/RJ-2017-066
- Kristensen, K., Nielsen, A., Berg, C. W., Skaug, H., & Bell, B. M. (2016). TMB: Automatic differentiation and Laplace approximation. Journal of Statistical Software, 70(5), 1–21. https://doi.org/10.18637/jss.v070.i05
- Lambert, D. (1992). Zero-inflated Poisson regression, with an application to defects in manufacturing. Technometrics, 34(1), 1–14. https://doi.org/10.2307/1269547
- Mullahy, J. (1986). Specification and testing of some modified count data models. Journal of Econometrics, 33(3), 341–365. https://doi.org/10.1016/0304-4076(86)90002-3
- Price, S. J., Muncy, B. L., Bonner, S. J., Drayer, A. N., & Barton, C. D. (2016). Effects of mountaintop removal mining and valley filling on the occupancy and abundance of stream salamanders. Journal of Applied Ecology, 53(2), 459–468. https://doi.org/10.1111/1365-2664.12585
- Zeileis, A., Kleiber, C., & Jackman, S. (2008). Regression models for count data in R. Journal of Statistical Software, 27(8), 1–25. https://doi.org/10.18637/jss.v027.i08