MerQuR+Başvuru Kitabı

40. Panel sayım modelleri: sabit ve rastgele etkili Poisson ve negatif binom, Hausman testi

Şablon kimliği: panel_sayim · Kategori: model · Dil: R · Dosya: pro/sablonlar/model/panel_sayim.R (satır 1–359; üstbilgi 1–70) · Örnek veri: _ornek/panel_sayim_ships.csv · Paketler: taban R (stats), numDeriv 2016.8-1.1, MASS 7.3-65; normal rastgele etki seçilirse lme4 ve glmmTMB

40.1 Ne işe yarar

Şablon, aynı birimlerin (firma, hastane, gemi tipi, il, hasta) yinelenerek gözlendiği veride bir sayım yanıtını modeller. Cevapladığı soru şudur: "Birimler arasındaki kalıcı, gözlenmeyen farklar ayıklandığında açıklayıcılar olay hızını nasıl değiştiriyor; bu kalıcı farklar açıklayıcılarla ilişkili mi?"

E(y_{it}\mid\mathbf x_{it},\nu_i)=e_{it}\,\exp(\mathbf x_{it}^{\top}\boldsymbol\beta)\,\nu_i
  • y_{it}: i. birimin t. gözlemindeki sayım (0, 1, 2, …); i=1,\dots,G, t=1,\dots,T_i.
  • e_{it}: maruziyet (gözlem süresi, risk altındaki nüfus). Verilmezse 1'dir. \ln e_{it} modele katsayısı 1 olan öteleme (offset) olarak girer; böylece \boldsymbol\beta hızı (maruziyet birimi başına olay) anlatır.
  • \exp(\beta_j): oran oranı (IRR). Açıklayıcı bir birim arttığında hız \exp(\beta_j) katına çıkar.
  • \nu_i>0: birim etkisi; birimin bütün gözlemlerinde ortak çarpan. Modeller \nu_i'ye nasıl davrandıklarıyla ayrılır.

Şablon dört modeli en çok olabilirlikle kestirir: koşullu sabit etkili Poisson (\nu_i kestirilmez, birim toplamına koşullanarak yok edilir), rastgele etkili Poisson (\nu_i gamma ya da log-normal dağılır), koşullu sabit etkili negatif binom ve rastgele etkili negatif binom (ikisi de Hausman, Hall ve Griliches, 1984; kısaca HHG). Sabit ve rastgele etkili modeller birlikte kurulduğunda Hausman testi yazılır.

Ne zaman kullanılır? Yanıt sayımsa; aynı birim en az iki kez gözlenmişse; birimler arasında açıklayıcıların açıklamadığı kalıcı düzey farkı bekleniyorsa; "birim etkisi açıklayıcılarla ilişkisizdir" varsayımının sınanması isteniyorsa.

Ne zaman kullanılmaz?

  • Her birim tek kez gözlenmişse: temel programdaki Poisson / Negatif Binomial Regresyon.
  • Yanıt sürekliyse: temel programdaki Panel Veri Regresyonu; sansürlü sürekli yanıtta panel_tobit (Bölüm 41).
  • Rastgele eğim, iç içe ya da çapraz rastgele etki gerekiyorsa: glmer_ileri (Bölüm 19), r_glmmtmb_nb (Bölüm 27) ya da temel programdaki GLMM (Genelleştirilmiş Doğrusal Karma Modeller).
  • İlgi, birim etkisine koşullu değil kitle ortalaması (marjinal) etkisindeyse: temel programdaki GEE (Genelleştirilmiş Tahmin Denklemleri).
  • Açıklayıcılar kategorikse: önce 0/1 kukla sütunlara çevrilir; şablon metin düzeyli sütunu kabul etmez (satır 84).

Temel programla ilişki. Temel programın GLMM analizi log ölçeğinde normal birim etkili Poisson ve negatif binom modellerini kurar; Panel Veri Regresyonu yalnız sürekli yanıt içindir. Bu şablon sayım için panel ekonometrisinin dört klasik modelini verir: koşullu sabit etkili kestiriciler, gamma ve beta dağılımlı kapalı biçimli rastgele etkili modeller ve bunlar arasında Hausman testi. Normal rastgele etki seçeneği lme4 ve glmmTMB üzerinden GLMM tanımına bağlanır.

40.2 Şablonun girdileri

Form, üstbilgideki dokuz [[param]] bloğundan kurulur (panel_sayim.R:10–69).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Sayım yanıtı · y sayısal sütun · Değişkenler ilk sayısal sütun negatif olmayan tam sayılar Yanıt (81, 96).
Açıklayıcılar · x sütunlar (sayısal) · Değişkenler — en az 1 sayısal sütun Tasarım matrisi X; sabit terim ayrıca eklenir (83, 107).
Panel birimi · birim sütun · Değişkenler ilk sütun herhangi bir sütun Metne çevrilip birim numarası üretilir (86, 106).
Maruziyet · maruziyet sayısal sütun · Değişkenler boş pozitif sayılar; boş olabilir off = log(e) ötelemesi (85, 105).
Dağılım · dagilim seçim · Model poisson poisson, negbin, ikisi Hangi model ailesinin kurulacağı (156, 217).
Birim etkisi · etki seçim · Model ikisi fe, re, ikisi Sabit, rastgele ya da ikisi + Hausman (157, 178, 218, 234).
Rastgele etkinin dağılımı · re_dagilim seçim · Model gamma gamma, normal gamma: Poisson'da gamma, negatif binomda beta; normal: lme4 / glmmTMB (179, 237).
Güven düzeyi · guven ondalık · Seçenekler 0,95 0,5–0,999 zq = qnorm(1 − (1 − g)/2) (108–109).
Gauss-Hermite düğüm sayısı · dugum tamsayı · Gelişmiş 12 1–30 Yalnız normal rastgele etkili Poisson: nAGQ (194).

Örnek ayar (ornek_param, satır 9): y = kaza, x = op_75_79, co_65_69, co_70_74, co_75_79, birim = gemi, maruziyet = hizmet_ay; dagilim, etki ve re_dagilim varsayılandadır (Poisson, ikisi, gamma).

Şablonun kendi denetimleri.

Koşul İleti (özet) Satır
Veri açık değil; yanıt ya da birim seçilmemiş "Önce … veri açın" / "… seçin" 73, 75, 76
Yanıt, birim ve maruziyet dışında açıklayıcı kalmadı "En az bir açıklayıcı seçin." 79
Yanıt hiç sayıya çevrilemiyor "'…' sayısal değil." 82
Bir açıklayıcı hiç sayıya çevrilemiyor "sayısal değil; kategorik açıklayıcıları 0/1 kuklalara çevirin" 84
Yanıtta negatif ya da tam olmayan değer "negatif olmayan tam sayılardan (sayım) oluşmalı" 96
N< açıklayıcı sayısı + 5 "Gözlem sayısı … yetersiz" 99
Birim sayısı < 2 "En az iki panel birimi gerekir." 100
Her birimde tek gözlem (G=N) "birim başına en az iki gözlem gerekir" 101
Yanıtın hepsi 0 "model kestirilemez" 102
Bir açıklayıcı sabit "'…' açıklayıcısı sabit." 103
Açıklayıcılar sabit terimle doğrusal bağımlı "doğrusal bağımlı" 104
Sabit etkili Poisson için kullanılabilir birim yok "toplam sayısı sıfırdan büyük ve en az iki gözlemli birim yok" 160
Sabit etkili modelde bir açıklayıcı hiçbir birimin içinde değişmiyor "birim içinde değişmeyen açıklayıcılar tanımlanamaz: …" 163, 222
Bir model kestirilemedi "… kestirilemedi" 173, 187, 198, 204, 229, 251, 260
Normal rastgele etkili negatif binom, glmmTMB yok "glmmTMB paketi gerekli" 256

Satır temizliği (87–95): yanıtı, açıklayıcılardan biri, maruziyeti ya da birimi eksik ya da sayıya çevrilemeyen satırlar atılır ve sayısı yazılır (94); maruziyeti 0 ya da negatif olan satırlar ayrıca atılır ve "Uyarılar" satırında bildirilir (90–93). Sayısal sütunlar as.numeric(as.character(·)) ile okunur (80); bir sütunun veri sekmesindeki türü "kategorik" olsa bile değerleri doğru alınır.

40.3 Örnek veri

Dosya: _ornek/panel_sayim_ships.csv. McCullagh ve Nelder'in (1989) gemi hasarı verisi: 5 gemi tipi × 4 inşa dönemi × 2 işletme dönemi = 40 hücre; her hücrede toplam hizmet ayı ve dalga hasarı (kaza) sayısı. Eksik değer yoktur; 6 hücrede hizmet ayı 0'dır.

Değişken Rol Tür (veri sekmesi) Özet
kaza Yanıt sayısal Hasar olayı sayısı; 0–58, toplam 356.
gemi Panel birimi sayısal Gemi tipi numarası 1–5 (tip: A–E).
hizmet_ay Maruziyet sayısal Toplam hizmet ayı; 0–44882.
op_75_79 Açıklayıcı ikili İşletme dönemi 1975–79 ise 1 (referans 1960–74).
co_65_69, co_70_74, co_75_79 Açıklayıcı ikili İnşa dönemi kuklaları (referans 1960–64).
tip, insa, isletme kullanılmaz kategorik, sayısal, ikili Kuklaların kaynak sütunları.

Hizmet ayı 0 olan 6 satır atıldıktan sonra N=34 gözlem ve G=5 birim kalır; birim başına gözlem sayısı 7, 7, 7, 7 ve 6'dır. Birim toplamları:

Gemi tipi 1 (A) 2 (B) 3 (C) 4 (D) 5 (E)
Kaza toplamı Y_i 42 253 12 17 32
Hizmet ayı 9489 138317 6193 4444 5131

Birim sayısı yalnız beştir. Bu, modellerin katsayılarını kestirmeye yeter; birim etkisinin varyansı ve Hausman testi için ise azdır (40.8).

Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) dagilim = negbin (HHG sabit ve rastgele etkili negatif binom); (3) dagilim = ikisi, re_dagilim = normal; (4) maruziyet boş (40 satır); (5) maruziyet boş, hizmet_ay açıklayıcılara eklenmiş.

40.4 Yöntem: formüller ve hesap adımları

Şablonun hesap sırası: (1) sütunları sayıya çevir, geçersiz satırları at, denetle; (2) havuzlanmış Poisson modelini kur (başlangıç değerleri ve LR testi için); (3) seçilen modellerin log-olabilirliğini en büyükle, standart hataları gözlenen bilgi matrisinden al; (4) katsayı, IRR ve yardımcı parametre tablolarını, uyum tablosunu kur; (5) sabit ve rastgele etkili model birlikteyse Hausman istatistiğini hesapla; (6) iki şekli çiz.

Aşağıda \eta_{it}=\mathbf x_{it}^{\top}\boldsymbol\beta+\ln e_{it}, \lambda_{it}=\exp(\eta_{it}), Y_i=\sum_t y_{it} ve \Lambda_i=\sum_t\lambda_{it} yazılır.

40.4.1 Koşullu sabit etkili Poisson

y_{it}\mid\nu_i\sim\text{Poisson}(\nu_i\lambda_{it}) ise birim toplamı Y_i verildiğinde birimin sayımları çok terimli dağılır ve \nu_i sadeleşir:

P(y_{i1},\dots,y_{iT_i}\mid Y_i)=\frac{Y_i!}{\prod_t y_{it}!}\prod_t p_{it}^{\,y_{it}},\qquad p_{it}=\frac{\lambda_{it}}{\Lambda_i}
\ell_c(\boldsymbol\beta)=\sum_i\Big[\ln Y_i!-\sum_t\ln y_{it}!+\sum_t y_{it}\eta_{it}-Y_i\ln\sum_t e^{\eta_{it}}\Big]
  • p_{it}: birimin toplam olaylarından t. gözleme düşmesi beklenen pay. \nu_i payda ve payda aynı çarpan olduğundan düşer.
  • Sabit terim de düşer (her \eta_{it}'ye aynı sayı eklenirse p_{it} değişmez); bu modelde kesişim kestirilmez.
  • Y_i=0 olan birimde olasılık 1'dir, katkı sıfırdır; tek gözlemli birimde de p_{i1}=1'dir. Bu birimler çıkarılır (satır 159) ve sayısı uyarı olarak yazılır (287).

Neden koşullandırılır?

\nu_i'leri serbest parametre olarak kestirmek, birim sayısı arttıkça parametre sayısını da artırır. Poisson'da Y_i, \nu_i için yeterli istatistiktir: ona koşullanınca \nu_i olabilirlikten tümüyle çıkar ve \boldsymbol\beta, \nu_i'lerin dağılımı ya da açıklayıcılarla ilişkisi hakkında hiçbir varsayım yapılmadan kestirilir. Poisson'a özgü bir sonuç olarak koşullu kestirici, her birime bir kukla konarak kurulan sıradan Poisson regresyonunun \boldsymbol\beta'sına ve onun kovaryans matrisine tam olarak eşittir; 40.6'daki bağımsız hesap bu eşitliği kullanır.

Birim içinde hiç değişmeyen bir açıklayıcı p_{it}'yi etkilemez ve katsayısı tanımsızdır; şablon böyle bir açıklayıcı bulursa durur (satır 162–163). Şablonun üstbilgi açıklaması (TR/EN/ES) da bunu söyler: birim içinde değişmeyen açıklayıcı sabit etkili modelde kestirilemez ve çalıştırmayı durdurur.

40.4.2 Rastgele etkili Poisson

Gamma birim etkisi (HHG). \nu_i\sim\text{Gamma}(\theta,\theta), \theta=1/\alpha (ortalama 1, varyans \alpha). \nu_i integralle çıkarılınca birimin olabilirliği kapalı biçimdedir:

L_i=\prod_t\frac{\lambda_{it}^{\,y_{it}}}{y_{it}!}\cdot\frac{\Gamma(\theta+Y_i)}{\Gamma(\theta)}\cdot\frac{\theta^{\theta}}{(\theta+\Lambda_i)^{\theta+Y_i}}
\ell=\sum_{i,t}\big[y_{it}\eta_{it}-\ln y_{it}!\big]+\sum_i\Big[\ln\Gamma(\theta+Y_i)-\ln\Gamma(\theta)+\theta\ln\theta-(\theta+Y_i)\ln(\theta+\Lambda_i)\Big]
  • \alpha: birim etkisinin varyansı; birimler arası açıklanmamış hız farkının ölçüsü. \alpha\to0 iken model havuzlanmış Poisson'a iner.
  • Şablon \ln\alpha'yı kestirir (sınırsız parametre) ve \alpha=\exp(\ln\alpha), \operatorname{SH}(\alpha)=\alpha\operatorname{SH}(\ln\alpha), GA =\exp(\ln\alpha\mp z\operatorname{SH}) olarak geri çevirir (satır 188–189).
  • Birim etkisinin veriye koşullu (sonsal) ortalaması E(\nu_i\mid\text{veri})=(\theta+Y_i)/(\theta+\Lambda_i)'dir: gözlenen toplamın beklenene oranı, 1'e doğru büzülmüş biçimde.

Normal birim etkisi. \nu_i=\exp(u_i), u_i\sim N(0,\sigma_u^2). İntegralin kapalı biçimi yoktur; lme4 uyarlanır Gauss-Hermite karelemesiyle (varsayılan 12 düğüm) yaklaşıklar. Şablon yardımcı parametreyi \ln\sigma_u^2 olarak kestirir ve \sigma_u'ya çevirir (206–207).

Koddaki tercih

Normal seçenekte model önce lme4::glmer(…, nAGQ = dugum) ile kurulur (195); ardından aynı çağrının sapma fonksiyonu (devFunOnly = TRUE, 200) (\boldsymbol\beta,\ln\sigma_u^2) parametreleriyle şablonun ortak en büyükleyicisinden bir kez daha geçirilir ve standart hatalar bu fonksiyonun sayısal Hessian'ından alınır (201–204). Böylece \ln\sigma_u^2 için de standart hata elde edilir. lme4'ün karelemeli sapması doymuş modele göre ölçülür; şablon tam log-olabilirliği bulmak için \sum\ln\text{Poisson}(y_{it};y_{it}) ekler (205).

40.4.3 Negatif binom (HHG)

HHG'nin birim içi modeli: y_{it}\mid\delta_i negatif binom dağılır,

P(y_{it}\mid\delta_i)=\frac{\Gamma(\lambda_{it}+y_{it})}{\Gamma(\lambda_{it})\,y_{it}!}\Big(\frac{1}{1+\delta_i}\Big)^{\lambda_{it}}\Big(\frac{\delta_i}{1+\delta_i}\Big)^{y_{it}},\qquad E=\lambda_{it}\delta_i,\quad \operatorname{Var}=\lambda_{it}\delta_i(1+\delta_i)
  • \delta_i: birime özgü yayılım; varyansın ortalamaya oranı 1+\delta_i'dir ve birim içinde sabittir.
  • \lambda_{it}=\exp(\eta_{it}) burada dağılımın biçim parametresidir; birim etkisi ortalamaya değil yayılıma bağlanmıştır.

Koşullu sabit etkili. Y_i'ye koşullanınca \delta_i düşer:

P(y_{i1},\dots\mid Y_i)=\frac{\Gamma(\Lambda_i)\,\Gamma(Y_i+1)}{\Gamma(\Lambda_i+Y_i)}\prod_t\frac{\Gamma(\lambda_{it}+y_{it})}{\Gamma(\lambda_{it})\,\Gamma(y_{it}+1)}

Rastgele etkili. 1/(1+\delta_i)\sim\text{Beta}(r,s) varsayılır:

L_i=\frac{\Gamma(r+s)\,\Gamma(r+\Lambda_i)\,\Gamma(s+Y_i)}{\Gamma(r)\,\Gamma(s)\,\Gamma(r+s+\Lambda_i+Y_i)}\prod_t\frac{\Gamma(\lambda_{it}+y_{it})}{\Gamma(\lambda_{it})\,\Gamma(y_{it}+1)}
  • r,s>0: beta dağılımının parametreleri; şablon \ln r ve \ln s'yi kestirir, üç ayrı başlangıç değerinden en yüksek olabilirliği vereni tutar (satır 244–250).
  • Karşılaştırma modeli sabit yayılımlı havuzlanmış negatif binomdur (NB1: \operatorname{Var}=\lambda(1+\delta), satır 150–153).

HHG "sabit etkili" negatif binom, Poisson'daki anlamda sabit etkili değildir

Koşullu Poisson'da sabit terim ve birim içinde değişmeyen her şey olabilirlikten düşer. HHG negatif binomda \lambda_{it} biçim parametresi olduğundan sabit terim düşmez ve kestirilir (örnek veride −5,995). Allison ve Waterman (2002) bu modelin birim düzeyindeki kalıcı farkları ortalama üzerinden denetlemediğini, dolayısıyla alışılmış anlamda bir sabit etkili kestirici olmadığını göstermiştir. Birim kuklalı koşulsuz negatif binom (NB2) ayrı bir modeldir ve farklı katsayılar verir. Şablon HHG tanımını uygular; normal rastgele etki seçeneğinde negatif binom NB2'dir (glmmTMB, Laplace yaklaşımı; satır 259).

40.4.4 En büyükleme, standart hata, IRR

Koddaki tercih

Kapalı biçimli dört olabilirlik taban R ile yazılmıştır. Ortak en büyükleyici ml() (satır 116–126) önce optim(method = "BFGS", reltol = 1e-14), ardından o noktadan nlminb(rel.tol = 1e-14) çalıştırır ve daha küçük amaç değerini tutar; analitik gradyan verilmez. Kovaryans matrisi, eksi log-olabilirliğin numDeriv::hessian ile hesaplanan sayısal Hessian'ının tersidir (gözlenen bilgi). Hessian tersinir değilse standart hatalar boş bırakılır ve uyarı yazılır (124, 286).

Her katsayı için (z_q: seçilen güven düzeyinin normal kantili):

z=\frac{\hat\beta}{\operatorname{SH}},\quad p=2\Phi(-\lvert z\rvert),\quad \text{GA}=\hat\beta\mp z_q\operatorname{SH},\quad \mathrm{IRR}=e^{\hat\beta},\quad \operatorname{SH}(\mathrm{IRR})=e^{\hat\beta}\operatorname{SH},\quad \text{GA}_{\mathrm{IRR}}=e^{\hat\beta\mp z_q\operatorname{SH}}

Neden IRR'nin güven aralığı SH(IRR)'den kurulmaz?

\hat\beta yaklaşık normal dağılır; e^{\hat\beta} sağa çarpıktır. \operatorname{SH}(\mathrm{IRR}) delta yöntemiyle bulunan yaklaşık bir büyüklüktür ve simetrik bir aralık 1'in altına, hatta sıfırın altına taşabilir. Aralık katsayı ölçeğinde kurulup üstel dönüşümle taşınır; böylece her zaman pozitiftir ve IRR çevresinde asimetriktir. Test de katsayı ölçeğindedir: "IRR = 1" hipotezi "\beta=0" hipotezidir.

40.4.5 Havuzlanmış modele karşı LR testi

\mathrm{LR}=2\,(\ell_{\text{rastgele}}-\ell_{\text{havuz}}),\qquad p=\tfrac12\,P(\chi^2_1>\mathrm{LR})
  • \ell_{\text{havuz}}: Poisson'da birim etkisiz Poisson regresyonu (satır 148–149); negatif binomda sabit yayılımlı NB1.
  • H_0: birim etkisinin varyansı sıfır (\alpha=0).

Neden p değeri yarıya bölünür?

Varyans negatif olamaz; H_0 parametre uzayının sınırındadır. Sınırda LR istatistiği yarı olasılıkla tam 0 (kestirim sınıra yapışır), yarı olasılıkla \chi^2_1 dağılır (Self ve Liang, 1987). Bu karışımın (\bar\chi^2_{01}) sağ kuyruk olasılığı \mathrm{LR}>0 için \tfrac12P(\chi^2_1>\mathrm{LR})'dir. \mathrm{LR}=0 olduğunda karışımın sıfırdaki kütlesi nedeniyle p=1'dir; şablon \mathrm{LR}\le0 iken p=1 yazar (satır 212, 276).

40.4.6 Hausman testi

Sabit etkili kestirici, birim etkisi açıklayıcılarla ilişkili olsa da tutarlıdır; rastgele etkili kestirici yalnız ilişkisizse tutarlıdır ama o durumda daha etkindir. İki modelde ortak olan (zamanla değişen) q katsayı için:

\mathbf d=\hat{\boldsymbol\beta}_{\text{SE}}-\hat{\boldsymbol\beta}_{\text{RE}},\qquad H=\mathbf d^{\top}\big(\hat{\mathbf V}_{\text{SE}}-\hat{\mathbf V}_{\text{RE}}\big)^{-1}\mathbf d\ \sim\ \chi^2_q
  • SE: sabit etkili, RE: rastgele etkili. Sabit terim karşılaştırmaya girmez (satır 298).
  • H_0: rastgele etkili model tutarlıdır. H büyükse iki kestirim, örnekleme hatasının açıklayamayacağı kadar ayrışmıştır ve sabit etkili model yeğlenir.
  • Kuramda \hat{\mathbf V}_{\text{SE}}-\hat{\mathbf V}_{\text{RE}} pozitif (yarı) tanımlıdır (etkin kestiricinin varyansı daha küçüktür); sonlu örneklemde böyle çıkmayabilir. Matris tam ranklı değilse ^{-1} aynı sıradan genelleştirilmiş terstir ve sd sıra kadardır.

Koddaki tercih

Fark matrisinin özdeğerleri hesaplanır (satır 303–307); eşik, sabit etkili modelin ilgili \hat{\mathbf V}_{\text{SE}} bloğunun en büyük özdeğerinin 10^{-6} katıdır (304–305) ve eşiği aşan özdeğerlerin sayısı sıradır (307). (i) En küçük özdeğer eksi eşikten küçükse matris pozitif yarı tanımlı değildir: istatistik ve p boş kalır, pozitif_tanimli sütununa "hayır" yazılır ve nedeni söyleyen "Hausman testi hesaplanamadı" iletisi çıkar (309–310, 325–326). (ii) Sıra 0 ise iki kestirim (ve kovaryansları) özdeştir; test tanımsızdır ve ileti bunu söyler (311–312). (iii) Aksi halde istatistik, eşiği aşan özdeğerlerin alt uzayında H=\sum_{\lambda_j>\text{eşik}}(\mathbf u_j^{\top}\mathbf d)^2/\lambda_j ile hesaplanır ve sd sıra olur; böylece istatistik ile serbestlik derecesi aynı ters matristen gelir (313–317). Sıra q'ya eşitse pozitif_tanimli "evet", küçükse "yarı tanımlı (sıra r/q; aynı sıradan genelleştirilmiş ters)" yazar (319). p hesaplanabildiğinde 0,05 eşiğine göre karar cümlesi eklenir (327–329); eşik güven düzeyi alanından bağımsızdır.

`pozitif_tanimli = hayır` ise test hesaplanmaz

Fark matrisi pozitif yarı tanımlı değilken geçerli bir ki-kare istatistiği yoktur: negatif özdeğerli yönler istatistiğe eksi işaretle girer ve değer iki kovaryans matrisinin sayısal doğruluğuna çok duyarlıdır (örnek veride analitik Hessian ile genelleştirilmiş ters -34{,}44 verir; negatif ve karar vermez). Şablon bu durumda bir sayı üretmez; testi "hesaplanamadı" diye bildirir ve nedeni yazar. Çoğunlukla az sayıda birimde ya da iki kestirimin neredeyse çakıştığı tasarımlarda görülür.

40.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–70 Üstbilgi: kimlik, açıklama, örnek veri ve ayar, dokuz parametre. Form buradan kurulur (Bölüm 1.2).
71–86 Seçimlerin okunması; sayi() ile sütunların sayıya çevrilmesi; X, e, id. as.numeric(as.character(·)): faktör gelen sütun etiketinden okunur (80).
87–104 Geçersiz ve maruziyetsiz satırların atılması; sayım, birim, rank denetimleri. Atılan satır sayıları ayrı ayrı bildirilir.
105–113 Öteleme, birim numarası gi, sabit terimli Xc, normal kantili, seçimler, gsum(). Birim numarası verideki ilk görülme sırasıdır; sonuç satır sırasından bağımsızdır.
115–145 ml(), sinir(), tablo_kur(), yardimci_kur(). Sonsuz amaç değeri 10^{100} ile değiştirilir (127).
147–153 Havuzlanmış Poisson (glm.fit) ve NB1 olabilirliği. Başlangıç değerleri ve LR testi buradan.
155–214 Poisson: koşullu sabit etkili (157–177), gamma (179–190) ya da normal (191–209) rastgele etkili; LR (210–212). Koşullu olabilirlik taşmaya karşı log-toplam-üstel biçiminde yazılır (167–170).
216–278 Negatif binom: koşullu sabit etkili (218–233), NB1 (235–236), beta (237–254) ya da normal (255–273) rastgele etkili; LR (274–276). Negatif binomda normal seçenek seçilirse LR yazılmaz (karşılaştırma modeli NB1, kurulan model NB2'dir).
280–293 Özet satırı; her model için katsayı ve yardımcı parametre tabloları; uyum tablosu. Uyum tablosunda k parametre, n modelde kullanılan gözlem sayısıdır.
294–331 Hausman: özdeğerler ve sıra (303–307), hesaplanamama nedenleri (309–312), alt uzay istatistiği (313–317), tablo (318–324), iletiler (325–329), uyarılar (331). 40.4.6.
333–358 Orman grafiği (IRR ve GA) ve birim toplamları grafiği. İkinci şekil yalnız rastgele etkili model varsa çizilir (347–348).

40.6 Elle hesap: örnek veride bağımsız yeniden hesap

Ara değerler dogrulama/panel_sayim/elle_hesap.py ile, şablonun olabilirlik kodu, optim, nlminb ve numDeriv kullanılmadan hesaplanmıştır: sabit etkili Poisson birim kuklalı koşulsuz modelden (yinelemeli ağırlıklı en küçük kareler), rastgele etkili Poisson analitik gradyan ve Hessian'lı Newton-Raphson'dan. R tarafında (r_dogrulama.R) sabit etkili model fixest::fepois ile, rastgele etkili modeller kapalı biçim kullanılmadan, birim etkisi üzerinden sayısal integralle (integrate) kurulmuştur.

Adım 1 — Veri. Hizmet ayı 0 olan 6 satır çıkar: N=34, G=5, T_i=(7{,}7{,}7{,}7{,}6), Y_i=(42,\ 253,\ 12,\ 17,\ 32).

Adım 2 — Sabit etkili Poisson (kuklalı model). Beş birim kuklası ve dört açıklayıcıyla, \ln(\text{hizmet ayı}) ötelemeli Poisson regresyonu:

op_75_79 co_65_69 co_70_74 co_75_79
\hat\beta 0,384467 0,697140 0,818427 0,453427
SH 0,118272 0,149641 0,169774 0,233170

Kukla katsayıları (birimlerin log hız düzeyi): −6,4059; −6,9492; −7,0933; −6,4819; −6,0803. Bu \hat{\boldsymbol\beta} koşullu olabilirlikte yerine konunca \ell_c=-54{,}641859.

Adım 3 — IRR ve güven aralığı (op_75_79). e^{0{,}384467}=1{,}468831; \operatorname{SH}=1{,}468831\times0{,}118272=0{,}173722; %95 GA =\exp(0{,}384467\mp1{,}959964\times0{,}118272)=[1{,}164926;\ 1{,}852019]. z=3{,}2507.

Adım 4 — Rastgele etkili Poisson (gamma). Newton-Raphson, havuzlanmış Poisson katsayılarından ve \alpha=0{,}5'ten başlar; yakınsamada en büyük gradyan öğesi 6\times10^{-14}'tür.

Sabit op_75_79 co_65_69 co_70_74 co_75_79 \ln\alpha
\hat\theta −6,591175 0,382745 0,709288 0,857327 0,495862 −2,368406
SH 0,217989 0,118257 0,149607 0,169686 0,232132 0,847460

\hat\alpha=e^{-2{,}368406}=0{,}093630, \hat\theta=1/\hat\alpha=10{,}6804; \ell=-74{,}811217. Birimlerin beklenen toplamları ve sonsal birim etkileri:

Gemi tipi 1 2 3 4 5
Y_i 42 253 12 17 32
\Lambda_i 36,043 367,779 20,350 15,780 19,833
(\hat\theta+Y_i)/(\hat\theta+\Lambda_i) 1,1275 0,6967 0,7309 1,0461 1,3987

Örneğin 1. tip için (10{,}6804+42)/(10{,}6804+36{,}043)=1{,}1275: bu tipin hızı, açıklayıcıların öngördüğünden yaklaşık %13 yüksektir.

Adım 5 — LR testi. Havuzlanmış Poisson \ell=-80{,}115916.

\mathrm{LR}=2\,(-74{,}811217+80{,}115916)=10{,}609398,\qquad p=\tfrac12P(\chi^2_1>10{,}609398)=0{,}000563

Adım 6 — Hausman. \mathbf d=(0{,}001722;\ -0{,}012148;\ -0{,}038901;\ -0{,}042435). Fark matrisinin özdeğerleri -2{,}52\times10^{-5}; -1{,}69\times10^{-7}; 3{,}21\times10^{-5}; 5{,}20\times10^{-4}: ikisi negatiftir, matris pozitif yarı tanımlı değildir. Test hesaplanamaz (en küçük özdeğer, eşiğin altındadır); bağımsız hesap da aynı sonuca varır. Genelleştirilmiş tersle bir sayı üretilebilir (-34{,}44, analitik Hessian), ama ki-kare dağılımına ait değildir ve yorumlanmaz.

Adım 7 — Negatif binom (çalıştırma 2). Koşullu sabit etkili model \ell=-53{,}084250 (sabit −5,995009; op_75_79 0,383508). Beta rastgele etkili model \ell=-73{,}222498, \ln r=3{,}641897, \ln s=3{,}029242. Havuzlanmış NB1 \ell=-74{,}801716; \mathrm{LR}=3{,}158435, p=0{,}037768.

40.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun tablolarından tam hassasiyetle alınmıştır (çalıştırmalar 1 ve 2).

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Poisson SE: \beta op_75_79 0,38446705 0,38446696 0,38446696 8,8e−8 ✓
Poisson SE: \beta co_65_69 0,69714025 0,69714043 0,69714043 1,7e−7 ✓
Poisson SE: \beta co_70_74 0,81842635 0,81842658 0,81842658 2,3e−7 ✓
Poisson SE: \beta co_75_79 0,45342632 0,45342664 0,45342664 3,2e−7 ✓
Poisson SE: SH op_75_79 0,11827216 0,11827216 0,11827216 2,4e−10 ✓
Poisson SE: SH co_65_69 0,14964139 0,14964139 0,14964139 5,8e−9 ✓
Poisson SE: SH co_70_74 0,16977365 0,16977365 0,16977365 4,1e−9 ✓
Poisson SE: SH co_75_79 0,23317048 0,23317048 0,23317048 1,9e−9 ✓
Poisson SE: z op_75_79 3,2506977 3,25069695 3,25069695 2,3e−7 ✓
Poisson SE: p co_75_79 0,05182159 0,05182142 — 1,7e−7 ✓
Poisson SE: IRR op_75_79 1,46883129 1,46883116 — 8,8e−8 ✓
Poisson SE: SH(IRR) op_75_79 0,17372185 0,17372184 — 1,5e−8 ✓
Poisson SE: IRR GA alt op_75_79 1,16492635 1,16492625 — 8,8e−8 ✓
Poisson SE: IRR GA üst op_75_79 1,85201868 1,85201852 — 8,7e−8 ✓
Poisson SE: koşullu log-olabilirlik −54,64185947 −54,64185947 — 1,6e−14 ✓
Poisson SE: AIC 117,28371895 117,28371895 — 1,3e−14 ✓
Poisson SE: BIC 123,38916105 123,38916105 — 1,5e−14 ✓
Poisson RE: \beta sabit −6,59117426 −6,59117461 −6,59117461 5,4e−8 ✓
Poisson RE: \beta op_75_79 0,3827454 0,38274532 0,38274532 7,9e−8 ✓
Poisson RE: \beta co_65_69 0,70928767 0,70928793 0,70928793 2,6e−7 ✓
Poisson RE: \beta co_70_74 0,85732693 0,85732728 0,85732728 3,5e−7 ✓
Poisson RE: \beta co_75_79 0,49586134 0,49586178 0,49586178 4,3e−7 ✓
Poisson RE: SH sabit 0,2179892 0,21798918 0,21798918 1,5e−8 ✓
Poisson RE: SH op_75_79 0,11825682 0,11825682 0,11825682 1,0e−9 ✓
Poisson RE: SH co_65_69 0,14960714 0,14960715 0,14960715 9,7e−9 ✓
Poisson RE: SH co_70_74 0,16968638 0,16968638 0,16968638 6,2e−9 ✓
Poisson RE: SH co_75_79 0,23213159 0,23213159 0,23213159 9,4e−10 ✓
Poisson RE: IRR co_70_74 2,35685223 2,35685306 — 3,5e−7 ✓
Poisson RE: SH(IRR) co_70_74 0,39992571 0,39992587 — 1,6e−7 ✓
Poisson RE: \ln\alpha −2,36840597 −2,36840611 −2,3684061 5,7e−8 ✓
Poisson RE: SH(\ln\alpha) 0,84745964 0,84745973 0,84745973 9,9e−8 ✓
Poisson RE: \alpha 0,09362986 0,09362984 — 1,3e−8 ✓
Poisson RE: SH(\alpha) 0,07934752 0,07934752 — 1,4e−9 ✓
Poisson RE: \alpha GA alt 0,01778506 0,01778506 — 5,9e−9 ✓
Poisson RE: \alpha GA üst 0,49291644 0,49291647 — 2,9e−8 ✓
Poisson RE: log-olabilirlik −74,81121711 −74,81121711 −74,81121711 4,1e−14 ✓
Poisson RE: AIC 161,62243422 161,62243422 — 3,9e−14 ✓
Poisson RE: BIC 170,78059737 170,78059737 — 3,7e−14 ✓
LR (havuzlanmış Poisson'a karşı) 10,60939789 10,60939789 10,60939789 5,8e−13 ✓
LR p (sınır) 5,625716·10−4 5,625716·10−4 5,625716·10−4 1,8e−15 ✓
Hausman testi hesaplanamadı (1 = evet; fark matrisinin en küçük özdeğeri negatif) 1 1 — 0 ✓
NB SE (HHG): \beta sabit −5,995008 −5,99500852 −5,99500857 9,5e−8 ✓
NB SE (HHG): \beta op_75_79 0,38350784 0,38350775 0,38350774 1,1e−7 ✓
NB SE (HHG): \beta co_65_69 0,67720599 0,6772063 0,67720633 3,4e−7 ✓
NB SE (HHG): \beta co_70_74 0,81863205 0,81863244 0,81863248 4,3e−7 ✓
NB SE (HHG): \beta co_75_79 0,47748405 0,47748451 0,47748458 5,3e−7 ✓
NB SE (HHG): SH op_75_79 0,14232687 0,14232687 0,14232688 8,0e−9 ✓
NB SE (HHG): koşullu log-olabilirlik −53,08424978 −53,08424978 −53,08424978 4,8e−14 ✓
NB RE (HHG beta): \beta sabit −6,03944665 −6,03945113 −6,03945112 7,4e−7 ✓
NB RE (HHG beta): \beta op_75_79 0,38156014 0,38155988 0,38155987 2,7e−7 ✓
NB RE (HHG beta): \beta co_65_69 0,69351124 0,69351159 0,69351158 3,5e−7 ✓
NB RE (HHG beta): \beta co_70_74 0,87662246 0,87662364 0,87662363 1,2e−6 ✗
NB RE (HHG beta): \beta co_75_79 0,54527022 0,54527166 0,54527167 1,5e−6 ✗
NB RE (HHG beta): SH op_75_79 0,14269342 0,14269366 0,1426935 2,5e−7 ✓
NB RE (HHG beta): \ln r 3,64188124 3,64189705 3,64189701 4,3e−6 ✗
NB RE (HHG beta): \ln s 3,02922307 3,02924196 3,02924192 6,2e−6 ✗
NB RE (HHG beta): log-olabilirlik −73,222498 −73,222498 −73,222498 2,1e−12 ✓
NB RE: LR (havuzlanmış NB1'e karşı) 3,15843513 3,15843513 — 9,2e−11 ✓
NB RE: LR p (sınır) 0,03776778 0,03776778 — 6,7e−12 ✓

Ölçütü karşılayan: 55/59. SE: sabit etkili, RE: rastgele etkili. Python: sabit etkili Poisson birim kuklalı koşulsuz model (IRLS), rastgele etkili Poisson analitik gradyan ve Hessian'lı Newton-Raphson, negatif binom modelleri sayısal Newton (şablonun kodu, optim, nlminb, numDeriv kullanılmadan). R: fixest::fepois; rastgele etkili modellerde kapalı biçim yerine birim etkisi üzerinden sayısal integral (integrate).

Hausman satırı ölçütü karşılar: fark matrisinin en küçük özdeğeri negatiftir (-2{,}5\times10^{-5}); şablon ve bağımsız hesap aynı sonuca varır, test hesaplanamaz. Tablodaki satır bu ortak sonucu (1 = hesaplanamadı) karşılaştırır.

Ölçütü karşılamayan dört satırın nedeni:

  • Beta rastgele etkili negatif binom. \ln r ve \ln s olabilirliğin neredeyse düz bir sırtındadır (SH ≈ 1,1); türevsiz en büyükleme bu sırt üzerinde 2\times10^{-5} içinde durur. Log-olabilirlik dokuz ondalıkta aynıdır; \boldsymbol\beta farkı en çok 1{,}5\times10^{-6}'dır.

Sabit etkili Poisson satırlarında üç ayrı yol (koşullu olabilirlik, kuklalı model, fixest) katsayılarda 3\times10^{-7}, standart hatalarda 10^{-8} içinde aynı sonucu verir; rastgele etkili Poisson'da şablon, analitik Newton-Raphson ve sayısal integral 5\times10^{-7} içinde örtüşür.

40.7 Çıktıyı okuma

Örnek ayarın konsol metni:

N = 34 gözlem, 5 birim (birim başına 6–7 gözlem); öteleme log(hizmet_ay).
Poisson: Hausman testi hesaplanamadı: V_FE − V_RE pozitif yarı tanımlı değil (en küçük özdeğer -2,52e-05); fark matrisi geçerli bir kovaryans matrisi olmadığından test hesaplanamadı.
Uyarılar: Maruziyeti 0 ya da negatif olan 6 satır çıkarıldı.

Tablolar (şablonun tablolarından, dört ondalığa yuvarlanmış; GA sütunları kısaltılmış):

Poisson, sabit etkili (koşullu): katsayılar ve oran oranları (IRR)
   terim  kestirim      SH       z       p     IRR  IRR_SH  IRR_GA_alt  IRR_GA_ust
op_75_79    0.3845  0.1183  3.2507  0.0012  1.4688  0.1737      1.1649      1.8520
co_65_69    0.6971  0.1496  4.6587  0.0000  2.0080  0.3005      1.4976      2.6924
co_70_74    0.8184  0.1698  4.8207  0.0000  2.2669  0.3849      1.6253      3.1619
co_75_79    0.4534  0.2332  1.9446  0.0518  1.5737  0.3669      0.9964      2.4854

Poisson, rastgele etkili (gamma): katsayılar ve oran oranları (IRR)
   terim  kestirim      SH         z       p     IRR  IRR_SH  IRR_GA_alt  IRR_GA_ust
 (Sabit)   -6.5912  0.2180  -30.2362  0.0000  0.0014  0.0003      0.0009      0.0021
op_75_79    0.3827  0.1183    3.2366  0.0012  1.4663  0.1734      1.1630      1.8488
co_65_69    0.7093  0.1496    4.7410  0.0000  2.0325  0.3041      1.5160      2.7251
co_70_74    0.8573  0.1697    5.0524  0.0000  2.3569  0.3999      1.6900      3.2868
co_75_79    0.4959  0.2321    2.1361  0.0327  1.6419  0.3811      1.0417      2.5879

Poisson, rastgele etkili (gamma): yardımcı parametreler
parametre  kestirim      SH   GA_alt   GA_ust
  lnalpha   -2.3684  0.8475  -4.0294  -0.7074
    alpha    0.0936  0.0793   0.0178   0.4929

Model uyumu (LR_havuz: havuzlanmış modele karşı sınır testi χ̄²(01))
                           model    logLik  k   n  birim       AIC       BIC  LR_havuz    p_LR
 Poisson, sabit etkili (koşullu)  -54.6419  4  34      5  117.2837  123.3892       NaN     NaN
Poisson, rastgele etkili (gamma)  -74.8112  6  34      5  161.6224  170.7806   10.6094  0.0006

Hausman testi (H0: rastgele etkili model tutarlı; ortak zamanla değişen katsayılar)
dagilim  istatistik  sd    p                pozitif_tanimli
Poisson         NaN NaN  NaN  hayır
Öğe Ne yazar Nasıl yorumlanır
Özet satırı N, birim sayısı, birim başına en az–en çok gözlem, öteleme Atılan satırlardan sonraki sayılardır.
kestirim, SH, z, p, GA_* Log hız ölçeğinde katsayı ve Wald çıkarımı İşaret hızın yönünü verir.
IRR, IRR_SH, IRR_GA_* Oran oranı, delta yöntemi SH'si, dönüştürülmüş GA 1975–79 işletme döneminde hız 1,47 kat. GA 1'i içermiyorsa etki seçilen düzeyde anlamlıdır.
(Sabit) satırının IRR'si e^{\hat\beta_0} Bütün açıklayıcılar 0 iken (1960–64 inşa, 1960–74 işletme) hizmet ayı başına taban hız: 0,0014. Bir oran değil, hızdır.
lnalpha, alpha Gamma birim etkisinin log varyansı ve varyansı \sqrt{0{,}0936}=0{,}31: birim hızları ortalamanın çevresinde yaklaşık %31 standart sapmayla dağılır. GA çok geniştir (0,018–0,493): beş birimle varyans kaba kestirilir.
logLik, AIC, BIC Modelin log-olabilirliği ve ölçütler Sabit etkili satır koşullu, rastgele etkili satır marjinal olabilirliktir; bu iki satır birbiriyle karşılaştırılmaz. Karşılaştırma aynı türden modeller arasında yapılır (ör. gamma ↔ normal rastgele etki).
LR_havuz, p_LR Birim etkisinin varyansı için sınır testi p<0{,}05: havuzlanmış model yetersiz, birim etkisi gerekli.
Hausman tablosu İstatistik, sd, p, pozitif_tanimli Önce son sütuna bakılır (40.4.6).
Uyarılar Atılan satırlar, düşürülen birimler, hesaplanamayan SH Koşullu modelde düşen birim sayısı burada yazılır.

Çalıştırma 3'te (normal rastgele etki, 12 düğüm) katsayılar gamma modeline çok yakındır: op_75_79 0,3830 (gamma 0,3827), co_75_79 0,4989 (0,4959); \hat\sigma_u=0{,}3085, \ell=-74{,}7810 (gamma -74{,}8112).

Şekil 40.1. Şablonun birinci şekli (örnek ayar): açıklayıcıların IRR'leri ve %95 güven aralıkları, model başına ayrı renk (mavi: koşullu sabit etkili, turuncu: gamma rastgele etkili). Yatay eksen logaritmiktir; kesikli çizgi IRR = 1.

Şekil 40.2. Şablonun ikinci şekli: her birimin gözlenen toplamı Y_i ile rastgele etkili modelin birim etkisi 1 iken beklediği toplam \Lambda_i (log–log). Köşegenin üstündeki birimler beklenenden çok, altındakiler az olay yaşamıştır; sapmalar 40.6 Adım 4'teki sonsal birim etkilerine karşılık gelir.

Rapor cümlesi (örnek ayar):

Gemi tipleri panel birimi alınarak (5 birim, 34 gözlem; öteleme: hizmet ayının logaritması) kurulan gamma rastgele etkili Poisson modelinde, 1975–79 işletme döneminde hasar hızı 1960–74 dönemine göre 1,47 kat bulundu (IRR = 1,47, %95 GA [1,16; 1,85], p = 0,001). 1960–64'te inşa edilenlere göre hız 1965–69'da 2,03 (GA [1,52; 2,73]), 1970–74'te 2,36 (GA [1,69; 3,29]) ve 1975–79'da 1,64 kat (GA [1,04; 2,59]) idi. Birim etkisinin varyansı α = 0,094 kestirildi; havuzlanmış Poisson modeline karşı sınır LR testi anlamlıydı (LR = 10,61, p < 0,001). Koşullu sabit etkili Poisson modeli benzer oranlar verdi (1,47; 2,01; 2,27; 1,57). Sabit ve rastgele etkili kestirimlerin kovaryans farkı pozitif tanımlı olmadığından Hausman testi yorumlanmadı.

40.8 Sık hatalar ve tuzaklar

  • Az sayıda birimle varyans ve Hausman yorumlamak. Rastgele etkili modelin varyans parametresi ve Hausman testi birim sayısı büyüdükçe güvenilirdir. Beş birimde \alpha'nın güven aralığı 0,018–0,493'tür ve Hausman fark matrisi pozitif yarı tanımlı çıkmaz; test hesaplanamaz. Katsayılar bundan az etkilenir (iki model birbirine yakındır).
  • pozitif_tanimli = hayır iken karar cümlesine dayanmak. İstatistik pozitif çıksa da bu durumda ki-kare dağılımına ait değildir (40.4.6).
  • Koşullu ve marjinal log-olabilirlikleri karşılaştırmak. Uyum tablosunda sabit etkili modelin AIC'si (117,28) rastgele etkili modelinkinden (161,62) küçük görünür; bu, sabit etkili modelin daha iyi uyduğu anlamına gelmez. İki olabilirlik farklı olasılıkları ölçer.
  • Maruziyeti açıklayıcı olarak girmek. Öteleme, hız modelini (\ln e'nin katsayısı 1) kurar. Maruziyet açıklayıcı yapılırsa katsayısı serbest kalır ve öteki katsayılar "sayım" modeline göre yorumlanır. Maruziyet verilmediğinde örnek veride co_75_79'un IRR'si 1,57'den 0,50'ye döner: son dönemde inşa edilen gemilerin hizmet süresi kısadır, olay sayısı az, hızı ise yüksektir.
  • Maruziyeti 0 olan satırların atıldığını gözden kaçırmak. \ln0 tanımsızdır; bu satırlar çıkarılır ve "Uyarılar" satırında bildirilir. N özet satırından denetlenir.
  • Sabit etkili modelde birim düzeyinde değişkenin etkisini aramak. Birim içinde değişmeyen açıklayıcı koşullu modelde tanımsızdır; şablon durur ve açıklayıcının çıkarılmasını ya da yalnız rastgele etkili modelin seçilmesini ister. "İkisi" seçiliyken de durur; birim düzeyinde bir değişkenin etkisi isteniyorsa etki = re seçilir.
  • HHG sabit etkili negatif binomu sabit etkili saymak. Bu model birim farklarını yayılım üzerinden alır (40.4.3). Birim etkisinin açıklayıcılarla ilişkili olabileceği düşünülüyorsa ve aşırı yayılım varsa, koşullu Poisson katsayıları (aşırı yayılımda da tutarlıdır) daha güvenli dayanaktır.
  • Kategorik açıklayıcıyı ham sütun olarak seçmek. Metin düzeyli sütun hata verir; sayı kodlu kategorik sütun (ör. insa: 60, 65, 70, 75) ise sürekli açıklayıcı gibi tek eğimle girer. Kategorik etken için kukla sütunlar kullanılır.
  • Sınırdaki varyansın p değerini 0,5 sanmak. \mathrm{LR\_havuz}=0 ise birim etkisinin varyansı sıfır kestirilmiştir; sınır testinin p değeri 1'dir ve tablo 1 yazar.

40.9 Uzman soruları

S1. Koşullu sabit etkili Poisson neden birim kuklalı Poisson ile aynı sonucu veriyor?

Poisson olabilirliği, birim etkisi için yeterli istatistik olan Y_i üzerinden çarpanlara ayrılır: birleşik olabilirlik = (Y_i'nin Poisson olasılığı) × (koşullu çok terimli olasılık). Birim kuklasının en çok olabilirlik kestirimi birinci çarpanı tam uydurur (\hat\nu_i=Y_i/\Lambda_i) ve \boldsymbol\beta için geriye yalnız koşullu parça kalır. Bu yüzden doğrusal olmayan modellerin çoğunda görülen "tesadüfi parametre" yanlılığı Poisson'da yoktur. Doğrulama tablosunda koşullu olabilirlik (şablon), kuklalı model (Python) ve fixest::fepois katsayıda 3\times10^{-7}, standart hatada 6\times10^{-9} içinde aynıdır.

S2. Gamma ve normal rastgele etki arasındaki fark sonuçları değiştirir mi?

Bu veride hayır. Gamma modelinde birim etkisinin varyansı \hat\alpha=0{,}0936; normal modelde \hat\sigma_u=0{,}3085, yani log-normal birim etkisinin varyansı e^{\hat\sigma_u^2}-1=0{,}0999'dur. Katsayılar üçüncü ondalıkta ayrışır. Gamma modelinin üstünlüğü kapalı biçimli olabilirliktir (kareleme hatası yoktur); normal modelin üstünlüğü rastgele eğim gibi genişlemelere açık olması ve GLMM yazınıyla aynı tanımı kullanmasıdır.

S3. Sınır testinde p neden ½ ile çarpılıyor ve LR = 0 olursa ne olur?

H_0:\alpha=0 parametre uzayının sınırındadır. Sıfır hipotezi altında kestirim yarı olasılıkla sınıra yapışır (LR = 0), yarı olasılıkla içeride kalır (LR ~ \chi^2_1). \mathrm{LR}>0 için kuyruk olasılığı \tfrac12P(\chi^2_1>\mathrm{LR})'dir; örnek veride \tfrac12\times0{,}001125=0{,}000563. \mathrm{LR}=0 gözlenirse p değeri 1'dir. Olağan \chi^2_1 p değerini kullanmak testi tutucu yapar (p iki katı çıkar).

S4. Fark matrisi pozitif tanımlı değilse Hausman testi ne olur?

\hat{\mathbf V}_{\text{SE}}-\hat{\mathbf V}_{\text{RE}} ancak asimptotik olarak ve rastgele etkili model doğru belirlenmişse pozitif tanımlıdır. Sonlu örneklemde iki matris ayrı ayrı kestirilir; farkları negatif özdeğer taşıyabilir. Örnek veride standart hatalar dördüncü ondalıkta aynıdır (op_75_79: 0,118272 ve 0,118257); fark matrisi iki neredeyse eşit matrisin farkıdır ve dört özdeğerinden ikisi negatiftir. Böyle durumda seçenekler şunlardır: testi bildirmemek, iki modelin katsayılarını yan yana vermek (burada en büyük fark 0,042, yani yarım standart hatanın altında), ya da birim sayısı yeterliyse sağlam (küme) kovaryanslı bir yardımcı regresyon testine geçmek. Şablon birinci yolu izler: matris pozitif yarı tanımlı değilse testi "hesaplanamadı" diye bildirir ve negatif bir istatistik yazmaz.

S5. HHG koşullu negatif binomda sabit terim nasıl kestirilebiliyor?

Bu modelde \lambda_{it}=\exp(\eta_{it}) negatif binomun biçim parametresidir; birim etkisi \delta_i ölçek tarafındadır ve koşullandırmayla düşen odur. \eta_{it}'ye bir sabit eklemek bütün \lambda_{it}'leri aynı çarpanla büyütür ve koşullu olasılığı değiştirir; dolayısıyla sabit terim tanımlıdır (örnek veride −5,995, SH 0,821). Bunun bedeli, modelin birimler arası kalıcı ortalama farklarını Poisson'daki gibi tümüyle ayıklamamasıdır (Allison ve Waterman, 2002).

S6. Standart hatalar sayısal Hessian'dan; ne kadar güvenilir?

Bağımsız hesapta rastgele etkili Poisson'un Hessian'ı analitik yazılmıştır; şablonun numDeriv Hessian'ından gelen standart hatalar bunlarla 10^{-7} içinde aynıdır (doğrulama tablosu). Sayısal Hessian'ın zayıf kaldığı yer, iki kovaryans matrisinin farkını kullanan Hausman istatistiğidir: fark 10^{-5} büyüklüğündeyken 10^{-9}'luk hata önem kazanır.

S7. Aşırı yayılım varsa koşullu Poisson katsayıları yanlış mı olur?

Hayır. Koşullu (ve kuklalı) Poisson kestiricisi, koşullu ortalama doğru belirlenmişse dağılım Poisson olmasa da tutarlıdır; etkilenen standart hatalardır (gözlenen bilgi matrisi aşırı yayılımda küçük kalır). Örnek veride negatif binom modellerinin standart hataları Poisson'unkilerden büyüktür (op_75_79: 0,1423 ve 0,1183), katsayılar ise yakındır (0,3835 ve 0,3845). Şablon sağlam (sandviç) kovaryans vermez; aşırı yayılım belirtisi varsa negatif binom sonuçları birlikte raporlanır.

S8. Normal rastgele etkili negatif binomda θ neden çok büyük çıkabiliyor?

Çalıştırma 3'te NB2 yayılım parametresi \hat\theta=1{,}8\times10^{11} kestirilir: birim etkisi alındıktan sonra birim içi aşırı yayılım kalmamıştır ve model Poisson sınırına gitmiştir (log-olabilirlik -74{,}7823, normal rastgele etkili Poisson -74{,}7810). Bu durumda negatif binom satırı Poisson satırının yinelemesidir; \theta'nın standart hatası ve aralığı anlam taşımaz.

40.10 Kaynaklar

  • Allison, P. D., & Waterman, R. P. (2002). Fixed-effects negative binomial regression models. Sociological Methodology, 32(1), 247–265. https://doi.org/10.1111/1467-9531.00117
  • Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  • Brooks, M. E., Kristensen, K., van Benthem, K. J., Magnusson, A., Berg, C. W., Nielsen, A., Skaug, H. J., Mächler, M., & Bolker, B. M. (2017). glmmTMB balances speed and flexibility among packages for zero-inflated generalized linear mixed modeling. The R Journal, 9(2), 378–400. https://doi.org/10.32614/RJ-2017-066
  • Cameron, A. C., & Trivedi, P. K. (2013). Regression analysis of count data (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9781139013567
  • Gilbert, P., & Varadhan, R. (2019). numDeriv: Accurate numerical derivatives (R package version 2016.8-1.1). https://doi.org/10.32614/CRAN.package.numDeriv
  • Hausman, J. A. (1978). Specification tests in econometrics. Econometrica, 46(6), 1251–1271. https://doi.org/10.2307/1913827
  • Hausman, J., Hall, B. H., & Griliches, Z. (1984). Econometric models for count data with an application to the patents–R&D relationship. Econometrica, 52(4), 909–938. https://doi.org/10.2307/1911191
  • McCullagh, P., & Nelder, J. A. (1989). Generalized linear models (2nd ed.). Chapman and Hall. https://doi.org/10.1007/978-1-4899-3242-6
  • Self, S. G., & Liang, K.-Y. (1987). Asymptotic properties of maximum likelihood estimators and likelihood ratio tests under nonstandard conditions. Journal of the American Statistical Association, 82(398), 605–610. https://doi.org/10.1080/01621459.1987.10478472
  • Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2