İstatistik Sözlüğü → Poisson / Negatif Binomial Regresyon
Poisson / Negatif Binomial Regresyonanaliz
Kaza, ziyaret, tür ya da hata sayısı gibi 0, 1, 2, … biçimindeki sayım sonuçlarının öngörücülerle nasıl değiştiğini, her etkiyi bir oran (IRR) olarak veren regresyon modelleri.
Kavram
Sayım verisi negatif olamaz, tam sayıdır ve çoğu zaman sağa çarpıktır; birçok gözlem 0 ya da küçük değerlerde toplanırken az sayıda gözlem büyük değer alır. Sıradan doğrusal regresyon negatif tahminler üretebilir ve sayımın ortalaması büyüdükçe varyansının da büyümesini hesaba katmaz. Poisson ve negatif binom regresyonu bu yapıya uygun modellerdir.
Model, beklenen sayımın logaritmasını öngörücülerin doğrusal birleşimine bağlar: ln(μ) = β₀ + β₁x₁ + … Böylece tahminler hep pozitiftir. Her katsayının üsteli, exp(β), olay oranı oranıdır (IRR): IRR = 1,20, diğer öngörücüler sabitken bir birimlik artışın beklenen sayımı %20 artırdığını gösterir. Gözlem süresi ya da alanı farklı birimler karşılaştırılıyorsa bu fark offset olarak modele eklenir ve model sayımı değil oranı (ör. yıl başına olay) açıklar.
Poisson modeli varyansın ortalamaya eşit olduğunu varsayar. Gerçek verilerde varyans çoğu zaman ortalamadan büyüktür (aşırı yayılım); bu durumda Poisson standart hataları olduğundan küçük çıkar ve anlamlılık abartılır. Negatif binom modeli ek bir dağılım parametresiyle bu fazlalığı modeller. Sıfırlar modelin beklediğinden çok fazlaysa sıfır-şişirilmiş ya da engel (hurdle) modelleri düşünülür.
Ne zaman kullanılır?
- Sonuç belirli bir süre ya da alanda sayılan olayların sayısıysa (yıllık hastane başvurusu, kavşaktaki kaza, tarladaki zararlı sayısı).
- Varyans ortalamadan belirgin biçimde büyükse Poisson yerine negatif binom regresyonu; aşırı sıfır varsa sıfır-şişirilmiş (ZIP/ZINB) ya da engel modelleri kullanılır.
- Sonuç sayım değil, belirli sayıda denemeden kaçının başarılı olduğu (oran) ise lojistik regresyon; sonuç sürekli bir ölçümse doğrusal regresyon daha uygundur.
Gündelik bir örnek
Bir belediye, şehirdeki 120 kavşakta bir yılda kaç trafik kazası olduğunu inceliyor. Kavşakların bir kısmı sinyalize, bir kısmı değil; günlük araç sayısı da kayıtlı. Bazı kavşaklar yıl ortasında açıldığı için gözlem süreleri farklı ve bu süre offset olarak modele giriyor. Model sinyalizasyon için IRR = 0,65 bulursa, araç sayısı sabitken sinyalize kavşaklarda beklenen kaza oranı sinyalize olmayanlara göre yaklaşık %35 daha düşüktür.
MerQur'da parametreler
Hedef (Y, sayma) ve Prediktörler (X)
Kavram: Hedef, sıfır ya da pozitif tam sayılardan oluşan sayım değişkenidir; öngörücüler bu sayımın beklenen değerini açıklamak için kullanılan değişkenlerdir.
Gündelik örnek: Kavşak örneğinde hedef, her kavşaktaki yıllık kaza sayısıdır (0, 1, 2, …); öngörücüler ise günlük araç sayısı ve sinyalizasyon durumudur.
Ne işe yarar: Sayma değişkenini (tam sayı, >= 0) ve öngörücüleri seçer.
Sonuca etkisi: Doğrusal bağımlı (ör. sabit) bir öngörücü modelden çıkarılır, katsayısı "--" (tanımsız) yazılır ve uyarı verilir.
Doğrulama verisinde: Sabit öngörücülü sentetik sınamada model kurulur ve kesişim 0.0016958 bulunur.
Dağılım ailesi (Poisson, Negatif binomial)
Kavram: Poisson dağılımında sayımın varyansı ortalamasına eşittir; negatif binom dağılımı ise varyansın ortalamadan büyük olmasına izin veren ek bir parametre (θ) içerir. θ küçüldükçe aşırı yayılım artar.
Gündelik örnek: Kavşakların çoğunda yılda 0-2 kaza olurken birkaç tehlikeli kavşakta 15-20 kaza oluyorsa sayımlar Poisson'un beklediğinden çok daha dağınıktır. Bu durumda negatif binom daha gerçekçi standart hatalar verir.
Ne işe yarar: Poisson (ortalama = varyans) veya negatif binom NB2 (varyans = μ + μ²/θ) seçer. Pearson X²/df veya deviance/df belirgin biçimde 1'in üzerindeyse ya da aşırı yayılım testi anlamlıysa NB tercih edilir.
Sonuca etkisi: Katsayılar, SH, LL/AIC/BIC değişir; NB'de θ ve SE(θ) eklenir, AIC/BIC θ'yı da sayar.
Doğrulama verisinde: math katsayısı 0.07015 (SE 0.01060) -> NB 0.07107 (SE 0.01153), θ = 6.11, LL -182.75 -> -181.91. nb_data: NB θ = 1.0327, AIC 1741.26. Poisson BIC LL tabanlıdır: 386.70 (NB 390.30).
Offset (opsiyonel) ve Offset zaten log ölçeğinde
Kavram: Offset, gözlem birimlerinin farklı uzunlukta süre ya da farklı büyüklükte alan boyunca izlenmesini hesaba katan, katsayısı 1'e sabitlenmiş bir terimdir. Logaritması modele girer ve model sayımı değil birim süre ya da alan başına oranı açıklar.
Gündelik örnek: Bir kavşak 12 ay, yeni açılan bir başkası yalnız 4 ay izlendiyse ikisindeki 6 kazayı doğrudan karşılaştırmak yanlıştır. İzlenen ay sayısı offset olarak girince model 'ayda kaç kaza' sorusunu yanıtlar.
Ne işe yarar: Maruziyet süresi/alanı sütununun log'unu katsayısı 1 olan terim olarak ekler; model sayımı değil oranı açıklar. "Zaten log ölçeğinde" işaretliyse sütun olduğu gibi kullanılır.
Sonuca etkisi: Kesişim ve uyum değişir; IRR'ler oran oranı olur. Offset sütununda <= 0 olan satırlar çıkarılır ve uyarı yazılır; ham sütun yanlışlıkla "zaten log" işaretlenirse sütun adını ve en büyük değerini veren anlaşılır bir hata iletisi yazılır.
Doğrulama verisinde: insure verisi (n = 6): offset yok kesişim 0.6447, deviance 5.749; offset = n ile kesişim -5.7209, deviance 2.8207, AIC 40.9276. ln = log(n) + işaretli ile n + işaretsiz aynı sonucu verir.
Kategorik (faktör) değişkenler
Kavram: Sayılarla kodlanmış ama ölçüm değil kategori olan bir öngörücüyü, her düzey için ayrı bir katsayıyla (kukla değişkenler) modele sokar; ilk düzey karşılaştırma düzeyidir.
Gündelik örnek: Kavşak türü 1 = dört yol, 2 = T kavşak, 3 = dönel kavşak diye kodlanmışsa bu sayılar arasında bir sıra ya da uzaklık yoktur. Faktör olarak tanımlanınca T kavşak ve dönel kavşağın IRR'leri dört yollu kavşağa göre verilir.
Ne işe yarar: Sayısal kodlu öngörücüyü (ör. prog 1/2/3) kukla kodlar; düzeyler sayısal sırada, ilk düzey referanstır. Kodlar sıra/aralık anlamı taşımıyorsa kullanılır.
Sonuca etkisi: Seçilen değişken tek sürekli katsayı yerine (düzey - 1) kukla ile modellenir.
Doğrulama verisinde: prog sürekli: AIC 385.51, prog 0.1233; prog faktör: AIC 373.50, prog_2 1.0839 (SE 0.3583), prog_3 0.3698. nb_data NB: prog_2 -0.44076, prog_3 -1.27865.
Güven Düzeyi (%90, %95, %99, Diğer (özel))
Kavram: Katsayılar ve IRR'ler için verilen aralıkların güven düzeyini belirler; güven düzeyi arttıkça aralık genişler.
Gündelik örnek: Sinyalizasyonun IRR'si 0,65 bulunduğunda %95 güven aralığı [0,48; 0,88] olabilir. Aralık 1'i içermediği için sinyalizasyonun kaza oranını düşürdüğü söylenebilir; %99 güvende aralık biraz genişler.
Ne işe yarar: Katsayı ve IRR Wald aralıklarının düzeyini belirler.
Sonuca etkisi: Yalnız aralıklar değişir; katsayı, SH ve p değişmez.
Doğrulama verisinde: math aralığı %95 [0.0494, 0.0909], %90 [0.0527, 0.0876], %99 [0.0429, 0.0975], %80 [0.0566, 0.0837].
Kovaryans / ölçek (Model tabanlı (varsayılan), Pearson ölçek (quasi), Deviance ölçek, Robust (sandwich))
Kavram: Model tahminlerini (katsayıları) değiştirmeden standart hataları düzeltme yollarıdır. Ölçek düzeltmesi standart hataları gözlenen aşırı yayılım kadar büyütür; dayanıklı (sandviç) standart hata ise varyans yapısını belirli bir biçimde varsaymadan belirsizliği verinin kendisinden kestirir.
Gündelik örnek: Kaza sayıları Poisson'un beklediğinden iki kat dağınıksa model tabanlı standart hatalar sinyalizasyon etkisini olduğundan kesin gösterir. Pearson ölçeği ya da dayanıklı standart hata aynı IRR'yi daha geniş ve dürüst bir aralıkla verir.
Ne işe yarar: Katsayılar sabit kalırken SH'yi düzeltir: Pearson ölçek (SH × √(X²/df)), deviance ölçek (SH × √(D/df)) veya dayanıklı sandviç (HC0). Poisson ortalama yapısı doğru ama varyans büyükse kullanılır.
Sonuca etkisi: SH, z, p ve aralık değişir; Tip III testleri ölçekli LR (LR/φ) veya dayanıklı Wald olur.
Doğrulama verisinde: math SH 0.01060 -> Pearson 0.01103 (φ 1.0824), deviance 0.01042 (φ 0.9666), dayanıklı 0.01044. DebTrivedi: hosp SH 0.0060 -> Pearson 0.0155 (φ 6.706), dayanıklı 0.0219.
Sıfır modeli ((yok), Sıfır-şişirilmiş (ZIP / ZINB), Hurdle (engel))
Kavram: Sıfırların fazlasını iki süreçle açıklayan modellerdir. Sıfır-şişirilmiş model bazı birimlerin hiç olay üretemeyen 'yapısal sıfır' olduğunu varsayar; engel (hurdle) modeli ise önce sıfır mı pozitif mi sorusunu, sonra pozitif sayımın büyüklüğünü ayrı ayrı modeller.
Gündelik örnek: Kavşak verisinde neredeyse hiç trafiği olmayan köy kavşakları her yıl 0 kaza verir; bunlar kazanın imkânsıza yakın olduğu yapısal sıfırlardır. Yoğun kavşaklarda ise 0 kaza şans eseri olabilir. Sıfır-şişirilmiş model bu iki tür sıfırı birbirinden ayırır.
Ne işe yarar: Fazla sıfır için sıfır-şişirilmiş (nokta kütlesi + sayım) veya engel (sıfır/pozitif lojistik + sıfırda kesilmiş sayım) model kurar; Vuong testi (ham, AIC ve BIC düzeltmeli) verilir. Sıfır sayısı standart modelin beklediğinden belirgin fazlaysa kullanılır.
Sonuca etkisi: Ek tablo: iki kısmın katsayıları, LL/AIC/BIC, θ (NB), Vuong ve gözlenen/beklenen sıfır. Analitik Hessian kullanılır; yarı ayrışan parametre "--" (tanımsız) ve uyarıyla bildirilir.
Doğrulama verisinde: fish (142 sıfır; Poisson beklenen 94.6): ZIP LL -752.73, AIC 1521.5, Vuong z = 2.315 (p .0103); hurdle Poisson LL -751.62; ZINB θ = 0.553. DebTrivedi hurdle NB: 16 katsayı ve θ = 1.3955.
Ek çıktı: Aşırı yayılım testleri
Kavram: Verideki değişkenliğin Poisson modelinin beklediğinden (varyans = ortalama) anlamlı biçimde büyük olup olmadığını sınayan testlerdir; anlamlı sonuç negatif binom modelini destekler.
Gündelik örnek: Test anlamlı çıkarsa kaza sayıları kavşaktan kavşağa Poisson'un izin verdiğinden daha çok değişiyor demektir; sinyalizasyon etkisi negatif binom modeliyle yeniden kestirilmelidir.
Ne işe yarar: Cameron-Trivedi NB1/NB2 yardımcı regresyon testleri ve Poisson-NB olabilirlik oranı testi (sınır dağılımı, p/2) verir.
Sonuca etkisi: Ek satırlar.
Doğrulama verisinde: poisson_sim NB2 α = 0.164 (p .052), LR 1.69 (p .097): aşırı yayılım yok; nb_data NB1 α = 5.51 (p 3.5e-13), LR 926.03 (sınırdaki parametre için yarı yarıya karışık ki-kare).
Ek çıktı: Omnibus + Tip III testleri
Kavram: Omnibus test tüm öngörücülerin birlikte sayımı açıklayıp açıklamadığını sınar; Tip III testler ise her öngörücüyü, diğerleri modeldeyken bütün olarak sınar.
Gündelik örnek: Omnibus test 'araç sayısı ve sinyalizasyon birlikte kaza sayısını açıklıyor mu?' sorusunu yanıtlar. Tip III test 'araç sayısı hesaba katıldıktan sonra sinyalizasyon ek bilgi taşıyor mu?' sorusunu ayrıca yanıtlar.
Ne işe yarar: Yalnız sabitli modele karşı omnibus LR testi ve her öngörücü için Tip III LR testi verir (ölçek seçiliyse LR/φ; dayanıklı SH seçiliyse Wald).
Sonuca etkisi: Ek tablo.
Doğrulama verisinde: omnibus LR 98.22; prog 14.57, math 45.01; Pearson ölçekte 13.46 / 41.59; dayanıklı Wald 14.84 / 45.20.
Ek çıktı: Artık tanıları + rootogram
Kavram: Artıklar, gözlenen sayım ile modelin beklediği sayım arasındaki farktır; büyük artıklı ya da etkili gözlemler modelin uymadığı birimleri gösterir. Rootogram her sayım değeri için gözlenen ve beklenen sıklıkları yan yana koyarak modelin dağılımı ne kadar iyi yakaladığını gösterir.
Gündelik örnek: Model bir kavşak için yılda 2 kaza beklerken 14 kaza olduysa o kavşak büyük artık verir ve yerinde incelenmeye değer. Rootogram ise örneğin '0 kazalı kavşak sayısını model doğru tahmin ediyor mu?' sorusuna görsel yanıt verir.
Ne işe yarar: Deviance ve Pearson artıkları (ham ve standartlaştırılmış), kaldıraç, Cook D, |r| > 2 ve 3 sayıları ve gözlenen-beklenen sayım frekanslarını verir.
Sonuca etkisi: Ek tablo ve grafik.
Doğrulama verisinde: |standartlaştırılmış Pearson| > 2: 18 gözlem; yüksek kaldıraç 16; Cook > 4/n: 12; 0 sayımı gözlenen 124, beklenen 122.08.
Frekans ağırlığı ve Özel kontrast (L), Poisson
Kavram: Frekans ağırlığı, bir satırın birden çok özdeş gözlemi temsil ettiğini belirtir. Özel kontrast ise katsayıların araştırmacının tanımladığı bir doğrusal birleşimini sınar.
Gündelik örnek: Veri 'sinyalize, yoğun trafik: 25 kavşak' gibi özet satırlar hâlindeyse frekans ağırlığı bu sayıları tanıtır. Özel kontrast ise 'T kavşak ile dönel kavşağın kaza oranı eşit mi?' gibi belirli bir soruyu sınar.
Ne işe yarar: Frekans ağırlığı sayım biçimindeki veriyi tanımlar; özel kontrast, katsayıların doğrusal birleşimini (L matrisi) sınar.
Sonuca etkisi: Ağırlık n'yi ve tüm tahminleri değiştirir; kontrast ek test satırı ekler.
Doğrulama verisinde: Frekans ağırlığı katsayıları ve n'yi ağırlıklı olarak hesaplar; özel kontrast Poisson modelinde de kullanılabilir.
Gerçek veride örnek
Veri: UCLA poisson_sim (öğrenci ödül sayıları, 200 öğrenci)
Değişkenler: hedef num_awards (ödül sayısı), prediktörler prog_lab (program türü) ve math (matematik puanı)
- Soru: Öğrencilerin aldığı ödül sayısı (num_awards) program türü (General, Vocational; karşılaştırma düzeyi Academic) ve matematik puanıyla açıklanabilir mi? Sayım verisi olduğu için Poisson regresyonu (log bağ) kullanıldı.
- Varsayım: Sapma/sd = 0.967 ve Pearson χ²/sd = 1.082; 1'e yakın olduğundan belirgin aşırı yayılım yoktur, Poisson modeli uygundur (negatif binom gerekmez).
- Sonuç: Matematik puanındaki 1 puanlık artış beklenen ödül sayısını %7.3 artırır (IRR = 1.073, %95 GA [1.051, 1.095], p < .001). Academic programa göre General programdaki öğrencilerin beklenen ödül sayısı 0.338 katına (p = .002), Vocational programdakilerinki 0.490 katına (p = .026) iner.
- Etki büyüklüğü: Log-olabilirlik = -182.75, AIC = 373.50, BIC = 386.70, McFadden R² = .212.
- APA: Poisson regresyonu, math IRR = 1.07, %95 GA [1.05, 1.10], p < .001; General IRR = 0.34, %95 GA [0.17, 0.68], p = .002.
İlgili kavramlar
Olabilirlik oranı testi (LRT)Sıfır şişirilmiş ve engel (hurdle) modellerAşırı yayılım ve ölçek parametresiOffset (maruziyet terimi)Sağlam (sandviç) standart hatalar (HC0-HC3)Frekans ağırlığı (özet tablo verisi)Olay hızı oranı (IRR)Dağılım ailesi (GLM)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.