MerQuR+Başvuru Kitabı

146. Dayanıklı Standart Hatalı Regresyon

Analiz kimliği: robust_regresyon · Menü adı: Dayanıklı Standart Hatalı Regresyon (HC / HAC / Küme) · Panel: gui/panels/analyses/robust_regresyon_panel.py · Motor: stats/robust_regresyon.py, run_robust_regression (satır 488–690); kovaryans seçimi vcov_robust (346–405), HAC bant genişlikleri bw_newey_west, bw_andrews (168–216), küme matrisi _cluster_S (243–298), panel matrisi _panel_S (301–343), tanı testleri (408–440)

146.1 Ne işe yarar

En küçük kareler (EKK) regresyonunda katsayılar aynı kalır, ama klasik standart hata (SH) formülü iki varsayıma dayanır: hata varyansı sabittir ve hatalar birbirinden bağımsızdır. Bu iki varsayım bozulursa katsayılar yine tutarlıdır, fakat SH, t ve p yanlış olur. Bu analiz katsayıları değiştirmez; yalnız kovaryans matrisini değiştirir. Cevapladığı soru şudur: "Hata varyansı değişiyorsa, hatalar zaman içinde ya da aynı birimin gözlemleri arasında ilişkiliyse çıkarım nasıl düzeltilir?"

Her kestirici aynı "sandviç" biçimindedir:

\widehat V=(X'X)^{-1}\,\widehat S\,(X'X)^{-1},\qquad \widehat S=\sum_{i}\;\text{(ağırlıklı)}\;x_i x_i' e_i^2\ \ \text{ya da çapraz çarpımlar}
  • X: n\times k tasarım matrisi (sabit terim dahil); e_i: EKK artığı.
  • \widehat S: "et" matrisi. Kestiriciler yalnız bu matrisi nasıl kurduklarıyla ayrılır.

Ne zaman kullanılır? Değişen varyans şüphesi varsa (HC kestiricileri), zaman serisinde artıklar otokorelasyonluysa (Newey–West, Andrews), gözlemler birimlere kümelenmişse (küme), panelde hem birim içi hem birimler arası bağımlılık varsa (panel Newey–West, Driscoll–Kraay).

Ne zaman kullanılmaz?

  • Katsayıların kendisi yanlışsa (içsellik, eksik değişken): SH düzeltmesi yanlılığı gidermez; araç değişkenli yöntem gerekir (Panel Ek Testler ve Kestiriciler, 152).
  • Çok az küme varsa (yaklaşık 10'dan az): küme SH güvenilmezdir; MerQur bu durumda uyarı yazar (robust_regresyon.py:625).
  • Bağımlı değişken ikili ya da sayımsa: Lojistik ya da Poisson modelleri.

Sık karıştırılan analizler. "Genel Doğrusal Regresyon" klasik SH verir. Bu analiz aynı katsayıları verir, ama SH'yi dayanıklı kestirir. Panel Ek Testler (152) içindeki "standart hata karşılaştırması" bloğu aynı kestiricilerin panel durumuna özgü bir alt kümesini sunar.

146.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Doğru belirtim E(e\mid X)=0; katsayılar tutarlıdır. Denetlenmez; tasarımla sağlanır.
Tam sütun sıralaması X sütunları doğrusal bağımsız. collinear hatası (bkz. aşağıda).
Değişen varyans Sabit varyans varsayımı gevşetilir. Breusch–Pagan (Koenker) testi (isteğe bağlı kutu).
Otokorelasyon HAC kestiricileri için sıra anlamlıdır. Breusch–Godfrey ve Durbin–Watson (isteğe bağlı kutu).
Küme yapısı Kümeler birbirinden bağımsız. Denetlenmez; küme sayısı G<10 ise uyarı.

Eksik değer. Bağımlı ya da açıklayıcı değişkende eksik olan satırlar birlikte atılır ve atılan sayı raporlanır (n_dropped). Sütunlar sayıya çevrilir; ondalık virgüllü metin sütunları da okunur. Zaman sütunu verilirse veri (birim, zaman) sırasına dizilir; karışık sıralı veride sonuç aynıdır.

Uç durumlar. Motor şu durumlarda hata kodu üretir ve panel bunu çevirir: n yetersiz (n), bağımlı değişken sabit (y_const), sütunlar doğrusal bağımlı (collinear), mükemmel uyum (perfect), kümede birim sütunu yok (need_unit), iki yönlü küme ya da Driscoll–Kraay için zaman sütunu yok (need_time), Newey–West panel verisinde (hac_panel), tek küme (g_min), (birim, zaman) çiftinin yinelenmesi (dup_ut), y'nin X içinde olması (y_in_x), kaldıraç 1'e eşit (leverage).

146.3 Parametreler

Varsayılanlar robust_regresyon_panel.py içindeki read_options (131–150) kodundan okunmuştur.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Bağımlı değişken (y) veriye bağlı Sayısal sonuç değişkeni. —
Açıklayıcı değişkenler veriye bağlı En az bir sayısal sütun. Kategorikler önce 0/1 sütunlara çevrilmelidir.
Birim (küme) sütunu boş Küme, iki yönlü küme, panel Newey–West, Driscoll–Kraay için gerekli. Boşsa veri tek zaman serisidir.
Zaman sütunu boş Verilirse (birim, zaman) sıralanır. HAC ve panel kestiricilerinin gecikme yapısını belirler.
Sabit terim ekle açık X'e birler sütunu ekler. Kapalıysa R^2 merkezsiz biçimde hesaplanır.
Standart hata türü HC3 Klasik, HC0–HC4, Newey–West, Andrews, küme, iki yönlü küme, panel Newey–West, Driscoll–Kraay. Yalnız SH, t, p, GA değişir.
HAC gecikmesi / kesme 0 (otomatik) Newey–West: 0 ise Newey–West (1994) otomatik seçimi. Panel NW ve Driscoll–Kraay: 0 ise \lfloor 4(T/100)^{2/9}\rfloor (Hoechle, 2007). Gecikme arttıkça SH genellikle büyür.
Ön beyazlatma kapalı VAR(1) ile ön beyazlatma (Andrews ve Monahan, 1992). Yalnız Newey–West ve Andrews.
Küçük örneklem ayarı n/(n-k) Varsayılan Newey–West için kapalı; Andrews, panel NW ve Driscoll–Kraay için açık. HAC SH'yi \sqrt{n/(n-k)} kadar büyütür.
Küme kestirici türü HC1 Küme matrisinde HC0, HC1, HC2, HC3. HC2 ve HC3 küme blok kaldıracıyla düzeltir.
Küme sayısı düzeltmesi G/(G-1) açık Küme matrisini G/(G-1) ile çarpar. SH'yi büyütür.
p değeri ve GA dağılımı t(n-k) t(n-k), t(G-1) (küme) ya da normal. p ve GA genişliği değişir.
Bütün kestiricilerin karşılaştırması açık Her kestirici varsayılan ayarlarıyla bir tabloda. Yalnız bilgi.
Tanı testleri açık Breusch–Pagan, Breusch–Godfrey, Durbin–Watson. Yalnız bilgi.
Breusch–Godfrey sırası 1 Otokorelasyon sırası. —
Güven düzeyi %95 \alpha=1-\text{düzey}. GA genişliği ve yıldız eşikleri.

Neden p değeri varsayılan olarak t(n-k)?

Asimptotik kuram normal dağılımı verir; t(n-k) küçük örneklemde biraz daha temkinli bir yazılım uygulamasıdır (robust_regresyon.py:12–14 yorumu). Küme kestiricilerinde literatür t(G-1) önerir (Cameron ve Miller, 2015). Bu bir seçimdir; MerQur varsayılanı t(n-k) bırakır ve t(G-1)'i açıkça seçtirir. Kümeli veride G küçükse t(G-1) seçilmelidir.

146.4 Veri örneği

Tıp veri setinde değişen varyans ya da otokorelasyon sorununun belirgin olduğu bir regresyon bulunmadığından, ekonometrinin klasik örneği olan Grunfeld yatırım verisi kullanılır (Grunfeld, 1958; Greene'in ders kitabındaki 10 firma, 20 yıllık biçimiyle; MerQur test klasöründeki tests/data/robust_grunfeld.csv). Tek firma (GE, birinci firma) alınır.

Değişken Rol Tür Açıklama
inv bağımlı sayısal Brüt yatırım
value açıklayıcı sayısal Firma piyasa değeri
capital açıklayıcı sayısal Sermaye stoku
year zaman tamsayı 1935–1954

n=20 gözlem, eksik değer yok. Soru: yatırım firma değerine ve sermayeye nasıl bağlıdır, ve sonuç SH seçimine duyarlı mıdır? Ayarlar: HC3 (varsayılan), karşılaştırma ve tanı testleri açık.

146.5 Formüller ve hesap adımları

MerQur önce EKK ile b=(X'X)^{-1}X'y ve e=y-Xb hesaplar, ardından seçilen kestiriciyle \widehat V'yi kurar; \mathrm{SH}_j=\sqrt{\widehat V_{jj}}, t_j=b_j/\mathrm{SH}_j.

146.5.1 Değişen varyansa dayanıklı HC kestiricileri

\widehat V_{\mathrm{HC}}=(X'X)^{-1}\Big(\sum_{i=1}^{n}\omega_i\,x_i x_i'\Big)(X'X)^{-1},\qquad h_i=x_i'(X'X)^{-1}x_i
\omega_i^{\mathrm{HC0}}=e_i^2,\quad \omega_i^{\mathrm{HC1}}=\frac{n}{n-k}e_i^2,\quad \omega_i^{\mathrm{HC2}}=\frac{e_i^2}{1-h_i},\quad \omega_i^{\mathrm{HC3}}=\frac{e_i^2}{(1-h_i)^2},\quad \omega_i^{\mathrm{HC4}}=\frac{e_i^2}{(1-h_i)^{\delta_i}},\ \ \delta_i=\min\!\Big(4,\frac{nh_i}{k}\Big)
  • h_i: i. gözlemin kaldıraç değeri (şapka matrisinin köşegeni); \sum h_i=k.
  • \delta_i: HC4'te kaldıraca bağlı üs (Cribari-Neto, 2004).

Neden artıkları kaldıraçla büyütüyoruz?

EKK artıkları, kaldıracı büyük gözlemlerde gerçek hatalardan sistematik biçimde küçüktür: \mathrm{Var}(e_i)=\sigma^2(1-h_i). HC0 bu küçüklüğü hesaba katmaz ve küçük örneklemde SH'yi aşağı çeker. HC2 varyansı, HC3 ise (jackknife'a yakın) daha ağır biçimde düzeltir. Long ve Ervin (2000) n\le 250 için HC3'ü önerir; MerQur varsayılanı bu yüzdendir (robust_regresyon.py:20–22).

146.5.2 Otokorelasyona dayanıklı HAC kestiricileri

Newey–West (Bartlett çekirdeği), Z_t=x_te_t, gecikme L için:

\widehat S=\sum_{t}Z_tZ_t'+\sum_{j=1}^{L}\Big(1-\frac{j}{L+1}\Big)\sum_{t=j+1}^{n}\big(Z_tZ_{t-j}'+Z_{t-j}Z_t'\big)

L=0 girilirse L=\lfloor \widehat m\rfloor olur; \widehat m Newey–West (1994) kendiliğinden seçilen bant genişliğidir (bw_newey_west, 168–183): m_0=\lfloor 4(n/100)^{2/9}\rfloor gecikmeyle otokovaryanslar \hat\sigma_j hesaplanır, s_0=\hat\sigma_0+2\sum\hat\sigma_j, s_1=2\sum j\hat\sigma_j, ve \widehat m=1{,}1447\,(s_1/s_0)^{2/3}\,n^{1/3}.

Andrews (1991) kestiricisi kuadratik spektral çekirdek ve AR(1) tabanlı bant genişliği kullanır; n/(n-k) düzeltmesi varsayılan olarak açıktır (vcov_robust, 385–393).

Koddaki tercih: Newey–West'te ön beyazlatma ve küçük örneklem düzeltmesi kapalı

Klasik Newey–West (1987) kestiricisi ön beyazlatmasızdır ve n/(n-k) çarpanı içermez; MerQur varsayılanı budur. Andrews–Monahan (1992) ön beyazlatmayı önerir; her iki kaynak da vardır, seçim kullanıcıdadır (robust_regresyon.py:25–28, vcov_robust 376–393).

146.5.3 Küme dayanıklı kestiriciler

Tek yönlü küme (Arellano, 1987), g kümeleri için M_g=\sum_{i\in g}x_ie_i:

\widehat S=\frac{G}{G-1}\cdot\frac{n-1}{n-k}\sum_{g=1}^{G}M_gM_g'

İki yönlü küme (Cameron, Gelbach ve Miller, 2011) birim, zaman ve birim×zaman kesişimi için matrislerin \widehat S_1+\widehat S_2-\widehat S_{12} biçiminde birleştirilmesidir (_cluster_S, 243–298). HC2 ve HC3 küme türlerinde e_g yerine (I-H_{gg})^{-1/2}e_g ya da (I-H_{gg})^{-1}e_g kullanılır.

146.5.4 Panel Newey–West ve Driscoll–Kraay

Panel Newey–West birim içi Bartlett otokovaryanslarını toplar. Driscoll–Kraay (1998) önce her zaman diliminde gözlemleri toplar, M_t=\sum_{i}x_{it}e_{it}, sonra bu toplamlara Bartlett uygular; böylece birimler arası ve zaman içi bağımlılığa birlikte dayanıklıdır. L=0 ise L=\lfloor 4(T/100)^{2/9}\rfloor (Hoechle, 2007).

Gecikme kuralı bir seçimdir

Aynı Driscoll–Kraay tanımı için farklı yazılımlar farklı varsayılan gecikme kullanır (ör. \lfloor T^{1/4}\rfloor). MerQur Hoechle (2007) kuralını varsayılan alır; başka bir kural isteyen gecikmeyi elle girer (robust_regresyon.py:16–20).

146.6 Elle hesap: Grunfeld, firma 1

Tüm sayılar MerQur kodu çağrılmadan, numpy ile yazılan bağımsız betikten gelir (dogrulama/cilt9/robust.py).

Adım 1 — EKK. n=20, k=3: b=(-149{,}7825,\ 0{,}119281,\ 0{,}371445). Artık kareler toplamı \mathrm{RSS}=143205{,}877; s^2=\mathrm{RSS}/17=8423{,}875, s=91{,}782.

Adım 2 — Klasik SH. \widehat V=s^2(X'X)^{-1} köşegeninden \mathrm{SH}=(105{,}8421;\ 0{,}025834;\ 0{,}037073).

Adım 3 — Kaldıraç. \sum h_i=3{,}0000 (=k). En büyük kaldıraç son gözlemde: h_{20}=0{,}38614, e_{20}=142{,}33. İlk gözlem: h_1=0{,}16303, e_1=99{,}136; e_1^2=9828{,}02 ve HC3 ağırlığı e_1^2/(1-h_1)^2=14029{,}56.

Adım 4 — HC0–HC4. Her ağırlıkla \widehat V kurulup köşegen karekökü alınır:

Kestirici SH(sabit) SH(value) SH(capital)
klasik 105,8421 0,025834 0,037073
HC0 89,6758 0,022793 0,040848
HC1 97,2671 0,024722 0,044306
HC2 100,3849 0,025391 0,048333
HC3 113,0785 0,028390 0,057917
HC4 109,6374 0,026931 0,062153

Adım 5 — Newey–West. MerQur otomatik bant genişliği \widehat m=1{,}9916 kestirir ve L=\lfloor 1{,}9916\rfloor=1 alır. L=1 için bağımsız hesap: \mathrm{SH}=(100{,}1554;\ 0{,}025264;\ 0{,}046031).

Adım 6 — Küme (tüm 10 firma, n=200, G=10). M_g firma toplamları, çarpan \frac{10}{9}\cdot\frac{199}{197}; bağımsız hesapla \mathrm{SH}=(20{,}4252;\ 0{,}015894;\ 0{,}084967).

Adım 7 — Petersen (2009) benzetim verisi. n=5000, 500 firma × 10 yıl. EKK SH(x) =0{,}0286; zamana göre küme 0{,}0334; iki yönlü küme 0{,}0536. Bunlar Petersen'in yayımladığı değerlerdir.

146.6.1 Doğrulama: MerQur, Python ve R

Büyüklük MerQur Bağımsız Python R (sandwich) Sonuç
HC0–HC4 SH (3 katsayı) motor çıktısı numpy elle vcovHC ✓ (<10^{-8})
Newey–West L=1 100,1554; 0,025264; 0,046031 aynı NeweyWest ✓
Küme SH (G=10) 20,4252; 0,015894; 0,084967 aynı vcovCL ✓
Petersen EKK, küme, iki yönlü küme 0,0286; 0,0334; 0,0536 — PetersenCL ✓ (4 ondalık)

R tarafı R 4.5.3 ve sandwich paketiyle yeniden çalıştırıldı (vcovHC, NeweyWest(lag = 1, prewhite = FALSE, adjust = FALSE), vcovCL(type = "HC1"); betik dogrulama/cilt9/robust.R). MerQur, bağımsız numpy hesabı ve R arasındaki en büyük göreli fark 10^{-7}'nin altındadır. Petersen satırı, MerQur test takımındaki sabitlenmiş yayımlı değerlerdir (tests/data/robust_ref_plus.json; tests/test_v280_robust_regresyon.py).

146.7 Çıktıyı okuma

Dayanıklı standart hatalı EKK regresyonu
EKK; standart hata: HC3; n = 20, parametre = 3.
R²                          : 0.9214
Düzeltilmiş R²              : 0.9121
EKK katsayıları (standart hata: HC3; p: t(17))
Terim     Kestirim  SH (klasik)  SH (HC3)       t       p
sabit    -149.7825     105.8421  113.0785  -1.325  0.2028
value       0.1193       0.0258    0.0284   4.201  0.0006   ***
capital     0.3714       0.0371    0.0579   6.413  <.0001   ***
Eğim katsayılarının ortak anlamlılığı (H0: hepsi sıfır)
HC3            78.312   2  <.0001         39.156   <.0001
Tanı testleri
Breusch-Pagan (Koenker)   2.0272   2  0.3629
Breusch-Godfrey (sıra 1)  4.6306   1  0.0314
Durbin-Watson             0.9375   -  0.0016
Öğe Ne yazar Nasıl yorumlanır
SH oranı (seçilen / klasik) Dayanıklı SH'nin klasik SH'ye oranı. 1'e yakınsa varsayımlar makul; 1'den çok büyükse klasik çıkarım iyimserdir.
Wald \chi^2 ve F Eğim katsayılarının ortak sıfır olduğu H₀. Dayanıklı Wald, klasikten genellikle küçüktür.
Tanı testleri Değişen varyans ve otokorelasyon kanıtı. Breusch–Godfrey ya da Durbin–Watson anlamlıysa panel/zaman serisi kestiricisine geçin.

Standart hataları HC3 kestiricisiyle hesaplanan bir en küçük kareler regresyonu kestirildi (n=20, R^2=0{,}92). Eğim katsayıları birlikte anlamlıydı, F(2,\,17)=39{,}16, p<0{,}001. Sermaye: b=0{,}371, SH =0{,}058, t(17)=6{,}41, p<0{,}001.

146.8 Uzman soruları

S1. Neden varsayılan HC3, HC1 değil?

Küçük örneklemde HC0 ve HC1 SH'yi aşağı çeker; kaldıraçlı gözlemlerde artık küçüktür. HC3 en temkinli düzeltmedir ve Long ve Ervin (2000) n\le250 için bunu önerir. Bu örnekte HC1/HC3 oranı sermaye için 0{,}0443/0{,}0579'dur.

S2. Katsayılar neden değişmiyor?

Dayanıklı kestiriciler yalnız \widehat V'yi değiştirir. EKK katsayıları, hata varyansı sabit olmasa da tutarlıdır; verimli değildir. Verim istenirse GLS ya da ağırlıklı EKK gerekir.

S3. Newey–West'te gecikme 0 ne demek?

Otomatik seçim: Newey ve West (1994) bant genişliği kestirilir ve tabanı alınır. Bu örnekte \widehat m=1{,}99, yani L=1. Elle L=2 girilirse SH değişir.

S4. Küme sayısı 10 iken t(G-1) ile t(n-k) arasında ne fark olur?

t(9) kuyrukları t(197)'den belirgin kalındır; p büyür ve GA genişler. MerQur varsayılanı t(n-k)'dir; t(G-1) seçenekle istenir. G<10 olduğunda uyarı çıkar.

S5. Driscoll–Kraay ne zaman Newey–West'ten (panel) üstündür?

Birimler arası bağımlılık (ortak şoklar) varsa. Panel Newey–West birimler arası bağımlılığı yok sayar; Driscoll–Kraay zaman dilimi toplamları üzerinden bunu da kapsar. T küçükse ikisi de güvenilmezdir.

S6. Başka yazılımlarla farkı nerede beklenir?

Gecikme varsayılanı ve küçük örneklem düzeltmesinde. Newey–West'te n/(n-k) kapalıdır (R sandwich varsayılanı gibi); Andrews, panel NW ve Driscoll–Kraay'de açıktır. Bunlar Ayar seçeneğiyle değiştirilebilir.

146.9 Sık hatalar ve tuzaklar

  • Dayanıklı SH'nin katsayıları düzelteceğini sanmak. Yalnız çıkarım düzelir; yanlı kestirim kalır.
  • Küçük G ile küme SH'ye güvenmek. G<10 ise uyarı vardır; t(G-1) seçin ve sonucu temkinli okuyun.
  • Zaman serisinde sıralamayı vermemek. HAC kestiricileri satır sırasına bağlıdır. Zaman sütunu seçilirse MerQur sıralar.
  • Panelde düz Newey–West seçmek. Panel verisinde hac_panel hatası verir; panel kestiricisini seçin.
  • Tanı testlerini karar mekanizması saymak. Breusch–Pagan ve Breusch–Godfrey yalnız kanıt sunar; kestirici seçimi tasarım bilgisine dayanmalıdır.

146.10 Kaynaklar

  • Arellano, M. (1987). Computing robust standard errors for within-groups estimators. Oxford Bulletin of Economics and Statistics, 49(4), 431–434. https://doi.org/10.1111/j.1468-0084.1987.mp49004006.x
  • Andrews, D. W. K. (1991). Heteroskedasticity and autocorrelation consistent covariance matrix estimation. Econometrica, 59(3), 817–858. https://doi.org/10.2307/2938229
  • Cameron, A. C., Gelbach, J. B., & Miller, D. L. (2011). Robust inference with multiway clustering. Journal of Business & Economic Statistics, 29(2), 238–249. https://doi.org/10.1198/jbes.2010.07136
  • Driscoll, J. C., & Kraay, A. C. (1998). Consistent covariance matrix estimation with spatially dependent panel data. Review of Economics and Statistics, 80(4), 549–560. https://doi.org/10.1162/003465398557825
  • Hoechle, D. (2007). Robust standard errors for panel regressions with cross-sectional dependence. The Stata Journal, 7(3), 281–312. https://doi.org/10.1177/1536867X0700700301
  • Long, J. S., & Ervin, L. H. (2000). Using heteroscedasticity consistent standard errors in the linear regression model. The American Statistician, 54(3), 217–224. https://doi.org/10.1080/00031305.2000.10474549
  • MacKinnon, J. G., & White, H. (1985). Some heteroskedasticity-consistent covariance matrix estimators with improved finite sample properties. Journal of Econometrics, 29(3), 305–325. https://doi.org/10.1016/0304-4076(85)90158-7
  • Newey, W. K., & West, K. D. (1987). A simple, positive semi-definite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55(3), 703–708. https://doi.org/10.2307/1913610
  • Newey, W. K., & West, K. D. (1994). Automatic lag selection in covariance matrix estimation. Review of Economic Studies, 61(4), 631–653. https://doi.org/10.2307/2297912
  • Petersen, M. A. (2009). Estimating standard errors in finance panel data sets: Comparing approaches. Review of Financial Studies, 22(1), 435–480. https://doi.org/10.1093/rfs/hhn053
  • White, H. (1980). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica, 48(4), 817–838. https://doi.org/10.2307/1912934
  • Zeileis, A. (2004). Econometric computing with HC and HAC covariance matrix estimators. Journal of Statistical Software, 11(10), 1–17. https://doi.org/10.18637/jss.v011.i10