146. Dayanıklı Standart Hatalı Regresyon
Analiz kimliği: robust_regresyon · Menü adı: Dayanıklı Standart Hatalı Regresyon (HC / HAC / Küme) · Panel: gui/panels/analyses/robust_regresyon_panel.py · Motor: stats/robust_regresyon.py, run_robust_regression (satır 488–690); kovaryans seçimi vcov_robust (346–405), HAC bant genişlikleri bw_newey_west, bw_andrews (168–216), küme matrisi _cluster_S (243–298), panel matrisi _panel_S (301–343), tanı testleri (408–440)
146.1 Ne işe yarar
En küçük kareler (EKK) regresyonunda katsayılar aynı kalır, ama klasik standart hata (SH) formülü iki varsayıma dayanır: hata varyansı sabittir ve hatalar birbirinden bağımsızdır. Bu iki varsayım bozulursa katsayılar yine tutarlıdır, fakat SH, t ve p yanlış olur. Bu analiz katsayıları değiştirmez; yalnız kovaryans matrisini değiştirir. Cevapladığı soru şudur: "Hata varyansı değişiyorsa, hatalar zaman içinde ya da aynı birimin gözlemleri arasında ilişkiliyse çıkarım nasıl düzeltilir?"
Her kestirici aynı "sandviç" biçimindedir:
- X: n\times k tasarım matrisi (sabit terim dahil); e_i: EKK artığı.
- \widehat S: "et" matrisi. Kestiriciler yalnız bu matrisi nasıl kurduklarıyla ayrılır.
Ne zaman kullanılır? Değişen varyans şüphesi varsa (HC kestiricileri), zaman serisinde artıklar otokorelasyonluysa (Newey–West, Andrews), gözlemler birimlere kümelenmişse (küme), panelde hem birim içi hem birimler arası bağımlılık varsa (panel Newey–West, Driscoll–Kraay).
Ne zaman kullanılmaz?
- Katsayıların kendisi yanlışsa (içsellik, eksik değişken): SH düzeltmesi yanlılığı gidermez; araç değişkenli yöntem gerekir (Panel Ek Testler ve Kestiriciler, 152).
- Çok az küme varsa (yaklaşık 10'dan az): küme SH güvenilmezdir; MerQur bu durumda uyarı yazar (
robust_regresyon.py:625). - Bağımlı değişken ikili ya da sayımsa: Lojistik ya da Poisson modelleri.
Sık karıştırılan analizler. "Genel Doğrusal Regresyon" klasik SH verir. Bu analiz aynı katsayıları verir, ama SH'yi dayanıklı kestirir. Panel Ek Testler (152) içindeki "standart hata karşılaştırması" bloğu aynı kestiricilerin panel durumuna özgü bir alt kümesini sunar.
146.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Doğru belirtim | E(e\mid X)=0; katsayılar tutarlıdır. | Denetlenmez; tasarımla sağlanır. |
| Tam sütun sıralaması | X sütunları doğrusal bağımsız. | collinear hatası (bkz. aşağıda). |
| Değişen varyans | Sabit varyans varsayımı gevşetilir. | Breusch–Pagan (Koenker) testi (isteğe bağlı kutu). |
| Otokorelasyon | HAC kestiricileri için sıra anlamlıdır. | Breusch–Godfrey ve Durbin–Watson (isteğe bağlı kutu). |
| Küme yapısı | Kümeler birbirinden bağımsız. | Denetlenmez; küme sayısı G<10 ise uyarı. |
Eksik değer. Bağımlı ya da açıklayıcı değişkende eksik olan satırlar birlikte atılır ve atılan sayı raporlanır (n_dropped). Sütunlar sayıya çevrilir; ondalık virgüllü metin sütunları da okunur. Zaman sütunu verilirse veri (birim, zaman) sırasına dizilir; karışık sıralı veride sonuç aynıdır.
Uç durumlar. Motor şu durumlarda hata kodu üretir ve panel bunu çevirir: n yetersiz (n), bağımlı değişken sabit (y_const), sütunlar doğrusal bağımlı (collinear), mükemmel uyum (perfect), kümede birim sütunu yok (need_unit), iki yönlü küme ya da Driscoll–Kraay için zaman sütunu yok (need_time), Newey–West panel verisinde (hac_panel), tek küme (g_min), (birim, zaman) çiftinin yinelenmesi (dup_ut), y'nin X içinde olması (y_in_x), kaldıraç 1'e eşit (leverage).
146.3 Parametreler
Varsayılanlar robust_regresyon_panel.py içindeki read_options (131–150) kodundan okunmuştur.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Bağımlı değişken (y) | veriye bağlı | Sayısal sonuç değişkeni. | — |
| Açıklayıcı değişkenler | veriye bağlı | En az bir sayısal sütun. | Kategorikler önce 0/1 sütunlara çevrilmelidir. |
| Birim (küme) sütunu | boş | Küme, iki yönlü küme, panel Newey–West, Driscoll–Kraay için gerekli. | Boşsa veri tek zaman serisidir. |
| Zaman sütunu | boş | Verilirse (birim, zaman) sıralanır. | HAC ve panel kestiricilerinin gecikme yapısını belirler. |
| Sabit terim ekle | açık | X'e birler sütunu ekler. | Kapalıysa R^2 merkezsiz biçimde hesaplanır. |
| Standart hata türü | HC3 | Klasik, HC0–HC4, Newey–West, Andrews, küme, iki yönlü küme, panel Newey–West, Driscoll–Kraay. | Yalnız SH, t, p, GA değişir. |
| HAC gecikmesi / kesme | 0 (otomatik) | Newey–West: 0 ise Newey–West (1994) otomatik seçimi. Panel NW ve Driscoll–Kraay: 0 ise \lfloor 4(T/100)^{2/9}\rfloor (Hoechle, 2007). | Gecikme arttıkça SH genellikle büyür. |
| Ön beyazlatma | kapalı | VAR(1) ile ön beyazlatma (Andrews ve Monahan, 1992). | Yalnız Newey–West ve Andrews. |
| Küçük örneklem ayarı n/(n-k) | Varsayılan | Newey–West için kapalı; Andrews, panel NW ve Driscoll–Kraay için açık. | HAC SH'yi \sqrt{n/(n-k)} kadar büyütür. |
| Küme kestirici türü | HC1 | Küme matrisinde HC0, HC1, HC2, HC3. | HC2 ve HC3 küme blok kaldıracıyla düzeltir. |
| Küme sayısı düzeltmesi G/(G-1) | açık | Küme matrisini G/(G-1) ile çarpar. | SH'yi büyütür. |
| p değeri ve GA dağılımı | t(n-k) | t(n-k), t(G-1) (küme) ya da normal. | p ve GA genişliği değişir. |
| Bütün kestiricilerin karşılaştırması | açık | Her kestirici varsayılan ayarlarıyla bir tabloda. | Yalnız bilgi. |
| Tanı testleri | açık | Breusch–Pagan, Breusch–Godfrey, Durbin–Watson. | Yalnız bilgi. |
| Breusch–Godfrey sırası | 1 | Otokorelasyon sırası. | — |
| Güven düzeyi | %95 | \alpha=1-\text{düzey}. | GA genişliği ve yıldız eşikleri. |
Neden p değeri varsayılan olarak t(n-k)?
Asimptotik kuram normal dağılımı verir; t(n-k) küçük örneklemde biraz daha temkinli bir yazılım uygulamasıdır (robust_regresyon.py:12–14 yorumu). Küme kestiricilerinde literatür t(G-1) önerir (Cameron ve Miller, 2015). Bu bir seçimdir; MerQur varsayılanı t(n-k) bırakır ve t(G-1)'i açıkça seçtirir. Kümeli veride G küçükse t(G-1) seçilmelidir.
146.4 Veri örneği
Tıp veri setinde değişen varyans ya da otokorelasyon sorununun belirgin olduğu bir regresyon bulunmadığından, ekonometrinin klasik örneği olan Grunfeld yatırım verisi kullanılır (Grunfeld, 1958; Greene'in ders kitabındaki 10 firma, 20 yıllık biçimiyle; MerQur test klasöründeki tests/data/robust_grunfeld.csv). Tek firma (GE, birinci firma) alınır.
| Değişken | Rol | Tür | Açıklama |
|---|---|---|---|
inv |
bağımlı | sayısal | Brüt yatırım |
value |
açıklayıcı | sayısal | Firma piyasa değeri |
capital |
açıklayıcı | sayısal | Sermaye stoku |
year |
zaman | tamsayı | 1935–1954 |
n=20 gözlem, eksik değer yok. Soru: yatırım firma değerine ve sermayeye nasıl bağlıdır, ve sonuç SH seçimine duyarlı mıdır? Ayarlar: HC3 (varsayılan), karşılaştırma ve tanı testleri açık.
146.5 Formüller ve hesap adımları
MerQur önce EKK ile b=(X'X)^{-1}X'y ve e=y-Xb hesaplar, ardından seçilen kestiriciyle \widehat V'yi kurar; \mathrm{SH}_j=\sqrt{\widehat V_{jj}}, t_j=b_j/\mathrm{SH}_j.
146.5.1 Değişen varyansa dayanıklı HC kestiricileri
- h_i: i. gözlemin kaldıraç değeri (şapka matrisinin köşegeni); \sum h_i=k.
- \delta_i: HC4'te kaldıraca bağlı üs (Cribari-Neto, 2004).
Neden artıkları kaldıraçla büyütüyoruz?
EKK artıkları, kaldıracı büyük gözlemlerde gerçek hatalardan sistematik biçimde küçüktür: \mathrm{Var}(e_i)=\sigma^2(1-h_i). HC0 bu küçüklüğü hesaba katmaz ve küçük örneklemde SH'yi aşağı çeker. HC2 varyansı, HC3 ise (jackknife'a yakın) daha ağır biçimde düzeltir. Long ve Ervin (2000) n\le 250 için HC3'ü önerir; MerQur varsayılanı bu yüzdendir (robust_regresyon.py:20–22).
146.5.2 Otokorelasyona dayanıklı HAC kestiricileri
Newey–West (Bartlett çekirdeği), Z_t=x_te_t, gecikme L için:
L=0 girilirse L=\lfloor \widehat m\rfloor olur; \widehat m Newey–West (1994) kendiliğinden seçilen bant genişliğidir (bw_newey_west, 168–183): m_0=\lfloor 4(n/100)^{2/9}\rfloor gecikmeyle otokovaryanslar \hat\sigma_j hesaplanır, s_0=\hat\sigma_0+2\sum\hat\sigma_j, s_1=2\sum j\hat\sigma_j, ve \widehat m=1{,}1447\,(s_1/s_0)^{2/3}\,n^{1/3}.
Andrews (1991) kestiricisi kuadratik spektral çekirdek ve AR(1) tabanlı bant genişliği kullanır; n/(n-k) düzeltmesi varsayılan olarak açıktır (vcov_robust, 385–393).
Koddaki tercih: Newey–West'te ön beyazlatma ve küçük örneklem düzeltmesi kapalı
Klasik Newey–West (1987) kestiricisi ön beyazlatmasızdır ve n/(n-k) çarpanı içermez; MerQur varsayılanı budur. Andrews–Monahan (1992) ön beyazlatmayı önerir; her iki kaynak da vardır, seçim kullanıcıdadır (robust_regresyon.py:25–28, vcov_robust 376–393).
146.5.3 Küme dayanıklı kestiriciler
Tek yönlü küme (Arellano, 1987), g kümeleri için M_g=\sum_{i\in g}x_ie_i:
İki yönlü küme (Cameron, Gelbach ve Miller, 2011) birim, zaman ve birim×zaman kesişimi için matrislerin \widehat S_1+\widehat S_2-\widehat S_{12} biçiminde birleştirilmesidir (_cluster_S, 243–298). HC2 ve HC3 küme türlerinde e_g yerine (I-H_{gg})^{-1/2}e_g ya da (I-H_{gg})^{-1}e_g kullanılır.
146.5.4 Panel Newey–West ve Driscoll–Kraay
Panel Newey–West birim içi Bartlett otokovaryanslarını toplar. Driscoll–Kraay (1998) önce her zaman diliminde gözlemleri toplar, M_t=\sum_{i}x_{it}e_{it}, sonra bu toplamlara Bartlett uygular; böylece birimler arası ve zaman içi bağımlılığa birlikte dayanıklıdır. L=0 ise L=\lfloor 4(T/100)^{2/9}\rfloor (Hoechle, 2007).
Gecikme kuralı bir seçimdir
Aynı Driscoll–Kraay tanımı için farklı yazılımlar farklı varsayılan gecikme kullanır (ör. \lfloor T^{1/4}\rfloor). MerQur Hoechle (2007) kuralını varsayılan alır; başka bir kural isteyen gecikmeyi elle girer (robust_regresyon.py:16–20).
146.6 Elle hesap: Grunfeld, firma 1
Tüm sayılar MerQur kodu çağrılmadan, numpy ile yazılan bağımsız betikten gelir (dogrulama/cilt9/robust.py).
Adım 1 — EKK. n=20, k=3: b=(-149{,}7825,\ 0{,}119281,\ 0{,}371445). Artık kareler toplamı \mathrm{RSS}=143205{,}877; s^2=\mathrm{RSS}/17=8423{,}875, s=91{,}782.
Adım 2 — Klasik SH. \widehat V=s^2(X'X)^{-1} köşegeninden \mathrm{SH}=(105{,}8421;\ 0{,}025834;\ 0{,}037073).
Adım 3 — Kaldıraç. \sum h_i=3{,}0000 (=k). En büyük kaldıraç son gözlemde: h_{20}=0{,}38614, e_{20}=142{,}33. İlk gözlem: h_1=0{,}16303, e_1=99{,}136; e_1^2=9828{,}02 ve HC3 ağırlığı e_1^2/(1-h_1)^2=14029{,}56.
Adım 4 — HC0–HC4. Her ağırlıkla \widehat V kurulup köşegen karekökü alınır:
| Kestirici | SH(sabit) | SH(value) | SH(capital) |
|---|---|---|---|
| klasik | 105,8421 | 0,025834 | 0,037073 |
| HC0 | 89,6758 | 0,022793 | 0,040848 |
| HC1 | 97,2671 | 0,024722 | 0,044306 |
| HC2 | 100,3849 | 0,025391 | 0,048333 |
| HC3 | 113,0785 | 0,028390 | 0,057917 |
| HC4 | 109,6374 | 0,026931 | 0,062153 |
Adım 5 — Newey–West. MerQur otomatik bant genişliği \widehat m=1{,}9916 kestirir ve L=\lfloor 1{,}9916\rfloor=1 alır. L=1 için bağımsız hesap: \mathrm{SH}=(100{,}1554;\ 0{,}025264;\ 0{,}046031).
Adım 6 — Küme (tüm 10 firma, n=200, G=10). M_g firma toplamları, çarpan \frac{10}{9}\cdot\frac{199}{197}; bağımsız hesapla \mathrm{SH}=(20{,}4252;\ 0{,}015894;\ 0{,}084967).
Adım 7 — Petersen (2009) benzetim verisi. n=5000, 500 firma × 10 yıl. EKK SH(x) =0{,}0286; zamana göre küme 0{,}0334; iki yönlü küme 0{,}0536. Bunlar Petersen'in yayımladığı değerlerdir.
146.6.1 Doğrulama: MerQur, Python ve R
| Büyüklük | MerQur | Bağımsız Python | R (sandwich) |
Sonuç |
|---|---|---|---|---|
| HC0–HC4 SH (3 katsayı) | motor çıktısı | numpy elle | vcovHC |
✓ (<10^{-8}) |
| Newey–West L=1 | 100,1554; 0,025264; 0,046031 | aynı | NeweyWest |
✓ |
| Küme SH (G=10) | 20,4252; 0,015894; 0,084967 | aynı | vcovCL |
✓ |
| Petersen EKK, küme, iki yönlü küme | 0,0286; 0,0334; 0,0536 | — | PetersenCL |
✓ (4 ondalık) |
R tarafı R 4.5.3 ve sandwich paketiyle yeniden çalıştırıldı (vcovHC, NeweyWest(lag = 1, prewhite = FALSE, adjust = FALSE), vcovCL(type = "HC1"); betik dogrulama/cilt9/robust.R). MerQur, bağımsız numpy hesabı ve R arasındaki en büyük göreli fark 10^{-7}'nin altındadır. Petersen satırı, MerQur test takımındaki sabitlenmiş yayımlı değerlerdir (tests/data/robust_ref_plus.json; tests/test_v280_robust_regresyon.py).
146.7 Çıktıyı okuma
Dayanıklı standart hatalı EKK regresyonu
EKK; standart hata: HC3; n = 20, parametre = 3.
R² : 0.9214
Düzeltilmiş R² : 0.9121
EKK katsayıları (standart hata: HC3; p: t(17))
Terim Kestirim SH (klasik) SH (HC3) t p
sabit -149.7825 105.8421 113.0785 -1.325 0.2028
value 0.1193 0.0258 0.0284 4.201 0.0006 ***
capital 0.3714 0.0371 0.0579 6.413 <.0001 ***
Eğim katsayılarının ortak anlamlılığı (H0: hepsi sıfır)
HC3 78.312 2 <.0001 39.156 <.0001
Tanı testleri
Breusch-Pagan (Koenker) 2.0272 2 0.3629
Breusch-Godfrey (sıra 1) 4.6306 1 0.0314
Durbin-Watson 0.9375 - 0.0016
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
| SH oranı (seçilen / klasik) | Dayanıklı SH'nin klasik SH'ye oranı. | 1'e yakınsa varsayımlar makul; 1'den çok büyükse klasik çıkarım iyimserdir. |
| Wald \chi^2 ve F | Eğim katsayılarının ortak sıfır olduğu H₀. | Dayanıklı Wald, klasikten genellikle küçüktür. |
| Tanı testleri | Değişen varyans ve otokorelasyon kanıtı. | Breusch–Godfrey ya da Durbin–Watson anlamlıysa panel/zaman serisi kestiricisine geçin. |
Standart hataları HC3 kestiricisiyle hesaplanan bir en küçük kareler regresyonu kestirildi (n=20, R^2=0{,}92). Eğim katsayıları birlikte anlamlıydı, F(2,\,17)=39{,}16, p<0{,}001. Sermaye: b=0{,}371, SH =0{,}058, t(17)=6{,}41, p<0{,}001.
146.8 Uzman soruları
S1. Neden varsayılan HC3, HC1 değil?
Küçük örneklemde HC0 ve HC1 SH'yi aşağı çeker; kaldıraçlı gözlemlerde artık küçüktür. HC3 en temkinli düzeltmedir ve Long ve Ervin (2000) n\le250 için bunu önerir. Bu örnekte HC1/HC3 oranı sermaye için 0{,}0443/0{,}0579'dur.
S2. Katsayılar neden değişmiyor?
Dayanıklı kestiriciler yalnız \widehat V'yi değiştirir. EKK katsayıları, hata varyansı sabit olmasa da tutarlıdır; verimli değildir. Verim istenirse GLS ya da ağırlıklı EKK gerekir.
S3. Newey–West'te gecikme 0 ne demek?
Otomatik seçim: Newey ve West (1994) bant genişliği kestirilir ve tabanı alınır. Bu örnekte \widehat m=1{,}99, yani L=1. Elle L=2 girilirse SH değişir.
S4. Küme sayısı 10 iken t(G-1) ile t(n-k) arasında ne fark olur?
t(9) kuyrukları t(197)'den belirgin kalındır; p büyür ve GA genişler. MerQur varsayılanı t(n-k)'dir; t(G-1) seçenekle istenir. G<10 olduğunda uyarı çıkar.
S5. Driscoll–Kraay ne zaman Newey–West'ten (panel) üstündür?
Birimler arası bağımlılık (ortak şoklar) varsa. Panel Newey–West birimler arası bağımlılığı yok sayar; Driscoll–Kraay zaman dilimi toplamları üzerinden bunu da kapsar. T küçükse ikisi de güvenilmezdir.
S6. Başka yazılımlarla farkı nerede beklenir?
Gecikme varsayılanı ve küçük örneklem düzeltmesinde. Newey–West'te n/(n-k) kapalıdır (R sandwich varsayılanı gibi); Andrews, panel NW ve Driscoll–Kraay'de açıktır. Bunlar Ayar seçeneğiyle değiştirilebilir.
146.9 Sık hatalar ve tuzaklar
- Dayanıklı SH'nin katsayıları düzelteceğini sanmak. Yalnız çıkarım düzelir; yanlı kestirim kalır.
- Küçük G ile küme SH'ye güvenmek. G<10 ise uyarı vardır; t(G-1) seçin ve sonucu temkinli okuyun.
- Zaman serisinde sıralamayı vermemek. HAC kestiricileri satır sırasına bağlıdır. Zaman sütunu seçilirse MerQur sıralar.
- Panelde düz Newey–West seçmek. Panel verisinde
hac_panelhatası verir; panel kestiricisini seçin. - Tanı testlerini karar mekanizması saymak. Breusch–Pagan ve Breusch–Godfrey yalnız kanıt sunar; kestirici seçimi tasarım bilgisine dayanmalıdır.
146.10 Kaynaklar
- Arellano, M. (1987). Computing robust standard errors for within-groups estimators. Oxford Bulletin of Economics and Statistics, 49(4), 431–434. https://doi.org/10.1111/j.1468-0084.1987.mp49004006.x
- Andrews, D. W. K. (1991). Heteroskedasticity and autocorrelation consistent covariance matrix estimation. Econometrica, 59(3), 817–858. https://doi.org/10.2307/2938229
- Cameron, A. C., Gelbach, J. B., & Miller, D. L. (2011). Robust inference with multiway clustering. Journal of Business & Economic Statistics, 29(2), 238–249. https://doi.org/10.1198/jbes.2010.07136
- Driscoll, J. C., & Kraay, A. C. (1998). Consistent covariance matrix estimation with spatially dependent panel data. Review of Economics and Statistics, 80(4), 549–560. https://doi.org/10.1162/003465398557825
- Hoechle, D. (2007). Robust standard errors for panel regressions with cross-sectional dependence. The Stata Journal, 7(3), 281–312. https://doi.org/10.1177/1536867X0700700301
- Long, J. S., & Ervin, L. H. (2000). Using heteroscedasticity consistent standard errors in the linear regression model. The American Statistician, 54(3), 217–224. https://doi.org/10.1080/00031305.2000.10474549
- MacKinnon, J. G., & White, H. (1985). Some heteroskedasticity-consistent covariance matrix estimators with improved finite sample properties. Journal of Econometrics, 29(3), 305–325. https://doi.org/10.1016/0304-4076(85)90158-7
- Newey, W. K., & West, K. D. (1987). A simple, positive semi-definite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55(3), 703–708. https://doi.org/10.2307/1913610
- Newey, W. K., & West, K. D. (1994). Automatic lag selection in covariance matrix estimation. Review of Economic Studies, 61(4), 631–653. https://doi.org/10.2307/2297912
- Petersen, M. A. (2009). Estimating standard errors in finance panel data sets: Comparing approaches. Review of Financial Studies, 22(1), 435–480. https://doi.org/10.1093/rfs/hhn053
- White, H. (1980). A heteroskedasticity-consistent covariance matrix estimator and a direct test for heteroskedasticity. Econometrica, 48(4), 817–838. https://doi.org/10.2307/1912934
- Zeileis, A. (2004). Econometric computing with HC and HAC covariance matrix estimators. Journal of Statistical Software, 11(10), 1–17. https://doi.org/10.18637/jss.v011.i10