63. Örneklem Seçimi ve Kesik Regresyon (Heckman)
Analiz kimliği: sample_selection · Menü adı: Örneklem Seçimi ve Kesik Regresyon (Heckman) · Panel: gui/panels/analyses/sample_selection.py · Motor: stats/sample_selection.py, run_heckman (satır 149–380), run_truncated_regression (satır 416–524), format_selection_text (satır 590–638)
63.1 Ne işe yarar
Bu panel üç modeli bir arada sunar. Üçünün ortak sorunu, sonucun yalnız bir alt örneklemde gözlenmesidir.
- Heckman seçim modeli (en çok olabilirlik). Sonuç y yalnız bir seçim koşulu sağlandığında gözlenir; örneğin ücret yalnız işgücüne katılanlarda vardır. İki denklem birlikte kestirilir:
- s_i: seçim göstergesi (1 = sonuç gözlendi); s_i^{*}: gizil seçim eğilimi.
- \mathbf z_i: seçim denkleminin açıklayıcıları (sabit dahil); \mathbf x_i: sonuç denkleminin açıklayıcıları.
- \rho: seçim ve sonuç hatalarının korelasyonu; \sigma: sonuç hatasının SS'si. u_i'nin varyansı tanımlanabilirlik için 1'e sabitlenmiştir (probit).
- Heckman iki adımlı (Heckit). Aynı model, önce probit, sonra ters Mills oranı eklenmiş OLS ile.
- Kesik (truncated) regresyon. Örneklem yalnız L<y<U aralığındaki birimlerden oluşur; aralık dışındakiler veri setinde hiç yoktur (Hausman & Wise, 1977).
Neden seçilmişlerde OLS yanlıdır?
Seçilmişlerde sonucun koşullu beklenen değeri E(y_i\mid s_i=1)=\mathbf x_i^{\top}\boldsymbol\beta+\rho\sigma\,\lambda(\mathbf z_i^{\top}\boldsymbol\gamma)'dır; \lambda(c)=\phi(c)/\Phi(c) ters Mills oranıdır. \rho\ne0 iken seçilmişlerde OLS, \lambda terimini atlamış bir modeldir; \lambda açıklayıcılarla ilişkili olduğundan katsayılar yanlı olur. Heckman (1979) bu yanlılığı bir belirtim hatası (atlanmış değişken) olarak tanımlamış ve iki adımlı düzeltmeyi önermiştir.
Ne zaman kullanılır?
- Heckman: Sonuç, ayrı bir karar sürecinin ardından gözleniyor ve bu süreç sonuçla ilişkili olabilir: çalışanların ücreti, ameliyat olanların iyileşme süresi, ankete yanıt verenlerin puanı, hastaneye yatanların maliyeti. Seçilmeyen birimlerin \mathbf z değerleri bilinmelidir.
- Kesik regresyon: Seçilmeyen birimler hakkında hiç bilgi yoktur; yalnız sınırın içindekiler örneklemdedir (yalnız belirli bir eşiğin üstündeki hastaların kayıt altına alındığı bir register).
Ne zaman kullanılmaz?
- Sınırdaki birimler veride var ama değerleri sınırda yığılmışsa (sıfır harcama): Tobit Regresyon (Sansürlü).
- Seçilmeyenlerin hiçbir açıklayıcısı bilinmiyorsa Heckman kurulamaz; kesik regresyon tek seçenektir.
- Amaç gözlemsel veride bir tedavinin nedensel etkisiyse ve seçim tedavi atamasıysa: Eğilim Skoru Analizi (gözlenen karıştırıcılar) ya da Araç Değişken Regresyonu (gözlenmeyen karıştırıcılar).
- Sonuç eksikliği rastgele (MAR) kabul edilebiliyorsa: Çoklu Atfetme.
Sık karıştırılan analizler. Heckman modeli "Tobit tip II" olarak da bilinir; Tobit (tip I), seçim ve sonucun aynı gizil değişkenden geldiği özel durumdur. Kesik regresyon, Tobit'in sınırdaki birimleri atılmış hâlidir; aynı veriden ikisi de kurulabilir ve aynı \boldsymbol\beta'yı kestirirler (63.6, Adım 6).
63.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| İki değişkenli normal hatalar | (u,\varepsilon) ortak normal; E(\varepsilon\mid u) doğrusal. | Denetlenmez. |
| Dışlama kısıtı | \mathbf z'de, \mathbf x'te olmayan ve sonucu doğrudan etkilemeyen en az bir değişken. | Ad karşılaştırması; yoksa uyarı (sample_selection.py:211–212). |
| Seçim göstergesi ikili | 0/1 sütun ya da "y dolu = seçilmiş". | 0/1 dışında değer varsa hata (173–175). |
| Seçim denkleminde ayrışma yok | \mathbf z seçimi kusursuz belirlememeli. | Probit tekil ya da sonsuzsa hata (102–116). |
| Kesik: normal hata, bilinen sınırlar | y\mid\mathbf x\sim N(\mathbf x^{\top}\boldsymbol\beta,\sigma^2), L ve U biliniyor. | Sınır dışı gözlemler çıkarılır ve sayılır (442–445). |
Eksik değer (Heckman). Seçim denkleminin değişkenlerinde ya da seçim göstergesinde eksik olan satır çıkarılır. Seçilmiş bir satırda y ya da sonuç denkleminin bir değişkeni eksikse satır çıkarılır ve sayısı uyarı olarak yazılır; seçilmemiş satırda \mathbf x'in eksik olması sorun değildir, çünkü olabilirlikte kullanılmaz (180–193, 208–210). Seçim göstergesi verilmezse "y dolu = seçilmiş" sayılır ve not yazılır (176–179).
Eksik değer (kesik). y ve \mathbf x'te liste bazında silme (437–440); ardından y\le L ya da y\ge U olanlar çıkarılır.
Uç durumlar.
- Seçilmiş gözlem 3'ten az ya da seçilmemiş gözlem yoksa hata (
198–199). - n_1\le k_x+1 ya da n\le k_z ise "Gözlem sayısı yetersiz" (
204–205). - \mathbf Z ya da seçilmişlerin \mathbf X'i tam ranklı değilse hata (
206–207). - Ters Mills oranı \mathbf X ile tam doğrusal bağımlıysa (dışlama kısıtı yok ve \lambda neredeyse doğrusal) hata (
220–222). - İki adımda |\hat\rho|>1 ise uyarı (
267–268). - ML'de bilgi matrisi tekil ya da pozitif tanımlı değilse uyarı (
323–325). - Kesik: alt ve üst sınırın ikisi de kapalıysa ya da L\ge U ise hata (
429–434).
63.3 Parametreler
Varsayılanlar sample_selection.py (panel) 51–124 (form) ve 127–150 (read_options) satırlarından alınmıştır.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Model | Heckman, en çok olabilirlik | ML, iki adım (Heckit) ya da Kesik regresyon. | Kestirici; kesikte seçim alanları kapanır. |
| Bağımlı değişken | ilk sayısal sütun | y; seçilmeyenlerde boş olabilir. | — |
| Sonuç denklemi değişkenleri | en az 1 | \mathbf x; metin sütunu kukla (ilk düzey referans). | — |
| Seçim göstergesi | (y dolu = seçilmiş) | 0/1 sütun. | Seçim tanımı. |
| Seçim denklemi değişkenleri | boş (en az 1 gerekir) | \mathbf z. Bağımlı değişken ve seçim göstergesi listeden atılır. | Dışlama kısıtı; \hat\rho buna çok duyarlıdır. |
| Alt kesme sınırı | 0 | L (yalnız kesikte). | y\le L olanlar çıkarılır. |
| Alttan kesik (y > alt sınır) | açık | Alt sınırı etkinleştirir. | — |
| Üst kesme sınırı | 0 | U. Değer değişince kutu kendiliğinden açılır. | y\ge U olanlar çıkarılır. |
| Üstten kesik (y < üst sınır) | kapalı | Üst sınırı etkinleştirir. | — |
| Güven Düzeyi | %95 | Tüm GA'lar. | GA genişliği. |
| Ters Mills oranını veri setine kaydet | kapalı | Seçilmiş satırlara \lambda(\mathbf z_i^{\top}\hat{\boldsymbol\gamma}) sütunu ekler. | Veri setine yeni sütun. |
Koddaki tercih: dışlama kısıtı ad karşılaştırmasıyla denetlenir
Uyarı, \mathbf z'deki sütun adlarının \mathbf x'tekilerin alt kümesi olup olmadığına bakar (211–212). \mathbf z'ye \mathbf x'te olmayan ama sonuçla da doğrudan ilişkili bir değişken konursa uyarı çıkmaz; geçerliliği kuramsaldır ve test edilemez.
63.4 Örnek veri (Tıp setinde karşılığı yok)
Tıp setinde seçim modeli için kurulmuş bir dosya yoktur. Heckman için MerQur örnek ekonometri setinden samples/ekonometri/04_mincer_ucret_heckman.xlsx (Mincer ücret denklemi, sentetik), kesik regresyon için Tıp #46 (english/datasets/Tip/46_tobit_hastane_expenditure.xlsx, Bölüm 110'daki Tobit verisi) kullanılmıştır.
Heckman verisi:
| Değişken | Rol | Tür | Özet |
|---|---|---|---|
Log_Aylik_Ucret |
Bağımlı (y) | sürekli | 1480 kişide dolu (ortalama 9,109, SS 0,574), 520 kişide boş |
Egitim_Yili |
\mathbf x ve \mathbf z | sayısal | 0–22 yıl |
Deneyim_Yili |
\mathbf x | sayısal | 0–50 yıl |
Cinsiyet |
\mathbf x ve \mathbf z | metin → Cinsiyet_Kadin |
1006 kadın, 994 erkek; referans Erkek |
Yas |
\mathbf z | sayısal | 18–65 |
Medeni_Hal |
\mathbf z (dışlama) | metin → 2 kukla | Evli 1326, Bekar 485 (referans), Bosanmis 189 |
Kucuk_Cocuk_Sayisi_06 |
\mathbf z (dışlama) | sayısal | 0–4; ortalama 0,39 |
n ve eksik değer: 2000 kişi; kullanılan değişkenlerde eksik değer yok. Kadınların %49,9'u, erkeklerin %98,4'ü çalışıyor; seçilmişlerin yalnız %33,9'u kadın.
Soru: Eğitimin ve cinsiyetin ücrete etkisi, yalnız çalışanların ücreti gözlendiği hâlde nasıl yansız kestirilir? Çalışma kararı ücretle ilişkili mi (\rho\ne0)?
Seçilen ayarlar: Seçim göstergesi verilmedi ("y dolu = seçilmiş"; aynı sonuç Isgucu_Katilim_01 seçilerek de alınmıştır). Dışlama kısıtı: medeni hal ve 0–6 yaş çocuk sayısı. ML (varsayılan), iki adım, %99 güven düzeyi ve dışlama kısıtsız ML (\mathbf z=\mathbf x'in değişkenleri) çalıştırılmıştır.
Kesik regresyon verisi (Tıp #46): pocket_expenditure_TL ~ admission_day + insurance_present, alt sınır 0: 200 hastadan harcaması 0 olan 40'ı çıkarılır, n=160. Ayrıca üst sınır 6000 TL ile iki taraflı kesik model (n=152).
63.5 Formüller ve hesap adımları
Heckman hesap sırası: satır seçimi ve eksik değer → \mathbf Z ve seçilmişlerin \mathbf X'i → probit (Newton) → ters Mills oranı → seçilmişlerde y\sim\mathbf X+\lambda OLS → \hat\sigma^2, \hat\rho → (iki adım) düzeltilmiş kovaryans ve bitiş; (ML) iki adımlı kestirimden başlayarak tam olabilirliğin en iyilenmesi → sayısal Hessian → delta yöntemi → bağımsızlık testleri.
63.5.1 Birinci adım: probit ve ters Mills oranı
- Probit statsmodels
Probit(...).fit(method = "newton", tol = 1e-12)ile; kovaryans gözlenen bilgiden (_probit,102–116). Ayrıntı Bölüm 109. - \hat\lambda_i kararlı biçimde \exp(\ln\phi-\ln\Phi) olarak hesaplanır (
217).
63.5.2 İkinci adım: OLS ve \sigma, \rho
Seçilmişlerde \mathbf X^{*}=[\mathbf X,\ \hat{\boldsymbol\lambda}] ile OLS: (\hat{\boldsymbol\beta},\hat\beta_\lambda)=(\mathbf X^{*\top}\mathbf X^{*})^{-1}\mathbf X^{*\top}\mathbf y.
- \mathbf e: ikinci adım OLS artıkları; n_1: seçilmiş sayısı.
- \delta_i: seçilmişlerde \operatorname{Var}(\varepsilon_i\mid s_i=1)=\sigma^2(1-\rho^2\delta_i) ilişkisindeki kesik normal varyans azalması; 0<\delta_i<1.
- \hat\beta_\lambda, \rho\sigma'nın kestirimidir; çıktıda "λ" satırı.
Neden \hat\sigma^2'ye \hat\beta_\lambda^2\bar\delta eklenir?
Seçilmişlerde hata varyansı \sigma^2(1-\rho^2\delta_i)'dır; ortalaması \sigma^2-\rho^2\sigma^2\bar\delta. OLS artık varyansı bunu kestirir; \rho^2\sigma^2=\beta_\lambda^2 eklenerek tüm nüfustaki \sigma^2'ye geri dönülür (Heckman, 1979). Pay n_1'dir (n_1-k değil); R sampleSelection::heckit ile aynıdır.
63.5.3 İki adımlı kovaryans (Heckman / Greene düzeltmesi)
- \boldsymbol\Delta=\operatorname{diag}(\delta_i); \mathbf Z_1: seçilmişlerin \mathbf Z satırları; \hat{\mathbf V}_\gamma: probit kovaryansı.
- Birinci terim değişen varyansı (1-\rho^2\delta_i), \mathbf Q terimi \hat{\boldsymbol\gamma}'nın kestirim belirsizliğini taşır (
237–245). - \sigma ve \rho için SH verilmez (R
heckitgibi); \lambda'nın z-testi seçim yanlılığı testidir.
Neden olağan OLS SH'leri yanlış?
İkinci adım iki sorun taşır: (1) seçilmişlerde hata varyansı gözlemden gözleme değişir; (2) \hat\lambda_i kestirilmiş bir açıklayıcıdır, gerçek \lambda_i değil. Olağan s^2(\mathbf X^{*\top}\mathbf X^{*})^{-1} ikisini de yok sayar. Örnek veride \hat\rho\approx0 olduğundan Cinsiyet_Kadin için düzeltilmiş (0,05767) ve olağan (0,05776) SH neredeyse aynıdır; düzeltmenin etkisi |\rho| ve \hat{\boldsymbol\gamma}'nın belirsizliği büyüdükçe artar.
63.5.4 Tam bilgi olabilirliği (ML)
- Seçilmeyen birim olabilirliğe yalnız seçilmeme olasılığıyla, seçilmiş birim sonucun yoğunluğu ile sonuç verildiğinde seçilme olasılığının çarpımıyla katılır.
- (a_i+\rho e_i)/\sqrt{1-\rho^2}: u_i'nin \varepsilon_i verildiğinde koşullu dağılımının standartlaştırılmış eşiği.
- \log\sigma ve \operatorname{atanh}\rho=\tfrac12\ln\frac{1+\rho}{1-\rho} parametrelemesi \sigma>0 ve |\rho|<1 kısıtlarını kendiliğinden sağlar (
126–146).
Koddaki tercih: başlangıç, en iyileme ve Newton cilası
- Başlangıç: iki adımlı kestirim, \hat\rho [-0{,}9;\ 0{,}9]'a kırpılarak; ikinci başlangıç \rho=0 (
280–293). - Her başlangıçtan BFGS (
gtol10^{-9}), ardından L-BFGS-B (ftol10^{-15}); daha iyi olan seçilir (292–298). Gradyan analitiktir. - En çok 20 Newton adımı: Hessian, analitik gradyanın merkezi farkıyla (h=10^{-5}\max(1,|\theta_j|),
_num_hess_from_grad,84–92), adım yarılamalı (300–320). - Kovaryans [-\mathbf H]^{-1}; \sigma, \rho, \lambda=\rho\sigma SH'leri delta yöntemiyle (
329–336). \rho'nun GA'sı atanh ölçeğinde kurulup geri dönüştürülür, \sigma'nınki simetriktir (346–349). - R
sampleSelection::selectionanalitik Hessian ve doğrudan (\sigma,\rho) parametrelemesi kullanır. \boldsymbol\gamma, \boldsymbol\beta SH'leri parametrelemeden bağımsızdır; \sigma, \rho SH'leri delta yöntemiyle aynı çıkar.
63.5.5 Bağımsızlık (\rho=0) testleri
- \rho=0 iken olabilirlik probit ve seçilmişlerdeki normal doğrusal modelin olabilirliklerinin toplamına ayrışır; \mathbf e_0, \lambda'sız OLS artıklarıdır (
352–356). - Wald testi atanh ölçeğindedir (
357–359); çıktıda ayrıca sonuç denklemindeki eğimlerin ortak Wald testi verilir. - AIC =-2\ell+2k, BIC =-2\ell+k\ln n; k=k_z+k_x+2, n tüm örneklemdir.
63.5.6 Kesik regresyon
- Her gözlemin yoğunluğu, sınır içinde kalma olasılığına bölünür: kesik normal yoğunluk.
- \ln\{\Phi(u)-\Phi(l)\}, iki sınır da sağ kuyruktaysa \Phi(-l)-\Phi(-u) biçiminde,
log1pile kararlı hesaplanır (_log_diff_ndtr,384–393). - Gradyan analitik; en iyileme ve Newton cilası Heckman ML ile aynıdır (
466–489). \boldsymbol\theta=(\boldsymbol\beta,\log\sigma). - \sigma'nın SH'si \hat\sigma\,\SH(\log\hat\sigma), GA'sı ise simetrik Wald aralığıdır (
496–502); Tobit'teki log ölçekli aralıktan farklıdır. - Sınırın kendisindeki değer (y=L) dışarıda sayılır: açık aralık L<y<U (
442).
Kesik regresyon neden yalnız pozitiflerle OLS'den farklı?
Alt sınırdan kesik bir örneklemde, \mathbf x^{\top}\boldsymbol\beta'sı düşük olan birimler ancak hataları büyükse örnekleme girer; E(\varepsilon\mid\mathbf x, y>L)=\sigma\lambda(-l_i)>0 ve bu terim \mathbf x ile azalır. OLS bu ilişkiyi eğime katar ve eğimi sıfıra doğru çeker. Olabilirlikteki \ln\{\Phi(u)-\Phi(l)\} terimi bu seçimi tam olarak hesaba katar (Amemiya, 1973).
63.6 Elle hesap: sayısal yürüyüş
Ara değerler dogrulama/sample_selection/elle_hesap.py ile, MerQur çağrılmadan hesaplanmıştır: probit için analitik gözlenen Hessian'lı Newton; Heckman ML için doğrudan (\boldsymbol\gamma,\boldsymbol\beta,\sigma,\rho) parametrelemesinde analitik gradyan ve gradyanın merkezi farkından Hessian ile Newton; kesik regresyon için analitik gradyan ve analitik Hessian'lı Newton.
Adım 1 — Probit (seçim denklemi). \boldsymbol\gamma=\mathbf 0'da \ell=2000\ln0{,}5=-1386{,}294361. Newton yinelemeleri: -793{,}012214; -706{,}207873; -692{,}225238; -691{,}350735; -691{,}344941 (6. yinelemede değişmez). \hat{\boldsymbol\gamma}: sabit 1,8284; Yas 0,00567; Egitim_Yili 0,08177; Cinsiyet_Kadin −2,4319; Evli −0,4265; Bosanmis −0,0782; Kucuk_Cocuk −0,5036.
Adım 2 — Ters Mills oranı. İlk beş seçilmiş kişide \hat\lambda_i=0{,}005304;\ 0{,}026656;\ 0{,}011821;\ 0{,}046059;\ 0{,}424602. Çalışma olasılığı yüksek (erkek) kişilerde \lambda sıfıra yakındır; düzeltme ağırlıkla kadınlarda etkilidir.
Adım 3 — İkinci adım OLS ve \sigma, \rho. \hat\beta_\lambda=-0{,}009259 (SH 0,078595), \mathbf e^{\top}\mathbf e/n_1=0{,}186029, \bar\delta=0{,}246697:
\lambda testi: z=-0{,}118, p=0{,}906; seçim yanlılığı kanıtı yok.
Adım 4 — ML. Newton \ell=-1546{,}796683'te durur (gradyan 2\times10^{-11}).
| Parametre | Seçilmişlerde OLS | Heckit (iki adım) | Heckman ML | ML, dışlamasız |
|---|---|---|---|---|
| Sabit | 7,9165 | 7,9193 | 7,9220 | 7,8579 |
Egitim_Yili |
0,09141 | 0,09122 | 0,09103 | 0,0956 |
Deneyim_Yili |
0,01646 | 0,01645 | 0,01643 | 0,0167 |
Cinsiyet_Kadin |
−0,4364 | −0,4302 (SH 0,0577) | −0,4240 (SH 0,0771) | −0,5863 |
| \hat\sigma | — | 0,4313 | 0,4314 | 0,4433 |
| \hat\rho | — | −0,0215 | −0,0427 | 0,4560 |
ML'de \hat\rho=-0{,}042697 (SH 0,254112), %95 GA atanh ölçeğinde [-0{,}494;\ 0{,}427]; \hat\lambda=\hat\rho\hat\sigma=-0{,}018419 (SH 0,109671).
Adım 5 — Bağımsızlık testleri. \ell_{\text{probit}}=-691{,}344941; \ell_{\text{OLS}}=-855{,}465622 (seçilmişlerde, \lambda'sız):
Wald (atanh) =0{,}028163, p=0{,}867. Eğimlerin ortak Wald testi \chi^2(3)=696{,}47.
Şekil 63.1. Solda ters Mills oranı \lambda(a) ve seçilmiş 1480 kişinin seçim indeksi a=\mathbf z^{\top}\hat{\boldsymbol\gamma} dağılımı: kişilerin çoğu \lambda'nın sıfıra yakın olduğu bölgededir. Sağda `Cinsiyet_Kadin` katsayısı dört kestiricide (%95 GA); dışlama kısıtı kaldırılınca kestirim belirgin biçimde kayar.
Adım 6 — Dışlama kısıtının etkisi. \mathbf z yalnız \mathbf x'in değişkenlerinden oluşunca (\mathbf z=\mathbf x) model yalnız \lambda'nın doğrusal olmayışıyla tanımlanır. Sonuç: \hat\rho=0{,}456, LR =5{,}627 (p=0{,}018), Cinsiyet_Kadin -0{,}586. Aynı veride dışlama kısıtıyla \hat\rho\approx0 çıkmıştı. Bu, kısıtsız modelin "seçim yanlılığı" bulgusunun veriden çok işlevsel biçimden geldiğini gösterir (Puhani, 2000). MerQur bu durumda uyarı yazar.
Adım 7 — Kesik regresyon (Tıp #46). y>0 olan 160 hasta. Başlangıç (OLS) b=(-169{,}376;\ 636{,}047;\ 733{,}799), \ln\hat\sigma_0=\ln1367{,}596; \ell: -1370{,}999624\to-1365{,}566928\to-1364{,}645475\to-1364{,}583975\to-1364{,}583467.
| Terim | b | SH | %95 GA |
|---|---|---|---|
| Sabit | −1638,8285 | 624,1810 | [−2862,201; −415,456] |
admission_day |
863,1764 | 109,4048 | [648,747; 1077,606] |
insurance_present |
1000,6767 | 391,0900 | [234,154; 1767,199] |
| \sigma | 1654,2988 | 139,5456 |
\ell=-1364{,}583467; eğimlerin Wald testi \chi^2(2)=64{,}935. Yatış günü eğimi Tobit'teki 855,2'ye çok yakındır (Bölüm 110); yalnız pozitiflerle OLS'nin 636,0'ı ise belirgin biçimde küçüktür. Üst sınır 6000 eklenince (n=152) b=(-1450{,}044;\ 821{,}372;\ 960{,}029), \hat\sigma=1536{,}611.
63.6.1 Doğrulama: MerQur, Python ve R
MerQur değerleri execute() sonucundan alınmıştır (motor yuvarlamaz; yuvarlama yalnız metindedir). R 4.5.3: Heckman ML sampleSelection::selection (tol = 1e-14), iki adım heckit, \ell_{\text{probit}} glm(binomial(link = "probit")). Kesik regresyonda truncreg::truncreg varsayılanı bu veride yakınsamamıştır (\ell=-1368{,}04, katsayılar -289{,}9; 636{,}7; 669{,}9); başvuru değerleri bu yüzden R'de elle yazılmış olabilirlikten (analitik gradyan, BFGS + Newton cilası, numDeriv::jacobian Hessian) alınmıştır.
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| Seçim \gamma Sabit | 1,830835 | 1,830835 | 1,830835 | 9,7e−14 | ✓ |
| Seçim SH Sabit | 0,207303 | 0,207303 | 0,207303 | 1,8e−09 | ✓ |
| Seçim \gamma Yas | 0,005731 | 0,005731 | 0,005731 | 1,3e−15 | ✓ |
| Seçim SH Yas | 0,003633 | 0,003633 | 0,003633 | 1,1e−11 | ✓ |
| Seçim \gamma Egitim_Yili | 0,081369 | 0,081369 | 0,081369 | 3,6e−15 | ✓ |
| Seçim SH Egitim_Yili | 0,010512 | 0,010512 | 0,010512 | 7,4e−12 | ✓ |
| Seçim \gamma Cinsiyet_Kadin | −2,431694 | −2,431694 | −2,431694 | 3,5e−14 | ✓ |
| Seçim SH Cinsiyet_Kadin | 0,122131 | 0,122131 | 0,122131 | 3,4e−10 | ✓ |
| Seçim \gamma Medeni_Hal_Evli | −0,426727 | −0,426727 | −0,426727 | 8,4e−14 | ✓ |
| Seçim SH Medeni_Hal_Evli | 0,100954 | 0,100954 | 0,100954 | 5,4e−11 | ✓ |
| Seçim \gamma Medeni_Hal_Bosanmis | −0,078871 | −0,078871 | −0,078871 | 3,1e−14 | ✓ |
| Seçim SH Medeni_Hal_Bosanmis | 0,158219 | 0,158219 | 0,158219 | 1,1e−11 | ✓ |
| Seçim \gamma Kucuk_Cocuk_Sayisi_06 | −0,505086 | −0,505086 | −0,505086 | 8,1e−14 | ✓ |
| Seçim SH Kucuk_Cocuk_Sayisi_06 | 0,067463 | 0,067463 | 0,067463 | 3,2e−11 | ✓ |
| Sonuç \beta Sabit | 7,922025 | 7,922025 | 7,922025 | 1,3e−13 | ✓ |
| Sonuç SH Sabit | 0,058761 | 0,058761 | 0,058761 | 1,7e−11 | ✓ |
| Sonuç \beta Egitim_Yili | 0,091027 | 0,091027 | 0,091027 | 8,7e−15 | ✓ |
| Sonuç SH Egitim_Yili | 0,003850 | 0,003850 | 0,003850 | 9,0e−13 | ✓ |
| Sonuç \beta Deneyim_Yili | 0,016430 | 0,016430 | 0,016430 | 7,7e−16 | ✓ |
| Sonuç SH Deneyim_Yili | 0,001119 | 0,001119 | 0,001119 | 1,1e−13 | ✓ |
| Sonuç \beta Cinsiyet_Kadin | −0,424045 | −0,424045 | −0,424045 | 2,9e−13 | ✓ |
| Sonuç SH Cinsiyet_Kadin | 0,077075 | 0,077075 | 0,077075 | 1,9e−11 | ✓ |
| \hat\sigma | 0,431402 | 0,431402 | 0,431402 | 2,6e−14 | ✓ |
| SH(\hat\sigma) | 0,008003 | 0,008003 | 0,008003 | 2,7e−13 | ✓ |
| \hat\rho | −0,042697 | −0,042697 | −0,042697 | 1,0e−12 | ✓ |
| SH(\hat\rho) | 0,254112 | 0,254112 | 0,254112 | 6,9e−11 | ✓ |
| \rho %95 GA alt (atanh) | −0,494261 | −0,494261 | −0,494261 | 1,0e−10 | ✓ |
| \rho %95 GA üst (atanh) | 0,427013 | 0,427013 | 0,427013 | 1,1e−10 | ✓ |
| \hat\lambda=\hat\rho\hat\sigma | −0,018419 | −0,018419 | −0,018419 | 4,4e−13 | ✓ |
| SH(\hat\lambda) | 0,109671 | 0,109671 | 0,109671 | 3,0e−11 | ✓ |
| Log-olabilirlik ℓ | −1546,796683 | −1546,796683 | −1546,796683 | 1,8e−12 | ✓ |
| AIC | 3119,593367 | 3119,593367 | 3119,593367 | 3,6e−12 | ✓ |
| BIC | 3192,405099 | 3192,405099 | 3192,405099 | 3,6e−12 | ✓ |
| ℓ probit (seçim, tek başına) | −691,344941 | −691,344941 | −691,344941 | 1,3e−09 | ✓ |
| ℓ OLS (seçilmişler) | −855,465622 | −855,465622 | −855,465622 | 1,1e−13 | ✓ |
| Bağımsızlık LR χ²(1) | 0,027758 | 0,027758 | 0,027758 | 2,5e−09 | ✓ |
| Bağımsızlık Wald χ²(1) (atanh ρ) | 0,028163 | 0,028163 | 0,028163 | 1,5e−11 | ✓ |
| Sonuç eğimleri Wald χ²(3) | 696,465500 | 696,465500 | 696,465500 | 1,4e−07 | ✓ |
İki adım, dışlamasız model, %99 GA ve kesik regresyon:
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| İki adım: probit \gamma Sabit | 1,828450 | 1,828450 | 1,828450 | 4,2e−09 | ✓ |
| İki adım: probit \gamma Yas | 0,005667 | 0,005667 | 0,005667 | 8,1e−12 | ✓ |
| İki adım: probit \gamma Egitim_Yili | 0,081771 | 0,081771 | 0,081771 | 5,9e−11 | ✓ |
| İki adım: probit \gamma Cinsiyet_Kadin | −2,431855 | −2,431855 | −2,431855 | 5,1e−09 | ✓ |
| İki adım: probit \gamma Medeni_Hal_Evli | −0,426532 | −0,426532 | −0,426532 | 2,0e−10 | ✓ |
| İki adım: probit \gamma Medeni_Hal_Bosanmis | −0,078179 | −0,078179 | −0,078179 | 2,5e−10 | ✓ |
| İki adım: probit \gamma Kucuk_Cocuk_Sayisi_06 | −0,503569 | −0,503569 | −0,503569 | 5,9e−10 | ✓ |
| İki adım: probit SH Kucuk_Cocuk | 0,067003 | 0,067003 | 0,067003 | 5,5e−11 | ✓ |
| İki adım: \beta Sabit | 7,919261 | 7,919261 | 7,919261 | 1,6e−11 | ✓ |
| İki adım: düzeltilmiş SH Sabit | 0,053990 | 0,053990 | 0,053990 | 2,4e−11 | ✓ |
| İki adım: \beta Egitim_Yili | 0,091220 | 0,091220 | 0,091220 | 9,2e−13 | ✓ |
| İki adım: düzeltilmiş SH Egitim_Yili | 0,003488 | 0,003488 | 0,003488 | 1,1e−12 | ✓ |
| İki adım: \beta Deneyim_Yili | 0,016445 | 0,016445 | 0,016445 | 6,4e−14 | ✓ |
| İki adım: düzeltilmiş SH Deneyim_Yili | 0,001111 | 0,001111 | 0,001111 | 1,1e−14 | ✓ |
| İki adım: \beta Cinsiyet_Kadin | −0,430168 | −0,430168 | −0,430168 | 2,0e−11 | ✓ |
| İki adım: düzeltilmiş SH Cinsiyet_Kadin | 0,057667 | 0,057667 | 0,057667 | 3,9e−12 | ✓ |
| İki adım: \beta_\lambda | −0,009259 | −0,009259 | −0,009259 | 3,5e−11 | ✓ |
| İki adım: SH(\beta_\lambda) | 0,078595 | 0,078595 | 0,078595 | 2,8e−11 | ✓ |
| İki adım: \hat\sigma | 0,431336 | 0,431336 | 0,431336 | 2,1e−13 | ✓ |
| İki adım: \hat\rho | −0,021466 | −0,021466 | −0,021466 | 8,0e−11 | ✓ |
| İki adım: eğimler Wald χ²(3) | 733,674591 | 733,674591 | 733,674591 | 3,1e−07 | ✓ |
| İki adım: ilk seçilmiş satırın IMR'si | 0,005304 | 0,005304 | 0,005304 | 1,8e−08 | ✓ |
| Dışlamasız ML: \hat\rho | 0,455963 | 0,455963 | 0,455963 | 2,0e−11 | ✓ |
| Dışlamasız ML: ℓ | −1599,138422 | −1599,138422 | −1599,138422 | 5,5e−12 | ✓ |
| Dışlamasız ML: LR χ²(1) | 5,626849 | 5,626849 | 5,626849 | 2,0e−09 | ✓ |
| Dışlamasız ML: \beta Cinsiyet_Kadin | −0,586339 | −0,586339 | −0,586339 | 6,7e−12 | ✓ |
| %99: \rho GA alt | −0,603394 | −0,603394 | −0,603394 | 1,1e−10 | ✓ |
| %99: \rho GA üst | 0,546251 | 0,546251 | 0,546251 | 1,2e−10 | ✓ |
| %99: Egitim_Yili GA alt | 0,081111 | 0,081111 | 0,081111 | 2,3e−12 | ✓ |
| %99: Egitim_Yili GA üst | 0,100942 | 0,100942 | 0,100942 | 2,3e−12 | ✓ |
| Kesik (0, ∞): \beta Sabit | −1638,828540 | −1638,828540 | −1638,828540 | 1,4e−12 | ✓ |
| Kesik (0, ∞): SH Sabit | 624,181028 | 624,181027 | 624,181027 | 1,3e−07 | ✓ |
| Kesik (0, ∞): \beta admission_day | 863,176352 | 863,176352 | 863,176352 | 6,8e−13 | ✓ |
| Kesik (0, ∞): SH admission_day | 109,404838 | 109,404838 | 109,404838 | 2,6e−08 | ✓ |
| Kesik (0, ∞): \beta insurance_present | 1000,676673 | 1000,676673 | 1000,676673 | 3,9e−12 | ✓ |
| Kesik (0, ∞): SH insurance_present | 391,089999 | 391,089999 | 391,089999 | 9,1e−09 | ✓ |
| Kesik (0, ∞): \hat\sigma | 1654,298787 | 1654,298787 | 1654,298787 | 2,3e−12 | ✓ |
| Kesik (0, ∞): SH(\hat\sigma) | 139,545616 | 139,545616 | 139,545616 | 2,6e−07 | ✓ |
| Kesik (0, ∞): ℓ | −1364,583467 | −1364,583467 | −1364,583467 | 2,3e−13 | ✓ |
| Kesik (0, ∞): eğimler Wald χ²(2) | 64,935281 | 64,935281 | 64,935281 | 3,0e−08 | ✓ |
| Kesik (0, ∞): n | 160 | 160 | 160 | 0,0e+00 | ✓ |
| Kesik (0, 6000): \beta Sabit | −1450,043892 | −1450,043892 | −1450,043892 | 3,4e−12 | ✓ |
| Kesik (0, 6000): SH Sabit | 746,331600 | 746,331600 | 746,331600 | 3,1e−07 | ✓ |
| Kesik (0, 6000): \beta admission_day | 821,372014 | 821,372014 | 821,372014 | 6,8e−13 | ✓ |
| Kesik (0, 6000): SH admission_day | 145,853057 | 145,853056 | 145,853056 | 5,4e−08 | ✓ |
| Kesik (0, 6000): \beta insurance_present | 960,028757 | 960,028757 | 960,028757 | 4,5e−13 | ✓ |
| Kesik (0, 6000): SH insurance_present | 396,489039 | 396,489038 | 396,489038 | 3,9e−08 | ✓ |
| Kesik (0, 6000): \hat\sigma | 1536,611433 | 1536,611433 | 1536,611433 | 6,8e−13 | ✓ |
| Kesik (0, 6000): SH(\hat\sigma) | 167,649693 | 167,649693 | 167,649693 | 2,4e−07 | ✓ |
| Kesik (0, 6000): ℓ | −1277,537620 | −1277,537620 | −1277,537620 | 2,7e−12 | ✓ |
| Kesik (0, 6000): eğimler Wald χ²(2) | 32,394985 | 32,394985 | 32,394985 | 2,5e−08 | ✓ |
| Kesik (0, 6000): n | 152 | 152 | 152 | 0,0e+00 | ✓ |
90 büyüklüğün tamamı ölçütü karşılar.
63.7 Çıktıyı okuma
Sonuç metni (Heckman ML; kısaltılmış):
HECKMAN ÖRNEKLEM SEÇİMİ MODELİ (en çok olabilirlik)
n = 2000 seçilmiş: 1480 seçilmemiş: 520
── Seçim denklemi (probit) ──
Değişken B SH z p %95 GA
Sabit 1.8308 0.2073 8.832 < .001 [1.4245, 2.2371]
Cinsiyet_Kadin -2.4317 0.1221 -19.911 < .001 [-2.6711, -2.1923]
Medeni_Hal_Evli -0.4267 0.1010 -4.227 < .001 [-0.6246, -0.2289]
Kucuk_Cocuk_Sayisi_06 -0.5051 0.0675 -7.487 < .001 [-0.6373, -0.3729]
(dört satır çıkarılmıştır)
── Sonuç denklemi: Log_Aylik_Ucret ──
Sabit 7.9220 0.0588 134.818 < .001 [7.8069, 8.0372]
Egitim_Yili 0.0910 0.0038 23.646 < .001 [0.0835, 0.0986]
Deneyim_Yili 0.0164 0.0011 14.689 < .001 [0.0142, 0.0186]
Cinsiyet_Kadin -0.4240 0.0771 -5.502 < .001 [-0.5751, -0.2730]
── Hata parametreleri ──
σ 0.4314 0.0080 - - [0.4157, 0.4471]
ρ -0.0427 0.2541 -0.168 0.8666 [-0.4943, 0.4270]
λ -0.0184 0.1097 -0.168 0.8666 [-0.2334, 0.1965]
σ için z ve p yazılmaz: σ = 0 parametre uzayının sınırıdır ve bu sınama anlamlı değildir.
── Uyum ve testler ──
log L = -1546.7967 AIC = 3119.5934 BIC = 3192.4051 (k = 13)
Bağımsızlık LR testi (ρ = 0): χ²(1) = 0.0278, p = 0.8677
Bağımsızlık Wald testi (atanh ρ = 0): χ²(1) = 0.0282, p = 0.8667
Sonuç denklemi eğimleri Wald testi: χ²(3) = 696.4655, p < .001
| Öğe | Nasıl yorumlanır |
|---|---|
| Seçim denklemi | Probit katsayıları: seçilme (çalışma) olasılığı üzerindeki etki, normal sapma ölçeğinde. |
| Sonuç denklemi | Tüm nüfus için x'in y üzerindeki etkisi (seçilmişlere koşullu değil). Log ücrette 0,091: bir yıl ek eğitim ≈ %9,5 (e^{0{,}091}-1) daha yüksek ücret. |
| ρ ve GA | Seçim ve sonuç hatalarının korelasyonu; GA atanh ölçeğinde, [-1, 1] içinde kalır. |
| λ = ρσ | Seçilmişlerde ters Mills oranının katsayısı; iki adımlı çıktıdaki λ ile aynı büyüklük. |
| LR / Wald (ρ = 0) | Anlamlı değilse seçim yanlılığı kanıtı yoktur; seçilmişlerde OLS ile Heckman benzer sonuç verir. |
| Uyarı: dışlama kısıtı yok | Model yalnız normallik varsayımıyla tanımlanır; ρ kararsız olabilir (63.6, Adım 6). |
| İki adım: σ, ρ satırlarında "-" | Bu iki büyüklük için SH hesaplanmaz; λ'nın z testi seçim testidir. |
| ML: σ satırında z ve p "-" | \sigma=0 parametre uzayının sınırıdır; bu sınama anlamlı olmadığından yazılmaz (notta belirtilir). SH ve GA verilir. |
| Kesik: "sınır dışı çıkarılan" | y\le L ya da y\ge U olup modele girmeyen satır sayısı. |
APA biçiminde rapor cümlesi (Türkçe ondalıkla):
Ücret yalnız çalışan 1480 kişide gözlendiğinden (N = 2000) log aylık ücret için Heckman seçim modeli en çok olabilirlikle kestirildi; seçim denklemine dışlama kısıtı olarak medeni hal ve 0–6 yaş çocuk sayısı eklendi. Seçim ve sonuç hataları arasındaki korelasyon sıfırdan farklı değildi, \hat\rho = -0{,}043, %95 GA [-0{,}494; 0{,}427], LR \chi^2(1) = 0{,}03, p = 0{,}868. Bir yıllık ek eğitim log ücreti 0,091 artırıyordu (SH = 0{,}004, z = 23{,}65, p < 0{,}001); kadınların log ücreti erkeklerden 0,424 düşüktü (SH = 0{,}077, p < 0{,}001).
63.8 Uzman soruları
S1. İki adımlı ve ML kestirimleri neden farklı? Hangisini raporlamalıyım?
İki adımlı kestirici normal varsayım altında tutarlıdır ama verimli değildir; ML verimlidir ama iki değişkenli normalliğe daha duyarlıdır. Bu veride sonuç katsayıları üçüncü basamakta, \hat\rho ise -0{,}021'e karşı -0{,}043 farklıdır; ikisi de sıfırdan ayırt edilemez. Puhani (2000), dışlama kısıtı zayıfken iki adımlı kestiricinin \lambda ile \mathbf X arasındaki eşdoğrusallık yüzünden çok kararsız olduğunu gösterir; güçlü bir dışlama kısıtı varsa ML tercih edilir. İki adımın probit katsayıları ML'nin seçim katsayılarından farklıdır, çünkü ML seçim denklemini sonuç bilgisiyle birlikte kestirir.
S2. Dışlama kısıtı olmadan model kestirilebilir mi?
Matematiksel olarak evet, çünkü \lambda(\cdot) doğrusal değildir. Ama \mathbf z^{\top}\boldsymbol\gamma'nın gerçekleşen aralığında \lambda neredeyse doğrusal olduğundan tanımlama zayıftır. Bu veride \hat\rho dışlama kısıtıyla -0{,}04, kısıtsız 0{,}46 çıkmıştır; ikincisi büyük olasılıkla işlevsel biçimin ürünüdür. MerQur bu durumda uyarı yazar (sample_selection.py:211–212); tam doğrusal bağımlılıkta hata verir (220–222).
S3. Sonuç denklemi katsayısı neyi ölçer: seçilmişleri mi, nüfusu mu?
\boldsymbol\beta, gizil sonucun tüm nüfustaki koşullu ortalamasının (E(y\mid\mathbf x)) katsayısıdır; "herkes çalışsaydı" ücret denklemi. Seçilmişlerde gözlenen ücretin \mathbf x'e göre değişimi ise \beta_j-\rho\sigma\gamma_j\delta_i'dir (açıklayıcı iki denklemde de varsa). Hangi büyüklüğün raporlanacağı araştırma sorusuna bağlıdır.
S4. R `truncreg` başka katsayılar verdi. Hangisi doğru?
truncreg varsayılan ayarlarıyla (BFGS, 50 yineleme) Tıp #46'da yakınsamaz ve \ell=-1368{,}04'te durur; iterlim = 500 ile de \ell=-1365{,}8'de kalır ve özet yalnız g'(-H)^{-1}g=2{,}13 yazar (yakınsamada bu değer sıfıra yakın olmalıdır). MerQur'un çözümü daha yüksek olabilirliğe (-1364{,}583) ulaşır ve analitik Hessian'lı bağımsız Newton ile 10^{-10} düzeyinde aynıdır. R'de doğru sonuç için truncreg yerine elle olabilirlik ya da iyi bir başlangıç değeri gerekir.
S5. \rho'nun GA'sı neden asimetrik, \sigma'nınki simetrik?
\rho [-1, 1] ile sınırlı olduğu için aralık atanh ölçeğinde kurulup \tanh ile geri dönüştürülür; \hat\rho sınıra yaklaştıkça aralık asimetrikleşir ama sınırı aşmaz. \sigma için MerQur simetrik Wald aralığı verir; R truncreg ve sampleSelection da aynı tanımı kullanır. Tobit panelinde ise \sigma aralığı log ölçekte kurulur. İki tanım büyük örneklemde birbirine yaklaşır; küçük örneklemde log ölçekli aralık sıfırın altına inmez.
S6. LR ve Wald bağımsızlık testleri neden farklı sonuç verebilir?
LR, \rho=0 kısıtlı ve kısıtsız modellerin olabilirliklerini karşılaştırır ve parametrelemeden bağımsızdır. Wald, \operatorname{atanh}\hat\rho'nın SH'sine dayanır ve olabilirlik yüzeyi düz olduğunda (zayıf tanımlama) yanıltıcı olabilir. Dışlamasız modelde Wald \chi^2=11{,}94, LR 5{,}63 çıkmıştır: zayıf tanımlamanın tipik işareti. LR tercih edilmelidir.
S7. Kesik regresyonda y=0 olan gözlemler neden atılıyor?
Model, örneklemin y>L koşuluyla seçildiğini varsayar; sınırda bir değer bu varsayımla çelişir. MerQur bu satırları atar ve sayısını yazar (sample_selection.py:443–446). Eğer bu birimler gerçekten veri setindeyse ve değerleri sınırda yığılmışsa model yanlıştır: Tobit kurulmalıdır. Tıp #46'da aynı veriyle Tobit (\hat\beta_{\text{gün}}=855{,}2) ve kesik regresyon (863{,}2) benzer eğim verir; Tobit 40 sıfır gözlemden bilgi aldığı için daha kesindir (SH 68,7'ye karşı 109,4).
S8. İki adımlı modelde seçim denkleminin SH'leri hangi bilgiden?
statsmodels Probit'in gözlenen bilgi matrisinden; R heckit da aynı (maxLik tabanlı probit) değerleri verir. R glm(binomial(link = "probit")) SH'leri beklenen bilgiden verdiğinden üçüncü-dördüncü basamakta farklıdır (Bölüm 109.8 S2).
63.9 Sık hatalar ve tuzaklar
- Seçilmeyen satırları veri setinden silmek. Heckman'ın çalışması için seçilmeyenlerin \mathbf z değerleri gereklidir; yalnız seçilmişlerle model kurulamaz ("Seçim göstergesinde hem seçilmiş … hem seçilmemiş gözlem olmalı").
- Seçilmeyenlerde y'yi 0 ile doldurmak. Seçim göstergesi verilmezse MerQur "y dolu = seçilmiş" kuralını kullanır; 0 ile doldurulmuş ücretler seçilmiş sayılır. Ya y boş bırakılmalı ya da 0/1 seçim sütunu verilmelidir.
- Dışlama kısıtı koymamak. Kestirimler, özellikle \rho, kararsızlaşır (63.6, Adım 6).
- Seçim denklemine sonuçla doğrudan ilişkili değişken koymak. Dışlama kısıtı geçersiz olur; MerQur bunu yakalayamaz.
- İki adımda \sigma ve \rho için SH beklemek. Verilmez; seçim testi \lambda'nın z'sidir.
- Tobit verisine kesik regresyon kurmak. Sınırdaki birimler veride varsa bilgi kaybedilir; Tobit daha verimlidir.
- Kesik regresyonda sınırı yanlış girmek. Alt sınır 0 varsayılan ve açıktır; negatif değerli bir sonuçta tüm negatifler sessizce (yalnız notla) atılır.
- "ρ anlamsız" sonucunu "seçim yok" diye okumak. Test gücü düşüktür (bu veride ρ'nun GA'sı -0{,}49 ile 0{,}43 arasında); yalnız "kanıt yok" denebilir.
63.10 Kaynaklar
- Amemiya, T. (1973). Regression analysis when the dependent variable is truncated normal. Econometrica, 41(6), 997–1016. https://doi.org/10.2307/1914031
- Greene, W. H. (2018). Econometric analysis (8. baskı). Pearson.
- Hausman, J. A., & Wise, D. A. (1977). Social experimentation, truncated distributions, and efficient estimation. Econometrica, 45(4), 919–938. https://doi.org/10.2307/1912682
- Heckman, J. J. (1979). Sample selection bias as a specification error. Econometrica, 47(1), 153–161. https://doi.org/10.2307/1912352
- Puhani, P. A. (2000). The Heckman correction for sample selection and its critique. Journal of Economic Surveys, 14(1), 53–68. https://doi.org/10.1111/1467-6419.00104
- Toomet, O., & Henningsen, A. (2008). Sample selection models in R: Package sampleSelection. Journal of Statistical Software, 27(7), 1–23. https://doi.org/10.18637/jss.v027.i07