110. Tobit Regresyon (Sansürlü)
Analiz kimliği: tobit · Menü adı: Tobit Regresyon (Sansürlü) · Panel: gui/panels/analyses/tobit_regression.py · Motor: stats/specialized_regression.py, run_tobit_regression (satır 787–1036); ek çıktılar stats/pls_probit_tobit_extras.py (satır 365–502) ve stats/specialized_extras.py (tobit_margins, satır 135–166)
110.1 Ne işe yarar
Tobit regresyon, sürekli bir sonucun bir sınırda yığıldığı durumlar için kurulmuş en çok olabilirlik (ML) modelidir. Klasik örnek, cepten sağlık harcamasıdır: hastaların bir bölümü hiç harcama yapmaz ve değerleri tam 0'dır; geri kalanlar sürekli dağılır. Model, gözlenmeyen sürekli bir gizil değişken y^{*} varsayar; gözlenen y, y^{*}'ın sınırlarda kırpılmış hâlidir:
- y_i^{*}: gizil (sansürsüz) sonuç; örneğin "harcama eğilimi". Negatif değer alabilir.
- \mathbf x_i=(1,x_{i1},\dots,x_{ip})^{\top}: sabit terim için başına 1 eklenmiş açıklayıcı vektörü.
- \boldsymbol\beta: gizil değişken üzerindeki etkiler; \sigma: gizil hatanın standart sapması.
- L, R: sol ve sağ sansür sınırları. Biri yoksa o taraf \mp\infty kabul edilir.
Neden OLS yetmez?
0'da yığılmış bir sonuçla OLS kurulduğunda yığılma noktası "normal" bir değer gibi işlenir; hata terimi açıklayıcılarla ilişkili olur ve eğimler sıfıra doğru çekilir. Yalnız pozitif değerlerle OLS kurmak da çözüm değildir; o zaman örneklem y^{*}>0 koşuluna göre seçilmiş olur (kesik veri, Bölüm 63). Tıp örneğinde yatış gününün eğimi Tobit'te 855,2 TL, tüm veriyle OLS'de 722,0 TL, yalnız pozitif harcamalarla OLS'de 636,0 TL'dir (110.6, Adım 1).
Ne zaman kullanılır? Sonuç süreklidir ve bir alt (ya da üst) sınırda kayda değer bir yığılma vardır: sıfır harcama, ölçüm aracının tavanı (en yüksek puan), dedeksiyon sınırının altında kalan laboratuvar değerleri. Yığılan değerlerin "gerçek değerin sınırda ya da ötesinde olduğu" anlamına gelmesi gerekir.
Ne zaman kullanılmaz?
- Sınır dışındaki birimler veri setinde hiç yoksa (örneklem yalnız y>0 olanlardan oluşuyorsa): Örneklem Seçimi ve Kesik Regresyon (Heckman) panelinde "Kesik regresyon".
- Sonucun gözlenip gözlenmemesi ayrı bir karar sürecine bağlıysa (çalışanların ücreti): aynı paneldeki Heckman modeli.
- Sıfırlar "gerçek sıfır" ve pozitif kısım başka bir süreçten geliyorsa (iki parçalı model, hurdle): MerQur'da tek panelde yoktur; ikili kısım İkili Lojistik/Probit Regresyon, pozitif kısım Gamma/Log-normal model ile ayrı kurulur.
- Sonuç bir sayımsa (0, 1, 2 …): Sayım Regresyonu (Poisson, negatif binom, sıfır şişirilmiş).
- Sansür zamana bağlıysa (izlem bitti, olay görülmedi): Kaplan–Meier / Cox / AFT (sağdan sansürlü sağkalım verisi).
- Aralık sansürü varsa: Aralık Sansürlü Sağkalım.
Sık karıştırılan analizler. Sansür ile kesiklik farklıdır: Tobit'te sınırdaki birimler veri setindedir, yalnız gerçek değerleri bilinmez; kesik regresyonda bu birimler veri setinde hiç yoktur. Tobit, sağdan sansürlü normal AFT modelinin sabit sınırlı özel hâlidir (R AER::tobit, survival::survreg(dist = "gaussian") üzerine kuruludur).
Arayüzde "kesim" sözcüğü sansür anlamındadır
Form, sansür sınırının alanlarını "Sol kesim" ve "Sağ kesim" diye adlandırır; çıktı ise doğru terimi kullanır: "Sol sansür sınırı", "Soldan sansürlü n" (res_spec_leftcens, res_spec_nleft). Bu bölümde de sansür terimi kullanılmıştır; "kesik (truncated)" regresyon başka bir modeldir (Bölüm 63).
110.2 Varsayımlar ve veri türü
| Varsayım | Ne demek | MerQur'da nasıl denetlenir |
|---|---|---|
| Normal gizil hata | \varepsilon_i\sim N(0,\sigma^2); sansürlü kısım bu dağılımın kuyruğundan gelir. | İsteğe bağlı CM normallik testi (çarpıklık + basıklık). |
| Sabit varyans | \sigma tüm gözlemlerde aynı. | İsteğe bağlı CM değişen varyans testi. |
| Doğrusal gizil ortalama | E(y^{*}\mid\mathbf x)=\mathbf x^{\top}\boldsymbol\beta. | Denetlenmez. |
| Aynı süreç | Sıfır olma kararı ile harcama miktarını aynı \boldsymbol\beta belirler. | Denetlenmez (110.8 S4). |
| Bağımsız gözlemler | Kümeleme yok. | Denetlenmez; sandviç SH yalnız varyans yanlış belirtimine karşı korur. |
Varsayımlar OLS'dekinden daha bağlayıcıdır: OLS'de normal olmayan hata yalnız çıkarımı etkiler; Tobit'te ise normallik ya da sabit varyans bozulduğunda katsayıların kendisi tutarsız olur (Arabmazar & Schmidt, 1982; Greene, 2018, böl. 19). CM testlerinin varlık nedeni budur.
Eksik değer. Bağımlı değişkende ya da seçilen açıklayıcılarda eksik olan satır çıkarılır (liste bazında, _drop_na, specialized_regression.py:58–62, 815). Gözleme özgü sınır sütunundaki boş hücre eksik değer sayılmaz; o gözlemde o taraf için sınır yok demektir (771–787).
Sansür kuralı. Sabit sınırda y_i\le L olan her gözlem soldan, y_i\ge R olan her gözlem sağdan sansürlü sayılır (779, 787). Sınırın ötesindeki değerler de (ör. L=0 iken -5) sınırda kabul edilir; R AER::tobit ile aynıdır.
Uç durumlar.
- Hiç sınır verilmemişse: "En az bir kesim değeri … belirtin" hatası (
769–770). - Tüm gözlemler sansürlüyse: \boldsymbol\beta ve \sigma tanımsızdır, hata (
791–792). - Sansürsüz gözlemlerde y sabitse: \sigma\to0, olabilirlik sınırsız; hata (
795–797). - Model log-olabilirliği yalnız sabitli modelinkinin altında kalırsa (gerçek maksimumda olanaksız) "Model yakınsamadı" uyarısı; en iyileme başarısızsa ikinci bir uyarı (
947–954). - Hessian tekilse kovaryans sözde tersle (Moore–Penrose) alınır ve uyarılır (
876–880,955–956). - Metin (object) türü açıklayıcı kukla kodlanır; referans, ortak düzey sırasının ilk düzeyidir (kullanıcı sırası → sayısal/doğal sıra → verideki ilk görülme sırası;
_build_X).
110.3 Parametreler
Varsayılanlar tobit_regression.py:44–124 (form), 126–143 (censor_limits) ve 146–153 (read_options) satırlarından alınmıştır.
| Arayüz adı | Varsayılan | Ne yapar | Sonucu nasıl değiştirir |
|---|---|---|---|
| Bağımlı değişken | ilk sayısal sütun | Sansürlü sonuç y. | — |
| Sol kesim (left) | 0 | Sol sansür sınırı L. | y\le L olanlar soldan sansürlü. |
| Soldan sansür uygula | açık | Kapatılırsa sol sınır yok. | Yalnız sağdan sansürlü model. |
| Sağ kesim (right) | 0 | Sağ sansür sınırı R (0 ve negatif geçerli). | Yalnız aşağıdaki kutu açıksa kullanılır. |
| Sağdan sansür uygula | kapalı | Sağ sınırı etkinleştirir. Değer kutusu değiştirilince kendiliğinden açılır. | y\ge R olanlar sağdan sansürlü. |
| Bağımsız değişkenler | en az 1 | Sayısal ya da metin (kukla). | Tasarım matrisi. |
| Güven Düzeyi | %95 | Katsayı GA'sı ve \sigma GA'sı. | GA genişliği. |
| Marjinal etkiler (McDonald-Moffitt) | kapalı | \bar{\mathbf x}'te dört etki ve delta SH'leri. | Ek tablo. |
| Sol sınır sütunu / Sağ sınır sütunu | — (yok) | Gözleme özgü sınır; o taraf için sabit değerin yerine geçer. | Sansür göstergeleri ve olabilirlik. |
| Ek çıktı: Sağlam (sandviç) SH | kapalı | HC0 sandviç kovaryans. | Katsayı SH, z, p, GA ve \sigma GA'sı. |
| Ek çıktı: Varsayım tanıları (CM) | kapalı | Koşullu moment testleri. | Ek bölüm. |
| Grafik | Katsayı orman grafiği | Orman grafiği, 3B gizil y^{*} ya da 3B E[y] yüzeyi. | Yalnız Grafik sekmesi. |
Koddaki tercih: sansür tarafları açık seçeneklerle
Sol ve sağ sansür, değer alanlarından ayrı onay kutularıyla açılıp kapatılır; bu yüzden 0 ya da negatif bir sağ sınır da verilebilir (censor_limits, tobit_regression.py:127–144). Gözleme özgü sınır sütunu seçildiğinde, marjinal etkiler için gereken tek sınır değeri o sütunun ortalamasıdır (specialized_regression.py:828, 837) ve çıktı bunu not eder (qc_tob_collim_note).
110.4 Tıp örneği
Dosya: english/datasets/Tip/46_tobit_hastane_expenditure.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/46_tobit_hastane_harcama.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #46'dan alınmıştır.
| Değişken | Rol | Tür | Özet |
|---|---|---|---|
pocket_expenditure_TL |
Bağımlı | sürekli, TL | ortalama 2038,5; en küçük 0, en büyük 8309; 40 hasta (%20) tam 0 |
admission_day |
Açıklayıcı | sayısal (gün) | 0–8; ortalama 3,04 |
insurance_present |
Açıklayıcı | 0/1 | 137 sigortalı (%68,5) |
n ve eksik değer: 200 hasta, eksik değer yok. Sol sansür sınırı 0; sağ sınır yok.
Klinik soru: Yatış süresi ve sigorta varlığı cepten sağlık harcamasıyla nasıl ilişkili? Harcama eğilimi düşük olan hastalar 0'da toplandığı için etkiler OLS'de küçük görünür mü?
Seçilen ayarlar: Varsayılanlar (sol sınır 0, %95). Hesap yürüyüşü için Marjinal etkiler, Sağlam (sandviç) SH ve Varsayım tanıları (CM) açılmış; ayrıca %99 güven düzeyiyle ve sol 0 / sağ 5000 iki taraflı sansürle (16 hasta \ge5000 TL) çalıştırılmıştır.
110.5 Formüller ve hesap adımları
MerQur'un hesap sırası: liste bazında silme → tasarım matrisi (sabit + kukla) → sansür göstergeleri → açıklayıcıların standartlaştırılması → OLS başlangıç değeri → \boldsymbol\theta=(\boldsymbol\beta,\ \log\sigma) üzerinde BFGS (başarısızsa Nelder–Mead) → optimumda sayısal Hessian ile kovaryans → katsayıların ve kovaryansın özgün ölçeğe geri dönüşümü → (isteğe bağlı) sandviç kovaryans → z tablosu → \sigma GA'sı, BIC ve yalnız sabitli modele karşı LR testi → (isteğe bağlı) CM testleri ve marjinal etkiler.
110.5.1 Olabilirlik
- U: sansürsüz gözlemler (L<y_i<R); S_L: soldan, S_R: sağdan sansürlü gözlemler.
- \phi, \Phi: standart normal yoğunluk ve birikimli dağılım.
- Sansürsüz bir gözlem olabilirliğe yoğunluğuyla, sansürlü gözlem sınırın ötesinde kalma olasılığıyla katılır: P(y^{*}\le L)=\Phi(a_i).
- Gözleme özgü sınır sütununda L yerine L_i, R yerine R_i gelir.
Neden karma (yoğunluk + olasılık) olabilirlik?
Sansürlü birimin değeri bilinmez ama bir bilgi taşır: gerçek değeri sınırın ötesindedir. En çok olabilirlik, her gözlemin "gördüğümüz şeyin olasılığına" katkısını çarpar; sürekli kısım için bu yoğunluk, yığılma noktası için olasılık kütlesidir. Tobin (1958) bu olabilirliği sıfırda yığılan dayanıklı mal harcamaları için önermiştir.
Koddaki tercih: parametreleme, standartlaştırma ve en iyileme
- Parametre vektörü \boldsymbol\theta=(\boldsymbol\beta,\ \log\sigma)'dır; \sigma>0 kısıtı böylece kendiliğinden sağlanır (
specialized_regression.py:869–887). Rsurvregde \log\sigma kullanır. - Sabit dışındaki açıklayıcılar en iyilemeden önce z-puanına çevrilir (ortalama ve
ddof = 0SS ile;802–813); sonuçlar \mathbf A dönüşümüyle özgün ölçeğe taşınır: eğim b_j=b_j^{\text{std}}/s_j, sabit b_0=b_0^{\text{std}}-\sum_j b_j^{\text{std}}\bar x_j/s_j, kovaryans \mathbf A\mathbf V^{\text{std}}\mathbf A^{\top} (888–899). Kestirim ölçekten bağımsızdır; yalnız sayısal kararlılık için yapılır. - Başlangıç: standart uzayda OLS katsayıları ve OLS artıklarının SS'si (
834–836). - En iyileyici scipy
minimize(method = "BFGS")ve varsayılan durma ölçütüdür (gradyan normu <10^{-5}); başarısızsa Nelder–Mead (838–841). RsurvregNewton–Raphson kullanır. - Sağ sansür katkısı kararlı
logsfile yazılır, \log\Phi(-b_i); yalnız sabitli model ve CM testleri de aynı biçimi kullanır (pls_probit_tobit_extras.py:407). 1-\Phi(b)'yi doğrudan hesaplayıp küçük bir sayıyla kırpmak b_i>7 gibi aşırı kuyruklarda log-olabilirliği bozardı.
110.5.2 Gradyan ve kovaryans
\boldsymbol\theta=(\boldsymbol\beta,s), s=\log\sigma ile gözlem başına skor:
- \lambda(c)=\phi(c)/\Phi(c): ters Mills oranı.
- m_{1i}=E(u_i\mid\text{veri}), m_{2i}=E(u_i^2\mid\text{veri}): u_i=(y_i^{*}-\mathbf x_i^{\top}\boldsymbol\beta)/\sigma'nın gözlenene koşullu birinci ve ikinci momenti (genelleştirilmiş artıklar; Chesher & Irish, 1987). Sansürsüzde m_{2i}=e_i^2; sol sansürlüde m_{2i}=1-a_i\lambda(a_i).
- Bu iki moment hem sandviç kovaryansta hem CM testlerinde kullanılır (
_tobit_moments,pls_probit_tobit_extras.py:365–396).
Kovaryans, optimumda gözlenen bilginin tersidir: \hat{\mathbf V}=\big[-\nabla^2\ell(\hat{\boldsymbol\theta})\big]^{-1}. MerQur Hessian'ı analitik yazmaz; statsmodels approx_hess ile sayısal ikinci türevden alır, sonlu değilse merkezi farka düşer (852–872). Sandviç (HC0) seçeneğinde
- \mathbf s_i: yukarıdaki gözlem skoru, özgün ölçekte (
tobit_robust_cov,443–446). Rsandwich::sandwich(AER::tobit(...))ile aynıdır; serbestlik düzeltmesi yoktur.
Neden \sigma GA'sı log ölçekte?
\sigma>0 olduğu için simetrik bir Wald aralığı (\hat\sigma\pm z\,\SH) küçük örneklemde sıfırın altına inebilir. MerQur aralığı \log\sigma ölçeğinde kurar ve üstel dönüştürür: \exp\!\big(\log\hat\sigma\pm z_{1-\alpha/2}\SH(\log\hat\sigma)\big); \SH(\hat\sigma)=\hat\sigma\,\SH(\log\hat\sigma) (delta yöntemi; tobit_fit_stats, 423–440). Aralık bu yüzden asimetriktir.
110.5.3 Katsayı tablosu ve model testi
- k: sabit dahil katsayı sayısı; k+1, \sigma ile birlikte parametre sayısıdır.
- \ell_0: yalnız sabitli Tobit modelinin log-olabilirliği (BFGS + Nelder–Mead,
tobit_null_ll,410–420); OLS'nin değil. - Tablo her zaman normal (z) kritik değer kullanır; Notlar bunu yazar (
qc_tob_ci_z_note).
110.5.4 Koşullu moment (CM) testleri
Pagan ve Vella (1989) yapay regresyonu: 1 sabit sütunu, sabitsiz olarak [\mathbf S,\ \mathbf M] üzerine regresyonlanır; istatistik n R^2_u=n-\text{ATK}'dır.
- \mathbf S: n\times(k+1) skor matrisi (110.5.2); sütunları modelin kendisinin sıfıra eşitlediği momentlerdir.
- m_{3i}, m_{4i}: koşullu üçüncü ve dördüncü momentler; sansürlü gözlemde kesik normalin momentleri, m_{pi}=(p-1)m_{p-2,i}-a_i^{p-1}\lambda(a_i) yinelemesiyle (
pls_probit_tobit_extras.py:378–383). - Normal dağılımda E(u^3)=0, E(u^4)=3; değişen varyans testi E[(u^2-1)x_j]=0'ı sınar.
- ATK: artık kareler toplamı; R^2_u merkezlenmemiş R^2'dir.
OPG testleri küçük örneklemde fazla reddeder
Dış çarpım (OPG) biçimli nR^2 istatistikleri asimptotik olarak \chi^2'dir; küçük ve orta örneklemde nominal düzeyin üstünde red verir. Çıktı notu bunu yazar (qc_tob_cm_note). Kesin sonuç için bootstrap ya da alternatif modellerle (iki parçalı model, log-dönüşüm) karşılaştırma önerilir.
110.5.5 Marjinal etkiler (McDonald–Moffitt)
\bar{\mathbf x} (tüm sütunların örneklem ortalaması, kuklalar dahil), \bar\xi=\bar{\mathbf x}^{\top}\hat{\boldsymbol\beta}, a=(L-\bar\xi)/\sigma, b=(R-\bar\xi)/\sigma, P=\Phi(b)-\Phi(a) ile:
- \partial E[y^{*}]/\partial x_j: gizil değişken üzerindeki etki, katsayının kendisi.
- \partial E[y]/\partial x_j: gözlenen (sansürlü) sonucun beklenen değeri üzerindeki etki; tabloda tek SH bu sütun için yazılır.
- \partial E[y\mid\text{sansürsüz}]/\partial x_j: yalnız sınırlar arasındaki birimlerde ortalama değişim (yoğunluk kenarı, intensive margin).
- \partial P/\partial x_j: sansürsüz olma olasılığındaki değişim (extensive margin).
- SH: delta yöntemi; gradyan \boldsymbol\theta'ya göre merkezi farkla (h=10^{-6}\max(1,|\theta_j|)), kovaryans model tabanlı \hat{\mathbf V}, sandviç SH seçildiğinde sağlam (sandviç) kovaryans (
specialized_extras.py:135–166;specialized_regression.py:1062–1078).
McDonald–Moffitt ayrışımı
Sol sansürlü durumda E[y]=P\cdot E[y\mid y>L]+(1-P)L'dir. Türev alınınca toplam etki iki parçaya ayrılır: sansürsüz birimlerde miktarın artması ve sınırdaki birimlerin sınırı aşma olasılığının artması (McDonald & Moffitt, 1980). \partial E[y]/\partial x_j=\beta_jP özdeşliği bu iki parçanın toplamıdır. Bu yüzden "sigortanın etkisi 1293 TL" cümlesi gizil eğilim için doğrudur; gözlenen ortalama harcamadaki etki (\bar{\mathbf x}'te) 1293\times0{,}880=1137 TL'dir.
Koddaki tercih: MEM, AME değil
Etkiler ortalama açıklayıcı değerinde (MEM) hesaplanır; 0/1 kuklalar için ayrık değişim değil türev alınır (insurance_present = 0,685'te). R marginaleffects::avg_slopes gibi ortalama marjinal etki (AME) değildir. Sandviç SH seçildiğinde delta SH'leri de sağlam (sandviç) kovaryansla hesaplanır: Tıp #46'da \partial E[y]/\partial x SH'leri model tabanlı 60,659 ve 218,240 yerine 56,032 ve 220,001 olur.
110.5.6 Beklenen değer yüzeyi (Grafik)
3B "beklenen değer" grafiği, her ızgara noktasında \mu=\mathbf x^{\top}\hat{\boldsymbol\beta} için
değerini çizer (expected_value, tobit_regression.py:183–200). Gözleme özgü sınır sütunu kullanıldığında bu yüzey tanımsız olduğundan uyarı verilir.
110.6 Elle hesap: Tıp verisinde sayısal yürüyüş
Ara değerler dogrulama/tobit/elle_hesap.py ile, MerQur çağrılmadan, analitik gradyan ve analitik gözlenen Hessian'lı Newton–Raphson ile hesaplanmıştır (\boldsymbol\theta=(\boldsymbol\beta,\log\sigma), başlangıç OLS).
Adım 1 — Başlangıç: OLS. Tüm veriyle OLS: b=(-791{,}503;\ 722{,}042;\ 926{,}995), artıkların SS'si (n paydalı) 1320{,}404; yalnız y>0 olan 160 hastayla OLS: b=(-169{,}376;\ 636{,}047;\ 733{,}799). Başlangıçta \ell=-1438{,}813861, skorun \log\sigma bileşeni +51{,}58'dir: OLS, sansürlü 40 hastanın gerçek değerinin 0'ın altında olabileceğini hesaba katmadığı için \sigma'yı küçük kestirir.
Adım 2 — Newton yinelemeleri.
| Yineleme | b_0 | b_{\text{admission}} | b_{\text{insurance}} | \sigma | \ell |
|---|---|---|---|---|---|
| 0 (OLS) | −791,5029 | 722,0415 | 926,9951 | 1320,4045 | −1438,813861 |
| 1 | −1458,3216 | 821,4654 | 1197,5069 | 1471,7758 | −1430,865972 |
| 2 | −1667,8117 | 852,3476 | 1284,7271 | 1528,2505 | −1430,378765 |
| 3 | −1687,2015 | 855,1815 | 1292,9434 | 1533,0856 | −1430,375638 |
| 4 | −1687,3433 | 855,2020 | 1293,0045 | 1533,1200 | −1430,375638 |
| 5 | −1687,3433 | 855,2020 | 1293,0045 | 1533,1200 | −1430,375638 |
Beşinci yinelemede gradyanın en büyük bileşeni 10^{-13} düzeyindedir.
Adım 3 — Katsayı tablosu. Optimumda kovaryansın köşegeni (94536{,}79;\ 4722{,}798;\ 62261{,}39;\ 0{,}003289843):
| Terim | b | SH | z | %95 GA |
|---|---|---|---|---|
| Sabit | −1687,3433 | 307,4684 | −5,488 | [−2289,970; −1084,716] |
admission_day |
855,2020 | 68,7226 | 12,444 | [720,508; 989,896] |
insurance_present |
1293,0045 | 249,5223 | 5,182 | [803,950; 1782,059] |
\hat\sigma=e^{7{,}335060}=1533{,}120; \SH(\log\hat\sigma)=\sqrt{0{,}003289843}=0{,}057357; \SH(\hat\sigma)=87{,}935; %95 GA =\exp(7{,}335060\mp1{,}959964\times0{,}057357)=[1370{,}105;\ 1715{,}531].
Adım 4 — Model testi. Yalnız sabitli Tobit: \hat\beta_0=1787{,}506, \hat\sigma=2217{,}169, \ell_0=-1499{,}956316. LR =2(-1430{,}375638+1499{,}956316)=139{,}161357, sd 2, p=6{,}0\times10^{-31}. AIC =2868{,}751276; BIC =2881{,}944545.
Adım 5 — Marjinal etkiler (\bar{\mathbf x}'te). \bar{\mathbf x}=(1;\ 3{,}04;\ 0{,}685), \bar\xi=1798{,}179, c=\bar\xi/\hat\sigma=1{,}172889 (yalnız sol sınır, a=-c):
| Değişken | \beta | \partial E[y]/\partial x (SH) | \partial E[y\mid y>0]/\partial x | \partial P/\partial x |
|---|---|---|---|---|
admission_day |
855,202 | 752,218 (60,659) | 582,065 | 0,111861 |
insurance_present |
1293,004 | 1137,301 (218,240) | 880,040 | 0,169126 |
Örnek: \partial P/\partial x=\beta\,\phi(c)/\sigma=855{,}202\times0{,}200534/1533{,}120=0{,}111861. Bir gün daha uzun yatış, ortalama hastada sıfır harcama yapmama olasılığını 11,2 puan artırır.
Şekil 110.1. Solda harcama dağılımı ve 0'daki yığılma (40 hasta). Sağda sigortalı hastalar için gizil ortalama \mathbf x^{\top}\hat{\boldsymbol\beta} (kesikli), Tobit'in gözlenen ölçekteki beklenen değeri E[y] (düz) ve OLS doğrusu. E[y] düşük yatış günlerinde sıfıra yaklaşır ama altına inmez; OLS eğimi Tobit'in gizil eğiminden küçüktür.
Adım 6 — Sandviç SH ve CM testleri. Sandviç SH: (299,008; 64,471; 251,990), \SH(\hat\sigma)=93{,}075. CM normallik \chi^2(2)=7{,}4230 (p=0{,}024); değişen varyans \chi^2(2)=0{,}5877 (p=0{,}745). Normallik varsayımı %5 düzeyinde şüphelidir; 110.8 S5 bunun ne anlama geldiğini tartışır.
Adım 7 — İki taraflı sansür (0 ve 5000). 16 hasta sağdan sansürlenir: b=(-1697{,}029;\ 856{,}380;\ 1298{,}246), \hat\sigma=1503{,}740, \ell=-1302{,}872574. Eğimler neredeyse değişmez; çünkü bu veride 5000 TL üstü değerler aynı normal modelin kuyruğuyla uyumludur.
110.6.1 Doğrulama: MerQur, Python ve R
MerQur değerleri execute() sonucundan tam hassasiyetle alınmıştır (özet bloktaki dört ondalık yuvarlama bellekte devre dışı bırakılmıştır). Python: analitik Hessian'lı Newton (yukarıda). R 4.5.3: AER::tobit (survreg, rel.tolerance = 1e-13), sandviç SH sandwich::sandwich, marjinal etkilerin delta SH'leri numDeriv::jacobian; CM testleri tanımdan R'de elle yazılmıştır. censReg::censReg aynı katsayıları vermiştir (kayıtta).
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| \beta Sabit | −1687,343174 | −1687,343266 | −1687,343266 | 9,2e−05 | ✓ |
| SH Sabit | 307,468332 | 307,468355 | 307,468355 | 2,3e−05 | ✓ |
| z Sabit | −5,487860 | −5,487860 | −5,487860 | 1,2e−07 | ✓ |
| %95 GA alt Sabit | −2289,970030 | −2289,970168 | −2289,970168 | 1,4e−04 | ✓ |
| %95 GA üst Sabit | −1084,716318 | −1084,716364 | −1084,716364 | 4,6e−05 | ✓ |
| \beta admission_day | 855,202021 | 855,202019 | 855,202019 | 2,5e−06 | ✓ |
| SH admission_day | 68,722614 | 68,722614 | 68,722614 | 6,2e−07 | ✓ |
| z admission_day | 12,444259 | 12,444259 | 12,444259 | 1,5e−07 | ✓ |
| %95 GA alt admission_day | 720,508174 | 720,508170 | 720,508170 | 3,7e−06 | ✓ |
| %95 GA üst admission_day | 989,895869 | 989,895868 | 989,895868 | 1,3e−06 | ✓ |
| \beta insurance_present | 1293,004437 | 1293,004458 | 1293,004458 | 2,1e−05 | ✓ |
| SH insurance_present | 249,522271 | 249,522318 | 249,522318 | 4,7e−05 | ✓ |
| z insurance_present | 5,181920 | 5,181919 | 5,181919 | 9,0e−07 | ✓ |
| %95 GA alt insurance_present | 803,949773 | 803,949701 | 803,949701 | 7,2e−05 | ✓ |
| %95 GA üst insurance_present | 1782,059101 | 1782,059215 | 1782,059215 | 1,1e−04 | ✓ |
| \hat\sigma | 1533,120062 | 1533,120044 | 1533,120044 | 1,8e−05 | ✓ |
| SH(\hat\sigma) | 87,935359 | 87,935403 | 87,935403 | 4,4e−05 | ✓ |
| SH(\log\hat\sigma) | 0,057357 | 0,057357 | 0,057357 | 2,9e−08 | ✓ |
| \sigma %95 GA alt | 1370,104503 | 1370,104408 | 1370,104408 | 9,5e−05 | ✓ |
| \sigma %95 GA üst | 1715,531275 | 1715,531353 | 1715,531353 | 7,8e−05 | ✓ |
| Log-olabilirlik ℓ | −1430,375638 | −1430,375638 | −1430,375638 | 4,5e−12 | ✓ |
| ℓ0 (yalnız sabit) | −1499,956316 | −1499,956316 | −1499,956316 | 2,5e−12 | ✓ |
| LR χ²(2) | 139,161357 | 139,161357 | 139,161357 | 5,1e−12 | ✓ |
| AIC | 2868,751276 | 2868,751276 | 2868,751276 | 1,4e−12 | ✓ |
| BIC | 2881,944545 | 2881,944545 | 2881,944545 | 3,6e−12 | ✓ |
| Soldan sansürlü n | 40 | 40 | 40 | 0,0e+00 | ✓ |
Sandviç SH, CM testleri, marjinal etkiler, iki taraflı sansür ve %99 GA:
| Büyüklük | MerQur | Python (bağımsız) | R 4.5.3 | En büyük fark | Durum |
|---|---|---|---|---|---|
| Sandviç SH Sabit | 299,008062 | 299,008119 | 299,008119 | 5,6e−05 | ✓ |
| Sandviç SH admission_day | 64,471411 | 64,471413 | 64,471413 | 2,7e−06 | ✓ |
| Sandviç SH insurance_present | 251,989904 | 251,990006 | 251,990006 | 1,0e−04 | ✓ |
| Sandviç SH(\hat\sigma) | 93,074516 | 93,074614 | 93,074614 | 9,8e−05 | ✓ (sayısal Hessian, göreli 2·10⁻⁶) |
| CM normallik χ²(2) | 7,423030 | 7,423030 | 7,423030 | 4,8e−08 | ✓ |
| CM değişen varyans χ²(2) | 0,587699 | 0,587699 | 0,587699 | 1,3e−07 | ✓ |
| P(sansürsüz \mid\bar{\mathbf x}) | 0,879580 | 0,879580 | 0,879580 | 8,4e−09 | ✓ |
| \bar{\mathbf x}^{\top}\hat{\boldsymbol\beta} | 1798,179010 | 1798,178925 | 1798,178925 | 8,5e−05 | ✓ |
| ∂E[y]/∂x admission_day | 752,218384 | 752,218375 | 752,218375 | 9,4e−06 | ✓ |
| SH ∂E[y]/∂x admission_day | 60,659136 | 60,659138 | 60,659138 | 1,5e−06 | ✓ |
| ∂E[y ∣ sansürsüz]/∂x admission_day | 582,064681 | 582,064669 | 582,064669 | 1,2e−05 | ✓ |
| ∂P(sansürsüz)/∂x admission_day | 0,111861 | 0,111861 | 0,111861 | 6,5e−09 | ✓ |
| ∂E[y]/∂x insurance_present | 1137,300526 | 1137,300533 | 1137,300533 | 7,5e−06 | ✓ |
| SH ∂E[y]/∂x insurance_present | 218,239927 | 218,239965 | 218,239965 | 3,8e−05 | ✓ |
| ∂E[y ∣ sansürsüz]/∂x insurance_present | 880,040268 | 880,040266 | 880,040266 | 1,6e−06 | ✓ |
| ∂P(sansürsüz)/∂x insurance_present | 0,169126 | 0,169126 | 0,169126 | 1,3e−08 | ✓ |
| [0; 5000] \beta Sabit | −1697,029413 | −1697,029415 | −1697,029415 | 1,5e−06 | ✓ |
| [0; 5000] SH Sabit | 314,561962 | 314,561959 | 314,561959 | 3,5e−06 | ✓ |
| [0; 5000] \beta admission_day | 856,380474 | 856,380447 | 856,380447 | 2,7e−05 | ✓ |
| [0; 5000] SH admission_day | 72,002530 | 72,002530 | 72,002530 | 7,7e−07 | ✓ |
| [0; 5000] \beta insurance_present | 1298,246221 | 1298,246319 | 1298,246319 | 9,9e−05 | ✓ |
| [0; 5000] SH insurance_present | 247,435008 | 247,435018 | 247,435018 | 1,0e−05 | ✓ |
| [0; 5000] ℓ | −1302,872594 | −1302,872594 | −1302,872594 | 2,3e−13 | ✓ |
| [0; 5000] \hat\sigma | 1503,740348 | 1503,740301 | 1503,740301 | 4,7e−05 | ✓ |
| [0; 5000] ∂E[y]/∂x admission_day | 742,686292 | 742,686276 | 742,686276 | 1,7e−05 | ✓ |
| [0; 5000] ∂E[y ∣ sansürsüz]/∂x admission_day | 511,963619 | 511,963619 | 511,963619 | 8,6e−08 | ✓ |
| [0; 5000] ∂E[y]/∂x insurance_present | 1125,889369 | 1125,889465 | 1125,889465 | 9,6e−05 | ✓ |
| [0; 5000] ∂E[y ∣ sansürsüz]/∂x insurance_present | 776,120957 | 776,121041 | 776,121041 | 8,4e−05 | ✓ |
| %99 GA alt Sabit | −2479,329112 | −2479,329265 | −2479,329265 | 1,5e−04 | ✓ |
| %99 GA üst Sabit | −895,357236 | −895,357267 | −895,357267 | 3,2e−05 | ✓ |
| %99 GA alt admission_day | 678,184299 | 678,184295 | 678,184295 | 4,1e−06 | ✓ |
| %99 GA üst admission_day | 1032,219743 | 1032,219742 | 1032,219742 | 9,4e−07 | ✓ |
| %99 GA alt insurance_present | 650,277660 | 650,277559 | 650,277559 | 1,0e−04 | ✓ |
| %99 GA üst insurance_present | 1935,731214 | 1935,731357 | 1935,731357 | 1,4e−04 | ✓ |
60 büyüklüğün tamamı ölçütü karşılar. MerQur'un sapması öteki iki kaynağa göre 10^{-7} göreli düzeydedir (sabitte 9,2·10⁻⁵ TL): BFGS varsayılan durma ölçütüyle ve sayısal Hessian'la çalışır. MerQur'un kendi \hat{\boldsymbol\theta}'sında analitik Hessian alındığında SH'ler R ile 10^{-9} düzeyinde örtüşür; fark Hessian'ın sayısal kestiriminden gelir. Sandviç \SH(\hat\sigma) satırındaki 1{,}05\times10^{-6} göreli fark bu nedenle 2\times10^{-6} toleransla kabul edilmiştir.
110.7 Çıktıyı okuma
Sonuç metni (Marjinal etkiler ve CM açık; kısaltılmış):
Tobit Regresyon
N (gözlem) = 200
Log-olabilirlik = -1430.3756
AIC = 2868.7513
σ = 1533.1201
Sol sansür sınırı = 0.0
Sağ sansür sınırı = —
Soldan sansürlü n = 40
Sağdan sansürlü n = 0
Değişken Katsayı SE z p GA alt
Sabit -1687.3432 307.4683 -5.4879 0.0000 -2289.9700
admission_da 855.2020 68.7226 12.4443 0.0000 720.5082
insurance_pr 1293.0044 249.5223 5.1819 0.0000 803.9498
(GA üst sütunu sayfaya sığması için çıkarılmıştır)
── MODEL UYUMU ──
σ = 1533.1201 (SE 87.9354; %95 GA 1370.1045 – 1715.5313; log σ SE = 0.05736)
BIC = 2881.9445
LR χ²(2) = 139.1614, p = 6.046e-31 (sıfır model LL = -1499.9563)
── VARSAYIM TANILARI — KOŞULLU MOMENT TESTLERİ ──
Normallik (çarpıklık + basıklık) χ²(2) = 7.4230, p = 0.02444
Değişen varyans (X'lere göre) χ²(2) = 0.5877, p = 0.7454
── MARJİNAL ETKİLER (X ORTALAMALARINDA, McDONALD-MOFFITT) ──
P(sansürsüz | x̄) = 0.8796, x̄'β = 1798.1790
Değişken ∂E[y*]/∂x ∂E[y]/∂x (SE) ∂E[y|sansürsüz]/∂x ∂P(sansürsüz)/∂x
admission_day 855.20202 752.21838 60.65914 582.06468 0.111861
insurance_present 1293.00444 1137.30053 218.23993 880.04027 0.169126
(sütun aralıkları sayfaya sığması için daraltılmıştır)
| Öğe | Nasıl yorumlanır |
|---|---|
| Katsayı | Gizil harcama eğilimi üzerindeki etki: bir gün fazla yatış eğilimi 855 TL artırır. Gözlenen harcamadaki etki değildir. |
| σ | Gizil hatanın SS'si (sansürsüz kısmın değil, tüm gizil dağılımın). GA log ölçekte kurulduğu için asimetriktir. |
| Soldan sansürlü n | Sınırda ya da ötesinde olup sansürlenen gözlem sayısı (40). |
| LR χ² | Tüm eğimlerin sıfır olduğu yalnız sabitli Tobit modeline karşı test. |
| CM normallik | p<\alpha: normal gizil hata varsayımı şüpheli; katsayılar tutarsız olabilir. Değişen varyans testi için de aynı. |
| \partial E[y]/\partial x | Ortalama hastada gözlenen harcamanın beklenen değişimi; raporlanacak "politika etkisi" çoğunlukla budur. |
| \partial P/\partial x | Sıfırdan farklı harcama olasılığındaki değişim. |
| Uyarı: Model yakınsamadı | Model \ell'si \ell_0'ın altındaysa yazılır (res_tobit_warn_noconv); tablo yorumlanmamalıdır. |
APA biçiminde rapor cümlesi (Türkçe ondalıkla):
Cepten sağlık harcamasında 0'da yığılma bulunduğundan (200 hastanın 40'ı) soldan 0'da sansürlü Tobit modeli kuruldu. Yatış süresi (b = 855{,}20; SH = 68{,}72; z = 12{,}44; p < 0{,}001) ve sigorta varlığı (b = 1293{,}00; SH = 249{,}52; z = 5{,}18; p < 0{,}001) gizil harcama eğilimiyle pozitif ilişkiliydi; model yalnız sabitli modelden anlamlı biçimde iyiydi, LR \chi^2(2) = 139{,}16, p < 0{,}001 (\hat\sigma = 1533{,}1). Ortalama hastada bir gün daha uzun yatış gözlenen beklenen harcamayı 752,2 TL (SH = 60{,}7), sigorta 1137,3 TL (SH = 218{,}2) artırıyordu. Koşullu moment testi normallik varsayımından sapma gösterdi, \chi^2(2) = 7{,}42, p = 0{,}024.
110.8 Uzman soruları
S1. SH'ler R `survreg` ile neden yedinci basamakta farklı?
MerQur Hessian'ı analitik değil, statsmodels approx_hess ile sayısal ikinci türevden alır ve en iyilemeyi BFGS'nin varsayılan gradyan ölçütüyle (10^{-5}) durdurur. Tıp örneğinde sabitin SH'si 307,468332'ye karşı 307,468355'tir (göreli 7{,}6\times10^{-8}). MerQur'un \hat{\boldsymbol\theta}'sında analitik Hessian kullanıldığında fark 10^{-9}'a iner; yani sapma Hessian'ın sayısal kestiriminden gelir, nokta kestiriminden değil. Raporlanan dört ondalıkta görünmez.
S2. Katsayıyı mı, marjinal etkiyi mi raporlamalıyım?
Soruya bağlıdır. Gizil değişken anlamlı bir büyüklükse (ör. "harcama eğilimi", "ölçüm tavanının üstündeki gerçek puan") katsayı doğrudan yorumlanır. Gözlenen harcamadaki ortalama değişim isteniyorsa \partial E[y]/\partial x raporlanır. MerQur bu etkiyi ortalama hastada (MEM) verir; AME (her hastada türevin ortalaması) R marginaleffects ile ayrıca hesaplanmalıdır. Kukla değişkenler için MerQur türev alır, ayrık değişim almaz.
S3. 0'ın altında değer varsa ne olur?
Sabit sol sınırda y_i\le L olan her gözlem sansürlü sayılır (specialized_regression.py:833). -5 gibi bir değer 0'da sansürlü işlem görür; R AER::tobit de aynı kuralı uygular. Ancak negatif değerler veri hatası olabilir; sınırın ötesinde birçok gözlem varsa sınır yanlış seçilmiş olabilir.
S4. Tobit "sıfır olma" ile "miktar" kararını aynı katsayıyla mı yönetiyor?
Evet. Tobit'te bir açıklayıcının harcama yapma olasılığı ve harcama miktarı üzerindeki etkisinin işareti ve göreli büyüklüğü aynıdır; ikisi de \beta_j'den gelir. Bu kısıt, sigortanın harcama yapma olasılığını artırıp miktarı azalttığı gibi durumları dışlar. Kısıt şüpheliyse Cragg (1971) türü iki parçalı model (ikili probit + kesik normal) kurulmalıdır; MerQur'da ikinci parça Bölüm 63'teki kesik regresyonla, birinci parça Probit Regresyonla ayrı kestirilebilir ve log-olabilirlikler toplanarak Tobit'le LR testiyle karşılaştırılabilir.
S5. CM normallik testi p=0{,}024 verdi. Model çöpe mi?
Hayır, ama dikkat gerekir. Tobit'te normallik bozukluğu katsayıları tutarsız yapar; OLS'deki gibi yalnız SH'leri değil. Bu veride sansürsüz (pozitif) harcamalar sağa çarpıktır (çarpıklık 0,76). Seçenekler: sonucu log-dönüştürüp sınırı uygun biçimde yeniden tanımlamak, iki parçalı model, ya da yarı parametrik bir yöntem (Powell'ın CLAD kestiricisi; MerQur'da yoktur). OPG biçimli testin orta örneklemde fazla reddettiği de unutulmamalıdır.
S6. Sandviç SH ne zaman anlamlı?
Model tam doğruysa sandviç ve olağan SH aynı limite gider. Tobit'te varyans yanlış belirtimi zaten katsayıları tutarsız yaptığından sandviç SH "doğru modelin yanlış varyansı" sorununu çözmez; yalnız sözde gerçek (pseudo-true) parametrenin belirsizliğini doğru ölçer. Bu veride iki SH birbirine yakındır (64,47'ye karşı 68,72). Sandviç seçildiğinde \sigma GA'sı ve marjinal etkilerin SH'leri de sağlam kovaryansla kurulur.
S7. Neden t değil z?
Tobit bir ML kestiricisidir; Wald istatistiğinin kesin t dağılımı yoktur. R survreg de normal kritik değer kullanır. 200 gözlemde fark ihmal edilebilir.
S8. Hiç sansürlü gözlem yoksa Tobit OLS'ye eşit mi?
Katsayılar evet: S_L boşsa olabilirlik normal doğrusal modelin olabilirliğidir ve ML katsayıları OLS ile aynıdır. \hat\sigma ise ML tanımıyla \sqrt{\text{ATK}/n}'dir, OLS'nin \sqrt{\text{ATK}/(n-k)}'si değil; SH'ler de bu yüzden biraz küçüktür ve z kullanılır.
110.9 Sık hatalar ve tuzaklar
- Kesik veriye Tobit kurmak. Örneklemde yalnız pozitif harcamalar varsa sansürlü gözlem yoktur; Tobit OLS'ye döner ve seçim yanlılığı düzelmez. Doğru model kesik regresyondur (Bölüm 63).
- Katsayıyı gözlenen sonuçtaki etki gibi okumak. "Sigorta harcamayı 1293 TL artırır" cümlesi gizil değişken içindir; gözlenen ortalama harcamadaki etki ortalama hastada 1137 TL'dir.
- Sağ sınırı açmayı unutmak. Sağ değer kutusuna bir sayı yazmak onay kutusunu kendiliğinden açar; ama kutu sonradan kapatılırsa sağ sınır yok sayılır. Özet bloktaki "Sağ sansür sınırı" ve "Sağdan sansürlü n" satırları denetlenmelidir.
- "Kesim" sözcüğünü kesiklik sanmak. Arayüzdeki "Sol kesim" sansür sınırıdır; sınırın ötesindeki birimler veride kalır.
- CM testlerini görmezden gelmek. Tobit'te varsayım bozukluğu katsayıyı etkiler; en azından normallik testi açılmalıdır.
- Kukla açıklayıcının marjinal etkisini ayrık değişim sanmak. MerQur türev alır ve kuklayı ortalamasında (0,685) tutar.
- Gözleme özgü sınırla 3B beklenen değer grafiği istemek. Yüzey tanımsızdır; MerQur uyarıyla orman grafiğine döner.
110.10 Kaynaklar
- Amemiya, T. (1973). Regression analysis when the dependent variable is truncated normal. Econometrica, 41(6), 997–1016. https://doi.org/10.2307/1914031
- Arabmazar, A., & Schmidt, P. (1982). An investigation of the robustness of the Tobit estimator to non-normality. Econometrica, 50(4), 1055–1063. https://doi.org/10.2307/1912776
- Chesher, A., & Irish, M. (1987). Residual analysis in the grouped and censored normal linear model. Journal of Econometrics, 34(1–2), 33–61. https://doi.org/10.1016/0304-4076(87)90066-2
- Cragg, J. G. (1971). Some statistical models for limited dependent variables with application to the demand for durable goods. Econometrica, 39(5), 829–844. https://doi.org/10.2307/1909582
- Greene, W. H. (2018). Econometric analysis (8. baskı). Pearson.
- Kleiber, C., & Zeileis, A. (2008). Applied econometrics with R. Springer. https://doi.org/10.1007/978-0-387-77318-6
- McDonald, J. F., & Moffitt, R. A. (1980). The uses of Tobit analysis. The Review of Economics and Statistics, 62(2), 318–321. https://doi.org/10.2307/1924766
- Pagan, A., & Vella, F. (1989). Diagnostic tests for models based on individual data: A survey. Journal of Applied Econometrics, 4(S1), S29–S59. https://doi.org/10.1002/jae.3950040504
- Tobin, J. (1958). Estimation of relationships for limited dependent variables. Econometrica, 26(1), 24–36. https://doi.org/10.2307/1907382