MerQuR+Başvuru Kitabı

110. Tobit Regresyon (Sansürlü)

Analiz kimliği: tobit · Menü adı: Tobit Regresyon (Sansürlü) · Panel: gui/panels/analyses/tobit_regression.py · Motor: stats/specialized_regression.py, run_tobit_regression (satır 787–1036); ek çıktılar stats/pls_probit_tobit_extras.py (satır 365–502) ve stats/specialized_extras.py (tobit_margins, satır 135–166)

110.1 Ne işe yarar

Tobit regresyon, sürekli bir sonucun bir sınırda yığıldığı durumlar için kurulmuş en çok olabilirlik (ML) modelidir. Klasik örnek, cepten sağlık harcamasıdır: hastaların bir bölümü hiç harcama yapmaz ve değerleri tam 0'dır; geri kalanlar sürekli dağılır. Model, gözlenmeyen sürekli bir gizil değişken y^{*} varsayar; gözlenen y, y^{*}'ın sınırlarda kırpılmış hâlidir:

y_i^{*}=\mathbf x_i^{\top}\boldsymbol\beta+\varepsilon_i,\quad \varepsilon_i\sim N(0,\sigma^2),\qquad y_i=\begin{cases}L, & y_i^{*}\le L\\ y_i^{*}, & L<y_i^{*}<R\\ R, & y_i^{*}\ge R\end{cases}
  • y_i^{*}: gizil (sansürsüz) sonuç; örneğin "harcama eğilimi". Negatif değer alabilir.
  • \mathbf x_i=(1,x_{i1},\dots,x_{ip})^{\top}: sabit terim için başına 1 eklenmiş açıklayıcı vektörü.
  • \boldsymbol\beta: gizil değişken üzerindeki etkiler; \sigma: gizil hatanın standart sapması.
  • L, R: sol ve sağ sansür sınırları. Biri yoksa o taraf \mp\infty kabul edilir.

Neden OLS yetmez?

0'da yığılmış bir sonuçla OLS kurulduğunda yığılma noktası "normal" bir değer gibi işlenir; hata terimi açıklayıcılarla ilişkili olur ve eğimler sıfıra doğru çekilir. Yalnız pozitif değerlerle OLS kurmak da çözüm değildir; o zaman örneklem y^{*}>0 koşuluna göre seçilmiş olur (kesik veri, Bölüm 63). Tıp örneğinde yatış gününün eğimi Tobit'te 855,2 TL, tüm veriyle OLS'de 722,0 TL, yalnız pozitif harcamalarla OLS'de 636,0 TL'dir (110.6, Adım 1).

Ne zaman kullanılır? Sonuç süreklidir ve bir alt (ya da üst) sınırda kayda değer bir yığılma vardır: sıfır harcama, ölçüm aracının tavanı (en yüksek puan), dedeksiyon sınırının altında kalan laboratuvar değerleri. Yığılan değerlerin "gerçek değerin sınırda ya da ötesinde olduğu" anlamına gelmesi gerekir.

Ne zaman kullanılmaz?

  • Sınır dışındaki birimler veri setinde hiç yoksa (örneklem yalnız y>0 olanlardan oluşuyorsa): Örneklem Seçimi ve Kesik Regresyon (Heckman) panelinde "Kesik regresyon".
  • Sonucun gözlenip gözlenmemesi ayrı bir karar sürecine bağlıysa (çalışanların ücreti): aynı paneldeki Heckman modeli.
  • Sıfırlar "gerçek sıfır" ve pozitif kısım başka bir süreçten geliyorsa (iki parçalı model, hurdle): MerQur'da tek panelde yoktur; ikili kısım İkili Lojistik/Probit Regresyon, pozitif kısım Gamma/Log-normal model ile ayrı kurulur.
  • Sonuç bir sayımsa (0, 1, 2 …): Sayım Regresyonu (Poisson, negatif binom, sıfır şişirilmiş).
  • Sansür zamana bağlıysa (izlem bitti, olay görülmedi): Kaplan–Meier / Cox / AFT (sağdan sansürlü sağkalım verisi).
  • Aralık sansürü varsa: Aralık Sansürlü Sağkalım.

Sık karıştırılan analizler. Sansür ile kesiklik farklıdır: Tobit'te sınırdaki birimler veri setindedir, yalnız gerçek değerleri bilinmez; kesik regresyonda bu birimler veri setinde hiç yoktur. Tobit, sağdan sansürlü normal AFT modelinin sabit sınırlı özel hâlidir (R AER::tobit, survival::survreg(dist = "gaussian") üzerine kuruludur).

Arayüzde "kesim" sözcüğü sansür anlamındadır

Form, sansür sınırının alanlarını "Sol kesim" ve "Sağ kesim" diye adlandırır; çıktı ise doğru terimi kullanır: "Sol sansür sınırı", "Soldan sansürlü n" (res_spec_leftcens, res_spec_nleft). Bu bölümde de sansür terimi kullanılmıştır; "kesik (truncated)" regresyon başka bir modeldir (Bölüm 63).

110.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Normal gizil hata \varepsilon_i\sim N(0,\sigma^2); sansürlü kısım bu dağılımın kuyruğundan gelir. İsteğe bağlı CM normallik testi (çarpıklık + basıklık).
Sabit varyans \sigma tüm gözlemlerde aynı. İsteğe bağlı CM değişen varyans testi.
Doğrusal gizil ortalama E(y^{*}\mid\mathbf x)=\mathbf x^{\top}\boldsymbol\beta. Denetlenmez.
Aynı süreç Sıfır olma kararı ile harcama miktarını aynı \boldsymbol\beta belirler. Denetlenmez (110.8 S4).
Bağımsız gözlemler Kümeleme yok. Denetlenmez; sandviç SH yalnız varyans yanlış belirtimine karşı korur.

Varsayımlar OLS'dekinden daha bağlayıcıdır: OLS'de normal olmayan hata yalnız çıkarımı etkiler; Tobit'te ise normallik ya da sabit varyans bozulduğunda katsayıların kendisi tutarsız olur (Arabmazar & Schmidt, 1982; Greene, 2018, böl. 19). CM testlerinin varlık nedeni budur.

Eksik değer. Bağımlı değişkende ya da seçilen açıklayıcılarda eksik olan satır çıkarılır (liste bazında, _drop_na, specialized_regression.py:58–62, 815). Gözleme özgü sınır sütunundaki boş hücre eksik değer sayılmaz; o gözlemde o taraf için sınır yok demektir (771–787).

Sansür kuralı. Sabit sınırda y_i\le L olan her gözlem soldan, y_i\ge R olan her gözlem sağdan sansürlü sayılır (779, 787). Sınırın ötesindeki değerler de (ör. L=0 iken -5) sınırda kabul edilir; R AER::tobit ile aynıdır.

Uç durumlar.

  • Hiç sınır verilmemişse: "En az bir kesim değeri … belirtin" hatası (769–770).
  • Tüm gözlemler sansürlüyse: \boldsymbol\beta ve \sigma tanımsızdır, hata (791–792).
  • Sansürsüz gözlemlerde y sabitse: \sigma\to0, olabilirlik sınırsız; hata (795–797).
  • Model log-olabilirliği yalnız sabitli modelinkinin altında kalırsa (gerçek maksimumda olanaksız) "Model yakınsamadı" uyarısı; en iyileme başarısızsa ikinci bir uyarı (947–954).
  • Hessian tekilse kovaryans sözde tersle (Moore–Penrose) alınır ve uyarılır (876–880, 955–956).
  • Metin (object) türü açıklayıcı kukla kodlanır; referans, ortak düzey sırasının ilk düzeyidir (kullanıcı sırası → sayısal/doğal sıra → verideki ilk görülme sırası; _build_X).

110.3 Parametreler

Varsayılanlar tobit_regression.py:44–124 (form), 126–143 (censor_limits) ve 146–153 (read_options) satırlarından alınmıştır.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Bağımlı değişken ilk sayısal sütun Sansürlü sonuç y. —
Sol kesim (left) 0 Sol sansür sınırı L. y\le L olanlar soldan sansürlü.
Soldan sansür uygula açık Kapatılırsa sol sınır yok. Yalnız sağdan sansürlü model.
Sağ kesim (right) 0 Sağ sansür sınırı R (0 ve negatif geçerli). Yalnız aşağıdaki kutu açıksa kullanılır.
Sağdan sansür uygula kapalı Sağ sınırı etkinleştirir. Değer kutusu değiştirilince kendiliğinden açılır. y\ge R olanlar sağdan sansürlü.
Bağımsız değişkenler en az 1 Sayısal ya da metin (kukla). Tasarım matrisi.
Güven Düzeyi %95 Katsayı GA'sı ve \sigma GA'sı. GA genişliği.
Marjinal etkiler (McDonald-Moffitt) kapalı \bar{\mathbf x}'te dört etki ve delta SH'leri. Ek tablo.
Sol sınır sütunu / Sağ sınır sütunu — (yok) Gözleme özgü sınır; o taraf için sabit değerin yerine geçer. Sansür göstergeleri ve olabilirlik.
Ek çıktı: Sağlam (sandviç) SH kapalı HC0 sandviç kovaryans. Katsayı SH, z, p, GA ve \sigma GA'sı.
Ek çıktı: Varsayım tanıları (CM) kapalı Koşullu moment testleri. Ek bölüm.
Grafik Katsayı orman grafiği Orman grafiği, 3B gizil y^{*} ya da 3B E[y] yüzeyi. Yalnız Grafik sekmesi.

Koddaki tercih: sansür tarafları açık seçeneklerle

Sol ve sağ sansür, değer alanlarından ayrı onay kutularıyla açılıp kapatılır; bu yüzden 0 ya da negatif bir sağ sınır da verilebilir (censor_limits, tobit_regression.py:127–144). Gözleme özgü sınır sütunu seçildiğinde, marjinal etkiler için gereken tek sınır değeri o sütunun ortalamasıdır (specialized_regression.py:828, 837) ve çıktı bunu not eder (qc_tob_collim_note).

110.4 Tıp örneği

Dosya: english/datasets/Tip/46_tobit_hastane_expenditure.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/46_tobit_hastane_harcama.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #46'dan alınmıştır.

Değişken Rol Tür Özet
pocket_expenditure_TL Bağımlı sürekli, TL ortalama 2038,5; en küçük 0, en büyük 8309; 40 hasta (%20) tam 0
admission_day Açıklayıcı sayısal (gün) 0–8; ortalama 3,04
insurance_present Açıklayıcı 0/1 137 sigortalı (%68,5)

n ve eksik değer: 200 hasta, eksik değer yok. Sol sansür sınırı 0; sağ sınır yok.

Klinik soru: Yatış süresi ve sigorta varlığı cepten sağlık harcamasıyla nasıl ilişkili? Harcama eğilimi düşük olan hastalar 0'da toplandığı için etkiler OLS'de küçük görünür mü?

Seçilen ayarlar: Varsayılanlar (sol sınır 0, %95). Hesap yürüyüşü için Marjinal etkiler, Sağlam (sandviç) SH ve Varsayım tanıları (CM) açılmış; ayrıca %99 güven düzeyiyle ve sol 0 / sağ 5000 iki taraflı sansürle (16 hasta \ge5000 TL) çalıştırılmıştır.

110.5 Formüller ve hesap adımları

MerQur'un hesap sırası: liste bazında silme → tasarım matrisi (sabit + kukla) → sansür göstergeleri → açıklayıcıların standartlaştırılması → OLS başlangıç değeri → \boldsymbol\theta=(\boldsymbol\beta,\ \log\sigma) üzerinde BFGS (başarısızsa Nelder–Mead) → optimumda sayısal Hessian ile kovaryans → katsayıların ve kovaryansın özgün ölçeğe geri dönüşümü → (isteğe bağlı) sandviç kovaryans → z tablosu → \sigma GA'sı, BIC ve yalnız sabitli modele karşı LR testi → (isteğe bağlı) CM testleri ve marjinal etkiler.

110.5.1 Olabilirlik

\begin{gathered}\ell(\boldsymbol\beta,\sigma)=\sum_{i\in U}\Big[\ln\phi(e_i)-\ln\sigma\Big]+\sum_{i\in S_L}\ln\Phi(a_i)+\sum_{i\in S_R}\ln\big[1-\Phi(b_i)\big]\\[4pt] e_i=\frac{y_i-\mathbf x_i^{\top}\boldsymbol\beta}{\sigma},\qquad a_i=\frac{L-\mathbf x_i^{\top}\boldsymbol\beta}{\sigma},\qquad b_i=\frac{R-\mathbf x_i^{\top}\boldsymbol\beta}{\sigma}\end{gathered}
  • U: sansürsüz gözlemler (L<y_i<R); S_L: soldan, S_R: sağdan sansürlü gözlemler.
  • \phi, \Phi: standart normal yoğunluk ve birikimli dağılım.
  • Sansürsüz bir gözlem olabilirliğe yoğunluğuyla, sansürlü gözlem sınırın ötesinde kalma olasılığıyla katılır: P(y^{*}\le L)=\Phi(a_i).
  • Gözleme özgü sınır sütununda L yerine L_i, R yerine R_i gelir.

Neden karma (yoğunluk + olasılık) olabilirlik?

Sansürlü birimin değeri bilinmez ama bir bilgi taşır: gerçek değeri sınırın ötesindedir. En çok olabilirlik, her gözlemin "gördüğümüz şeyin olasılığına" katkısını çarpar; sürekli kısım için bu yoğunluk, yığılma noktası için olasılık kütlesidir. Tobin (1958) bu olabilirliği sıfırda yığılan dayanıklı mal harcamaları için önermiştir.

Koddaki tercih: parametreleme, standartlaştırma ve en iyileme

  • Parametre vektörü \boldsymbol\theta=(\boldsymbol\beta,\ \log\sigma)'dır; \sigma>0 kısıtı böylece kendiliğinden sağlanır (specialized_regression.py:869–887). R survreg de \log\sigma kullanır.
  • Sabit dışındaki açıklayıcılar en iyilemeden önce z-puanına çevrilir (ortalama ve ddof = 0 SS ile; 802–813); sonuçlar \mathbf A dönüşümüyle özgün ölçeğe taşınır: eğim b_j=b_j^{\text{std}}/s_j, sabit b_0=b_0^{\text{std}}-\sum_j b_j^{\text{std}}\bar x_j/s_j, kovaryans \mathbf A\mathbf V^{\text{std}}\mathbf A^{\top} (888–899). Kestirim ölçekten bağımsızdır; yalnız sayısal kararlılık için yapılır.
  • Başlangıç: standart uzayda OLS katsayıları ve OLS artıklarının SS'si (834–836).
  • En iyileyici scipy minimize(method = "BFGS") ve varsayılan durma ölçütüdür (gradyan normu <10^{-5}); başarısızsa Nelder–Mead (838–841). R survreg Newton–Raphson kullanır.
  • Sağ sansür katkısı kararlı logsf ile yazılır, \log\Phi(-b_i); yalnız sabitli model ve CM testleri de aynı biçimi kullanır (pls_probit_tobit_extras.py:407). 1-\Phi(b)'yi doğrudan hesaplayıp küçük bir sayıyla kırpmak b_i>7 gibi aşırı kuyruklarda log-olabilirliği bozardı.

110.5.2 Gradyan ve kovaryans

\boldsymbol\theta=(\boldsymbol\beta,s), s=\log\sigma ile gözlem başına skor:

\frac{\partial\ell_i}{\partial\boldsymbol\beta}=\frac{\mathbf x_i}{\sigma}\,m_{1i},\qquad \frac{\partial\ell_i}{\partial s}=m_{2i}-1,\qquad m_{1i}=\begin{cases}e_i & i\in U\\ -\lambda(a_i) & i\in S_L\\ \lambda(-b_i) & i\in S_R\end{cases}
  • \lambda(c)=\phi(c)/\Phi(c): ters Mills oranı.
  • m_{1i}=E(u_i\mid\text{veri}), m_{2i}=E(u_i^2\mid\text{veri}): u_i=(y_i^{*}-\mathbf x_i^{\top}\boldsymbol\beta)/\sigma'nın gözlenene koşullu birinci ve ikinci momenti (genelleştirilmiş artıklar; Chesher & Irish, 1987). Sansürsüzde m_{2i}=e_i^2; sol sansürlüde m_{2i}=1-a_i\lambda(a_i).
  • Bu iki moment hem sandviç kovaryansta hem CM testlerinde kullanılır (_tobit_moments, pls_probit_tobit_extras.py:365–396).

Kovaryans, optimumda gözlenen bilginin tersidir: \hat{\mathbf V}=\big[-\nabla^2\ell(\hat{\boldsymbol\theta})\big]^{-1}. MerQur Hessian'ı analitik yazmaz; statsmodels approx_hess ile sayısal ikinci türevden alır, sonlu değilse merkezi farka düşer (852–872). Sandviç (HC0) seçeneğinde

\hat{\mathbf V}_{\text{sağlam}}=\hat{\mathbf V}\Big(\sum_i\mathbf s_i\mathbf s_i^{\top}\Big)\hat{\mathbf V}
  • \mathbf s_i: yukarıdaki gözlem skoru, özgün ölçekte (tobit_robust_cov, 443–446). R sandwich::sandwich(AER::tobit(...)) ile aynıdır; serbestlik düzeltmesi yoktur.

Neden \sigma GA'sı log ölçekte?

\sigma>0 olduğu için simetrik bir Wald aralığı (\hat\sigma\pm z\,\SH) küçük örneklemde sıfırın altına inebilir. MerQur aralığı \log\sigma ölçeğinde kurar ve üstel dönüştürür: \exp\!\big(\log\hat\sigma\pm z_{1-\alpha/2}\SH(\log\hat\sigma)\big); \SH(\hat\sigma)=\hat\sigma\,\SH(\log\hat\sigma) (delta yöntemi; tobit_fit_stats, 423–440). Aralık bu yüzden asimetriktir.

110.5.3 Katsayı tablosu ve model testi

\begin{gathered}z_j=\frac{\hat\beta_j}{\SH_j},\qquad \text{GA: }\hat\beta_j\pm z_{1-\alpha/2}\SH_j,\qquad \text{LR}=2(\ell-\ell_0)\sim\chi^2_{k-1}\[4pt] \text{AIC}=-2\ell+2(k+1),\qquad \text{BIC}=-2\ell+(k+1)\ln n\end{gathered}
  • k: sabit dahil katsayı sayısı; k+1, \sigma ile birlikte parametre sayısıdır.
  • \ell_0: yalnız sabitli Tobit modelinin log-olabilirliği (BFGS + Nelder–Mead, tobit_null_ll, 410–420); OLS'nin değil.
  • Tablo her zaman normal (z) kritik değer kullanır; Notlar bunu yazar (qc_tob_ci_z_note).

110.5.4 Koşullu moment (CM) testleri

Pagan ve Vella (1989) yapay regresyonu: 1 sabit sütunu, sabitsiz olarak [\mathbf S,\ \mathbf M] üzerine regresyonlanır; istatistik n R^2_u=n-\text{ATK}'dır.

\begin{gathered}\text{Normallik: }\mathbf M=\big[m_{3i},\ m_{4i}-3\big]\ \ (\text{sd}=2)\[4pt] \text{Değişen varyans: }\mathbf M=\big[x_{ij}(m_{2i}-1)\big]_{j\ne0}\ \ (\text{sd}=p)\end{gathered}
  • \mathbf S: n\times(k+1) skor matrisi (110.5.2); sütunları modelin kendisinin sıfıra eşitlediği momentlerdir.
  • m_{3i}, m_{4i}: koşullu üçüncü ve dördüncü momentler; sansürlü gözlemde kesik normalin momentleri, m_{pi}=(p-1)m_{p-2,i}-a_i^{p-1}\lambda(a_i) yinelemesiyle (pls_probit_tobit_extras.py:378–383).
  • Normal dağılımda E(u^3)=0, E(u^4)=3; değişen varyans testi E[(u^2-1)x_j]=0'ı sınar.
  • ATK: artık kareler toplamı; R^2_u merkezlenmemiş R^2'dir.

OPG testleri küçük örneklemde fazla reddeder

Dış çarpım (OPG) biçimli nR^2 istatistikleri asimptotik olarak \chi^2'dir; küçük ve orta örneklemde nominal düzeyin üstünde red verir. Çıktı notu bunu yazar (qc_tob_cm_note). Kesin sonuç için bootstrap ya da alternatif modellerle (iki parçalı model, log-dönüşüm) karşılaştırma önerilir.

110.5.5 Marjinal etkiler (McDonald–Moffitt)

\bar{\mathbf x} (tüm sütunların örneklem ortalaması, kuklalar dahil), \bar\xi=\bar{\mathbf x}^{\top}\hat{\boldsymbol\beta}, a=(L-\bar\xi)/\sigma, b=(R-\bar\xi)/\sigma, P=\Phi(b)-\Phi(a) ile:

\begin{gathered}\frac{\partial E[y^{*}]}{\partial x_j}=\beta_j,\qquad \frac{\partial E[y]}{\partial x_j}=\beta_j\,P,\qquad \frac{\partial P}{\partial x_j}=\beta_j\,\frac{\phi(a)-\phi(b)}{\sigma}\\[4pt] \frac{\partial E[y\mid L<y<R]}{\partial x_j}=\beta_j\Big[1+\frac{a\phi(a)-b\phi(b)}{P}-\Big(\frac{\phi(a)-\phi(b)}{P}\Big)^{2}\Big]\end{gathered}
  • \partial E[y^{*}]/\partial x_j: gizil değişken üzerindeki etki, katsayının kendisi.
  • \partial E[y]/\partial x_j: gözlenen (sansürlü) sonucun beklenen değeri üzerindeki etki; tabloda tek SH bu sütun için yazılır.
  • \partial E[y\mid\text{sansürsüz}]/\partial x_j: yalnız sınırlar arasındaki birimlerde ortalama değişim (yoğunluk kenarı, intensive margin).
  • \partial P/\partial x_j: sansürsüz olma olasılığındaki değişim (extensive margin).
  • SH: delta yöntemi; gradyan \boldsymbol\theta'ya göre merkezi farkla (h=10^{-6}\max(1,|\theta_j|)), kovaryans model tabanlı \hat{\mathbf V}, sandviç SH seçildiğinde sağlam (sandviç) kovaryans (specialized_extras.py:135–166; specialized_regression.py:1062–1078).

McDonald–Moffitt ayrışımı

Sol sansürlü durumda E[y]=P\cdot E[y\mid y>L]+(1-P)L'dir. Türev alınınca toplam etki iki parçaya ayrılır: sansürsüz birimlerde miktarın artması ve sınırdaki birimlerin sınırı aşma olasılığının artması (McDonald & Moffitt, 1980). \partial E[y]/\partial x_j=\beta_jP özdeşliği bu iki parçanın toplamıdır. Bu yüzden "sigortanın etkisi 1293 TL" cümlesi gizil eğilim için doğrudur; gözlenen ortalama harcamadaki etki (\bar{\mathbf x}'te) 1293\times0{,}880=1137 TL'dir.

Koddaki tercih: MEM, AME değil

Etkiler ortalama açıklayıcı değerinde (MEM) hesaplanır; 0/1 kuklalar için ayrık değişim değil türev alınır (insurance_present = 0,685'te). R marginaleffects::avg_slopes gibi ortalama marjinal etki (AME) değildir. Sandviç SH seçildiğinde delta SH'leri de sağlam (sandviç) kovaryansla hesaplanır: Tıp #46'da \partial E[y]/\partial x SH'leri model tabanlı 60,659 ve 218,240 yerine 56,032 ve 220,001 olur.

110.5.6 Beklenen değer yüzeyi (Grafik)

3B "beklenen değer" grafiği, her ızgara noktasında \mu=\mathbf x^{\top}\hat{\boldsymbol\beta} için

E[y]=L\,\Phi(a)+R\,[1-\Phi(b)]+\mu\,[\Phi(b)-\Phi(a)]+\sigma\,[\phi(a)-\phi(b)]

değerini çizer (expected_value, tobit_regression.py:183–200). Gözleme özgü sınır sütunu kullanıldığında bu yüzey tanımsız olduğundan uyarı verilir.

110.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Ara değerler dogrulama/tobit/elle_hesap.py ile, MerQur çağrılmadan, analitik gradyan ve analitik gözlenen Hessian'lı Newton–Raphson ile hesaplanmıştır (\boldsymbol\theta=(\boldsymbol\beta,\log\sigma), başlangıç OLS).

Adım 1 — Başlangıç: OLS. Tüm veriyle OLS: b=(-791{,}503;\ 722{,}042;\ 926{,}995), artıkların SS'si (n paydalı) 1320{,}404; yalnız y>0 olan 160 hastayla OLS: b=(-169{,}376;\ 636{,}047;\ 733{,}799). Başlangıçta \ell=-1438{,}813861, skorun \log\sigma bileşeni +51{,}58'dir: OLS, sansürlü 40 hastanın gerçek değerinin 0'ın altında olabileceğini hesaba katmadığı için \sigma'yı küçük kestirir.

Adım 2 — Newton yinelemeleri.

Yineleme b_0 b_{\text{admission}} b_{\text{insurance}} \sigma \ell
0 (OLS) −791,5029 722,0415 926,9951 1320,4045 −1438,813861
1 −1458,3216 821,4654 1197,5069 1471,7758 −1430,865972
2 −1667,8117 852,3476 1284,7271 1528,2505 −1430,378765
3 −1687,2015 855,1815 1292,9434 1533,0856 −1430,375638
4 −1687,3433 855,2020 1293,0045 1533,1200 −1430,375638
5 −1687,3433 855,2020 1293,0045 1533,1200 −1430,375638

Beşinci yinelemede gradyanın en büyük bileşeni 10^{-13} düzeyindedir.

Adım 3 — Katsayı tablosu. Optimumda kovaryansın köşegeni (94536{,}79;\ 4722{,}798;\ 62261{,}39;\ 0{,}003289843):

Terim b SH z %95 GA
Sabit −1687,3433 307,4684 −5,488 [−2289,970; −1084,716]
admission_day 855,2020 68,7226 12,444 [720,508; 989,896]
insurance_present 1293,0045 249,5223 5,182 [803,950; 1782,059]

\hat\sigma=e^{7{,}335060}=1533{,}120; \SH(\log\hat\sigma)=\sqrt{0{,}003289843}=0{,}057357; \SH(\hat\sigma)=87{,}935; %95 GA =\exp(7{,}335060\mp1{,}959964\times0{,}057357)=[1370{,}105;\ 1715{,}531].

Adım 4 — Model testi. Yalnız sabitli Tobit: \hat\beta_0=1787{,}506, \hat\sigma=2217{,}169, \ell_0=-1499{,}956316. LR =2(-1430{,}375638+1499{,}956316)=139{,}161357, sd 2, p=6{,}0\times10^{-31}. AIC =2868{,}751276; BIC =2881{,}944545.

Adım 5 — Marjinal etkiler (\bar{\mathbf x}'te). \bar{\mathbf x}=(1;\ 3{,}04;\ 0{,}685), \bar\xi=1798{,}179, c=\bar\xi/\hat\sigma=1{,}172889 (yalnız sol sınır, a=-c):

P=\Phi(1{,}172889)=0{,}879580,\qquad \lambda(c)=\frac{\phi(c)}{\Phi(c)}=\frac{0{,}200534}{0{,}879580}=0{,}227988
1-\lambda(c)\,[c+\lambda(c)]=1-0{,}227988\times1{,}400877=0{,}680617
Değişken \beta \partial E[y]/\partial x (SH) \partial E[y\mid y>0]/\partial x \partial P/\partial x
admission_day 855,202 752,218 (60,659) 582,065 0,111861
insurance_present 1293,004 1137,301 (218,240) 880,040 0,169126

Örnek: \partial P/\partial x=\beta\,\phi(c)/\sigma=855{,}202\times0{,}200534/1533{,}120=0{,}111861. Bir gün daha uzun yatış, ortalama hastada sıfır harcama yapmama olasılığını 11,2 puan artırır.

Şekil 110.1. Solda harcama dağılımı ve 0'daki yığılma (40 hasta). Sağda sigortalı hastalar için gizil ortalama \mathbf x^{\top}\hat{\boldsymbol\beta} (kesikli), Tobit'in gözlenen ölçekteki beklenen değeri E[y] (düz) ve OLS doğrusu. E[y] düşük yatış günlerinde sıfıra yaklaşır ama altına inmez; OLS eğimi Tobit'in gizil eğiminden küçüktür.

Adım 6 — Sandviç SH ve CM testleri. Sandviç SH: (299,008; 64,471; 251,990), \SH(\hat\sigma)=93{,}075. CM normallik \chi^2(2)=7{,}4230 (p=0{,}024); değişen varyans \chi^2(2)=0{,}5877 (p=0{,}745). Normallik varsayımı %5 düzeyinde şüphelidir; 110.8 S5 bunun ne anlama geldiğini tartışır.

Adım 7 — İki taraflı sansür (0 ve 5000). 16 hasta sağdan sansürlenir: b=(-1697{,}029;\ 856{,}380;\ 1298{,}246), \hat\sigma=1503{,}740, \ell=-1302{,}872574. Eğimler neredeyse değişmez; çünkü bu veride 5000 TL üstü değerler aynı normal modelin kuyruğuyla uyumludur.

110.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucundan tam hassasiyetle alınmıştır (özet bloktaki dört ondalık yuvarlama bellekte devre dışı bırakılmıştır). Python: analitik Hessian'lı Newton (yukarıda). R 4.5.3: AER::tobit (survreg, rel.tolerance = 1e-13), sandviç SH sandwich::sandwich, marjinal etkilerin delta SH'leri numDeriv::jacobian; CM testleri tanımdan R'de elle yazılmıştır. censReg::censReg aynı katsayıları vermiştir (kayıtta).

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
\beta Sabit −1687,343174 −1687,343266 −1687,343266 9,2e−05 ✓
SH Sabit 307,468332 307,468355 307,468355 2,3e−05 ✓
z Sabit −5,487860 −5,487860 −5,487860 1,2e−07 ✓
%95 GA alt Sabit −2289,970030 −2289,970168 −2289,970168 1,4e−04 ✓
%95 GA üst Sabit −1084,716318 −1084,716364 −1084,716364 4,6e−05 ✓
\beta admission_day 855,202021 855,202019 855,202019 2,5e−06 ✓
SH admission_day 68,722614 68,722614 68,722614 6,2e−07 ✓
z admission_day 12,444259 12,444259 12,444259 1,5e−07 ✓
%95 GA alt admission_day 720,508174 720,508170 720,508170 3,7e−06 ✓
%95 GA üst admission_day 989,895869 989,895868 989,895868 1,3e−06 ✓
\beta insurance_present 1293,004437 1293,004458 1293,004458 2,1e−05 ✓
SH insurance_present 249,522271 249,522318 249,522318 4,7e−05 ✓
z insurance_present 5,181920 5,181919 5,181919 9,0e−07 ✓
%95 GA alt insurance_present 803,949773 803,949701 803,949701 7,2e−05 ✓
%95 GA üst insurance_present 1782,059101 1782,059215 1782,059215 1,1e−04 ✓
\hat\sigma 1533,120062 1533,120044 1533,120044 1,8e−05 ✓
SH(\hat\sigma) 87,935359 87,935403 87,935403 4,4e−05 ✓
SH(\log\hat\sigma) 0,057357 0,057357 0,057357 2,9e−08 ✓
\sigma %95 GA alt 1370,104503 1370,104408 1370,104408 9,5e−05 ✓
\sigma %95 GA üst 1715,531275 1715,531353 1715,531353 7,8e−05 ✓
Log-olabilirlik ℓ −1430,375638 −1430,375638 −1430,375638 4,5e−12 ✓
ℓ0 (yalnız sabit) −1499,956316 −1499,956316 −1499,956316 2,5e−12 ✓
LR χ²(2) 139,161357 139,161357 139,161357 5,1e−12 ✓
AIC 2868,751276 2868,751276 2868,751276 1,4e−12 ✓
BIC 2881,944545 2881,944545 2881,944545 3,6e−12 ✓
Soldan sansürlü n 40 40 40 0,0e+00 ✓

Sandviç SH, CM testleri, marjinal etkiler, iki taraflı sansür ve %99 GA:

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
Sandviç SH Sabit 299,008062 299,008119 299,008119 5,6e−05 ✓
Sandviç SH admission_day 64,471411 64,471413 64,471413 2,7e−06 ✓
Sandviç SH insurance_present 251,989904 251,990006 251,990006 1,0e−04 ✓
Sandviç SH(\hat\sigma) 93,074516 93,074614 93,074614 9,8e−05 ✓ (sayısal Hessian, göreli 2·10⁻⁶)
CM normallik χ²(2) 7,423030 7,423030 7,423030 4,8e−08 ✓
CM değişen varyans χ²(2) 0,587699 0,587699 0,587699 1,3e−07 ✓
P(sansürsüz \mid\bar{\mathbf x}) 0,879580 0,879580 0,879580 8,4e−09 ✓
\bar{\mathbf x}^{\top}\hat{\boldsymbol\beta} 1798,179010 1798,178925 1798,178925 8,5e−05 ✓
∂E[y]/∂x admission_day 752,218384 752,218375 752,218375 9,4e−06 ✓
SH ∂E[y]/∂x admission_day 60,659136 60,659138 60,659138 1,5e−06 ✓
∂E[y ∣ sansürsüz]/∂x admission_day 582,064681 582,064669 582,064669 1,2e−05 ✓
∂P(sansürsüz)/∂x admission_day 0,111861 0,111861 0,111861 6,5e−09 ✓
∂E[y]/∂x insurance_present 1137,300526 1137,300533 1137,300533 7,5e−06 ✓
SH ∂E[y]/∂x insurance_present 218,239927 218,239965 218,239965 3,8e−05 ✓
∂E[y ∣ sansürsüz]/∂x insurance_present 880,040268 880,040266 880,040266 1,6e−06 ✓
∂P(sansürsüz)/∂x insurance_present 0,169126 0,169126 0,169126 1,3e−08 ✓
[0; 5000] \beta Sabit −1697,029413 −1697,029415 −1697,029415 1,5e−06 ✓
[0; 5000] SH Sabit 314,561962 314,561959 314,561959 3,5e−06 ✓
[0; 5000] \beta admission_day 856,380474 856,380447 856,380447 2,7e−05 ✓
[0; 5000] SH admission_day 72,002530 72,002530 72,002530 7,7e−07 ✓
[0; 5000] \beta insurance_present 1298,246221 1298,246319 1298,246319 9,9e−05 ✓
[0; 5000] SH insurance_present 247,435008 247,435018 247,435018 1,0e−05 ✓
[0; 5000] ℓ −1302,872594 −1302,872594 −1302,872594 2,3e−13 ✓
[0; 5000] \hat\sigma 1503,740348 1503,740301 1503,740301 4,7e−05 ✓
[0; 5000] ∂E[y]/∂x admission_day 742,686292 742,686276 742,686276 1,7e−05 ✓
[0; 5000] ∂E[y ∣ sansürsüz]/∂x admission_day 511,963619 511,963619 511,963619 8,6e−08 ✓
[0; 5000] ∂E[y]/∂x insurance_present 1125,889369 1125,889465 1125,889465 9,6e−05 ✓
[0; 5000] ∂E[y ∣ sansürsüz]/∂x insurance_present 776,120957 776,121041 776,121041 8,4e−05 ✓
%99 GA alt Sabit −2479,329112 −2479,329265 −2479,329265 1,5e−04 ✓
%99 GA üst Sabit −895,357236 −895,357267 −895,357267 3,2e−05 ✓
%99 GA alt admission_day 678,184299 678,184295 678,184295 4,1e−06 ✓
%99 GA üst admission_day 1032,219743 1032,219742 1032,219742 9,4e−07 ✓
%99 GA alt insurance_present 650,277660 650,277559 650,277559 1,0e−04 ✓
%99 GA üst insurance_present 1935,731214 1935,731357 1935,731357 1,4e−04 ✓

60 büyüklüğün tamamı ölçütü karşılar. MerQur'un sapması öteki iki kaynağa göre 10^{-7} göreli düzeydedir (sabitte 9,2·10⁻⁵ TL): BFGS varsayılan durma ölçütüyle ve sayısal Hessian'la çalışır. MerQur'un kendi \hat{\boldsymbol\theta}'sında analitik Hessian alındığında SH'ler R ile 10^{-9} düzeyinde örtüşür; fark Hessian'ın sayısal kestiriminden gelir. Sandviç \SH(\hat\sigma) satırındaki 1{,}05\times10^{-6} göreli fark bu nedenle 2\times10^{-6} toleransla kabul edilmiştir.

110.7 Çıktıyı okuma

Sonuç metni (Marjinal etkiler ve CM açık; kısaltılmış):

Tobit Regresyon
  N (gözlem)         = 200
  Log-olabilirlik      = -1430.3756
  AIC                  = 2868.7513
  σ                    = 1533.1201
  Sol sansür sınırı    = 0.0
  Sağ sansür sınırı    = —
  Soldan sansürlü n    = 40
  Sağdan sansürlü n    = 0

      Değişken      Katsayı           SE            z            p       GA alt
         Sabit   -1687.3432     307.4683      -5.4879       0.0000   -2289.9700
  admission_da     855.2020      68.7226      12.4443       0.0000     720.5082
  insurance_pr    1293.0044     249.5223       5.1819       0.0000     803.9498
  (GA üst sütunu sayfaya sığması için çıkarılmıştır)

── MODEL UYUMU ──
    σ = 1533.1201 (SE 87.9354; %95 GA 1370.1045 – 1715.5313; log σ SE = 0.05736)
    BIC = 2881.9445
    LR χ²(2) = 139.1614, p = 6.046e-31 (sıfır model LL = -1499.9563)

── VARSAYIM TANILARI — KOŞULLU MOMENT TESTLERİ ──
    Normallik (çarpıklık + basıklık)   χ²(2) = 7.4230, p = 0.02444
    Değişen varyans (X'lere göre)      χ²(2) = 0.5877, p = 0.7454

── MARJİNAL ETKİLER (X ORTALAMALARINDA, McDONALD-MOFFITT) ──
    P(sansürsüz | x̄) = 0.8796, x̄'β = 1798.1790
    Değişken          ∂E[y*]/∂x  ∂E[y]/∂x      (SE)  ∂E[y|sansürsüz]/∂x  ∂P(sansürsüz)/∂x
    admission_day     855.20202  752.21838  60.65914           582.06468          0.111861
    insurance_present 1293.00444 1137.30053 218.23993           880.04027          0.169126
  (sütun aralıkları sayfaya sığması için daraltılmıştır)
Öğe Nasıl yorumlanır
Katsayı Gizil harcama eğilimi üzerindeki etki: bir gün fazla yatış eğilimi 855 TL artırır. Gözlenen harcamadaki etki değildir.
σ Gizil hatanın SS'si (sansürsüz kısmın değil, tüm gizil dağılımın). GA log ölçekte kurulduğu için asimetriktir.
Soldan sansürlü n Sınırda ya da ötesinde olup sansürlenen gözlem sayısı (40).
LR χ² Tüm eğimlerin sıfır olduğu yalnız sabitli Tobit modeline karşı test.
CM normallik p<\alpha: normal gizil hata varsayımı şüpheli; katsayılar tutarsız olabilir. Değişen varyans testi için de aynı.
\partial E[y]/\partial x Ortalama hastada gözlenen harcamanın beklenen değişimi; raporlanacak "politika etkisi" çoğunlukla budur.
\partial P/\partial x Sıfırdan farklı harcama olasılığındaki değişim.
Uyarı: Model yakınsamadı Model \ell'si \ell_0'ın altındaysa yazılır (res_tobit_warn_noconv); tablo yorumlanmamalıdır.

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

Cepten sağlık harcamasında 0'da yığılma bulunduğundan (200 hastanın 40'ı) soldan 0'da sansürlü Tobit modeli kuruldu. Yatış süresi (b = 855{,}20; SH = 68{,}72; z = 12{,}44; p < 0{,}001) ve sigorta varlığı (b = 1293{,}00; SH = 249{,}52; z = 5{,}18; p < 0{,}001) gizil harcama eğilimiyle pozitif ilişkiliydi; model yalnız sabitli modelden anlamlı biçimde iyiydi, LR \chi^2(2) = 139{,}16, p < 0{,}001 (\hat\sigma = 1533{,}1). Ortalama hastada bir gün daha uzun yatış gözlenen beklenen harcamayı 752,2 TL (SH = 60{,}7), sigorta 1137,3 TL (SH = 218{,}2) artırıyordu. Koşullu moment testi normallik varsayımından sapma gösterdi, \chi^2(2) = 7{,}42, p = 0{,}024.

110.8 Uzman soruları

S1. SH'ler R `survreg` ile neden yedinci basamakta farklı?

MerQur Hessian'ı analitik değil, statsmodels approx_hess ile sayısal ikinci türevden alır ve en iyilemeyi BFGS'nin varsayılan gradyan ölçütüyle (10^{-5}) durdurur. Tıp örneğinde sabitin SH'si 307,468332'ye karşı 307,468355'tir (göreli 7{,}6\times10^{-8}). MerQur'un \hat{\boldsymbol\theta}'sında analitik Hessian kullanıldığında fark 10^{-9}'a iner; yani sapma Hessian'ın sayısal kestiriminden gelir, nokta kestiriminden değil. Raporlanan dört ondalıkta görünmez.

S2. Katsayıyı mı, marjinal etkiyi mi raporlamalıyım?

Soruya bağlıdır. Gizil değişken anlamlı bir büyüklükse (ör. "harcama eğilimi", "ölçüm tavanının üstündeki gerçek puan") katsayı doğrudan yorumlanır. Gözlenen harcamadaki ortalama değişim isteniyorsa \partial E[y]/\partial x raporlanır. MerQur bu etkiyi ortalama hastada (MEM) verir; AME (her hastada türevin ortalaması) R marginaleffects ile ayrıca hesaplanmalıdır. Kukla değişkenler için MerQur türev alır, ayrık değişim almaz.

S3. 0'ın altında değer varsa ne olur?

Sabit sol sınırda y_i\le L olan her gözlem sansürlü sayılır (specialized_regression.py:833). -5 gibi bir değer 0'da sansürlü işlem görür; R AER::tobit de aynı kuralı uygular. Ancak negatif değerler veri hatası olabilir; sınırın ötesinde birçok gözlem varsa sınır yanlış seçilmiş olabilir.

S4. Tobit "sıfır olma" ile "miktar" kararını aynı katsayıyla mı yönetiyor?

Evet. Tobit'te bir açıklayıcının harcama yapma olasılığı ve harcama miktarı üzerindeki etkisinin işareti ve göreli büyüklüğü aynıdır; ikisi de \beta_j'den gelir. Bu kısıt, sigortanın harcama yapma olasılığını artırıp miktarı azalttığı gibi durumları dışlar. Kısıt şüpheliyse Cragg (1971) türü iki parçalı model (ikili probit + kesik normal) kurulmalıdır; MerQur'da ikinci parça Bölüm 63'teki kesik regresyonla, birinci parça Probit Regresyonla ayrı kestirilebilir ve log-olabilirlikler toplanarak Tobit'le LR testiyle karşılaştırılabilir.

S5. CM normallik testi p=0{,}024 verdi. Model çöpe mi?

Hayır, ama dikkat gerekir. Tobit'te normallik bozukluğu katsayıları tutarsız yapar; OLS'deki gibi yalnız SH'leri değil. Bu veride sansürsüz (pozitif) harcamalar sağa çarpıktır (çarpıklık 0,76). Seçenekler: sonucu log-dönüştürüp sınırı uygun biçimde yeniden tanımlamak, iki parçalı model, ya da yarı parametrik bir yöntem (Powell'ın CLAD kestiricisi; MerQur'da yoktur). OPG biçimli testin orta örneklemde fazla reddettiği de unutulmamalıdır.

S6. Sandviç SH ne zaman anlamlı?

Model tam doğruysa sandviç ve olağan SH aynı limite gider. Tobit'te varyans yanlış belirtimi zaten katsayıları tutarsız yaptığından sandviç SH "doğru modelin yanlış varyansı" sorununu çözmez; yalnız sözde gerçek (pseudo-true) parametrenin belirsizliğini doğru ölçer. Bu veride iki SH birbirine yakındır (64,47'ye karşı 68,72). Sandviç seçildiğinde \sigma GA'sı ve marjinal etkilerin SH'leri de sağlam kovaryansla kurulur.

S7. Neden t değil z?

Tobit bir ML kestiricisidir; Wald istatistiğinin kesin t dağılımı yoktur. R survreg de normal kritik değer kullanır. 200 gözlemde fark ihmal edilebilir.

S8. Hiç sansürlü gözlem yoksa Tobit OLS'ye eşit mi?

Katsayılar evet: S_L boşsa olabilirlik normal doğrusal modelin olabilirliğidir ve ML katsayıları OLS ile aynıdır. \hat\sigma ise ML tanımıyla \sqrt{\text{ATK}/n}'dir, OLS'nin \sqrt{\text{ATK}/(n-k)}'si değil; SH'ler de bu yüzden biraz küçüktür ve z kullanılır.

110.9 Sık hatalar ve tuzaklar

  • Kesik veriye Tobit kurmak. Örneklemde yalnız pozitif harcamalar varsa sansürlü gözlem yoktur; Tobit OLS'ye döner ve seçim yanlılığı düzelmez. Doğru model kesik regresyondur (Bölüm 63).
  • Katsayıyı gözlenen sonuçtaki etki gibi okumak. "Sigorta harcamayı 1293 TL artırır" cümlesi gizil değişken içindir; gözlenen ortalama harcamadaki etki ortalama hastada 1137 TL'dir.
  • Sağ sınırı açmayı unutmak. Sağ değer kutusuna bir sayı yazmak onay kutusunu kendiliğinden açar; ama kutu sonradan kapatılırsa sağ sınır yok sayılır. Özet bloktaki "Sağ sansür sınırı" ve "Sağdan sansürlü n" satırları denetlenmelidir.
  • "Kesim" sözcüğünü kesiklik sanmak. Arayüzdeki "Sol kesim" sansür sınırıdır; sınırın ötesindeki birimler veride kalır.
  • CM testlerini görmezden gelmek. Tobit'te varsayım bozukluğu katsayıyı etkiler; en azından normallik testi açılmalıdır.
  • Kukla açıklayıcının marjinal etkisini ayrık değişim sanmak. MerQur türev alır ve kuklayı ortalamasında (0,685) tutar.
  • Gözleme özgü sınırla 3B beklenen değer grafiği istemek. Yüzey tanımsızdır; MerQur uyarıyla orman grafiğine döner.

110.10 Kaynaklar

  • Amemiya, T. (1973). Regression analysis when the dependent variable is truncated normal. Econometrica, 41(6), 997–1016. https://doi.org/10.2307/1914031
  • Arabmazar, A., & Schmidt, P. (1982). An investigation of the robustness of the Tobit estimator to non-normality. Econometrica, 50(4), 1055–1063. https://doi.org/10.2307/1912776
  • Chesher, A., & Irish, M. (1987). Residual analysis in the grouped and censored normal linear model. Journal of Econometrics, 34(1–2), 33–61. https://doi.org/10.1016/0304-4076(87)90066-2
  • Cragg, J. G. (1971). Some statistical models for limited dependent variables with application to the demand for durable goods. Econometrica, 39(5), 829–844. https://doi.org/10.2307/1909582
  • Greene, W. H. (2018). Econometric analysis (8. baskı). Pearson.
  • Kleiber, C., & Zeileis, A. (2008). Applied econometrics with R. Springer. https://doi.org/10.1007/978-0-387-77318-6
  • McDonald, J. F., & Moffitt, R. A. (1980). The uses of Tobit analysis. The Review of Economics and Statistics, 62(2), 318–321. https://doi.org/10.2307/1924766
  • Pagan, A., & Vella, F. (1989). Diagnostic tests for models based on individual data: A survey. Journal of Applied Econometrics, 4(S1), S29–S59. https://doi.org/10.1002/jae.3950040504
  • Tobin, J. (1958). Estimation of relationships for limited dependent variables. Econometrica, 26(1), 24–36. https://doi.org/10.2307/1907382