İstatistik Sözlüğü → Tobit Regresyon
Tobit Regresyonanaliz
Bağımlı değişkenin bir alt ya da üst sınırda yığıldığı (ör. çok sayıda sıfır) durumlarda, sınırın ötesinde kalan değerleri sansürlü kabul ederek yordayıcıların etkisini kestiren regresyon modeli.
Kavram
Bazı ölçümler belli bir sınırın altına ya da üstüne geçemez: bir ürüne hiç para harcamayanların harcaması 0 olarak kaydedilir, bir sınavda tam puan alanların gerçek düzeyi tavanda kesilir. Bu durumda verinin önemli bir kısmı sınırda yığılır. Sıradan doğrusal regresyon (EKK) bu yığılmayı sıradan değerler gibi ele aldığı için eğimleri genellikle sıfıra doğru çeker; Tobit modeli bu yanlılığı gidermek için geliştirilmiştir.
Model, gözlenen değerin arkasında sınırla kesilmemiş bir gizil (latent) değişken y* olduğunu varsayar: y* = β₀ + β₁x₁ + … + ε, ε ~ N(0, σ²). y* sınırın içindeyse doğrudan gözlenir; sınırın ötesindeyse yalnızca 'sınırda ya da ötesinde' olduğu bilinir. Olabilirlik, sınırın içindeki gözlemler için normal yoğunluğu, sansürlü gözlemler için sınırın ötesine düşme olasılığını kullanır ve katsayılar en çok olabilirlikle kestirilir.
Katsayılar gizil değişken y* ölçeğindedir; gözlenen sonuçtaki değişimi anlatmak için marjinal etkiler (gözlenen ortalama, sınırı aşanların ortalaması ve sınırı aşma olasılığı üzerindeki etkiler) okunmalıdır. Model normal dağılımlı ve eşit varyanslı hata varsayar; EKK'den farklı olarak bu varsayımların bozulması yalnız standart hataları değil katsayıların kendisini de yanlı yapabilir. Ayrıca katılım kararı ile harcama miktarını aynı etkenlerin aynı yönde belirlediğini varsayar.
Ne zaman kullanılır?
- Sürekli bir sonuç bir sınırda belirgin biçimde yığıldığında (sıfır harcama, sıfır çalışma saati, tavana vuran test puanı) ve bu sınırın ötesindeki değerler 'gözlenemeyen' kabul edilebildiğinde.
- Sıfır değerler ile pozitif miktarlar farklı süreçlerden geliyorsa (ör. 'alır mı?' kararı ile 'ne kadar alır?' miktarı farklı etkenlere bağlıysa) iki parçalı (hurdle) modeller ya da Heckman seçim modeli daha uygundur.
- Normallik veya eşit varyans varsayımı açıkça bozuluyorsa sansürlü kantil regresyon (ör. Powell'ın CLAD kestiricisi) gibi dağılım varsayımı daha zayıf yöntemler düşünülebilir.
Gündelik bir örnek
Bir market zinciri, sadakat kartı sahiplerinin aylık organik ürün harcamasını gelir, hane büyüklüğü ve yaşla açıklamak istiyor. 1000 müşterinin 600'ü hiç organik ürün almamış, harcaması 0 görünüyor. Bu sıfırları sıradan değer gibi alan bir doğrusal regresyon gelirin etkisini olduğundan küçük gösterir. Tobit modeli, sıfır harcayanları 'organik ürüne ilgisi sınırın altında kalanlar' olarak ele alır ve gelirin hem organik ürün alma olasılığını hem de alanların harcamasını birlikte nasıl artırdığını kestirir.
MerQur'da parametreler
Prediktörler (X) ve Hedef (Y)
Kavram: Tobit'te bağımlı değişken, bir sınırda yığılan sürekli bir ölçümdür; yordayıcılar ise bu ölçümün arkasındaki gizil eğilimi açıklayan değişkenlerdir.
Gündelik örnek: Market örneğinde hedef aylık organik ürün harcaması, yordayıcılar gelir, hane büyüklüğü ve yaştır. Harcaması 0 olan müşteriler de veride kalır; model onları atmaz, sansürlü olarak kullanır.
Ne işe yarar: Sansürlü sürekli bağımlı değişkeni ve yordayıcıları seçer.
Sonuca etkisi: Tüm çıktılar.
Doğrulama verisinde: UCLA tobit, sağ sansür 800: read katsayısı 2.697939 (SE 0.618798), sigma 65.67672.
Sol kesim ve Soldan sansür uygula
Kavram: Sol sansür, değerin belli bir alt sınırın altına düşemediği, o sınırda ya da altında kalan gözlemlerin gerçek değerinin bilinmediği durumdur. En yaygın örnek sıfırda yığılmadır.
Gündelik örnek: Hiç organik ürün almayan 600 müşterinin harcaması 0 görünür; ama bazıları organik ürüne neredeyse ilgi duyarken bazıları hiç ilgi duymaz. Sol sınırı 0 almak, modele 'bu kişilerin eğilimi 0'ın altında bir yerde, tam değeri bilinmiyor' demektir.
Ne işe yarar: Sol sansür sınırını belirler (y <= L gözlemler sol sansürlüdür; 0 = sıfırda yığılma). "Soldan sansür uygula" kutusu işaretli değilse sol sansür yoktur (yalnız sağdan sansürlü model). İki taraf da kapalıysa doğrulama uyarısı verilir.
Sonuca etkisi: Sansür sayısı ve tüm kestirimler.
Doğrulama verisinde: Affairs L = 0: 451 sansürlü gözlem, rating katsayısı -2.2850; L = -1: sansürsüz model (log-olabilirlik -1527.27). UCLA'da L = 500 iki yönlü model verir.
Sağ kesim ve Sağdan sansür uygula
Kavram: Sağ sansür, değerin belli bir üst sınırın üstüne çıkamadığı, o sınırda ya da üstünde kalan gözlemlerin yalnızca 'en az bu kadar' olduğunun bilindiği durumdur.
Gündelik örnek: Market sistemi aylık harcamayı yalnız 2000 TL'ye kadar ayrıntılı kaydediyor, üstünü '2000 TL ve üzeri' olarak tutuyorsa, bu müşterilerin gerçek harcaması bilinmez. Sağ sınırı 2000 almak bu kayıtları tavanda kesilmiş olarak ele alır; iki sınır birlikte kullanılabilir.
Ne işe yarar: Sağ sansür sınırını belirler (y >= sağ sınır olan gözlemler sansürlüdür). Kutu işaretliyken 0 ve negatif değerler de geçerlidir; değer değiştirildiğinde kutu kendiliğinden işaretlenir.
Sonuca etkisi: Sansür sayısı ve tüm kestirimler.
Doğrulama verisinde: UCLA sağ sınır 800: 17 sansürlü gözlem, read 2.697939 (0.618798), sigma 65.67672; Affairs sağ sınır 4: 80 sansür, rating -2.2070.
Güven Düzeyi (%90, %95, %99, özel)
Kavram: Katsayıların ve hata yayılımının (σ) aralık tahminlerinin ne kadar 'emin' olacağını belirler; düzey yükseldikçe aralık genişler.
Gündelik örnek: Gelirdeki her 1000 TL'lik artışın gizil harcama eğilimini %95 güvenle 40 ile 90 TL arasında artırdığı bulunursa, %99 güven istendiğinde bu aralık biraz daha geniş çıkar.
Ne işe yarar: Katsayılar için Wald güven aralığını (z) ve sigma aralığını belirler.
Sonuca etkisi: Yalnız aralıklar.
Doğrulama verisinde: UCLA read %95 [1.4851, 3.9108] (z dağılımıyla). Sigma aralığı log ölçekte Wald [59.20, 72.87].
Marjinal etkiler (McDonald-Moffitt)
Kavram: Gizil değişken üzerindeki etkiyi, gözlenen sonuç açısından anlamlı parçalara ayırır: gözlenen ortalama harcama, yalnız harcama yapanların ortalaması ve sınırı aşma (harcama yapma) olasılığı üzerindeki etkiler. Gözlenen ortalamadaki etki, katsayının sınırı aşma olasılığıyla çarpımına eşittir.
Gündelik örnek: Gelirin katsayısı gizil eğilim için 1000 TL başına 60 TL olsun. Müşterilerin %40'ı organik ürün alıyorsa, ortalama bir müşterinin gözlenen harcaması yaklaşık 60 x 0,40 = 24 TL artar. Bu artışın bir kısmı yeni müşterilerin organik ürün almaya başlamasından, bir kısmı da zaten alanların daha çok harcamasından gelir.
Ne işe yarar: X ortalamasında latent sonuç y*, gözlenen E[y], E[y | sansürsüz] ve P(sansürsüz) üzerindeki etkileri delta yöntemi SE ile verir.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: Affairs yearsmarried: dE[y*]/dx 0.5541; dE[y]/dx 0.1295 (= b x P(sansürsüz) 0.2338); dE[y | sansürsüz]/dx 0.1298; dP(sansürsüz)/dx 0.0206.
Sol sınır sütunu ve Sağ sınır sütunu
Kavram: Sansür sınırı herkes için aynı olmak zorunda değildir; her gözlemin kendi alt ya da üst sınırı olabilir. Bu durumda sabit bir değer yerine her satır için sınırı veren bir sütun kullanılır.
Gündelik örnek: Bazı şubelerin kayıt sistemi harcamayı 2000 TL'de, bazılarınınki 3000 TL'de kesiyorsa, her müşterinin satırına kendi şubesinin üst sınırı yazılır. Böylece model her kaydı kendi tavanına göre değerlendirir.
Ne işe yarar: Gözleme özgü sansür sınırı (sabit değerin yerine); boş hücre o gözlemde sınır olmadığı anlamına gelir.
Sonuca etkisi: Sınır sütunları sabit sınırla aynı olduğunda sonuç değişmez (yalnız etiket ve not).
Doğrulama verisinde: Sabit 0 ve 4 değerli sütunlarla sonuç sabit kesimle aynıdır. Gözlem başına değişen sınırlı bir karşılaştırma verisi yoktur.
Robust (sandwich) SE
Kavram: Sandviç standart hataları, model hatasının yayılımına ilişkin varsayım tam tutmadığında da daha güvenilir belirsizlik tahmini verir. Ancak Tobit'te varsayım ihlali katsayıların kendisini de yanlı yapabileceğinden, sağlam SE bu sorunu tek başına çözmez.
Gündelik örnek: Yüksek gelirli müşterilerin harcaması düşük gelirlilerinkinden çok daha dağınıksa, sağlam SE gelir katsayısının belirsizliğini daha gerçekçi gösterir. Yine de bu dağınıklık farkı büyükse katsayının kendisinin de sorgulanması gerekir.
Ne işe yarar: Sandviç (HC0) standart hataları verir.
Sonuca etkisi: Yalnız SE ve aralıklar.
Doğrulama verisinde: Affairs (L = 0) sandviç SE: yearsmarried 0.1372, rating 0.3935.
Varsayım tanıları (CM)
Kavram: Koşullu moment testleri, Tobit'in dayandığı iki varsayımı (hataların normal dağılması ve varyansın sabit olması) sınar. p < α ise ilgili varsayım bozulmuş olabilir ve katsayılar yanlı olabilir.
Gündelik örnek: Normallik testi anlamlı çıkarsa, organik ürün alanların harcaması örneğin birkaç çok yüksek harcamacı yüzünden sağa çarpık olabilir. Değişen varyans testi anlamlıysa harcamanın dağınıklığı gelir ya da hane büyüklüğüyle değişiyor demektir; bu durumda iki parçalı model gibi alternatifler düşünülmelidir.
Ne işe yarar: Koşullu moment normallik (sd 2) ve değişen varyans (sd = X sayısı) testlerini verir.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: Affairs normallik ki-kare 4.311, p 0.116; değişen varyans 4.986, p 0.418 (OPG regresyonuyla).
Gerçek veride örnek
Veri: Fair 1978 Affairs, R AER (sınır sütunları eklenmiş)
Değişkenler: hedef affairs (yıllık ilişki sayısı, sıfırda yığılma), prediktörler age, yearsmarried, religiousness, occupation, rating
- Soru: Evlilik dışı ilişki sayısı (affairs) yaş, evlilik süresi, dindarlık, meslek ve evlilik doyumuyla nasıl ilişkilidir? 601 kişinin 451'i 0 bildirdiğinden bağımlı değişken 0'da sol sansürlüdür; EKK yanlı olur, Tobit kullanılır.
- Model testi: LR χ²(5) = 78.32, p < .001 (sıfır model LL = -744.74); yordayıcılar birlikte anlamlıdır.
- Sonuç: Evlilik süresi gizil eğilimi artırır (b = 0.554, z = 4.12, p < .001); yaş (b = -0.179, p = .023), dindarlık (b = -1.686, p < .001) ve evlilik doyumu (b = -2.285, z = -5.60, p < .001) azaltır. Meslek anlamlı değildir (b = 0.326, p = .200).
- Model uyumu: LL = -705.58, AIC = 1425.15, BIC = 1455.94; σ = 8.247 (%95 GA 7.23-9.41), gizil değişkenin artık yayılımı büyüktür.
- Sınırlılık: Katsayılar gizil (sansürsüz) değişken y* ölçeğindedir; gözlenen ilişki sayısındaki değişim için marjinal etkiler hesaplanmalıdır. Tobit normallik ve eşit varyans varsayar.
- APA: Tobit regresyon (sol sansür 0, 451/601 sansürlü), LR χ²(5) = 78.32, p < .001; doyum b = -2.28, z = -5.60, p < .001.
İlgili kavramlar
Sansürleme (sağkalım analizi)Normallik varsayımıStandart hataOrtalama marjinal etki (AME)Sağlam (sandviç) standart hatalar (HC0-HC3)Değişen varyans (heteroskedastisite)Kesiklik (truncation)En çok olabilirlik (ML) kestirimi
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.