İstatistik Sözlüğü → Sağlam Regresyon
Sağlam Regresyonanaliz
Aykırı gözlemlerin ve olağandışı açıklayıcı değerlerine sahip kaldıraç noktalarının katsayıları çarpıtmasını, bu gözlemlerin etkisini sınırlayarak önleyen doğrusal regresyon yöntemleri ailesi.
Kavram
Sıradan en küçük kareler (EKK) yöntemi artıkların karelerini en küçük yapar; kare almak büyük hataları çok ağır cezalandırdığı için tek bir aykırı gözlem bile regresyon doğrusunu kendine doğru çekebilir. Veri girişi hatası, ölçüm aksaklığı ya da gerçekten farklı bir alt gruba ait birkaç gözlem, böylece tüm sonucu değiştirebilir. Sağlam regresyon, verinin büyük çoğunluğunun izlediği ilişkiyi kestirmeyi ve birkaç olağandışı gözlemin etkisini sınırlamayı amaçlar.
M-kestiricileri artıkların karesi yerine büyük artıklara daha az ağırlık veren bir fonksiyon kullanır: küçük artıklar EKK'daki gibi işlenir, büyük artıkların etkisi sınırlanır ya da sıfırlanır. Bu, bağımlı değişkendeki aykırılara karşı dayanıklıdır ama açıklayıcıda olağandışı değer taşıyan kaldıraç noktalarına karşı değildir. S ve LTS kestiricileri yüksek kırılma noktasına sahiptir, yani verinin büyük bir kısmı (en fazla yaklaşık yarısı) bozuk olsa bile anlamlı sonuç verir. MM-kestiricisi yüksek kırılma noktasını, veri temizken EKK'ya yakın kesinlikle (yüksek verim) birleştirdiği için genellikle önerilen seçenektir.
Sağlam yöntemlerin çıktısındaki ağırlıklar, hangi gözlemlerin olağandışı bulunup etkisinin azaltıldığını gösterir; bu gözlemler silinmek yerine incelenmelidir, çünkü bazen en ilginç bilgi onlardadır. Sağlam ve EKK katsayıları birbirine yakınsa aykırılar sonucu pek etkilemiyordur; belirgin biçimde farklıysa EKK sonucu birkaç gözleme dayanıyordur. Sağlam regresyon doğrusallık varsayımını ortadan kaldırmaz ve yanlış belirlenmiş bir modeli düzeltmez.
Ne zaman kullanılır?
- Veride aykırı gözlemler ya da kaldıraç noktaları bulunduğundan şüphelenildiğinde ve verinin çoğunluğunu temsil eden ilişki kestirilmek istendiğinde; ayrıca EKK sonucunun ne kadar sağlam olduğunu denetlemek için.
- Aykırılık yoksa ve EKK varsayımları sağlanıyorsa sıradan doğrusal regresyon daha kesin ve daha kolay yorumlanır.
- Asıl ilgi ortalamada değil dağılımın farklı kesimlerindeyse ya da hata dağılımı çarpıksa kantil regresyon (medyan regresyonu dahil) düşünülmelidir.
Gündelik bir örnek
Bir emlak ofisi bir mahalledeki 40 dairenin metrekaresi ile satış fiyatı arasındaki ilişkiyi inceliyor. Dairelerin çoğu düzenli bir desen izliyor, ama iki kayıt sorunlu: birinde fiyat yanlışlıkla bir sıfır fazla girilmiş, diğeri ise 400 metrekarelik ve deniz manzaralı bir çatı katı. EKK doğrusu bu iki noktaya doğru çekilir ve metrekare başına fiyatı olduğundan yüksek gösterir. MM-kestiricisi bu iki gözleme çok düşük ağırlık verir ve sıradan dairelerin izlediği ilişkiyi kestirir; ofis de ağırlık tablosundan hangi kayıtları yeniden kontrol etmesi gerektiğini görür.
MerQur'da parametreler
Açıklayıcı(lar) ve Hedef Sütun
Kavram: Bağımlı değişken açıklanmak istenen sonuç, açıklayıcılar onu yordadığı düşünülen değişkenlerdir. Kategorik açıklayıcılar, bir temel düzeye göre karşılaştırma yapan kukla değişkenlerle modele girer.
Gündelik örnek: Satış fiyatı bağımlı değişken, metrekare, bina yaşı ve asansör olup olmadığı (evet/hayır) açıklayıcılardır. Asansör katsayısı, diğer özellikler eşitken asansörlü dairelerin ortalama ne kadar pahalı olduğunu gösterir.
Ne işe yarar: Bağımlı ve açıklayıcı değişkenleri seçer; kategorik değişkenler kukla değişkenlere açılır (ilk düzey temel düzeydir).
Sonuca etkisi: Tüm kestirimler.
Doğrulama verisinde: stackloss, Air.Flow eğimi MM kestiricide 0.9388.
Kestirici (MM, M, S, LTS)
Kavram: Kestiriciler, aykırılara karşı farklı türde ve düzeyde koruma sağlar. M yalnız bağımlı değişkendeki aykırılara dayanıklıdır; S ve LTS verinin büyük bir kısmı bozuk olsa bile çalışır ama veri temizken daha az kesindir; MM bu iki özelliği birleştirir. Kırılma noktası, bir kestiricinin anlamsızlaşmadan önce tolere edebileceği bozuk veri oranıdır.
Gündelik örnek: Yalnız fiyatı yanlış girilmiş bir daire varsa M-kestiricisi yeterlidir. Ama 400 metrekarelik çatı katı gibi metrekaresi de olağandışı bir kayıt varsa M bunu yakalayamayabilir; MM her iki sorunlu kaydın etkisini de sınırlar.
Ne işe yarar: MM (S başlangıcı + bisquare c = 4.685061, %50 kırılma noktası, %95 verim; Yohai 1987 MM kestirimi) varsayılandır; M (seçilen norm; yalnız y yönündeki aykırılara dayanıklı); S (bisquare c = 1.547645); LTS (h = [(n + p + 1)/2], FAST-LTS). Kaldıraç noktası olabilecek verilerde MM önerilir (Maronna ve ark., 2006).
Sonuca etkisi: Katsayılar, ölçek ve ağırlıklar.
Doğrulama verisinde: stackloss, Air.Flow eğimi / ölçek: MM 0.9388 / 1.9123; M-Huber 0.8294 / 2.4405; S 0.8496 / 1.9123; LTS 0.7409 / 0.9888 (LTS'de H = 13).
→ Sağlam regresyon tahmincileri (MM, S, LTS) ve kırılma noktası
Norm (M-tahminleyici: Huber-T, Tukey biweight, Hampel)
Kavram: Norm (psi fonksiyonu), artığın büyüklüğüne göre bir gözleme ne kadar ağırlık verileceğini belirler. Huber fonksiyonu büyük artıkların etkisini sınırlar ama hiçbir zaman sıfırlamaz; Tukey biweight ve Hampel fonksiyonları çok büyük artıklı gözlemlerin etkisini tümüyle sıfırlayabilir.
Gündelik örnek: Huber normuyla fiyatı bir sıfır fazla girilmiş daire hâlâ biraz etki taşır. Tukey biweight ise bu kaydı neredeyse tamamen yok sayar, çünkü artığı öteki dairelere göre aşırı büyüktür.
Ne işe yarar: M kestiricisinde kullanılan psi fonksiyonunu seçer; yalnız M'de etkindir.
Sonuca etkisi: Katsayılar ve ölçek; MM, S ve LTS'de etkisizdir.
Doğrulama verisinde: stackloss eğimi: Huber 0.8294 (1 aykırı), Tukey bisquare 0.9276 / ölçek 2.2819, Hampel (2, 4, 8) 0.7411 / ölçek 3.0880.
Ayar sabiti (M)
Kavram: Ayar sabiti, bir artığın hangi büyüklükten sonra 'olağandışı' sayılıp ağırlığının azaltılacağını belirler. Küçük sabit daha fazla gözlemin ağırlığını düşürür ve aykırılara karşı daha dayanıklıdır, ama veri temizken kesinlik kaybettirir; olağan değerler, veri normal dağıldığında EKK verimliliğinin yaklaşık %95'ini korur.
Gündelik örnek: Sabit çok küçük seçilirse yalnız hatalı kayıtlar değil, biraz pahalı ama gayet normal daireler de ağırlık kaybeder ve tahmin gereksiz yere belirsizleşir. Varsayılan sabit, sıradan dairelere dokunmadan yalnız belirgin biçimde sapan kayıtları törpüler.
Ne işe yarar: M kestiricisinin ayar sabiti (Huber t, Tukey c); 0 varsayılan değeri (1.345 / 4.685, normal dağılımda %95 verim) kullanır. Küçük değer daha dayanıklı, daha az verimlidir (Huber, 1981). Hampel seçiliyken devre dışıdır.
Sonuca etkisi: Katsayılar ve aykırı sayısı.
Doğrulama verisinde: stackloss: Huber t = 1: 0.8296 (4 aykırı); t = 2: 0.7411; Tukey c = 4: 0.9398; c = 6: 0.7667.
Ölçek kestiricisi (MAD, Huber proposal 2)
Kavram: Artıkların ne kadar büyük olduğuna karar vermek için bir ölçek, yani tipik artık büyüklüğü gerekir. Standart sapma aykırılarca şişirildiği için sağlam yöntemler medyan mutlak sapma (MAD) gibi aykırılardan etkilenmeyen ölçekler kullanır; Huber proposal 2, ölçeği katsayılarla birlikte kestiren bir başka yaklaşımdır.
Gündelik örnek: Fiyatı bir sıfır fazla girilmiş daire artıkların standart sapmasını çok büyütür ve öteki daireler buna göre 'olağan' görünür. MAD ise bu tek kayıttan neredeyse hiç etkilenmez ve sıradan dairelerin tipik sapmasını doğru gösterir.
Ne işe yarar: M kestiricisinde artık ölçeğini belirler: yeniden ölçeklenmiş MAD (medyan mutlak artık / 0.6745) ya da Huber proposal 2. MM, S ve LTS'de etkisizdir.
Sonuca etkisi: Ölçek ve katsayılar.
Doğrulama verisinde: stackloss Huber: MAD ölçeği 2.4405; Huber proposal 2 ölçeği 2.8551, eğim 0.8167 (Huber d = 1.345).
→ Sağlam regresyon tahmincileri (MM, S, LTS) ve kırılma noktası
Maks. iterasyon (M)
Kavram: M-kestiricisi, ağırlıkları ve katsayıları sırayla güncelleyen yinelemeli bir yöntemle (yinelemeli yeniden ağırlıklı en küçük kareler) hesaplanır. Üst sınır, değişimler yeterince küçülmeden algoritmanın en fazla kaç tur deneyeceğini belirler; sınıra ulaşılması sonucun henüz kararlı olmadığını gösterir.
Gündelik örnek: Algoritma her turda hatalı fiyat kaydının ağırlığını biraz daha düşürür ve doğruyu yeniden çizer. Birkaç turda doğru artık yerinden oynamaz; sınıra ulaşılması ise genellikle verinin ya da modelin gözden geçirilmesi gerektiğini gösterir.
Ne işe yarar: IRLS yineleme üst sınırını belirler; yalnız M'de etkindir. Yakınsamadan kesilirse uyarı verilir.
Sonuca etkisi: Kesilen yinelemede katsayılar.
Doğrulama verisinde: 10 / 50 / 200 yinelemede Huber'de en büyük fark 6e-5; Tukey 10 yinelemede yakınsamadan kesilir (eğim 0.92740; yakınsamış 0.92756).
Kaldıraç / aykırı tanıları (MCD robust uzaklık)
Kavram: Kaldıraç tanısı, açıklayıcılar uzayında olağandışı konumdaki gözlemleri sağlam uzaklıkla (MCD) bulur ve bunları artıklarıyla birlikte sınıflar. İyi kaldıraç noktası olağandışı açıklayıcı değerine sahip ama genel ilişkiye uyan gözlemdir; kötü kaldıraç noktası hem olağandışı konumda hem ilişkiden uzaktır ve doğruyu en çok çarpıtan gözlem türüdür.
Gündelik örnek: 200 metrekarelik ve fiyatı metrekaresine uygun bir villa iyi kaldıraç noktasıdır: büyüklüğü olağandışıdır ama desene uyar. Deniz manzaralı çatı katı ise hem çok büyük hem de fiyatı desenden çok yüksek olduğu için kötü kaldıraç noktasıdır.
Ne işe yarar: Açıklayıcıların yeniden ağırlıklı MCD (FAST-MCD) uzaklığını ve |r/s| > 2.5 ile düzenli / dikey aykırı / iyi / kötü kaldıraç sınıflamasını verir (Rousseeuw ve van Zomeren, 1990).
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: stackloss MM: 11 / 1 / 8 / 1; eşik kök(ki-kare(.975, 3)) = 3.0575. hbk MCD ölçeksiz determinantı 0.3506879.
→ Etkili gözlem tanılaması (Cook uzaklığı, kaldıraç, DFBETAS)
Ağırlık, artık ve tahminleri veri setine kaydet
Kavram: Her gözlemin tahmin edilen değerini, artığını ve sağlam yöntemin ona verdiği ağırlığı veri setine ekler. Düşük ağırlıklı gözlemler, ayrıntılı incelenmesi gereken olağandışı kayıtlardır.
Gündelik örnek: Ağırlık sütununda 0,02 görülen kayıt, fiyatı bir sıfır fazla girilmiş dairedir; ofis bu satırı tapu kaydıyla karşılaştırıp düzeltebilir. Ağırlığı 1'e yakın daireler genel desene uyan kayıtlardır.
Ne işe yarar: ROB_PRED, ROB_RESID, ROB_WEIGHT (ve tanı açıksa ROB_RD) sütunlarını ekler.
Sonuca etkisi: Yalnız yeni sütunlar.
Doğrulama verisinde: Eklenen sütunlar stackloss'taki her gözlem için uyum değerini, artığı ve sağlam ağırlığı içerir (LTS ağırlığı ölçek tanımına bağlıdır).
Güven Düzeyi (%90, %95, %99, özel)
Kavram: Katsayıların güven aralıklarının gerçek değeri ne kadar güvenceyle kapsayacağını belirler. Düzey yükseldikçe aralık genişler.
Gündelik örnek: Metrekare başına fiyat katsayısı sağlam yöntemle 25 000 TL bulunduysa %95 güvenle gerçek değerin örneğin 22 000 ile 28 000 TL arasında olduğu söylenir; %99 istenirse aralık genişler.
Ne işe yarar: Güven aralığı düzeyini belirler (MM'de t(n - p), M ve S'de normal).
Sonuca etkisi: Yalnız katsayı güven aralıkları; aralıklar metinde her katsayının satırında ("%90 GA [alt, üst]") ve tabloda "GA (alt)" ve "GA (üst)" sütunlarında gösterilir.
Doğrulama verisinde: MM %90 Air.Flow [0.7346, 1.1431]; M-Huber %97.5 Air.Flow [0.5806, 1.0782]; M-Huber %95 Air.Flow [0.611818, 1.046951].
Gerçek veride örnek
Veri: Brownlee 1965 stackloss, R datasets
Değişkenler: hedef stack.loss (amonyak kaybı), açıklayıcılar Air.Flow (hava akışı), Water.Temp (su sıcaklığı), Acid.Conc. (asit derişimi)
- Soru: Amonyak tesisinde yığın kaybı (stack.loss) hava akışı, su sıcaklığı ve asit derişimiyle nasıl ilişkilidir; aykırı gözlemler OLS'i ne kadar etkiler?
- Model: MM-kestirici (S başlangıcı, %95 verimli bisquare, c = 4.685); N = 21; sağlam ölçek = 1.912.
- Sonuç: Air.Flow b = 0.939 (SE = 0.117), p < .001, %95 GA [0.691, 1.187]; Water.Temp b = 0.580 (SE = 0.263), p = .042, GA [0.025, 1.134]; Acid.Conc. b = -0.113 (SE = 0.070), p = .125.
- Model uyumu: Sağlam R² = .959 (düzeltilmiş .952); tüm eğimler için Wald χ²(3) = 144.67, p < .001.
- Aykırı değer: 2 gözlemin MM ağırlığı 0.5'in altındadır; OLS katsayıları belirgin farklıdır (Water.Temp OLS 1.295, sağlam 0.580; fark %55).
- APA: Air.Flow: β = +0.939, SE = 0.117, p < .001, %95 GA [0.691, 1.187]; Water.Temp: β = +0.580, SE = 0.263, p = .042 (MM, N = 21, aykırı = 2).
İlgili kavramlar
Ortanca mutlak sapma (MAD) ve değiştirilmiş z-puanıSağlam regresyon tahmincileri (MM, S, LTS) ve kırılma noktasıM-tahmincisi (Huber, Tukey biweight)Etkili gözlem tanılaması (Cook uzaklığı, kaldıraç, DFBETAS)Aykırı değerEn küçük kovaryans determinantı (MCD) ve sağlam uzaklıkYakınsama ve en fazla iterasyonKesiklik (truncation)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.