İstatistik Sözlüğü → Ridge Regresyon
Ridge Regresyonanaliz
Öngörücüler birbiriyle güçlü ilişkili olduğunda katsayıları küçük bir cezayla sıfıra doğru büzerek kararlı hâle getiren ve yeni verideki tahmin başarısını artırmayı amaçlayan regresyon yöntemi.
Kavram
Sıradan en küçük kareler (OLS) regresyonunda öngörücüler birbiriyle güçlü ilişkiliyse (eşdoğrusallık) katsayılar çok kararsız olur: veriye birkaç gözlem eklemek ya da çıkarmak bir katsayının büyüklüğünü, hatta işaretini değiştirebilir. Model eldeki veriye iyi uyar ama yeni veride kötü tahmin verebilir. Ridge regresyon bu kararsızlığı katsayıların büyüklüğüne bir ceza ekleyerek azaltır.
Ridge, hata kareler toplamı ile katsayı karelerinin toplamını birlikte küçültür: Σ(y − ŷ)² + α·Σβ². Ceza katsayısı α büyüdükçe katsayılar sıfıra doğru büzülür; α = 0 olduğunda sonuç OLS ile aynıdır. Ceza tüm katsayılara eşit uygulandığından öngörücüler önce standartlaştırılır. Böylece katsayılara biraz yanlılık eklenir ama varyansları belirgin biçimde azalır; bu yanlılık-varyans dengesi çoğu zaman daha iyi tahmin demektir. Uygun α genellikle çapraz doğrulamayla seçilir.
Ridge katsayıları küçülür ama tam sıfır olmaz; yani değişken seçimi yapmaz, tüm öngörücüler modelde kalır. Katsayılar bilerek yanlı kestirildiği için klasik standart hata ve p-değerleri yorumlanmaz; yöntemin amacı tahmin ve kararlılıktır, tek tek katsayıların anlamlılığını sınamak değil.
Ne zaman kullanılır?
- Çok sayıda ve birbiriyle ilişkili öngörücü varken, kararlı katsayılar ve iyi bir tahmin modeli istendiğinde (ör. birbirine bağlı ölçümlerden oluşan klinik ya da çevresel göstergeler).
- Öngörücülerin bir kısmının gereksiz olduğu düşünülüyor ve sade bir model isteniyorsa katsayıları tam sıfıra indirebilen lasso; hem seçim hem ilişkili değişken gruplarını birlikte tutma isteniyorsa elastic net kullanılır.
- Eşdoğrusallık yoksa ve amaç katsayıları yorumlamak ya da sınamaksa sıradan çoklu doğrusal regresyon yeterlidir.
Gündelik bir örnek
Bir emlak ofisi, 200 dairenin satış fiyatını net alan, brüt alan, oda sayısı, banyo sayısı, bina yaşı ve merkeze uzaklıkla tahmin etmek istiyor. Net alan, brüt alan ve oda sayısı birbirine çok bağlı olduğu için OLS'de brüt alanın katsayısı negatif çıkabiliyor; büyük daire daha ucuzmuş gibi saçma bir sonuç. Ridge regresyon bu üç değişkenin katsayılarını makul ve birbirine yakın değerlere çeker, birkaç daire eklenip çıkarıldığında sonuçlar sarsılmaz ve yeni ilanlar için tahminler daha güvenilir olur.
MerQur'da parametreler
Bağımsız (özellikler) ve Hedef sütun
Kavram: Öngörücüler tahmin için kullanılan değişkenler, hedef ise tahmin edilen sürekli sonuçtur. Ceza tüm öngörücülere eşit uygulandığı için ölçek farkları sonuçları etkilemesin diye öngörücüler standartlaştırılır.
Gündelik örnek: Emlak örneğinde hedef satış fiyatı, öngörücüler alan, oda sayısı, bina yaşı ve uzaklıktır. Alan metrekare, uzaklık kilometre ile ölçüldüğü için standartlaştırma yapılmasa ceza değişkenleri birimlerine göre farklı cezalandırırdı.
Ne işe yarar: Öngörücüleri ve bağımlı değişkeni seçer. Metin sütunlar otomatik kukla kodlanır.
Sonuca etkisi: Ceza, standartlaştırılmış tüm sütunlara (kuklalar dahil) uygulanır.
α (Düzenlileştirme)
Kavram: Ceza katsayısı α, katsayıların ne kadar büzüleceğini belirler. α = 0 OLS'e eşittir; α büyüdükçe katsayılar sıfıra yaklaşır, model daha kararlı ama veriye daha az uyumlu olur.
Gündelik örnek: Küçük bir α ile net ve brüt alanın katsayıları hâlâ birbirine zıt ve büyük kalabilir. α arttıkça ikisi benzer, makul değerlere yaklaşır; α çok büyürse hiçbir değişken fiyatı açıklayamayacak kadar bastırılır.
Ne işe yarar: L2 ceza katsayısıdır: en küçüklenen ||y - X_s b||² + α||b||² (sabit cezasız). Büyüdükçe katsayılar sıfıra büzülür ama sıfır olmaz. Aralık 1e-6 - 1e6'dır. MerQur alfası X'in 1/n bölenli SD'siyle standartlaştırıldığı ölçektedir.
Sonuca etkisi: Tüm katsayılar, R² ve uydurulmuş değerler değişir.
Doğrulama verisinde: Longley: α = 0.001 R² 0.9926; α = 1 R² 0.9850; α = 100 R² 0.6536. Asetilen verisinde 10 k değeri × 6 katsayı hesaplanır. Prostat α = 1: R² 0.6940.
Otomatik α (çapraz-doğrulama)
Kavram: Çapraz doğrulama, veriyi parçalara ayırıp modeli bir kısmında kurarak geri kalanında tahmin hatasını ölçer; en düşük tahmin hatasını veren α seçilir. Böylece α'yı araştırmacının tahmini değil, modelin yeni veride ne kadar iyi tahmin ettiği belirler.
Gündelik örnek: Daireler beş gruba ayrılır; model dört grupla kurulup beşinci gruptaki fiyatlar tahmin edilir ve bu işlem her grup için tekrarlanır. Farklı α değerleri denenir ve ortalama tahmin hatası en küçük olan seçilir.
Ne işe yarar: Alfayı veriden kurulan df(α) tabanlı 100 noktalı ızgaradan seçer; kural "α seçim ölçütü" alanındadır (varsayılan LOO). Seçilen alfa ızgara ucundaysa uyarı yazılır.
Sonuca etkisi: Seçilen alfa ve ona bağlı tüm sonuçlar değişir. LOO her n - 1 kümede, k-kat her eğitim katında X'i yeniden ölçekler (Hastie, Tibshirani ve Friedman, ESL 7.10.2).
Doğrulama verisinde: Longley LOO α = 0.0014547; QuickStart LOO 3.07232; prostat LOO 3.73253; Hitters LOO 3.53139.
α seçim ölçütü (LOO (varsayılan), k-kat λ_min, k-kat λ_1SE, GCV, HKB, L-W)
Kavram: α'yı seçmenin farklı kurallarıdır. Çapraz doğrulama kuralları tahmin hatasını doğrudan ölçer; 1-SE kuralı en iyi sonuca istatistiksel olarak yakın kalan en çok cezalı (en sade) modeli tercih eder; GCV ve kapalı formüllü ölçütler hesaplaması hızlı yaklaşık çözümler sunar.
Gündelik örnek: En düşük tahmin hatası α = 2 ile elde ediliyor ama α = 5 de neredeyse aynı hatayı veriyorsa 1-SE kuralı α = 5'i seçer; böylece daha kararlı katsayılar için çok küçük bir tahmin kaybı kabul edilir.
Ne işe yarar: LOO kesin birini-dışarıda-bırak MSE'yi; k-kat CV MSE'nin en küçüğünü veya 1-SE kuralını; GCV RSS/(n - df)² en küçüğünü; HKB (Hoerl, Kennard ve Baldwin, 1975) ve L-W (Lawless ve Wang, 1976) kapalı formları kullanır.
Sonuca etkisi: Yalnız otomatik alfa açıkken seçilen alfayı belirler. İkili/Poisson hedefte LOO, GCV, HKB ve L-W tanımlı değildir: k-kat λ_min kullanılır ve uyarı yazılır.
Doğrulama verisinde: Longley: HKB 0.0068370, L-W 0.052672, GCV 0.0060077; 5-kat λ_1SE 1.74758. Hitters: GCV 1.42066, HKB 2.2793, L-W 15.292.
CV kat sayısı
Kavram: Çapraz doğrulamada verinin kaç parçaya bölüneceğini belirler. Parça sayısı sonuçları biraz değiştirebileceğinden raporlanmalıdır.
Gündelik örnek: 200 daire 5 parçaya bölünürse her turda 40 daire test edilir; 10 parçada her turda 20 daire test edilir. İki seçim biraz farklı α değerleri verebilir.
Ne işe yarar: k-kat kurallar ve CV performansı için ardışık (karıştırılmamış) kat sayısını belirler (3-20, varsayılan 5). Sonuçları değiştirebildiğinden raporlanmalıdır.
Sonuca etkisi: Yalnız k-kat kurallarını ve CV performansını etkiler; LOO, GCV, HKB, L-W'de ve CV kapalıyken etkisizdir. Ardışık katlar deterministiktir.
Doğrulama verisinde: QuickStart k-kat λ_min: K = 3 -> 3.07232, 5 -> 5.72633, 10 -> 3.58979.
Hedef türü (Sürekli (doğrusal), ikili (lojistik), sayım (Poisson))
Kavram: Ridge cezası yalnız sürekli sonuçlarda değil, ikili (lojistik) ve sayım (Poisson) sonuçlarında da kullanılabilir; ceza bu modellerin olabilirlik fonksiyonuna eklenir.
Gündelik örnek: Emlak ofisi fiyat yerine 'daire üç ay içinde satıldı mı?' sorusunu yanıtlamak isterse sonuç ikilidir ve cezalı lojistik regresyon kullanılır; birbirine bağlı alan değişkenleri yine birlikte büzülür.
Ne işe yarar: Cezalı lojistik veya Poisson kestirir: -l(b) + α/2·|b|² (kesişim cezasız). İkili/sayım sonuçta çok sayıda ilişkili öngörücü varken kullanılır.
Sonuca etkisi: Model ailesi, sapma ve D² ölçüleri değişir.
Doğrulama verisinde: BinomialExample α = 1: sapma 25.716, D² 0.8125; PoissonExample α = 1 D² 0.9715.
Kategorik öngörücüler
Kavram: Kategorik öngörücüleri kukla değişkenlere açar. Ridge'de kuklalar da standartlaştırılıp cezalandırılır; bu nedenle katsayıları sıradan regresyondakinden daha küçük çıkar.
Gündelik örnek: Isınma türü 'doğalgaz / soba / merkezi' gibi bir değişken iki kukla değişkenle modele girer ve bu kuklaların katsayıları da diğerleri gibi sıfıra doğru çekilir.
Ne işe yarar: Adı yazılan sütunları (sayısal görünse de) kukla kodlar, ilk düzey referanstır; metin sütunları otomatiktir. Kuklalar da standartlaştırılıp cezalandırılır (uyarı yazılır).
Sonuca etkisi: Kukla tasarımı ve cezalı katsayılar değişir.
Doğrulama verisinde: Prostat "gleason" (6/7/8/9) -> gleason[7], [8], [9]; R² 0.6940 -> 0.7119.
Ek çıktı: Ridge izi + CV eğrisi
Kavram: Ridge izi, α arttıkça her katsayının nasıl büzüldüğünü gösteren grafiktir; CV eğrisi ise her α için tahmin hatasını gösterir. İkisi birlikte hangi cezada katsayıların kararlı hâle geldiğini ve tahminin en iyi olduğunu gösterir.
Gündelik örnek: İzde net ve brüt alanın katsayıları küçük α'da zıt yönlerde büyükken α arttıkça hızla birbirine yaklaşır. CV eğrisinin dibindeki α, bu yakınlaşmanın tahmin hatasını da düşürdüğü noktadır.
Ne işe yarar: Izgara boyunca standart katsayı izini (SVD), df(α) = Σd²/(d² + α) ve CV eğrisini verir.
Sonuca etkisi: Ek tablo ve grafik.
Doğrulama verisinde: Longley iz: df 0.622 (α = 100) - 5.795 (α = 0.001); α = 1'de df 2.937.
Ek çıktı: CV performansı
Kavram: Modelin, kurulurken kullanılmayan verideki tahmin başarısını özetler (ortalama kare hata, ortalama mutlak hata, çapraz doğrulama R²'si). Eğitim verisindeki R²'den daha dürüst bir başarı ölçüsüdür.
Gündelik örnek: Model kurulduğu dairelerde fiyatların %85'ini açıklarken hiç görmediği dairelerde %70'ini açıklayabiliyorsa, yeni bir ilan için beklenebilecek başarı ikinci değerdir.
Ne işe yarar: Seçilen alfa ile ardışık k-kat dışarıda bırakılmış tahmin: MSE, RMSE, MAE, R²_CV; genelleştirilmiş doğrusal modelde ortalama birim sapma ve sınıflama hatası.
Sonuca etkisi: Ek tablo.
Doğrulama verisinde: QuickStart α = 1, K = 5: MSE 1.2977, R²_CV 0.8478. Longley K = 5: MSE 23.277, R²_CV 0.7868.
Ek çıktı: VIF / koşul sayısı
Kavram: VIF her öngörücünün diğerleriyle ne kadar örtüştüğünü, koşul sayısı ise öngörücü kümesinin bütün olarak ne kadar eşdoğrusal olduğunu gösterir. Ridge sonrası değerlerin düşmesi cezanın kararsızlığı ne ölçüde giderdiğini gösterir.
Gündelik örnek: Net alanın VIF'i OLS'de 40 iken ridge sonrası 3'e iniyorsa, alan değişkenlerinin birbirine bağlılığından doğan şişkinlik büyük ölçüde giderilmiştir.
Ne işe yarar: OLS VIF = diag(C⁻¹); ridge VIF = diag((C + kI)⁻¹C(C + kI)⁻¹), C öngörücü korelasyon matrisi, k = α/n (Marquardt, 1970); koşul sayısı √(λ_max/λ_min) ve ridge sonrası değeri.
Sonuca etkisi: Ek tablo; genelleştirilmiş doğrusal modelde yalnız OLS VIF.
Doğrulama verisinde: Asetilen OLS VIF x1 7682.37; k = .002'de ridge VIF x1 11.177, k = .02'de 1.387; koşul sayısı 218.3 -> 40.07.
Ek çıktı: HKB/L-W/GCV
Kavram: α'yı veriden hızlıca kestiren üç farklı ölçütün değerlerini karşılaştırma amacıyla yazar; seçilen modeli değiştirmez.
Gündelik örnek: Çapraz doğrulama α = 3 seçerken bu ölçütler 2 ile 5 arasında değerler veriyorsa seçimin makul bir aralıkta olduğu görülür; çok farklı değerler ise sonucu dikkatle incelemek gerektiğini düşündürür.
Ne işe yarar: Üç ölçütü bilgi olarak yazar; seçilen alfayı değiştirmez.
Sonuca etkisi: Ek satırlar; ikili hedefte yalnız uyarı ("yalnız sürekli hedefte tanımlıdır").
Doğrulama verisinde: Longley HKB 0.006837, L-W 0.052672, GCV 0.0060077; QuickStart HKB 2.4818, L-W 2.1653.
Gerçek veride örnek
Veri: Stamey vd. 1989 prostat verisi (ESL eğitim kümesi)
Değişkenler: hedef lpsa (log PSA), sekiz klinik öngörücü (lcavol, lweight, age, lbph, svi, lcp, gleason, pgg45)
- Soru: Prostat kanserli 67 hastada PSA düzeyi (lpsa) sekiz klinik öngörücüyle tahmin edilirken eşdoğrusallık nedeniyle kararsız olan katsayılar ridge cezasıyla nasıl sabitlenir? Öngörücüler 1/n bölenli SD ile standartlaştırıldı, L2 cezası α = 1 uygulandı (sabit cezasız); katsayılar ham ölçeğe geri çevrildi.
- Varsayım: α = 1 elle girilmiş bir değerdir; tahmin amaçlı modelde α çapraz doğrulamayla (LOO, k-kat, GCV) seçilmeli ve ridge katsayıları için klasik SE/p değerleri yorumlanmamalıdır.
- Sonuç: R² = 0.6940, düzeltilmiş R² = 0.6518. En büyük standart katsayılar lcavol (0.685), svi (0.302) ve lweight (0.290); gleason katsayısı neredeyse sıfıra büzülmüştür (-0.016).
- Etki büyüklüğü: Ridge katsayıları OLS'e göre küçülür (lcavol 0.5765 -> 0.5558, lcp -0.2063 -> -0.1831) ama hiçbiri tam sıfır olmaz; değişken seçimi yapılmaz.
- APA: Ridge regresyonu (α = 1, standartlaştırılmış öngörücüler), R² = .69, düzeltilmiş R² = .65.
İlgili kavramlar
Düzenlileştirme (ceza) ve ceza parametresi λ/αKatsayı yolu ve ridge iziGenelleştirilmiş çapraz geçerleme (GCV)k-katlı çapraz geçerlemeÇoklu doğrusal bağlantı (VIF, tolerans, koşul indeksi)Tahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)Birini dışarıda bırak (LOO)Dağılım ailesi (GLM)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.