MerQuR+Başvuru Kitabı

52. Ridge Regresyon

Analiz kimliği: ridge · Menü adı: Ridge Regresyon · Panel: gui/panels/analyses/ridge_regression.py (form 44–148, execute/pen_execute 164–177) · Motor: stats/regression.py, Regression._regularized (satır 1479–1675); ek çıktılar ve cezalı GLM stats/regularized_extras.py · Çağrı: stats_panel.py:6054–6072

52.1 Ne işe yarar

Ridge regresyon, doğrusal regresyon modelini kurar ama katsayıları küçültülmüş (büzülmüş) olarak kestirir. Cevapladığı soru şudur: "Açıklayıcılar birbiriyle güçlü ilişkiliyken, yeni hastalarda iyi tahmin veren ve kararlı katsayılar nasıl elde edilir?" Model, sıradan en küçük kareler (EKK, OLS) ile aynıdır:

y_i=\beta_0+\sum_{j=1}^{p}\beta_j z_{ij}+\varepsilon_i

Fark kestirim ölçütündedir: ridge, artık kareler toplamına katsayıların kareler toplamıyla orantılı bir ceza ekler ve bu toplamı en küçükler. Ceza katsayıları sıfıra doğru çeker ama hiçbirini tam sıfır yapmaz.

  • y_i: i. hastanın bağımlı değişkeni (bu bölümde hastalık ilerleme puanı).
  • z_{ij}: j. açıklayıcının standartlaştırılmış değeri (52.5.1).
  • \beta_0: sabit terim; cezalandırılmaz.
  • \beta_j: standart ölçekteki katsayı; MerQur tabloda bunu "Katsayı (std.)" sütununda verir.
  • \varepsilon_i: hata terimi.

Ne zaman kullanılır?

  • Açıklayıcılar arasında güçlü çoklu doğrusal bağıntı varsa ve tümünü modelde tutmak istiyorsanız (ör. aynı yolağı ölçen 15 biyobelirteç).
  • Amaç tahminse ve EKK katsayılarının varyansı yüksekse.
  • Açıklayıcı sayısı gözlem sayısına yakınsa; ridge p>n durumunda da tek çözüm verir.

Ne zaman kullanılmaz?

  • Değişken seçimi isteniyorsa: ridge hiçbir katsayıyı sıfırlamaz. Lasso Regresyon ya da Düzenlileştirilmiş Regresyon (LASSO/Ridge/ElasticNet) içindeki ElasticNet kullanılmalıdır.
  • Katsayılar için p değeri, GA ve hipotez testi gerekiyorsa: ridge bunları vermez. Çoklu Doğrusal Regresyon kullanılmalıdır (çoklu bağıntı ılımlıysa VIF ile birlikte).
  • Gözlemler kümeli ya da tekrarlıysa: karma modeller (LMM).
  • Sonuç ikili ya da sayımsa ve yorum için OR/oran oranı gerekiyorsa: İkili Lojistik Regresyon ya da Poisson / Negatif Binom Regresyon; ridge'in "Hedef türü" seçeneği yalnız cezalı tahmin modeli verir.

Sık karıştırılan analizler. Lasso aynı modeli L_1 cezasıyla kestirir ve bazı katsayıları tam sıfırlar. ElasticNet iki cezayı karıştırır. Temel bileşen regresyonu (PCR) küçük özdeğerli yönleri tümüyle atar; ridge onları atmaz, yalnız güçlü biçimde küçültür (52.5.3). Kısmi en küçük kareler (PLS) bileşenleri y ile kovaryansa göre kurar. MerQur'da Düzenlileştirilmiş Regresyon menüsünün "Ridge (L2)" yöntemi aynı ridge modelini başka bir motorla (otomatik α, k-kat CV ile) kestirir; bkz. Bölüm 107.

52.2 Varsayımlar ve veri türü

Varsayım Ne demek MerQur'da nasıl denetlenir
Doğrusal ilişki E(y\mid\mathbf x) açıklayıcıların doğrusal birleşimi. Denetlenmez; 3B yüzey grafiği yalnız görsel ipucu verir.
Bağımsız gözlemler Her satır ayrı birim. Tasarım; denetlenmez.
Sabit varyanslı hata Ridge kestiriminin kendisi varyans varsayımı gerektirmez; HKB/L-W ölçütleri \sigma^2'yi EKK artıklarından kestirir. Denetlenmez.
Sayısal ölçek Açıklayıcılar standartlaştırılır; ölçek farkı sonucu değiştirmez. Otomatik (regression.py:1515–1517).
Ceza düzeyi α tahmin hatasını en küçükleyecek biçimde seçilmeli. İsteğe bağlı otomatik α (LOO, k-kat, GCV, HKB, L-W).

Normallik ya da çoklu bağıntının yokluğu varsayılmaz; tersine, ridge çoklu bağıntı için tasarlanmıştır.

Eksik değer. Önce hedefi eksik olan satırlar atılır (regression.py:308–309), sonra seçilen açıklayıcıların herhangi birinde eksik olan satırlar çıkarılır (liste bazında silme, ml/_preprocessing.py, prepare_numeric_data). Tıp verisinde biomarker_p01'in ilk 10 değeri silinirse model 190 gözlemle kurulur.

Uç durumlar (koddan):

  • Varyansı sıfır olan açıklayıcı atılır ve "1 özellik modelden çıkarıldı: k (sabit değer (varyans = 0))" uyarısı yazılır.
  • Gözlem sayısı p+2'den azsa hata verilir: 15 açıklayıcıda en az 17 gözlem (regression.py:321, min_rows=len(feature_cols)+2).
  • Hedef sabitse \text{TSS}=0 olur ve R^2 tanımsızdır; MerQur açık bir hata iletisiyle durur (Bölüm 107'deki motor gibi).
  • Metin sütunları ya da "Kategorik öngörücüler" alanına yazılan sütunlar kukla değişkene açılır (ilk düzey referans); kukla sütunları da standartlaştırılıp cezalandırılır ve bu bir uyarıyla bildirilir (regularized_extras.py:230–247).
  • Hedef türü "ikili" seçilirse hedefte tam iki farklı değer olmalıdır; büyük olan olay sayılır (regularized_extras.py:836–845). "Sayım" seçilirse negatif ya da tam sayı olmayan değer hata verir.

52.3 Parametreler

Varsayılanlar ridge_regression.py:44–148 ve stats_panel.py:6054–6072'den alınmıştır.

Arayüz adı Varsayılan Ne yapar Sonucu nasıl değiştirir
Bağımlı değişken ilk sayısal sütun Tahmin edilen değişken. —
Bağımsız değişkenler en az 1 Sayısal ya da kategorik açıklayıcılar. Kategorikler kukla kodlanır.
α (Düzenlileştirme) 1,0 (aralık 10^{-6}–10^{6}, 6 ondalık) Ceza katsayısı; amaç \text{RSS}+\alpha\lVert\boldsymbol\beta\rVert^2. α büyüdükçe katsayılar küçülür, df(\alpha) düşer, eğitim R^2'si azalır.
Otomatik α (çapraz-doğrulama) kapalı α'yı aşağıdaki ölçütle seçer; elle girilen α yok sayılır. Model seçilen α ile kurulur; uyarı satırında yazılır.
α seçim ölçütü LOO (varsayılan) LOO, k-kat λ_min, k-kat λ_1SE, GCV, HKB, L-W. Seçilen α'yı belirler.
CV kat sayısı 5 (3–20) Ardışık (karıştırılmamış) kat sayısı. Yalnız k-kat ölçütleri ve "CV performansı" için kullanılır.
Hedef türü Sürekli (doğrusal) İkili: cezalı lojistik; sayım: cezalı Poisson. Amaç fonksiyonu ve çıktı (D², sapma) değişir.
Kategorik öngörücüler boş Sayısal kodlu sütunları kukla kodlatır. Tasarım matrisi.
Ek çıktı: Ridge izi + CV eğrisi kapalı Izgara boyunca katsayı yolu, LOO (ya da seçilen k-kat) eğrisi, df(\alpha). Ek bölüm ve iki ek grafik paneli.
Ek çıktı: CV performansı kapalı Seçilen α'da dışarıda bırakılmış tahmin hatası. Ek bölüm.
Ek çıktı: VIF / koşul sayısı kapalı EKK ve ridge VIF'leri, koşul sayısı. Ek bölüm.
Ek çıktı: HKB/L-W/GCV kapalı Üç klasik ölçütün önerdiği α. Ek satır; model değişmez.
Grafik Katsayı grafiği (varsayılan) Standart katsayı çubukları; ya da 3B yüzey. Yalnız Grafik sekmesi.

Otomatik α kapalıyken ölçüt seçmek ne işe yarar?

Seçilen ölçüt sessizce yok sayılmaz. Otomatik α kapalıyken ölçüt LOO dışında bir şeyse MerQur o ölçütün önereceği α'yı hesaplar ve "α SEÇİM ÖLÇÜTÜNÜN ÖNERİSİ" bölümünde yazar; model yine elle girilen α ile kurulur (regularized_extras.py:411–450). Örneğin GCV seçili, otomatik α kapalı ve α = 1 iken çıktı "GCV ölçütünün önerdiği α = 76.5533. Model elle girilen α = 1 ile kuruldu" der. Böylece kullanıcı önerilen değeri görüp kendisi girebilir. Cezalı lojistik/Poisson modelde GCV, HKB ve L-W tanımsızdır; bunlar seçilirse ayar bloğuna "desteklenmiyor" kaydı düşülür (ridge_regression.py:184–205).

52.4 Tıp örneği

Dosya: english/datasets/Tip/49_ridge_biomarker_progression.xlsx (Türkçe kopyası samples/Tum_Analiz_Tip/49_ridge_belirtec_progresyon.xlsx). Değişken seçimi VIDEO_SCRIPT_TR.txt #49'daki gibidir.

Değişken Rol Tür Özet
progression Bağımlı sürekli (puan) ort. 51,53; SS 11,80; 16,70–93,61
biomarker_p01 … biomarker_p15 Açıklayıcı (15) sürekli ortalamalar 0,014–0,160; SS 0,66–0,82
patient_id — kimlik kullanılmaz

n ve eksik değer: 200 hasta, hiçbir sütunda eksik değer yok. Açıklayıcılar arası korelasyonlar 0,632 ile 0,778 arasındadır: her çift güçlü biçimde ilişkilidir. EKK VIF'leri 3,06–4,24'tür.

Klinik soru: 15 biyobelirteç birlikte hastalık ilerlemesini ne kadar iyi tahmin ediyor? Biyobelirteçler bu kadar ilişkiliyken hangilerinin katkısı kararlı biçimde pozitiftir?

Seçilen ayarlar: Önce arayüz varsayılanları (α = 1, otomatik α kapalı). Sonra otomatik α (LOO) açılarak ikinci çalıştırma. Hesap yürüyüşü için dört "Ek çıktı" kutusu da açıldı. Cezalı lojistik yolunu göstermek için türetilmiş ikili hedef kullanıldı: ilerleme_yuksek = 1{progression > medyan 52,15} (100 olay, 100 olay yok; yalnız bu doğrulama için).

52.5 Formüller ve hesap adımları

MerQur'un hesap sırası şöyledir: (1) hedef ve açıklayıcılar sayısala çevrilir, eksikler liste bazında atılır, sabit sütunlar düşer; (2) açıklayıcılar 1/n-SS ile standartlaştırılır; (3) otomatik α açıksa ızgara kurulur ve seçilen ölçütle α bulunur; (4) scikit-learn Ridge(alpha=α) standart ölçekte uydurulur; (5) katsayılar özgün ölçeğe çevrilir; (6) R^2 ve düzeltilmiş R^2 eğitim verisinde hesaplanır; (7) istenen ek çıktılar eklenir (regression.py:1479–1675).

52.5.1 Standartlaştırma

z_{ij}=\frac{x_{ij}-\bar x_j}{s_j},\qquad s_j=\sqrt{\frac1n\sum_{i=1}^{n}(x_{ij}-\bar x_j)^2}
  • x_{ij}: j. açıklayıcının ham değeri.
  • \bar x_j: sütun ortalaması.
  • s_j: n'ye bölünen standart sapma (scikit-learn StandardScaler, regression.py:1515–1517).
  • Sonuç: her z_j sütununun ortalaması 0, \frac1n\sum z_{ij}^2=1; dolayısıyla \mathbf Z^{\top}\mathbf Z=n\mathbf R (\mathbf R: açıklayıcıların korelasyon matrisi).

Neden standartlaştırma şart?

Ceza \alpha\sum\beta_j^2 her katsayıya aynı ağırlığı verir. Açıklayıcılar farklı birimlerdeyse (mg/dL ile yıl) birim değiştirmek katsayının büyüklüğünü, dolayısıyla cezasını değiştirir; sonuç ölçeğe bağımlı olur. Standartlaştırma bütün açıklayıcıları aynı ölçeğe getirir. n'ye bölünen SS, R MASS::lm.ridge ve glmnet(standardize = TRUE) ile aynı tanımdır; bu yüzden MerQur'un α'sı lm.ridge'in λ'sıyla birebir aynıdır.

52.5.2 Amaç fonksiyonu ve kapalı çözüm

(\hat\beta_0,\hat{\boldsymbol\beta})=\arg\min_{\beta_0,\boldsymbol\beta}\ \sum_{i=1}^{n}\big(y_i-\beta_0-\mathbf z_i^{\top}\boldsymbol\beta\big)^2+\alpha\sum_{j=1}^{p}\beta_j^2
\hat\beta_0=\bar y,\qquad \hat{\boldsymbol\beta}=\big(\mathbf Z^{\top}\mathbf Z+\alpha\mathbf I_p\big)^{-1}\mathbf Z^{\top}(\mathbf y-\bar y\mathbf 1)
  • \alpha\ge0: ceza katsayısı; formdaki "α (Düzenlileştirme)".
  • \mathbf Z: n\times p standart tasarım matrisi (sabit sütunu yok).
  • \mathbf I_p: p\times p birim matris; ceza yalnız eğim katsayılarına uygulanır.
  • \hat\beta_0=\bar y: \mathbf Z'nin sütunları ortalanmış olduğundan sabit terim ceza almadan y'nin ortalamasına eşit çıkar.
  • \alpha=0 iken EKK çözümü elde edilir.

Neden \alpha\mathbf I eklemek işe yarar?

Çoklu bağıntıda \mathbf Z^{\top}\mathbf Z'nin bazı özdeğerleri sıfıra yakındır; tersi alınırken bu özdeğerler büyük sayılara dönüşür ve EKK katsayılarının varyansı patlar (\operatorname{Var}(\hat{\boldsymbol\beta}_{\text{EKK}})=\sigma^2(\mathbf Z^{\top}\mathbf Z)^{-1}). Köşegene \alpha eklemek bütün özdeğerleri \alpha kadar büyütür; matris her zaman tersinir olur ve varyans azalır. Bedeli sıfıra doğru bir yanlılıktır. Hoerl ve Kennard (1970), MSE'yi EKK'dan küçük yapan bir \alpha>0'ın her zaman var olduğunu göstermiştir.

Koddaki tercih: α birimi

Amaç fonksiyonunda 1/n ya da 1/2 çarpanı yoktur (scikit-learn Ridge, regression.py:1553). Bu nedenle aynı α farklı yazılımlarda farklı ceza demektir:

  • R MASS::lm.ridge(lambda = α): aynı ceza (doğrulamada birebir eşleşir).
  • R glmnet(alpha = 0): amaç \frac{1}{2n}\text{RSS}+\frac{\lambda}{2}\lVert\boldsymbol\beta\rVert^2 ve y'yi de içeride ölçekler; \lambda=\alpha/n yalnız y'nin SS'si 1 iken eşdeğerdir.
  • Korelasyon ölçeği (Marquardt 1970): (\mathbf R+k\mathbf I); k=\alpha/n.

MerQur Bölüm 107'deki ElasticNet'te "L1 oranı = 0" ile kurulan saf ridge ise glmnet birimini kullanır: orada α = 1, burada α = n demektir (bkz. 107.5).

52.5.3 Tekil değer ayrışımı ve büzülme

\mathbf Z_c=\mathbf U\mathbf D\mathbf V^{\top} (\mathbf D=\operatorname{diag}(d_1,\dots,d_p)) yazılırsa

\hat{\boldsymbol\beta}(\alpha)=\sum_{k=1}^{p}\mathbf v_k\,\frac{d_k}{d_k^2+\alpha}\,\mathbf u_k^{\top}\mathbf y_c,\qquad \hat{\mathbf y}=\bar y\mathbf 1+\sum_{k=1}^{p}\mathbf u_k\,\frac{d_k^2}{d_k^2+\alpha}\,\mathbf u_k^{\top}\mathbf y_c
df(\alpha)=\operatorname{iz}\big[\mathbf Z_c(\mathbf Z_c^{\top}\mathbf Z_c+\alpha\mathbf I)^{-1}\mathbf Z_c^{\top}\big]=\sum_{k=1}^{p}\frac{d_k^2}{d_k^2+\alpha}
  • \mathbf u_k,\mathbf v_k: sol ve sağ tekil vektörler; \mathbf v_k açıklayıcı uzayında k. temel bileşen yönüdür.
  • d_k^2=n\,\lambda_k(\mathbf R): k. bileşenin varyansının n katı.
  • d_k^2/(d_k^2+\alpha): k. yöndeki büzülme çarpanı; büyük varyanslı yönler neredeyse hiç küçülmez, küçük varyanslılar güçlü küçülür.
  • \mathbf y_c=\mathbf y-\bar y\mathbf 1.
  • df(\alpha): etkili serbestlik derecesi (ESL denklem 3.50); \alpha=0'da p, \alpha\to\infty'da 0 (regularized_extras.py:264–267).

52.5.4 Özgün ölçeğe dönüş

B_j=\frac{\hat\beta_j}{s_j},\qquad b_0=\bar y-\sum_{j=1}^{p}B_j\,\bar x_j
  • B_j: ham birimde katsayı; tabloda "Katsayı (ham)".
  • b_0: ham ölçekte sabit terim; tablonun "Sabit terim" satırının "ham" sütunu. Aynı satırın "std." sütunu \bar y'dir.

Bu dönüşüm regression.py:1598–1612'dedir ve model tahminlerini değiştirmez: b_0+\sum B_jx_{ij}=\bar y+\sum\hat\beta_jz_{ij}.

52.5.5 Uyum ölçüleri

R^2=1-\frac{\sum(y_i-\hat y_i)^2}{\sum(y_i-\bar y)^2},\qquad R^2_{\text{düz}}=1-(1-R^2)\frac{n-1}{n-\mathrm{df}_H},\qquad \mathrm{df}_H=\operatorname{tr}(\mathbf H_\alpha)=1+\sum_j\frac{d_j^2}{d_j^2+\alpha}
  • \hat y_i: eğitim verisindeki uydurulmuş değer; R^2 eğitim R^2'sidir.
  • \mathrm{df}_H: şapka matrisinin izi, yani sabit dahil etkin serbestlik derecesi (Hastie, Tibshirani ve Friedman 2009, §3.4.1); d_j, ortalanmış standart \mathbf Z'nin tekil değerleridir. EKK'da (\alpha=0) p+1'e eşittir ve formül klasik düzeltilmiş R^2'ye indirgenir.

Düzeltilmiş R² ve gizlenen satırlar

Düzeltilmiş R^2 nominal p yerine etkin serbestlik derecesini kullanır (regression.py:50–69, 1646–1647); sonuç metni tanımı ve \mathrm{df}_H'yi "Düzeltilmiş R² etkin serbestlik derecesiyle: df = tr(H_λ) = …" satırında yazar. Değer yine eğitim verisine dayanır; genelleme için R^2_{\text{CV}} kullanılır. F, p, AIC ve BIC hesaplanmaz; sonuç metninde bu satırlar bilerek gizlenir (stats_panel.py:10326–10330). Katsayılar için SH ve GA verilmez.

52.5.6 α seçimi

Izgara. Otomatik α'da aday değerler veriden kurulur (regularized_extras.py:151–159):

\alpha_{\text{üst}}=10^{3}\max_kd_k^2,\qquad \alpha_{\text{alt}}=10^{-3}\min_kd_k^2,\qquad 100\ \text{değer, logaritmik eşit aralıklı}

Neden d^2'ye göre?

Büzülme çarpanı d_k^2/(d_k^2+\alpha) olduğundan, \alpha=10^3\max d^2'de bütün çarpanlar 0,001'in altındadır (df\approx p/1001, boş modele yakın); \alpha=10^{-3}\min d^2'de hepsi 0,999'un üstündedir (df\approx p, EKK'ya yakın). Böylece ızgara verinin ölçeğinden bağımsız olarak "boş modelden EKK'ya" uzanır. Sabit bir ızgara (ör. [10^{-3},10^{2}]) büyük ölçekli verilerde uç noktada takılırdı; ölçeğe bağlı ızgara bunu önler.

LOO (varsayılan ölçüt). Her i için i. gözlem dışarıda bırakılır; kalan n-1 gözlemde ortalama ve 1/n-SS yeniden hesaplanır, ridge uydurulur ve dışarıdaki gözlem tahmin edilir (regularized_extras.py:270–320):

\text{CV}(\alpha)=\frac1n\sum_{i=1}^{n}\big(y_i-\hat y_{(-i)}(\alpha)\big)^2,\qquad \text{SE}(\alpha)=\sqrt{\frac{1}{n(n-1)}\sum_{i=1}^{n}\big(e_{(-i)}^2-\text{CV}(\alpha)\big)^2}
  • \hat y_{(-i)}(\alpha): i. gözlem hiç görülmeden kurulan modelin tahmini.
  • e_{(-i)}^2: o gözlemin karesel tahmin hatası.
  • SE: kat hatalarının (burada n tekil "kat") standart hatası.
\lambda_{\min}=\max\{\alpha:\ \text{CV}(\alpha)=\min\text{CV}\},\qquad \lambda_{1\text{SE}}=\max\{\alpha:\ \text{CV}(\alpha)\le\text{CV}(\lambda_{\min})+\text{SE}(\lambda_{\min})\}

Otomatik α LOO'da \lambda_{\min}'i kullanır. \lambda_{1\text{SE}} yalnız "Ridge izi + CV eğrisi" bölümünde raporlanır.

Koddaki tercih: LOO'da yeniden ölçekleme

LOO, her eğitim kümesinde standartlaştırmayı yeniden yapar; kapalı biçimli "hat matrisi" kısayolu (e_{(-i)}=e_i/(1-h_{ii})) ölçeği sabit tuttuğu için bundan çok az farklıdır. MerQur n\le3000'de kesin yolu izler; n>3000'de tam veri ölçeğinde kısayola geçer ve "ölçek sabit" uyarısı yazar (regularized_extras.py:39, 305–320). Eşitlikte en büyük α'nın seçilmesi glmnet getOptcv kuralıdır.

k-kat CV. Veri sırasıyla ardışık K bloğa bölünür (scikit-learn KFold(shuffle = False); ilk n\bmod K kat bir gözlem fazladır, regularized_extras.py:174–183). Her eğitim katında yeniden ölçekleme yapılır; kat MSE'leri kat büyüklüğüyle ağırlıklı ortalanır:

\text{CV}(\alpha)=\sum_{k=1}^{K}w_k\,\text{MSE}_k(\alpha),\qquad \text{SE}(\alpha)=\sqrt{\frac{\sum_kw_k\big(\text{MSE}_k-\text{CV}\big)^2}{K-1}},\qquad w_k=\frac{n_k}{n}
  • \text{MSE}_k(\alpha): k. test katındaki ortalama karesel hata.
  • n_k: k. katın gözlem sayısı.
  • Eğitim katında glmnet λ'sı sabit tutulur (cv.glmnet tanımı; Friedman, Hastie ve Tibshirani 2010). α birimi \text{RSS}+\alpha\lVert\boldsymbol\beta\rVert^2 (\alpha=n\lambda) olduğundan eğitim katındaki amaç \text{RSS}_{\text{eğitim}}+\alpha\,(n_{\text{eğitim}}/n)\lVert\boldsymbol\beta\rVert^2'dir (regularized_extras.py:289). LOO'da ceza \alpha(n-1)/n'dir (regularized_extras.py:315).

GCV, HKB ve L-W (regularized_extras.py:335–357; R MASS::select tanımı):

\text{GCV}(\alpha)=\frac{\lVert\mathbf y_c-\hat{\mathbf y}_c(\alpha)\rVert^2}{\big(n-df(\alpha)\big)^2},\qquad \alpha_{\text{HKB}}=\frac{(p-2)\,\hat\sigma^2}{\lVert\hat{\boldsymbol\beta}_{\text{EKK}}\rVert^2},\qquad \alpha_{\text{LW}}=\frac{(p-2)\,\hat\sigma^2\,n}{\lVert\mathbf Z_c\hat{\boldsymbol\beta}_{\text{EKK}}\rVert^2}
  • \hat{\mathbf y}_c(\alpha): ortalanmış uydurulmuş değerler.
  • \hat\sigma^2=\text{RSS}_{\text{EKK}}/(n-p-1): EKK artık varyansı.
  • \hat{\boldsymbol\beta}_{\text{EKK}}: standart ölçekte EKK katsayıları.
  • GCV ızgaradaki en küçük değerinde seçilir; HKB ve L-W kapalı formdur, ızgaraya bağlı değildir.

HKB ve L-W neden (p-2) içerir?

Hoerl, Kennard ve Baldwin (1975), James–Stein büzülme kestiriminden esinlenerek k=p\hat\sigma^2/\lVert\hat{\boldsymbol\beta}\rVert^2'yi önermiştir; MASS uygulaması James–Stein'daki (p-2) çarpanını kullanır. Lawless ve Wang (1976) paydada \lVert\hat{\boldsymbol\beta}\rVert^2 yerine uydurulmuş değerlerin kareler toplamını (\hat{\boldsymbol\beta}^{\top}\mathbf Z^{\top}\mathbf Z\hat{\boldsymbol\beta}) kullanır; korelasyon ölçeğinde yazıldığı için n çarpanı gelir. Her ikisi de CV'ye göre çok daha az ceza seçme eğilimindedir.

Seçilen α ızgaranın alt ya da üst ucundaysa uyarı yazılır: alt uçta "çözüm cezasız EKK'ya yakın", üst uçta "öngörücüler tahmine katkı sağlamıyor" (regularized_extras.py:162–171).

52.5.7 VIF ve koşul sayısı

\text{VIF}_j^{\text{EKK}}=\big[\mathbf R^{-1}\big]_{jj},\qquad \text{VIF}_j^{\text{ridge}}=\Big[(\mathbf R+k\mathbf I)^{-1}\mathbf R\,(\mathbf R+k\mathbf I)^{-1}\Big]_{jj},\qquad k=\frac{\alpha}{n}
\kappa=\sqrt{\frac{\lambda_{\max}(\mathbf R)}{\lambda_{\min}(\mathbf R)}},\qquad \kappa_{\text{ridge}}=\sqrt{\frac{\lambda_{\max}+k}{\lambda_{\min}+k}}
  • \mathbf R: açıklayıcıların korelasyon matrisi.
  • k: korelasyon ölçeğindeki ridge sabiti (Marquardt 1970).
  • Ridge VIF'i, ridge kestiricisinin varyansının (\sigma^2 birimi) köşegenidir; EKK'nın aksine 1'in altına inebilir.
  • \kappa: koşul sayısı (özdeğer oranının karekökü); 30'un üstü ciddi çoklu bağıntı sayılır.

regularized_extras.py:453–478. Metinde VIF(EKK) > 5 olan satırlar "⚠" ile işaretlenir.

52.5.8 CV tahmin performansı

Seçilen α'da ardışık K katla dışarıda bırakılmış tahminler \tilde y_i toplanır (her katta yeniden ölçekleme ve CV eğrisindeki gibi \alpha\,n_{\text{eğitim}}/n cezası, regularized_extras.py:542–583):

\text{MSE}_{\text{CV}}=\frac1n\sum(y_i-\tilde y_i)^2,\quad \text{MAE}_{\text{CV}}=\frac1n\sum\lvert y_i-\tilde y_i\rvert,\quad R^2_{\text{CV}}=\sum_{k=1}^{K}\frac{n_k}{n}\left(1-\frac{\sum_{i\in k}(y_i-\tilde y_i)^2}{\sum_{i\in k}(y_i-\bar y_k)^2}\right)
  • \tilde y_i: i. gözlemin, kendisini içermeyen katta kurulan modelden tahmini.
  • R^2_{\text{CV}} kat R^2'lerinin kat büyüklüğüyle ağırlıklı ortalamasıdır (cv.glmnet cvm mantığı); \bar y_k, k. test katının ortalamasıdır. Bölüm 107'deki "R² (CV)" ile aynı tanımdır. MSE ve MAE'nin kat ortalaması havuzlanmış değere eşittir.

52.5.9 Cezalı lojistik ve Poisson ridge

"Hedef türü" ikili ya da sayım seçildiğinde amaç (regularized_extras.py:654–712):

\min_{\beta_0,\boldsymbol\beta}\ -\ell(\beta_0,\boldsymbol\beta)+\frac{\alpha}{2}\lVert\boldsymbol\beta\rVert^2,\qquad \lambda_{\text{glmnet}}=\frac{\alpha}{n}
  • \ell: Bernoulli (logit bağlantı) ya da Poisson (log bağlantı) log-olabilirliği; standart ölçekte.
  • \alpha/2: buradaki \tfrac12 çarpanı Gauss ridge'inde yoktur; glmnet alpha = 0 amacıyla eşleşmesi içindir. Çıktı bu eşlemeyi "λ = α/n" satırıyla yazar.

Çözüm IRLS ile bulunur: her adımda w_i=\mu_i(1-\mu_i) (Poisson'da \mu_i), çalışma yanıtı z_i=\eta_i+(y_i-\mu_i)/w_i ve

\begin{pmatrix}\beta_0\\ \boldsymbol\beta\end{pmatrix}^{\text{yeni}}=\big(\tilde{\mathbf Z}^{\top}\mathbf W\tilde{\mathbf Z}+\mathbf P\big)^{-1}\tilde{\mathbf Z}^{\top}\mathbf W\mathbf z,\qquad \mathbf P=\operatorname{diag}(0,\alpha,\dots,\alpha)
  • \tilde{\mathbf Z}=[\mathbf 1,\mathbf Z]: sabit sütunlu tasarım.
  • \mathbf P: sabit terimi cezalandırmayan ceza matrisi.
  • Amaç azalmazsa adım yarılanır; durma ölçütü amaçta göreli 10^{-12} ve katsayıda 10^{-9}.

Uyum için R^2 yerine açıklanan sapma D^2=1-D/D_0 verilir (D_0: yalnız sabitli model). Otomatik α'da ızgara ortalama IRLS ağırlığıyla (\bar y(1-\bar y) ya da \bar y) ölçeklenir; CV ölçütü test katındaki ortalama sapmadır ve ikili modelde olasılıklar [10^{-5},1-10^{-5}]'e kırpılır. Burada eğitim katında glmnet λ'sı sabit tutulur: amaçtaki ceza \alpha\,n_{\text{eğitim}}/n olur (regularized_extras.py:790). Seçim ızgaranın alt ucuna düşerse ızgara alt uçtan en çok 4 kez iki onluk uzatılır (regularized_extras.py:755–771). Cezalı GLM'de LOO, GCV, HKB ve L-W tanımlı değildir; otomatik α bu ölçütlerden biriyle istenirse k-kat λ_min kullanılır ve uyarılır.

Kat içi ceza ölçeği

Gauss ve GLM ridge'inde CV eğrisi, otomatik α ve "CV performansı" aynı kuralı kullanır: eğitim katında glmnet λ'sı sabittir, ceza \alpha\,n_{\text{eğitim}}/n'dir (regularized_extras.py:289, 315, 814–833). Böylece seçilen α'daki başarım, CV eğrisinin o α'daki değeriyle aynı ceza ölçeğinde hesaplanır.

52.6 Elle hesap: Tıp verisinde sayısal yürüyüş

Bütün ara değerler dogrulama/ridge/elle_hesap.py ile (MerQur çağrılmadan, yalnız numpy) hesaplanmıştır.

Adım 1 — Standartlaştırma. \bar y=51{,}5275. Örnek açıklayıcı biomarker_p03: \bar x_3=0{,}105310, s_3=0{,}763602 (n'ye bölünen SS). Örneğin 1. hastada x_{1{,}3}=-1{,}262 için z_{1{,}3}=(-1{,}262-0{,}105310)/0{,}763602=-1{,}790605.

Adım 2 — Çapraz çarpım matrisi ve özdeğerler. \mathbf Z^{\top}\mathbf Z=n\mathbf R: köşegen öğeler 200, örneğin (\mathbf Z^{\top}\mathbf Z)_{1{,}2}=200\times0{,}703708=140{,}7415. \mathbf R'nin özdeğerleri 11,0041 (ortak "biyobelirteç düzeyi" bileşeni) ile 0,1443 arasındadır:

d_k^2=n\,\lambda_k(\mathbf R):\quad 2200{,}81;\ 86{,}63;\ 82{,}24;\ \dots;\ 34{,}31;\ 28{,}87,\qquad \kappa=\sqrt{11{,}0041/0{,}1443}=8{,}7317

Bir bileşen toplam varyansın %73'ünü taşır; geri kalan 14 yön ise küçük ve birbirine yakın varyanslıdır.

Adım 3 — α = 1'de çözüm. (\mathbf Z^{\top}\mathbf Z+\mathbf I)\hat{\boldsymbol\beta}=\mathbf Z^{\top}\mathbf y_c çözülür; örneğin (\mathbf Z^{\top}\mathbf y_c)_3=1900{,}6219. Büzülme çarpanları 2200{,}81/2201{,}81=0{,}99955'ten 28{,}87/29{,}87=0{,}96652'ye uzanır:

df(1)=\sum_{k=1}^{15}\frac{d_k^2}{d_k^2+1}=14{,}734977,\qquad \lVert\hat{\boldsymbol\beta}\rVert:\ 4{,}435582\ (\text{EKK})\ \rightarrow\ 4{,}392116
Açıklayıcı EKK \beta Ridge \beta (α = 1) Ridge \beta (α = 76,55, LOO)
p01 1,1589 1,161636 1,039074
p02 −0,1845 −0,165879 0,377403
p03 2,1334 2,112376 1,377534
p05 2,0440 2,016461 1,255287
p07 1,5933 1,576575 1,087017
p09 −0,7862 −0,753273 0,149544
p15 −0,0652 −0,055231 0,343393

α = 1 neredeyse EKK'dır: d^2'lerin en küçüğü bile 28,9 olduğundan ceza görece küçüktür. EKK'da negatif çıkan p02, p09, p15 katsayıları, bu belirteçlerin her biri ilerlemeyle tek başına güçlü pozitif ilişkili olduğu hâlde (r=0{,}71–0{,}74), çoklu bağıntının ürünüdür; LOO'nun seçtiği α'da üçü de pozitife döner.

Adım 4 — Özgün ölçek. B_3=2{,}112376/0{,}763602=2{,}766331. Bütün B_j'ler hesaplandıktan sonra b_0=51{,}5275-\sum_jB_j\bar x_j=50{,}198877.

Adım 5 — Uyum. R^2=0{,}797988 (EKK: 0,797995); \mathrm{df}_H=1+14{,}734977=15{,}734977, R^2_{\text{düz}}=1-(1-0{,}797988)\times199/(200-15{,}734977)=0{,}781833. Ceza eğitim R^2'sini yalnız 7\times10^{-6} düşürmüştür.

Adım 6 — Ridge izi. α büyüdükçe:

α df(\alpha) R^2 \beta_{03} \beta_{09} \beta_{02} \lVert\boldsymbol\beta\rVert
0 (EKK) 15,000 0,797995 2,1334 −0,7862 −0,1845 4,4356
1 14,735 0,797988 2,1124 −0,7533 −0,1659 4,3921
10 12,763 0,797504 1,9471 −0,5134 −0,0272 4,0836
76,55 6,818 0,790635 1,3775 0,1495 0,3774 3,3014
1000 1,440 0,704271 0,6438 0,4713 0,5103 2,1591
100000 0,030 0,033171 0,0186 0,0163 0,0171 0,0674

Çok büyük α'da bütün katsayılar aynı küçük değere yaklaşır: büzülme çarpanı ilk bileşende (bütün belirteçlerin ortak düzeyi) en yavaş düştüğü için çözüm bu yöne, yani eşit ağırlıklara doğru daralır.

Şekil 52.1. Sol: ridge izi (standart katsayılar; mor p03, turuncu p09, nokta çizgi α = 1, kesikli çizgi LOO λ_min). Sağ: LOO CV hatası ± SE; kesikli λ_min, noktalı λ_1SE.

Adım 7 — LOO ile α. Izgara 10^3\times2200{,}81=2200811{,}44'ten 10^{-3}\times28{,}866=0{,}028866'ya 100 değerdir. 200 LOO uydurması (her biri kendi ölçeklemesiyle) sonucunda:

\lambda_{\min}=76{,}5533:\ \text{CV}=31{,}3729\pm3{,}1545;\qquad \lambda_{1\text{SE}}=398{,}5912:\ \text{CV}=33{,}8120\pm3{,}5178

Her LOO katında ceza \alpha\times199/200'dür. \lambda_{1\text{SE}}, CV hatası 31{,}3729+3{,}1545=34{,}5274'ün altında kalan en büyük α'dır. Seçilen modelde df=6{,}8175 (\mathrm{df}_H=7{,}8175), R^2=0{,}790635, R^2_{\text{düz}}=0{,}783208; büzülme çarpanları 0,9664 (ilk bileşen) ile 0,2738 arasındadır. Aynı ızgarada 5 kat CV bir ızgara noktası yukarıda, \lambda_{\min}=91{,}9564'te en küçüğe ulaşır (\lambda_{1\text{SE}}=276{,}2430); 10 kat CV LOO ile aynı noktayı, 76,5533'ü verir.

Adım 8 — HKB, L-W, GCV. EKK'dan \hat\sigma^2=30{,}429457, \lVert\hat{\boldsymbol\beta}_{\text{EKK}}\rVert^2=19{,}674390, \lVert\mathbf Z_c\hat{\boldsymbol\beta}_{\text{EKK}}\rVert^2=22118{,}1482:

\alpha_{\text{HKB}}=\frac{13\times30{,}429457}{19{,}674390}=20{,}1065,\qquad \alpha_{\text{LW}}=\frac{13\times30{,}429457\times200}{22118{,}1482}=3{,}5770

GCV ızgarada 76,5533'te en küçüktür (\text{GCV}=0{,}155495); burada LOO ile aynı ızgara noktasına düşer.

Adım 9 — VIF. EKK VIF'leri 3,060 (p12) ile 4,243 (p11) arasındadır; p03 için 4,007468. α = 1'de k=1/200=0{,}005 ve ridge VIF'i 3,830770, \kappa_{\text{ridge}}=8{,}5863. α = 50'de k=0{,}25: bütün ridge VIF'leri 0,899–0,928 arasına iner (p03 0,920927) ve \kappa_{\text{ridge}}=\sqrt{11{,}2541/0{,}3943}=5{,}3423.

Adım 10 — CV performansı. α = 1, ardışık 5 kat (her biri 40 hasta): \text{MSE}_{\text{CV}}=33{,}7119, RMSE 5,8062, MAE 4,6546, R^2_{\text{CV}}=0{,}755088 (beş kat R^2'sinin ortalaması). α = 50'de RMSE 5,6069 ve R^2_{\text{CV}}=0{,}771403: eğitim R^2'si 0,797988'den 0,793264'e düşerken dışarıda bırakılmış R^2 0,755'ten 0,771'e çıkar. Ridge'in kazancı tam olarak budur.

Adım 11 — Cezalı lojistik ridge. ilerleme_yuksek hedefinde α = 1 (\lambda_{\text{glmnet}}=0{,}005): Newton yinelemesi 8 adımda yakınsar; D=111{,}3256, D_0=277{,}2589, D^2=0{,}598478; p03 için \beta=0{,}883874. Otomatik α (5 kat λ_min, sapma ölçütü): ızgara \bar y(1-\bar y)=0{,}25 ağırlığıyla 550202{,}86'dan 0{,}0072164'e uzanır; \lambda_{\min}=15{,}9326, \lambda_{1\text{SE}}=82{,}9563 ve seçilen modelde D^2=0{,}554289. α = 1'de CV performansı (katta ceza \alpha\times160/200): ortalama sapma 0,769121, sınıflama hatası 0,155.

52.6.1 Doğrulama: MerQur, Python ve R

MerQur değerleri execute() sonucunun coefficients tablosundan ve extras sözlüğünden alınmıştır; R^2 ve düzeltilmiş R^2'deki 6 ondalık yuvarlaması (regression.py:1652–1653) doğrulamada bellekte devre dışı bırakılmıştır. R: 4.5.3; MASS::lm.ridge (katsayılar, kHKB, kLW, GCV), LOO ve k-kat eğrileri ile CV performansı cv.glmnet tanımıyla R'de elle (her eğitim katında 1/n-SS ile yeniden ölçekleme, ceza \alpha\,n_{\text{eğitim}}/n; R^2_{\text{CV}} kat ortalaması), VIF matris cebiriyle, cezalı lojistik ridge glmnet(family = "binomial", alpha = 0, lambda = α/n, thresh = 1e-14) ve cv.glmnet(foldid = ardışık, lambda = ızgara/n) ile.

Büyüklük MerQur Python (bağımsız) R 4.5.3 En büyük fark Durum
α = 1: standart katsayılar β (15 + sabit) 2,112376 2,112376 2,112376 9,3e−15 ✓
α = 1: özgün ölçek katsayıları B (15 + sabit) 2,766331 2,766331 2,766331 3,6e−14 ✓
α = 1: sabit terim b₀ (özgün ölçek) 50,198877 50,198877 50,198877 3,6e−14 ✓
α = 1: R² 0,797988 0,797988 0,797988 3,3e−16 ✓
α = 1: düzeltilmiş R² 0,781833 0,781833 0,781833 2,2e−16 ✓
α = 1: etkili sd df(α) 14,734977 14,734977 14,734977 3,0e−14 ✓
α = 50: B (15 + sabit) 1,998326 1,998326 1,998326 2,1e−14 ✓
α = 50: R² 0,793264 0,793264 0,793264 4,4e−16 ✓
Ridge izi ızgarası: üst uç 2200811,441295 2200811,441295 2200811,441295 4,7e−10 ✓
Ridge izi ızgarası: alt uç 0,028866 0,028866 0,028866 1,4e−17 ✓
LOO: λ_min 76,553309 76,553309 76,553309 2,8e−14 ✓
LOO: λ_1SE 398,591208 398,591208 398,591208 2,3e−13 ✓
LOO: CV MSE (λ_min) 31,372939 31,372939 31,372939 2,1e−14 ✓
LOO: SE (λ_min) 3,154547 3,154547 3,154547 8,9e−16 ✓
Otomatik α (LOO): seçilen α 76,553309 76,553309 76,553309 2,8e−14 ✓
Otomatik α (LOO): B (15 + sabit) 1,803995 1,803995 1,803995 1,4e−14 ✓
5 kat: λ_min 91,956443 91,956443 91,956443 2,8e−14 ✓
5 kat: λ_1SE 276,243029 276,243029 276,243029 3,4e−13 ✓
5 kat λ_1SE modeli: B (15 + sabit) 1,271112 1,271112 1,271112 7,1e−15 ✓
10 kat: λ_min 76,553309 76,553309 76,553309 2,8e−14 ✓
HKB 20,106491 20,106491 20,106491 4,3e−14 ✓
L-W 3,576999 3,576999 3,576999 5,8e−15 ✓
GCV en küçüğü: λ 76,553309 76,553309 76,553309 2,8e−14 ✓
GCV en küçük değeri 0,155495 0,155495 0,155495 3,6e−16 ✓
Otomatik α (HKB): B (15 + sabit) 2,361051 2,361051 2,361051 3,6e−14 ✓
Otomatik α (L-W): B (15 + sabit) 2,698709 2,698709 2,698709 4,3e−14 ✓
VIF (OLS), 15 değişken 4,007468 4,007468 4,007468 9,8e−15 ✓
VIF (ridge, α = 1) 3,830770 3,830770 3,830770 1,6e−14 ✓
VIF (ridge, α = 50) 0,920927 0,920927 0,920927 1,7e−15 ✓
Koşul sayısı κ 8,731736 8,731736 8,731736 3,6e−15 ✓
Koşul sayısı κ (ridge, α = 50) 5,342267 5,342267 5,342267 7,1e−15 ✓
CV performansı α = 1: MSE 33,711947 33,711947 33,711947 0,0e+00 ✓
CV performansı α = 1: MAE 4,654618 4,654618 4,654618 8,0e−15 ✓
CV performansı α = 1: R²_CV 0,755088 0,755088 0,755088 1,1e−16 ✓
CV performansı α = 50: RMSE 5,606920 5,606920 5,606920 8,9e−16 ✓
Lojistik ridge α = 1: β (15 + sabit) 0,883874 0,883874 0,883873 2,0e−07 ✓
Lojistik ridge α = 1: B (15 + sabit) 1,157505 1,157505 1,157505 2,9e−07 ✓
Lojistik ridge α = 1: sapma 111,325645 111,325645 111,325645 1,9e−07 ✓
Lojistik ridge α = 1: D² 0,598478 0,598478 0,598478 6,9e−10 ✓
Lojistik ridge CV: λ_min (α birimi) 15,932568 15,932568 15,932568 4,3e−14 ✓
Lojistik ridge CV: λ_1SE (α birimi) 82,956330 82,956330 82,956330 1,4e−14 ✓
Lojistik ridge CV performansı: ortalama sapma 0,769121 0,769121 0,769121 9,8e−10 ✓
Lojistik ridge CV performansı: sınıflama hatası 0,155000 0,155000 0,155000 0,0e+00 ✓

Bütün Gauss satırları göreli olarak 10^{-13} düzeyinde eşleşir. Cezalı lojistik ridge'de R ile fark 3\times10^{-7}'ye çıkar: glmnet'in durma ölçütü sapmanın göreli değişimine dayanır ve katsayıyı yaklaşık 7 basamakta bırakır; MerQur ile bağımsız Newton çözümü arasındaki fark 10^{-10}'un altındadır. λ_min ve λ_1SE üç kaynakta aynı ızgara noktasıdır.

52.7 Çıktıyı okuma

Sonuç metni (α = 1, dört ek çıktı açık; kısaltılmış):

MODEL: Ridge Regresyon (α=1)
──────────────────────────────────────────────────
n = 200  |  Hedef: progression
R² = 0.797988  Düzeltilmiş R² = 0.781833
Düzeltilmiş R² etkin serbestlik derecesiyle: df = tr(H_λ) = 15.73 (sabit dahil; Düz.R² = 1 − (1 − R²)(n − 1)/(n − df)).

── RIDGE İZİ VE CV EĞRİSİ ──
    CV türü: birini dışarıda bırak (LOO, kesin)
    λ_min = 76.553  (CV MSE = 31.373 ± 3.155)
    λ_1SE = 398.59  (CV MSE = 33.812 ± 3.518)
    İz ızgarası: α ∈ [0.0288657, 2.20081e+06]; etkili sd aralığı 0.001 – 14.992
    Etkili serbestlik derecesi df(α) = 14.735

── α SEÇİM ÖLÇÜTLERİ ──
    HKB = 20.106   L-W = 3.577   GCV en küçüğü (ızgara) = 76.553

── ÇOKLU DOĞRUSALLIK (VIF / KOŞUL SAYISI) ──
    Koşul sayısı κ = 8.732 (ridge sonrası 8.586; korelasyon ölçeğinde k = 0.005)
    biomarker_p01             VIF(OLS) = 3.671   VIF(ridge) = 3.513
    ...
── ÇAPRAZ DOĞRULAMA TAHMİN PERFORMANSI ──
    5-katlı CV (seçilen α): MSE = 33.712, RMSE = 5.8062, MAE = 4.6546, R²_CV = 0.7551
    Etkili serbestlik derecesi df(α) = 14.735

Otomatik α (LOO) açıldığında başlık MODEL: Ridge Regresyon (α=76.5533) olur, R^2 satırı R² = 0.790635 Düzeltilmiş R² = 0.783208 yazar ve uyarılar bölümünde ⚠ Çapraz-doğrulama ile seçilen α = 76.5533 (200-katlı CV). görünür (LOO, n katlı CV olarak adlandırılır).

Tablo sekmesi: Değişken · Katsayı (ham) · Katsayı (std.) · Sıfırlandı. Ridge'de "Sıfırlandı" sütunu her satırda "—"dir. Sayılar 6 anlamlı basamakla yazılır.

Öğe Nasıl yorumlanır
Başlıktaki α Modelin gerçekten kurulduğu ceza. Otomatik α açıksa elle girilen değerden farklıdır.
R^2 Eğitim verisindeki açıklanan varyans; α arttıkça her zaman düşer. Genelleme için "CV performansı"ndaki R^2_{\text{CV}}'ye bakın.
Düzeltilmiş R^2 Etkin serbestlik derecesiyle (\mathrm{df}_H=\operatorname{tr}(\mathbf H), sabit dahil; değer altındaki satırda). Eğitim verisine dayanır.
Katsayı (std.) 1 SS'lik artışın etkisi; açıklayıcılar arasında karşılaştırılabilir. Ceza nedeniyle yanlıdır.
Katsayı (ham) Özgün birimde etki; tahmin denklemi için.
λ_min / λ_1SE CV hatasının en küçüğü / bir SE kuralı; λ_1SE daha çok büzülmüş, daha sade bir model verir.
HKB, L-W, GCV Klasik ölçütlerin önerdiği α; model bunlarla kurulmaz, yalnız bilgi verir.
VIF(ridge) α'nın varyans şişmesini ne kadar giderdiği; 1'e yakın ya da altı çoklu bağıntının etkisinin kalktığını gösterir.
R^2_{\text{CV}} Yeni hastalarda beklenen açıklama oranı; eğitim R^2'sinden küçüktür.
"Sıfırlandı" Ridge'de anlamı yoktur; Lasso ile ortak tablodan gelir.

Uyarı iletileri: "Çapraz-doğrulama ile seçilen α …" otomatik α'da her zaman; "… ızgaranın alt/üst ucunda" seçim uçtaysa (regularized_extras.py:162–171); "… özellik modelden çıkarıldı" sabit sütunda; "Olay kategorisi: 1 (referans: 0)" ikili hedefte.

APA biçiminde rapor cümlesi (Türkçe ondalıkla):

Hastalık ilerleme puanı 15 biyobelirteçten (r=0{,}63–0{,}78) ridge regresyonla modellendi (n = 200). Açıklayıcılar 1/n-standart sapmayla standartlaştırıldı ve ceza katsayısı birini-dışarıda-bırak çapraz doğrulamayla seçildi (\alpha = 76{,}55; etkili serbestlik derecesi 6,82). Model eğitim verisinde varyansın %79,1'ini açıkladı (R^2 = 0{,}791); α = 1'deki modelde beş katlı çapraz doğrulama R^2'si 0,755'ten α = 50'de 0,771'e yükseldi. En büyük standart katsayılar p03 (\beta = 1{,}38), p05 (\beta = 1{,}26) ve p07 (\beta = 1{,}09) için elde edildi; çoklu doğrusal bağıntı nedeniyle EKK'da negatif çıkan p02, p09 ve p15 katsayıları ridge çözümünde pozitifti.

52.8 Uzman soruları

S1. α hangi birimde? R'deki glmnet ile aynı mı?

Hayır. MerQur scikit-learn Ridge amacını kullanır: \text{RSS}+\alpha\lVert\boldsymbol\beta\rVert^2, 1/n-SS ile standart açıklayıcılarda. Bu, MASS::lm.ridge(lambda = α) ile birebir aynıdır (doğrulamada 10^{-14}). glmnet alpha = 0 ise \frac{1}{2n}\text{RSS}+\frac{\lambda}{2}\lVert\boldsymbol\beta\rVert^2'yi en küçükler ve Gauss ailesinde y'yi de içeride ölçekler; eşdeğerlik \lambda=\alpha/n ve y'nin 1/n-SS'si 1 iken kurulur. Korelasyon ölçeğindeki k ise \alpha/n'dir. Raporda α'nın hangi tanımla verildiği yazılmalıdır.

S2. LOO neden kapalı form "hat matrisi" kısayoluyla hesaplanmıyor?

Kısayol e_{(-i)}=e_i/(1-h_{ii}) standartlaştırmanın tam veriden yapıldığını varsayar. MerQur, glmnet ve ESL 7.10.2'deki ilke gereği (ön işleme de doğrulama içinde yapılmalı) her n-1'lik kümede ortalamayı ve SS'yi yeniden hesaplar. Bu kesin LOO'dur. Fark küçüktür ama sıfır değildir; n>3000'de MerQur hız için kısayola geçer ve bunu uyarıyla bildirir.

S3. CV hatası düz bir vadideyse λ_min neden en büyük α'yı seçiyor?

_curve_table eşitlikte en büyük λ'yı alır (glmnet getOptcv kuralı): aynı hatayı veren modeller arasında daha çok büzülmüş, dolayısıyla daha kararlı olanı tercih edilir. λ_1SE bu ilkeyi bir adım öteye taşır: en küçük hatanın bir SE'si içindeki en büyük α. Bu veride LOO'da λ_1SE = 398,6, df = 2,58'e karşılık gelir; CV hatası yalnız 2,4 birim (%8) artar.

S4. HKB ve L-W neden CV'den bu kadar farklı?

Üç ölçüt farklı soruları yanıtlar. HKB (20,1) ve L-W (3,6) EKK \hat\sigma^2 ve EKK katsayı büyüklüğünden kapalı formla türetilir ve ortalama karesel kestirim hatasını (katsayıların MSE'si) hedefler; CV ise tahmin hatasını en küçükler. Bu veride biyobelirteçlerin ortak bileşeni çok güçlü olduğundan tahmin için güçlü büzülme (α ≈ 77) karlıdır. HKB ve L-W yalnız Gauss modelde tanımlıdır.

S5. Ridge VIF'inin 1'in altına inmesi hata mı?

Değil. EKK'da \text{VIF}_j\ge1'dir çünkü [\mathbf R^{-1}]_{jj}\ge1. Ridge VIF'i (\mathbf R+k\mathbf I)^{-1}\mathbf R(\mathbf R+k\mathbf I)^{-1}'in köşegenidir; büzülme varyansı bağımsız açıklayıcılı EKK'nın da altına indirir. Marquardt (1970) VIF'leri 1–10 aralığına çeken k'yı önerir. Bu veride α = 50 (k=0{,}25) bütün VIF'leri 0,90–0,93'e indirir.

S6. Katsayılar için neden SH ve p değeri yok?

Ridge kestiricisinin varyansı \sigma^2(\mathbf Z^{\top}\mathbf Z+\alpha\mathbf I)^{-1}\mathbf Z^{\top}\mathbf Z(\mathbf Z^{\top}\mathbf Z+\alpha\mathbf I)^{-1} ile yazılabilir, ama kestirici yanlıdır ve yanlılık bilinmeyen \boldsymbol\beta'ya bağlıdır; bu varyansla kurulan Wald GA'sı doğru kapsama vermez. Üstelik α veriden seçildiğinde seçim belirsizliği de eklenir. MerQur bu yüzden yalnız nokta kestirimi verir; çıkarım isteniyorsa EKK (çoklu bağıntı ılımlıysa) ya da bootstrap kullanılmalıdır.

S7. Sabit hedef ya da tek açıklayıcı verilirse ne olur?

Hedef sabitse \text{TSS}=0 olur ve R^2 tanımsızdır; MerQur R^2=0 yazmak yerine açık bir hata iletisi verir. Tek açıklayıcıda ridge geçerlidir; df(\alpha)=d^2/(d^2+\alpha) tek terimdir ve ridge yalnız EKK eğimini n/(n+\alpha) katına küçültür. Sabit açıklayıcı modelden çıkarılır ve uyarılır. En az p+2 gözlem gerekir.

S8. Lojistik ridge'de α'nın anlamı Gauss'takiyle aynı mı?

Hayır. Cezalı GLM'de amaç -\ell+\frac{\alpha}{2}\lVert\boldsymbol\beta\rVert^2'dir; Gauss'ta \frac12 yoktur ve kayıp kareler toplamıdır. Bu nedenle iki ailede aynı sayısal α farklı büzülme demektir. Ayrıca CV eğrisi glmnet gibi kat içinde \alpha\,n_{\text{eğitim}}/n kullanır; Gauss ridge'inde de aynı kural geçerlidir. glmnet'le karşılaştırmada \lambda=\alpha/n eşlemesi doğrudur (doğrulamada 3\times10^{-7}).

S9. Kategorik açıklayıcıların kuklaları da standartlaştırılıyor mu?

Evet. Kuklalar sayısal sütun gibi 1/n-SS'leriyle bölünür ve cezalandırılır; glmnet'in varsayılanıyla aynıdır. Sonuç, referans düzeyin seçimine ve düzey sıklığına bağlıdır: seyrek düzeyin kuklası küçük SS'li olduğundan ham ölçekte daha az büzülür. Bunu istemeyen kullanıcı için grup cezası (group lasso) MerQur'da yoktur.

52.9 Sık hatalar ve tuzaklar

  • Eğitim R^2'siyle α seçmek. R^2 α = 0'da en büyüktür; ceza her zaman eğitim uyumunu bozar. α ancak dışarıda bırakılmış hata ile seçilir.
  • Varsayılan α = 1'i "önerilen" sanmak. α'nın birimi veriye bağlıdır; bu veride α = 1 neredeyse EKK'dır (df = 14,7). Otomatik α açılmalı ya da ridge izi incelenmelidir.
  • Standart katsayıyı ham etki gibi okumak. "Katsayı (std.)" 1 SS'lik artışın etkisidir; klinik birimle yorum için "Katsayı (ham)" kullanılmalıdır.
  • Ridge'den değişken seçimi beklemek. Hiçbir katsayı sıfırlanmaz; küçük katsayılı belirteç "önemsiz" ilan edilemez.
  • İşaret değişimlerini yorumlamamak. Bu veride p09 EKK'da −0,79, ridge'de +0,15'tir. İlişkili açıklayıcılarda tek bir katsayının işareti kararsızdır; yorum ortak bileşen üzerinden yapılmalıdır.
  • Aynı α'yı iki menüde aynı sanmak. Ridge Regresyon menüsü ve Düzenlileştirilmiş Regresyon "Ridge (L2)" yöntemi aynı birimi kullanır; ama orada ElasticNet + L1 oranı 0 seçmek glmnet birimine geçer (α = 1 orada α = n demektir).
  • Satır sırasına bağlı kat. k-kat CV katları karıştırılmamış ardışık bloklardır; veri tarih ya da merkez sırasına göre diziliyse CV iyimser ya da kötümser olabilir. Bu panelde karıştırma seçeneği yoktur (Bölüm 107'de vardır).
  • LOO uyarısındaki "200-katlı" ifadesi. LOO, n katlı CV'dir; ayrı bir CV ayarı yapılmamıştır.

52.10 Kaynaklar

  • Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1), 1–22. https://doi.org/10.18637/jss.v033.i01
  • Golub, G. H., Heath, M., & Wahba, G. (1979). Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics, 21(2), 215–223. https://doi.org/10.1080/00401706.1979.10489751
  • Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2. baskı). Springer. https://doi.org/10.1007/978-0-387-84858-7
  • Hoerl, A. E., & Kennard, R. W. (1970a). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67. https://doi.org/10.1080/00401706.1970.10488634
  • Hoerl, A. E., & Kennard, R. W. (1970b). Ridge regression: Applications to nonorthogonal problems. Technometrics, 12(1), 69–82. https://doi.org/10.1080/00401706.1970.10488635
  • Hoerl, A. E., Kennard, R. W., & Baldwin, K. F. (1975). Ridge regression: Some simulations. Communications in Statistics, 4(2), 105–123. https://doi.org/10.1080/03610927508827232
  • Lawless, J. F., & Wang, P. (1976). A simulation study of ridge and other regression estimators. Communications in Statistics – Theory and Methods, 5(4), 307–323. https://doi.org/10.1080/03610927608827353
  • le Cessie, S., & van Houwelingen, J. C. (1992). Ridge estimators in logistic regression. Applied Statistics, 41(1), 191–201. https://doi.org/10.2307/2347628
  • Marquardt, D. W. (1970). Generalized inverses, ridge regression, biased linear estimation, and nonlinear estimation. Technometrics, 12(3), 591–612. https://doi.org/10.1080/00401706.1970.10488699
  • Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4. baskı). Springer. https://doi.org/10.1007/978-0-387-21706-2