161. Grup lasso ve gruplu cezalar
Şablon kimliği: grup_lasso · Kategori: çok değişkenli · Dil: R · Dosya: pro/sablonlar/cok_degiskenli/grup_lasso.R (satır 1–272; üstbilgi 1–131) · Örnek veri: _ornek/birthwt_grp.csv · Paketler: grpreg 3.6.0 (R 4.5.3)
161.1 Ne işe yarar
Şablon, yordayıcıları önceden tanımlı gruplar hâlinde birlikte seçen ya da dışarıda bırakan cezalı bir regresyondur. Bir kategorik değişkenin kukla sütunları, bir sürekli değişkenin polinom ya da spline tabanı, bir genin birden çok ölçümü doğal bir grup oluşturur: grup lasso, grubun tamamını modele alır ya da tamamen dışarıda bırakır; tek tek kuklaları seçmez. Cevapladığı sorular: hangi gruplar yanıtla ilişkilidir ve katsayılar nedir? Ceza katsayısı \lambda nasıl seçilir?
Beş ceza vardır: grup lasso (grLasso), grup MCP (grMCP), grup SCAD (grSCAD), grup üstel lasso (gel) ve bileşik MCP (cMCP); son ikisi grup içinde de seçim yapar (iki düzeyli seçim). Aileler: Gauss (sürekli yanıt), ikili (lojistik) ve Poisson. \lambda, k katlı çapraz doğrulamayla (en küçük hata ya da 1-standart hata kuralı) ya da kullanıcının verdiği değerle seçilir.
Ne zaman kullanılır?
- Yordayıcılar doğal gruplar oluşturuyorsa (kukla kümeleri, aynı değişkenin dönüşümleri) ve grupların bütünüyle seçilmesi isteniyorsa.
- Yordayıcı sayısı gözlem sayısına yakın ya da büyükse ve seyrek bir model aranıyorsa.
- Yanlılığı (büzülmeyi) grup düzeyinde azaltmak için MCP ve SCAD gibi içbükey cezalar isteniyorsa.
Ne zaman kullanılmaz?
- Gruplar yoksa, yani her yordayıcı tek başına seçilecekse: bu şablonda her sütunu kendi grubu yapmak mümkündür (tek elemanlı grup), ama genel lasso ve elastik ağ için temel programdaki cezalı regresyon uygundur.
- Çıkarım (güven aralığı, p değeri) isteniyorsa: cezalı kestirimler yanlıdır ve şablon standart hata ya da p vermez; seçim sonrası çıkarım için
secim_sonrasi_cikarimşablonu (Bölüm 164). - Yanıt sağkalım zamanı, sıralı ya da çok sınıflıysa: bu şablonun aileleri Gauss, ikili ve Poisson'dır.
- Yordayıcılarda eksik değer varsa ve satırların atılması istenmiyorsa: şablon eksik satırları atar ve sayısını yazar (161.8).
Temel programla ilişki. Temel programdaki cezalı regresyon (lasso, ridge, elastik ağ) her sütunu ayrı seçer ve grup yapısını bilmez; tek elemanlı gruplarla bu şablon lasso'ya indirgenir. MCP ve SCAD, temel programda yoktur.
161.2 Şablonun girdileri
Form, üstbilgideki 16 [[param]] bloğundan kurulur (grup_lasso.R:10–130). Türlerin ve ortak denetimin anlamı Bölüm 1.2'de anlatılmıştır.
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Yanıt · y |
sayısal sütun · Değişkenler | yok | sayısal sütun | y; mq_sayisal ile okunur (10–14, 144). |
Yordayıcılar · x |
sütunlar (en az 2) · Değişkenler | yok | herhangi sütunlar | Tasarım matrisinin sütunları (15–20, 136). |
Gruplar · gruplar |
metin · Değişkenler | boş | 'a b | c | d e' |
Boşsa otomatik gruplar; doluysa verilen gruplar (21–26, 150–185). |
Aile · aile |
seçim · Model | gaussian | gaussian, binomial, poisson |
Kayıp işlevi (27–33, 146–147, 220). |
Ceza · ceza |
seçim · Model | grLasso | grLasso, grMCP, grSCAD, gel, cMCP |
Ceza türü (34–40, 220). |
\lambda seçimi · lambda_secim |
seçim · Model | cv | cv, cv1se, sabit |
\lambda'nın nasıl seçileceği (41–47, 228–253). |
\lambda · lambda |
ondalık · Model | 0,05 | 0–1000 | Yalnız sabit seçiminde (48–55, 240). |
Kat sayısı · katlar |
tamsayı · Seçenekler | 10 | 3–50 | Çapraz doğrulama kat sayısı (56–63, 229–230). |
MCP/SCAD \gamma · gama |
ondalık · Model | 0 | 0–100 | 0: MCP için 3, SCAD için 4 (64–72, 217–222). |
\tau · tau |
ondalık · Gelişmiş | 0,3333 | 0,01–1 | Yalnız gel ve cMCP (73–81, 220). |
Karışım \alpha · alfa |
ondalık · Model | 1 | 0,01–1 | \alpha<1 iken (1−\alpha)·\lambda ağırlıklı ridge terimi eklenir; paket sonucu yol bağımlı olduğundan çıktıya uyarı yazılır (82–90, 220, 227). |
Elastik ağ: kesin çözüm · alfa_kesin |
onay · Model | kapalı | açık/kapalı | Yalnız \alpha<1, Gauss ve grup lasso: seçilen \lambda'daki katsayılar kesin çözülür (91–97, 193–195, 250–253). |
\lambda yolu nokta sayısı · nlambda |
tamsayı · Gelişmiş | 100 | 10–1000 | Yolun uzunluğu (98–105, 223). |
En küçük \lambda / en büyük \lambda · lambda_min |
ondalık · Gelişmiş | 0 | 0–0,5 | 0: n>p ise 0,0001, değilse 0,05 (106–114, 224). |
Tolerans · tolerans |
ondalık · Gelişmiş | 10^{-10} | 10^{-14}–0,01 | Yakınsama eşiği (115–122, 221). |
En çok yineleme · en_cok_yineleme |
tamsayı · Gelişmiş | 10^6 | 100–10^8 | Bütün yol için yineleme üst sınırı (123–130, 221). |
Şablonun kendi denetimleri.
| Koşul | İleti (özet) | Satır |
|---|---|---|
| Veri açık değil | "Önce Veri sekmesinde bir veri açın." | 135 |
| Yanıttan farklı 2'den az yordayıcı | "Yanıttan farklı en az iki yordayıcı seçin." | 137 |
| 10'dan az tam gözlem | "En az 10 tam gözlem gerekli." | 143 |
| Yanıt sabit | "Yanıt sabit." | 145 |
| İkili ailede yanıt 0/1 değil | "İkili aile için yanıt 0/1 olmalı." | 146 |
| Poisson'da negatif ya da tamsayı olmayan yanıt | "Poisson ailesi için yanıt negatif olmayan tamsayı olmalı." | 147 |
| Bir sütun birden çok grupta | "Bir sütun birden çok grupta yer alıyor." | 155 |
| Gruptaki sütun yordayıcılar arasında yok | "Gruplardaki şu sütunlar yordayıcılar arasında yok: …" | 157 |
| Grup tanımı varken sayısal olmayan sütun | "Grup tanımı verildiğinde yordayıcılar sayısal olmalı ('…' değil); …" | 162 |
| Kullanılabilir yordayıcı kalmadı | "Kullanılabilir yordayıcı kalmadı." | 183 |
| Sabit sütun | "Sabit sütun(lar): …; yordayıcılardan çıkarın." | 187 |
| 2'den az grup | "En az iki grup gerekli." | 188 |
| Kesin çözüm seçili, \alpha<1 ve aile/ceza Gauss/grup lasso değil | "'Elastik ağ: kesin çözüm' yalnız Gauss ailesi ve grup lasso cezasıyla çalışır." | 194–195 |
MCP için \gamma\le1 (gama > 0) |
"MCP için γ 1'den büyük olmalı." | 218 |
| SCAD için \gamma\le2 | "SCAD için γ 2'den büyük olmalı." | 219 |
| Çapraz doğrulamada n<2\times kat | "Çapraz doğrulama için gözlem sayısı kat sayısının en az iki katı olmalı." | 229 |
| grpreg hata verirse | "Grup lasso kestirilemedi: …" | 191 |
Paket uyarıları (ör. "yakınsamadı") durdurmaz; toplanır ve çıktının sonunda "Uyarılar:" metni olarak yazılır (190–192, 265).
Örnek ayar (ornek_param, satır 9): y = bwt, 16 yordayıcı, gruplar = "age1 age2 age3 | lwt1 lwt2 lwt3 | white black | smoke | ptl1 ptl2m | ht | ui | ftv1 ftv2 ftv3m", aile = gaussian, ceza = grLasso, lambda_secim = cv, lambda = 0,05 (yalnız sabit için), katlar = 10.
Tohum. Çapraz doğrulamanın kat ataması rastgeledir ve kod panelindeki Tohum alanındaki tohumla (Bölüm 1.3) set.seed çağrısından hemen sonra üretilir. Aynı tohumla sonuç yinelenir; tohum değişince kat ataması, dolayısıyla seçilen \lambda değişebilir. Örnek veride tohum 2026 ile \lambda_{\min}=0{,}0183825 ve \lambda_{1\mathrm{SH}}=0{,}0561376; tohum 7 ile \lambda_{\min} aynı kalır ama \lambda_{1\mathrm{SH}}=0{,}0676180 olur. sabit \lambda seçiminde rastgelelik yoktur.
161.3 Örnek veri
birthwt_grp.csv, R'nin MASS paketindeki Hosmer ve Lemeshow (1989) doğum ağırlığı verisinin (Venables ve Ripley, 2002) grpreg paketinin Birthwt örneğindeki grup yapısına göre hazırlanmış biçimidir (Breheny ve Huang, 2015). n=189 yenidoğan, eksik hücre yok.
| Değişken | Rol | Tür (veri sekmesinin algıladığı) | Özet |
|---|---|---|---|
bwt |
yanıt | sayısal | doğum ağırlığı (kg); ortalama 2,9446, sd 0,7292 |
low |
ikili yanıt (ikili aile örneği) | ikili | 2,5 kg altı doğum; oran 0,312 |
age1–age3 |
grup 1 | sayısal | anne yaşının 3 dereceli ortogonal polinom tabanı |
lwt1–lwt3 |
grup 2 | sayısal | annenin son adet ağırlığının 3 dereceli ortogonal polinom tabanı |
white, black |
grup 3 | ikili | ırk kuklaları (diğer: başvuru) |
smoke |
grup 4 | ikili | gebelikte sigara |
ptl1, ptl2m |
grup 5 | ikili | önceki erken doğum sayısı (1; 2 ve üstü) |
ht |
grup 6 | ikili | hipertansiyon öyküsü |
ui |
grup 7 | ikili | uterus irritabilitesi |
ftv1, ftv2, ftv3m |
grup 8 | ikili | ilk trimester doktor ziyareti (1, 2, 3 ve üstü) |
Bütün yordayıcılar veri dosyasında sayısal (0/1 ya da polinom değerleri) saklıdır; kukla sütunlar veri sekmesinde "ikili" sayılır ve R'ye sayı olarak gider, yani gruplar metni verildiğinde "sayısal olmalı" denetimi sorun çıkarmaz (162). Gruplar yazıldığı sırayla G_1,\dots,G_8 adını alır (160–166).
Bölümde kullanılan çalıştırmalar (tohum 2026): (1) örnek ayar; (2) sabit \lambda=0{,}05; (3) aynısı grMCP; (4) grSCAD; (5) \alpha=0{,}5; (6) gel; (7) cMCP; (8) cv1se; (9) ikili aile, y = low, \lambda=0{,}02; (10) Poisson, yanıt \lfloor3\,bwt\rceil, \lambda=0{,}01; (11) otomatik gruplar: ham birthwt.csv (race ve ftv metin), y = low, ikili aile, \lambda=0{,}03; (12) örnek ayar, tohum 7; (13) \lambda=500 ve \lambda=0; (14) hatalı grup tanımları.
161.4 Yöntem: formüller ve hesap adımları
Hesap şu sırayladır: eksik satırlar atılır; grup tanımından tasarım matrisi kurulur; grpreg her grubu ortalamasından arındırıp dikleştirir; \lambda yolu en büyük \lambda'dan başlayarak blok koordinat inişiyle çözülür; \lambda çapraz doğrulama ya da kullanıcı değeriyle seçilir; katsayılar özgün ölçeğe döndürülür; tablolar ve katsayı izleri üretilir.
161.4.1 Amaç işlevi
g=1,\dots,G grup, K_g grubun sütun sayısı, X_g grubun sütunları ve m_g=\sqrt{K_g} olsun.
Bu ifadede \tilde\beta_g grubun dikleştirilmiş katsayı vektörü (161.4.2), P(\cdot;\lambda m_g) ceza işlevi, \alpha\in(0{,}1] karışım katsayısıdır (\alpha=1 ridge terimini kaldırır; \alpha<1 için bu yazım şablon üstbilgisinin tanımıdır ve bağımsız doğrulanmamıştır, 161.6.1). İkili ve Poisson ailelerinde birinci terim -\frac1n\ln L'dir. \beta_0 kesişimdir, cezalanmaz.
\sqrt{K_g} çarpanı
Büyük gruplar \lVert\beta_g\rVert'ye daha çok katkı verir. m_g=\sqrt{K_g} ile ceza, grubun boyuna göre ölçeklenir ve küçük ve büyük gruplar seçim için adil yarışır (Yuan ve Lin, 2006). Şablon bunu paketin varsayılanında bırakır; kullanıcı çarpan veremez.
Cezalar. t=\lVert\tilde\beta_g\rVert ve \ell=\lambda m_g için
Bu ifadede \gamma MCP ve SCAD'in içbükeyliğini belirler (MCP için \gamma>1, SCAD için \gamma>2; varsayılan 3 ve 4). t büyükken MCP ve SCAD'in türevi sıfırdır: büyük gruplar büzülmez, grup lasso'daki yanlılık ortadan kalkar.
gel ve cMCP dış ve iç cezanın birleşimidir: iç ceza gruptaki tek tek katsayılara, dış ceza grubun toplam büyüklüğüne uygulanır; bu nedenle grup içinde de sıfır katsayılar çıkar (iki düzeyli seçim; Breheny ve Huang, 2009; Breheny, 2015). Bu iki cezanın formülleri bu bölümde yazılmamıştır ve bağımsız doğrulanmamıştır; \tau (\texttt{gel} ve \texttt{cMCP}) iç ve dış seçim arasındaki dengeyi belirler.
161.4.2 Standartlaştırma ve dikleştirme
X_g'nin sütun ortalamaları çıkarılmış hâli X_g^{c}=USV' tekil değer ayrışımıyla yazılır (paketin orthogonalize işlevi; d_j>10^{-10} olan tekil değerler alınır):
Bu ifadede T_g grup içi dikleştirme matrisi, \tilde X_g dikleştirilmiş sütunlar, d_j X_g^c'nin tekil değerleridir. Dikleştirme, cezayı grubun sütunlarının kapsadığı uzaya bağlar: sütunları çoğaltıp döndüren ya da başka bir başvuru düzeyi seçen her yeniden kodlama aynı grup lasso çözümünü verir. İçbükey cezalarda da aynıdır, çünkü ceza yalnız \lVert\tilde\beta_g\rVert'ye bağlıdır.
Koddaki tercih
Şablon sütunları kendisi standartlaştırmaz; grpreg(X, y, group = …) çağrısı içeride yukarıdaki dikleştirmeyi yapar ve katsayıları özgün ölçeğe \beta_g=T_g\tilde\beta_g, \beta_0=\bar y-\bar x'\beta ile döndürür (225). Ham sütunların ölçü birimi (kg, yıl) sonucu etkilemez. bi-level cezalarda (gel, cMCP) iç ceza \tilde\beta'nın tek tek bileşenlerine uygulandığından sonuç, grubun dikleştirme biçimine (sütun sırasına) bağlıdır.
161.4.3 Blok koordinat inişi
Gauss ailesinde dikleştirilmiş grup için güncelleme kapalı biçimlidir. r=y-\bar y-\tilde X\tilde\beta artık ve z_g=\tilde X_g'r/n+\tilde\beta_g olsun:
Bu ifadede \ell=\lambda m_g (karışım terimi olmadan; \alpha<1 için paketin sonucu yol bağımlıdır, 161.6.1; kesin çözüm için 161.4.6). Her güncelleme tek bir grubu, diğerleri sabitken, tam olarak çözer; (u)_+=\max(u,0). Grup lasso'da \lVert z_g\rVert\le\ell ise grubun tamamı sıfırlanır.
İkili ve Poisson ailelerinde blok güncellemesi, kayıp işlevinin her blokta kare bir üst sınırla (ikili için 1/4) sınırlandırılmasıyla aynı biçimde yapılır (Breheny ve Huang, 2015). Yineleme, katsayılardaki en büyük değişim tolerans'ın altına inene kadar ya da en_cok_yineleme dolana kadar sürer; \lambda yolu ısınmalıdır (bir önceki \lambda'nın çözümü başlangıç alınır).
Tolerans 10^{-10}
Paketin varsayılan eşiği 10^{-4}'tür ve katsayılarda 10^{-5} düzeyinde yakınsama hatası bırakır. Şablon eşiği 10^{-10} yapar; bağımsız hesapla farklar 10^{-10} düzeyindedir (161.6). Daha küçük eşik daha çok yineleme demektir; hata ile durdurma yoktur: yakınsamayan \lambda değerleri için paket uyarısı çıktının sonunda yazılır.
161.4.4 \lambda yolu ve seçimi
En büyük \lambda (tüm katsayıların sıfır olduğu ilk değer) ve yol:
Bu ifadede N_\lambda nlambda, \rho lambda_min (0 ise: n>p için 10^{-4}, aksi hâlde 0,05). Örnek veride \lambda_{\max}=0{,}206495 ve N_\lambda=100, \rho=10^{-4} ile en küçük \lambda 2{,}06\times10^{-5}'tir.
Çapraz doğrulama (cv, cv1se). Tam veriyle bulunan \lambda yolu sabit tutulur. Gauss ailesinde kat ataması V kat için sample(1:n %% V) ile (0 değeri V yapılır) yapılır; ikili ailede sınıflar içinde tabakalı. Her kat dışarıda bırakılır, geri kalan gözlemlerde dikleştirme ve yol yeniden hesaplanır, dışarıdaki gözlemler için \hat y_i(\lambda) bulunur. Gözlem başına hata e_i(\lambda)=(y_i-\hat y_i(\lambda))^2 (ikili ve Poisson'da sapma) olmak üzere
Bu ifadede s_e(\lambda) gözlem hatalarının örnek standart sapması; SH, gözlem sayısına göre alınır, kat sayısına göre değil. 1-SH kuralı, hatası en iyiden bir standart hatadan fazla kötü olmayan en büyük (en seyrek) \lambda'yı seçer.
Koddaki tercih
cv.grpreg(X, y, …, nfolds = katlar) (230). Şablon λ_min'i paketin lambda.min alanından, 1-SH \lambda'sını 198–199. satırlardaki kuraldan alır ve katsayıları coef(cvfit$fit, lambda = lam) ile çeker (238). Kat ataması çağrıdan hemen önceki set.seed(tohum) ile belirlenir.
Verilen \lambda (sabit). \lambda, \lambda_{\max}'ı aşıyorsa \lambda_{\max}'a çekilir (241). Çözüm, \lambda_{\max}'tan verilen \lambda'ya log-aralıklı 100 noktalı bir yolun son noktasıdır; verilen değer yolun tam bir noktası olduğundan aradeğerleme yoktur (245–248). \lambda=0 ise yol \lambda_{\max}'tan 10^{-4}\lambda_{\max}'a 99 noktadan sonra 0'a iner.
Yayımlanmış değer aradeğerlemelidir
grpreg belgesinin coef(fit, lambda = 0.05) çağrısı, varsayılan yolun iki komşu noktası arasında doğrusal aradeğerleme yapar: yaşa ilişkin ilk katsayı 0,1405 çıkar (en yakın yol noktası \lambda=0{,}05115). Şablon \lambda=0{,}05'i yolun tam noktası yapar ve 10^{-10} toleransla çözer: 0,1407 (kesişim her iki yolda 3,0289).
161.4.5 Çıktının tanımı
Katsayı tablosu özgün ölçektedir (kesişim dahil). Grup tablosunda secildi =\bigl[\exists j:\ \hat\beta_{gj}\ne0\bigr] (grpreg sıfırlanan katsayıları tam sıfır yazar), norm_L2 =\lVert\hat\beta_g\rVert_2 (özgün ölçekte; cezalanan dikleştirilmiş ölçekteki \lVert\tilde\beta_g\rVert değildir) ve K grubun sütun sayısıdır.
Otomatik gruplar. gruplar boşsa her metin, mantıksal ya da etken (factor) sütunu için kuklalar model.matrix(~ z) ile kurulur (başvuru: etkenin ilk düzeyi; 163–168), kukla grubu bir gruptur, tek düzeyli sütun atılır; her sayısal sütun tek elemanlı bir gruptur. Etkenin düzey sırası Bölüm 1.3'teki kuralla belirlenir: veri sekmesinde "kategorik" olan sütun veri sekmesinin sırasıyla (ilk görülme), metin sütunu alfabetik sırayla.
161.4.6 Elastik ağ için kesin çözüm
\alpha<1 iken amaç işlevi dikleştirilmiş ölçekte (\tilde X_g'\tilde X_g/n=I)
Bu ifadede K_g grubun sütun sayısı, \alpha grup cezası ile ridge arasındaki karışımdır. Problem dışbükeydir; her blok güncellemesi \tilde\beta_g\leftarrow\bigl(1-\lambda\alpha\sqrt{K_g}/\lVert z_g\rVert\bigr)_+z_g/(1+\lambda(1-\alpha)) biçimindedir (z_g=\tilde X_g'r/n+\tilde\beta_g, r artık).
Koddaki tercih
alfa_kesin açıkken şablon, Gauss ailesi ve grup lasso cezası için seçilen \lambda'daki katsayıları bu blok koordinat inişiyle kendisi çözer (mq_enet_kesin, 196–216; durma ölçütü 10^{-13}) ve grpreg'in sonucunu yalnız \lambda seçimi ve katsayı izleri için kullanır (250–253). Kapalıyken (varsayılan) katsayılar grpreg'den gelir ve konsola α < 1 uyarısı yazılır (227). Aile ya da ceza uygun değilse çalıştırma durur (194–195).
161.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 132–147 | Paketi yükler, yordayıcıları, eksik satırları (complete.cases), yanıtı (mq_sayisal) ve ailenin yanıt koşullarını denetler. |
Atılan satır sayısı yazılır (139–142); n çıktı başlığında yazılır (161.8). |
| 149–167 | gruplar doluysa metni | ile gruplara ve boşluk/virgül/noktalı virgülle sütunlara ayırır; sütunların tekrarını, yokluğunu ve sayısallığını denetler; grup dışında kalan yordayıcıları tek elemanlı grup yapar. |
Grup adları G_1,\dots; adlarında boşluk ya da virgül olan sütunlar yazılamaz (161.8). |
| 168–185 | gruplar boşsa otomatik gruplar (kuklalar). |
Başvuru düzeyi ilk düzeydir (161.4.5). |
| 186–189 | Sabit sütun ve en az iki grup denetimi. | |
| 190–225 | Paket çağrısının argümanlarını kurar; uyarıları toplar; kesin elastik ağ çözücüsü; \gamma ve \lambda_{\min} yalnız >0 ise paketin varsayılanını ezer. | eps, max.iter, alpha, tau her zaman geçirilir (220–221). Tam veriyle yol: grpreg (225). |
| 226–238 | α < 1 uyarısı; cv/cv1se: cv.grpreg; \lambda_{\min}, 1-SH; CV tablosu; katsayılar. |
n<2\times kat ise durur (229). Çizimdeki yol 225'teki çağrıdan gelir (266). |
| 239–249 | sabit: \lambda kırpılırsa not yazılır, 100 noktalı yol, son sütun. |
Yol tamamen yeniden çözülür (247). |
| 250–253 | alfa_kesin ve \alpha<1: katsayılar kesin çözümle yeniden hesaplanır. |
|
| 254–265 | Özet satırı ve tablolar: katsayılar, grup düzeyinde seçim, CV, uyarılar. | |
| 266–271 | Katsayı izleri: \log\lambda'ya karşı özgün ölçekteki katsayılar, renk = grup; kesikli çizgi seçilen \lambda. | Grafikte gösterge yoktur; \log\lambda ekseni sağdan sola artar (268). |
161.6 Elle hesap: örnek veride bağımsız yeniden hesap
Doğrulama grpreg ve şablon kullanılmadan yapılmıştır: dogrulama/grup_lasso/elle_hesap.py (numpy; SVD dikleştirme, blok koordinat inişi, tolerans 10^{-14}) ve r_dogrulama.R (taban R; aynı hesap). Kat ataması R'nin sample() algoritmasının (MT19937 ve "Rejection" örnekleme) Python'da yeniden kurulmasıyla da bulunmuştur; R tarafı set.seed(2026) ve sample ile.
Adım 1 — Dikleştirme. ftv1–ftv3m grubu için ortalaması çıkarılmış sütunların tekil değerleri 6{,}2759;\ 4{,}7044;\ 3{,}2047'dir; T_g=V\,\mathrm{diag}(\sqrt{189}/d_j).
Adım 2 — \lambda_{\max} ve yol. Grup başına \lVert\tilde X_g'(y-\bar y)/n\rVert/m_g'nin en büyüğü \lambda_{\max}=0{,}20649546; şablonda \lambda=500 verildiğinde şablonun kırptığı değer (0,206495) aynıdır. Yol 100 noktalı, \rho=10^{-4}; en küçük \lambda=2{,}0650\times10^{-5}.
Adım 3 — Verilen \lambda=0{,}05, grup lasso. Kesişim 3,02891055 (şablon 3,02891055), age1 0,14074154, lwt1 0,74690561, ht −0,29774416, ui −0,38049134; ftv grubu tam sıfır. Şablon ile bağımsız Python/R arasındaki en büyük fark 7{,}7\times10^{-11} (17 katsayı). Grup MCP ve grup SCAD için farklar 1{,}5\times10^{-10} ve 1{,}6\times10^{-10}'dur.
Adım 4 — Kat ataması ve çapraz doğrulama. set.seed(2026) ile sample(1:189 %% 10) ilk on gözlem için (1, 8, 5, 1, 1, 8, 4, 6, 3, 1) verir (Python ve R aynı). Her kat için dikleştirme ve yol eğitim satırlarında yeniden hesaplanır. \mathrm{CV}(\lambda_{\min})=0{,}43321242 (\lambda_{\min}=0{,}0183825378, yol üzerinde 27. nokta), \mathrm{SH}=0{,}04083738; 1-SH eşiği 0{,}43321242+0{,}04083738=0{,}47404980; bu eşiği aşmayan en büyük \lambda=0{,}0561376143 (15. nokta). Bunların hepsi şablonla 10^{-11} içinde aynıdır.
Adım 5 — İkili aile. low yanıtı, \lambda=0{,}02: kesişim -1{,}124286 (şablon ve bağımsız hesap 10^{-9} içinde); katsayılar ve grup seçimi aynıdır.
161.6.1 Doğrulama: MerQuR+, Python ve R
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | |
|---|---|---|---|---|---|
| Çapraz doğrulama: λ (en küçük CV hatası) | 0,01838254 | 0,01838254 | 0,01838254 | 6,2e−17 | ✓ |
| Çapraz doğrulama: λ (1-SH kuralı) | 0,05613761 | 0,05613761 | 0,05613761 | 2,1e−17 | ✓ |
| Çapraz doğrulama: en küçük CV hatası | 0,43321242 | 0,43321242 | 0,43321242 | 5,5e−12 | ✓ |
| Çapraz doğrulama: CV hatasının SH'si | 0,04083738 | 0,04083738 | 0,04083738 | 8,0e−13 | ✓ |
| CV ile seçilen λ'da katsayı: (Kesişim) | 3,03981118 | 3,03981118 | — | 5,8e−12 | ✓ |
| CV ile seçilen λ'da katsayı: age1 | 0,06606159 | 0,06606159 | — | 4,8e−11 | ✓ |
| CV ile seçilen λ'da katsayı: age2 | 1,22161287 | 1,22161287 | — | 5,2e−11 | ✓ |
| CV ile seçilen λ'da katsayı: lwt1 | 1,4531864 | 1,4531864 | — | 1,6e−10 | ✓ |
| CV ile seçilen λ'da katsayı: white | 0,25508384 | 0,25508384 | — | 5,8e−11 | ✓ |
| CV ile seçilen λ'da katsayı: smoke | −0,24776751 | −0,24776751 | — | 3,6e−11 | ✓ |
| CV ile seçilen λ'da katsayı: ht | −0,46412994 | −0,46412994 | — | 1,2e−12 | ✓ |
| CV ile seçilen λ'da katsayı: ui | −0,44047785 | −0,44047785 | — | 1,1e−11 | ✓ |
| CV ile seçilen λ'da katsayı: ftv1 | 0,05016304 | 0,05016304 | — | 1,0e−11 | ✓ |
| Grup lasso, λ = 0,05: (Kesişim) | 3,02891055 | 3,02891055 | 3,02891055 | 2,0e−12 | ✓ |
| Grup lasso, λ = 0,05: age1 | 0,14074154 | 0,14074154 | 0,14074154 | 2,2e−11 | ✓ |
| Grup lasso, λ = 0,05: age2 | 0,62597219 | 0,62597219 | 0,62597219 | 2,9e−11 | ✓ |
| Grup lasso, λ = 0,05: lwt1 | 0,74690561 | 0,74690561 | 0,74690561 | 7,7e−11 | ✓ |
| Grup lasso, λ = 0,05: white | 0,18346249 | 0,18346249 | 0,18346249 | 1,8e−11 | ✓ |
| Grup lasso, λ = 0,05: smoke | −0,18778129 | −0,18778129 | −0,18778129 | 9,6e−12 | ✓ |
| Grup lasso, λ = 0,05: ht | −0,29774416 | −0,29774416 | −0,29774416 | 1,4e−12 | ✓ |
| Grup lasso, λ = 0,05: ui | −0,38049134 | −0,38049134 | −0,38049134 | 3,6e−12 | ✓ |
| Grup lasso, λ = 0,05: ftv1 | 0 | 0 | 0 | 0 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: (Kesişim) | 3,0393924 | 3,0393924 | 3,0393924 | 3,1e−12 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: age1 | −0,01337163 | −0,01337163 | −0,01337163 | 1,7e−12 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: age2 | 0,83286911 | 0,83286911 | 0,83286911 | 3,9e−11 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: lwt1 | 1,09378845 | 1,09378845 | 1,09378845 | 1,4e−10 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: white | 0,34052171 | 0,34052171 | 0,34052171 | 2,3e−11 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: smoke | −0,33830484 | −0,33830484 | −0,33830484 | 1,0e−11 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: ht | −0,4961126 | −0,4961126 | −0,4961126 | 1,1e−11 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: ui | −0,51411068 | −0,51411068 | −0,51411068 | 4,1e−12 | ✓ |
| Grup MCP (γ = 3), λ = 0,05: ftv1 | 0 | 0 | 0 | 0 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: (Kesişim) | 3,04493978 | 3,04493978 | 3,04493978 | 7,9e−12 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: age1 | 0,07403734 | 0,07403734 | 0,07403734 | 8,9e−11 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: age2 | 0,58292403 | 0,58292403 | 0,58292403 | 6,9e−11 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: lwt1 | 0,65099463 | 0,65099463 | 0,65099463 | 1,6e−10 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: white | 0,24914003 | 0,24914003 | 0,24914003 | 7,7e−11 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: smoke | −0,26562302 | −0,26562302 | −0,26562302 | 5,1e−11 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: ht | −0,36154228 | −0,36154228 | −0,36154228 | 1,6e−11 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: ui | −0,51442503 | −0,51442503 | −0,51442503 | 3,7e−12 | ✓ |
| Grup SCAD (γ = 4), λ = 0,05: ftv1 | 0 | 0 | 0 | 0 | ✓ |
| İkili grup lasso, λ = 0,02: (Kesişim) | −1,12428583 | −1,12428583 | — | 4,1e−11 | ✓ |
| İkili grup lasso, λ = 0,02: age1 | −0,89451253 | −0,89451253 | — | 7,6e−10 | ✓ |
| İkili grup lasso, λ = 0,02: age2 | −0,4631183 | −0,4631183 | — | 5,0e−10 | ✓ |
| İkili grup lasso, λ = 0,02: lwt1 | −3,40389315 | −3,40389315 | — | 1,7e−10 | ✓ |
| İkili grup lasso, λ = 0,02: white | −0,3898042 | −0,3898042 | — | 7,3e−11 | ✓ |
| İkili grup lasso, λ = 0,02: smoke | 0,44452728 | 0,44452728 | — | 4,4e−11 | ✓ |
| İkili grup lasso, λ = 0,02: ht | 1,12766474 | 1,12766474 | — | 3,9e−11 | ✓ |
| İkili grup lasso, λ = 0,02: ui | 0,49916211 | 0,49916211 | — | 1,9e−11 | ✓ |
| İkili grup lasso, λ = 0,02: ftv1 | −0,15763804 | −0,15763804 | — | 8,7e−14 | ✓ |
| 1-SH kuralı: (Kesişim) | 3,02535975 | 3,02535975 | — | 1,8e−12 | ✓ |
| 1-SH kuralı: age1 | 0,12941713 | 0,12941713 | — | 2,0e−11 | ✓ |
| 1-SH kuralı: lwt1 | 0,62865012 | 0,62865012 | — | 6,9e−11 | ✓ |
| 1-SH kuralı: ht | −0,26669963 | −0,26669963 | — | 1,4e−12 | ✓ |
Ölçütü karşılayan: 53/53. Python: SVD ile grup içi dikleştirme, blok koordinat inişi (tolerans 10^{-14}), \lambda yolu ve çapraz doğrulama; kat ataması R'nin sample() algoritmasının (MT19937 + Rejection) yeniden kurulmasıyla. R: aynı hesap taban R ile, kat ataması set.seed(2026); sample(1:n %% 10). grpreg çağrılmamıştır. Elastik ağ (\alpha<1) ile gel ve cMCP bu tabloda yoktur (Bölüm 161.6.1).
Satırların hepsi (53/53) 10^{-6} ölçütünü karşılar; en büyük fark 7{,}6\times10^{-10}'dur (ikili aile kesişimi). Elastik ağ (\alpha<1) için grpreg'in sonucu bu tabloda yoktur: \alpha=0{,}5, \lambda=0{,}05 ile paketin sonucu (kesişim 3,0431, lwt1 1,2111, ftv grubu 0), bağımsız uygulanan "\alpha\lambda m\lVert\tilde\beta_g\rVert+\frac{(1-\alpha)\lambda}2\lVert\tilde\beta\rVert^2" çözümünden (kesişim 3,0356, lwt1 1,2560, ftv grubu sıfırdan farklı) en çok 0,046 ayrılır ve grpreg aynı \lambda için tek-\lambda ve yol çağrılarında da farklı katsayı verir (kesişim 3,0206 ve 2,9981). Şablonun alfa_kesin seçeneği bağımsız çözümle 10^{-7} içinde örtüşür (kesişim 3,035602, lwt1 1,256031; tests/pro/test_duzeltme_371_grup_lasso.py). gel ve cMCP için bağımsız formül uygulanmamıştır; yalnız çalıştıkları ve grup içinde sıfır katsayı verdikleri gözlenmiştir.
161.7 Çıktıyı okuma
Örnek ayarın konsol çıktısı (gerçek):
n = 189, sütun = 16, grup = 8; ceza: grLasso; aile: gaussian; λ = 0,0183825 (çapraz doğrulama)
Katsayılar ve grup düzeyinde seçim (kısaltılmış; çapraz doğrulamayla seçilen \lambda):
terim grup katsayi
(Intercept) 3.0398112
age1 G1 0.0660616
age2 G1 1.2216129
age3 G1 0.7241864
lwt1 G2 1.4531864
...
ht G6 -0.4641299
ui G7 -0.4404779
ftv1 G8 0.0501630
ftv2 G8 0.0170902
ftv3m G8 -0.0751745
grup sutunlar K secildi norm_L2
G1 age1 age2 age3 3 TRUE 1.4216709
G2 lwt1 lwt2 lwt3 3 TRUE 1.8121307
G3 white black 2 TRUE 0.2797801
G4 smoke 1 TRUE 0.2477675
G5 ptl1 ptl2m 2 TRUE 0.2963003
G6 ht 1 TRUE 0.4641299
G7 ui 1 TRUE 0.4404779
G8 ftv1 ftv2 ftv3m 3 TRUE 0.0919761
olcut deger
λ (en küçük CV hatası) 0.0183825
λ (1-SH kuralı) 0.0561376
en küçük CV hatası 0.4332124
CV hatasının SH'si 0.0408374
kat sayısı 10
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
katsayi |
Özgün ölçekte katsayı | Polinom taban sütunlarının tek tek katsayıları yorumlanmaz; birlikte bir eğriyi tanımlar. Kukla katsayısı, başvuruya göre farktır. |
grup, K |
Grup adı (G_i), sütun sayısı | Adlar gruplar metnindeki sırayladır; otomatik gruplarda değişken adıdır. |
secildi |
Grupta sıfırdan farklı katsayı var mı | Grup lasso, MCP, SCAD'de grup ya tamamen girer ya tamamen çıkar; gel ve cMCP'de seçilen grupta bazı katsayılar yine de sıfır olabilir. |
norm_L2 |
\lVert\hat\beta_g\rVert, özgün ölçekte | Gruplar arası büyüklük karşılaştırması için ölçek bağımlıdır; cezalanan büyüklükle aynı değildir. |
| CV tablosu | \lambda_{\min}, \lambda_{1\mathrm{SH}}, hata, SH | 1-SH kuralı daha seyrek bir model verir: örnek veride \lambda_{\min}'da 8 grubun 8'i, \lambda_{1\mathrm{SH}}'da 7'si seçilir (ftv dışarıda). |
Uyarılar: |
Paket uyarıları | Genellikle "yakınsamadı"; varsa sonuçlara dikkatle yaklaşılır. |
Şekil 161.1. Katsayı izleri: \log\lambda'ya karşı özgün ölçekte katsayılar; kesikli çizgi çapraz doğrulamayla seçilen \lambda (\log\lambda=-3{,}996).

Doğum ağırlığı için 16 yordayıcı 8 grupta toplandı ve grup lasso ile (n=189) çözüldü. Ceza katsayısı 10 katlı çapraz doğrulamayla seçildi (\lambda_{\min}=0{,}0184, CV hatası 0{,}433, SH 0{,}041); sekiz grubun hepsi modelde kaldı. 1-standart hata kuralıyla (\lambda=0{,}0561) ilk trimester doktor ziyaretleri grubu dışarıda kaldı ve diğer yedi grup korundu.
161.8 Sık hatalar ve tuzaklar
- Seçilen \lambda tohuma bağlıdır. CV kat ataması rastgeledir; tohum değişince \lambda_{1\mathrm{SH}} 0,0561'den 0,0676'ya çıkar (örnek veri). Raporda künyedeki tohum yazılmalı ve gerektiğinde birkaç tohumla kararlılık denenmelidir.
- Çapraz doğrulama tam veriyle dikleştirilmiş ölçekte yapılır. Yol (ve \lambda dizisi) tam veriden gelir; her katın içinde dikleştirme eğitim satırlarında yeniden kurulur. Standart hata gözlem sayısına göre alınır, kat sayısına göre değil.
- \lambda \lambda_{\max}'ı aşınca kırpılır ve not yazılır. \lambda=500 verilen çalıştırma \lambda=0{,}206495 ile çalışır; konsola "Not: istenen λ = 500 en büyük λ'yı (0,206495) aşıyor; λ en büyük değere çekildi (yalnız kesişim kalır)." yazılır; bütün katsayılar sıfırdır (kesişim 2,9446, yanıt ortalaması).
- Grup tanımı verilince yordayıcılar sayısal olmalı.
racemetin sütunuylagruplar = "age lwt | race smoke""Grup tanımı verildiğinde yordayıcılar sayısal olmalı ('race' değil)" ile durur; kuklaları önceden üretmek ya da grupları boş bırakmak gerekir. Veri sekmesinde "ikili" görünen 0/1 sütunları sayı olarak geldiğinden sorun çıkarmaz. - Sütun adları boşluk, virgül ya da noktalı virgül içeremez (152): bu karakterler ad ayırıcısıdır.
- Otomatik gruplarda başvuru düzeyi ilk düzeydir (172–177). Grup lasso ve içbükey grup cezalarında çözüm başvuru seçiminden bağımsızdır (161.4.2); katsayıların yorumu ve
gel/cMCPsonuçları ise başvuruya bağlıdır. - Eksik satırlar atılır ve sayısı yazılır (139–142).
age1'de 5 boş hücre olan çalıştırmada "Not: 5 satır eksik değer nedeniyle atıldı (kalan n = 184)." yazılır. norm_L2cezalanan büyüklük değildir (161.4.5); gruplar arasında seçilme sırasını bu sütundan okumak yanıltır,secildive katsayı izleri kullanılmalıdır.- Elastik ağ (\alpha<1) sonuçları dikkatle yorumlanmalıdır. Aynı \lambda için paket yol ve tek-\lambda çağrılarında farklı katsayı verir (161.6.1); varsayılanda konsola uyarı yazılır. Gauss ve grup lasso için
alfa_kesinaçılırsa katsayılar kesin çözülür (161.4.6). - Poisson ve ikili ailelerde \lambda'nın ölçeği Gauss'tan farklıdır. \lambda değeri aileler arasında karşılaştırılamaz (örnek veride ikili için 0,02, Poisson için 0,01 alınmıştır).
- Yakınsama. Paket uyarısı "Uyarılar:" altında yazılır; yakınsamayan \lambda noktaları için katsayılar yaklaşıktır.
- Katsayı izleri grafiğinde gösterge yoktur; renk ve çizgi sırası G_i ile gruplara karşılık gelir.
161.9 Uzman soruları
S1. Dikleştirme neden gerekli? Ham sütunlarla grup lasso olmaz mıydı?
Ham sütunlarla ceza, grubun sütunlarının ölçeğine ve korelasyon yapısına bağlı olurdu: aynı değişken kg ya da g cinsinden verilince farklı model çıkardı. X_g'X_g/n=I yapıldığında ceza yalnız grubun kapsadığı uzaya bağlıdır ve \sqrt{K_g} çarpanı gruplar arasında adil bir yarış sağlar.
S2. \lambda_{\min} ile 1-SH kuralı arasında hangisi?
\lambda_{\min} kestirim hatasını en küçük yapar; 1-SH kuralı hata çubuğu içindeki en seyrek modeli seçer. Örnek veride ikisinin CV hatası 0{,}433 ve 0{,}468'dir ve ikincisi ftv grubunu dışarıda bırakır. Açıklama amaçlı çalışmada 1-SH, öngörü amaçlı çalışmada \lambda_{\min} yaygındır.
S3. MCP ve SCAD büyük grupları neden büzmez?
Her ikisinin türevi t>\gamma\ell için sıfırdır; güncelleme z_g'yi olduğu gibi bırakır. Örnek veride \lambda=0{,}05 ile tek sütunlu ht grubunun katsayısı grup lassoda -0{,}298, grup SCAD'de -0{,}362, grup MCP'de -0{,}496'dır; cezasız (\lambda=0) çözümde -0{,}568'dir: içbükey cezalar büyük etkiyi lassodan çok daha az büzer.
S4. Neden bir de grup içinde seçim isteriz? `gel` ve `cMCP` nedir?
Grup lasso grubun tüm sütunlarını birlikte seçer; seçilen grupta bazı sütunlar gereksizse onlar sıfırlanmaz. gel ve cMCP grup düzeyinde seçimi iç ceza ile birleştirir. Örnek veride \lambda=0{,}05'te age1 ve lwt2 bu iki cezada sıfırdır, oysa grup lassoda sıfırdan farklıdır. Ayar \tau iç/dış dengesini belirler; şablon iki cezanın formülünü açığa çıkarmaz.
S5. Neden verilen \lambda yolun tam noktası yapılıyor?
Paketin coef(fit, lambda = …) çağrısı komşu yol noktaları arasında aradeğerleme yapar (161.4.4); verilen \lambda yolda yoksa katsayılar kesin çözüm olmaz. Şablon yolu \lambda'da bitirir ve son noktayı alır; yayımlanmış değer ile fark yalnız aradeğerlemeden gelir (0,1405 ve 0,1407).
S6. Çözüm tek midir?
Grup lasso ve ridge'li biçimi dışbükeydir ve tek çözümü vardır; bağımsız hesap bunu 10^{-10} ile doğrular. MCP ve SCAD içbükeydir ve yerel çözümler olabilir; şablon yolu ısınmalı (büyük \lambda'dan küçüğe) çözer ve yol üzerinde bulunan yerel çözüm raporlanır. Örnek veride bağımsız hesap aynı yolu izlemiş ve aynı çözüme ulaşmıştır; farklı yol farklı yerel çözüm verebilir.
S7. \lambda değerleri ailelerde karşılaştırılabilir mi?
Hayır. Gauss'ta kayıp \frac1{2n}RSS'dir; ikili ve Poisson'da -\frac1n\ln L. \lambda_{\max} kayıp işlevinin sıfır modeldeki gradyanına bağlıdır, dolayısıyla \lambda'nın büyüklüğü ailelere özgüdür.
S8. Eksik veri nasıl işleniyor?
Yanıt ve yordayıcılarda eksik olan satırlar atılır (complete.cases, 140) ve atılan satır sayısı konsola yazılır. Yöntem eksik verinin tamamen rastgele olduğunu varsayar.
161.10 Kaynaklar
Breheny, P. (2015). The group exponential lasso for bi-level variable selection. Biometrics, 71(3), 731–740. https://doi.org/10.1111/biom.12300
Breheny, P., & Huang, J. (2009). Penalized methods for bi-level variable selection. Statistics and Its Interface, 2(3), 369–380. https://doi.org/10.4310/SII.2009.v2.n3.a10
Breheny, P., & Huang, J. (2015). Group descent algorithms for nonconvex penalized linear and logistic regression models with grouped predictors. Statistics and Computing, 25(2), 173–187. https://doi.org/10.1007/s11222-013-9424-2
Fan, J., & Li, R. (2001). Variable selection via nonconcave penalized likelihood and its oracle properties. Journal of the American Statistical Association, 96(456), 1348–1360. https://doi.org/10.1198/016214501753382273
Hosmer, D. W., & Lemeshow, S. (1989). Applied logistic regression. Wiley.
Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4. bs.). Springer. https://doi.org/10.1007/978-0-387-21706-2
Yuan, M., & Lin, Y. (2006). Model selection and estimation in regression with grouped variables. Journal of the Royal Statistical Society: Series B, 68(1), 49–67. https://doi.org/10.1111/j.1467-9868.2005.00532.x
Zhang, C.-H. (2010). Nearly unbiased variable selection under minimax concave penalty. The Annals of Statistics, 38(2), 894–942. https://doi.org/10.1214/09-AOS729
R Core Team. (2026). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/