MerQuR+Başvuru Kitabı

161. Grup lasso ve gruplu cezalar

Şablon kimliği: grup_lasso · Kategori: çok değişkenli · Dil: R · Dosya: pro/sablonlar/cok_degiskenli/grup_lasso.R (satır 1–272; üstbilgi 1–131) · Örnek veri: _ornek/birthwt_grp.csv · Paketler: grpreg 3.6.0 (R 4.5.3)

161.1 Ne işe yarar

Şablon, yordayıcıları önceden tanımlı gruplar hâlinde birlikte seçen ya da dışarıda bırakan cezalı bir regresyondur. Bir kategorik değişkenin kukla sütunları, bir sürekli değişkenin polinom ya da spline tabanı, bir genin birden çok ölçümü doğal bir grup oluşturur: grup lasso, grubun tamamını modele alır ya da tamamen dışarıda bırakır; tek tek kuklaları seçmez. Cevapladığı sorular: hangi gruplar yanıtla ilişkilidir ve katsayılar nedir? Ceza katsayısı \lambda nasıl seçilir?

Beş ceza vardır: grup lasso (grLasso), grup MCP (grMCP), grup SCAD (grSCAD), grup üstel lasso (gel) ve bileşik MCP (cMCP); son ikisi grup içinde de seçim yapar (iki düzeyli seçim). Aileler: Gauss (sürekli yanıt), ikili (lojistik) ve Poisson. \lambda, k katlı çapraz doğrulamayla (en küçük hata ya da 1-standart hata kuralı) ya da kullanıcının verdiği değerle seçilir.

Ne zaman kullanılır?

  • Yordayıcılar doğal gruplar oluşturuyorsa (kukla kümeleri, aynı değişkenin dönüşümleri) ve grupların bütünüyle seçilmesi isteniyorsa.
  • Yordayıcı sayısı gözlem sayısına yakın ya da büyükse ve seyrek bir model aranıyorsa.
  • Yanlılığı (büzülmeyi) grup düzeyinde azaltmak için MCP ve SCAD gibi içbükey cezalar isteniyorsa.

Ne zaman kullanılmaz?

  • Gruplar yoksa, yani her yordayıcı tek başına seçilecekse: bu şablonda her sütunu kendi grubu yapmak mümkündür (tek elemanlı grup), ama genel lasso ve elastik ağ için temel programdaki cezalı regresyon uygundur.
  • Çıkarım (güven aralığı, p değeri) isteniyorsa: cezalı kestirimler yanlıdır ve şablon standart hata ya da p vermez; seçim sonrası çıkarım için secim_sonrasi_cikarim şablonu (Bölüm 164).
  • Yanıt sağkalım zamanı, sıralı ya da çok sınıflıysa: bu şablonun aileleri Gauss, ikili ve Poisson'dır.
  • Yordayıcılarda eksik değer varsa ve satırların atılması istenmiyorsa: şablon eksik satırları atar ve sayısını yazar (161.8).

Temel programla ilişki. Temel programdaki cezalı regresyon (lasso, ridge, elastik ağ) her sütunu ayrı seçer ve grup yapısını bilmez; tek elemanlı gruplarla bu şablon lasso'ya indirgenir. MCP ve SCAD, temel programda yoktur.

161.2 Şablonun girdileri

Form, üstbilgideki 16 [[param]] bloğundan kurulur (grup_lasso.R:10–130). Türlerin ve ortak denetimin anlamı Bölüm 1.2'de anlatılmıştır.

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt · y sayısal sütun · Değişkenler yok sayısal sütun y; mq_sayisal ile okunur (10–14, 144).
Yordayıcılar · x sütunlar (en az 2) · Değişkenler yok herhangi sütunlar Tasarım matrisinin sütunları (15–20, 136).
Gruplar · gruplar metin · Değişkenler boş 'a b | c | d e' Boşsa otomatik gruplar; doluysa verilen gruplar (21–26, 150–185).
Aile · aile seçim · Model gaussian gaussian, binomial, poisson Kayıp işlevi (27–33, 146–147, 220).
Ceza · ceza seçim · Model grLasso grLasso, grMCP, grSCAD, gel, cMCP Ceza türü (34–40, 220).
\lambda seçimi · lambda_secim seçim · Model cv cv, cv1se, sabit \lambda'nın nasıl seçileceği (41–47, 228–253).
\lambda · lambda ondalık · Model 0,05 0–1000 Yalnız sabit seçiminde (48–55, 240).
Kat sayısı · katlar tamsayı · Seçenekler 10 3–50 Çapraz doğrulama kat sayısı (56–63, 229–230).
MCP/SCAD \gamma · gama ondalık · Model 0 0–100 0: MCP için 3, SCAD için 4 (64–72, 217–222).
\tau · tau ondalık · Gelişmiş 0,3333 0,01–1 Yalnız gel ve cMCP (73–81, 220).
Karışım \alpha · alfa ondalık · Model 1 0,01–1 \alpha<1 iken (1−\alpha)·\lambda ağırlıklı ridge terimi eklenir; paket sonucu yol bağımlı olduğundan çıktıya uyarı yazılır (82–90, 220, 227).
Elastik ağ: kesin çözüm · alfa_kesin onay · Model kapalı açık/kapalı Yalnız \alpha<1, Gauss ve grup lasso: seçilen \lambda'daki katsayılar kesin çözülür (91–97, 193–195, 250–253).
\lambda yolu nokta sayısı · nlambda tamsayı · Gelişmiş 100 10–1000 Yolun uzunluğu (98–105, 223).
En küçük \lambda / en büyük \lambda · lambda_min ondalık · Gelişmiş 0 0–0,5 0: n>p ise 0,0001, değilse 0,05 (106–114, 224).
Tolerans · tolerans ondalık · Gelişmiş 10^{-10} 10^{-14}–0,01 Yakınsama eşiği (115–122, 221).
En çok yineleme · en_cok_yineleme tamsayı · Gelişmiş 10^6 100–10^8 Bütün yol için yineleme üst sınırı (123–130, 221).

Şablonun kendi denetimleri.

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 135
Yanıttan farklı 2'den az yordayıcı "Yanıttan farklı en az iki yordayıcı seçin." 137
10'dan az tam gözlem "En az 10 tam gözlem gerekli." 143
Yanıt sabit "Yanıt sabit." 145
İkili ailede yanıt 0/1 değil "İkili aile için yanıt 0/1 olmalı." 146
Poisson'da negatif ya da tamsayı olmayan yanıt "Poisson ailesi için yanıt negatif olmayan tamsayı olmalı." 147
Bir sütun birden çok grupta "Bir sütun birden çok grupta yer alıyor." 155
Gruptaki sütun yordayıcılar arasında yok "Gruplardaki şu sütunlar yordayıcılar arasında yok: …" 157
Grup tanımı varken sayısal olmayan sütun "Grup tanımı verildiğinde yordayıcılar sayısal olmalı ('…' değil); …" 162
Kullanılabilir yordayıcı kalmadı "Kullanılabilir yordayıcı kalmadı." 183
Sabit sütun "Sabit sütun(lar): …; yordayıcılardan çıkarın." 187
2'den az grup "En az iki grup gerekli." 188
Kesin çözüm seçili, \alpha<1 ve aile/ceza Gauss/grup lasso değil "'Elastik ağ: kesin çözüm' yalnız Gauss ailesi ve grup lasso cezasıyla çalışır." 194–195
MCP için \gamma\le1 (gama > 0) "MCP için γ 1'den büyük olmalı." 218
SCAD için \gamma\le2 "SCAD için γ 2'den büyük olmalı." 219
Çapraz doğrulamada n<2\times kat "Çapraz doğrulama için gözlem sayısı kat sayısının en az iki katı olmalı." 229
grpreg hata verirse "Grup lasso kestirilemedi: …" 191

Paket uyarıları (ör. "yakınsamadı") durdurmaz; toplanır ve çıktının sonunda "Uyarılar:" metni olarak yazılır (190–192, 265).

Örnek ayar (ornek_param, satır 9): y = bwt, 16 yordayıcı, gruplar = "age1 age2 age3 | lwt1 lwt2 lwt3 | white black | smoke | ptl1 ptl2m | ht | ui | ftv1 ftv2 ftv3m", aile = gaussian, ceza = grLasso, lambda_secim = cv, lambda = 0,05 (yalnız sabit için), katlar = 10.

Tohum. Çapraz doğrulamanın kat ataması rastgeledir ve kod panelindeki Tohum alanındaki tohumla (Bölüm 1.3) set.seed çağrısından hemen sonra üretilir. Aynı tohumla sonuç yinelenir; tohum değişince kat ataması, dolayısıyla seçilen \lambda değişebilir. Örnek veride tohum 2026 ile \lambda_{\min}=0{,}0183825 ve \lambda_{1\mathrm{SH}}=0{,}0561376; tohum 7 ile \lambda_{\min} aynı kalır ama \lambda_{1\mathrm{SH}}=0{,}0676180 olur. sabit \lambda seçiminde rastgelelik yoktur.

161.3 Örnek veri

birthwt_grp.csv, R'nin MASS paketindeki Hosmer ve Lemeshow (1989) doğum ağırlığı verisinin (Venables ve Ripley, 2002) grpreg paketinin Birthwt örneğindeki grup yapısına göre hazırlanmış biçimidir (Breheny ve Huang, 2015). n=189 yenidoğan, eksik hücre yok.

Değişken Rol Tür (veri sekmesinin algıladığı) Özet
bwt yanıt sayısal doğum ağırlığı (kg); ortalama 2,9446, sd 0,7292
low ikili yanıt (ikili aile örneği) ikili 2,5 kg altı doğum; oran 0,312
age1–age3 grup 1 sayısal anne yaşının 3 dereceli ortogonal polinom tabanı
lwt1–lwt3 grup 2 sayısal annenin son adet ağırlığının 3 dereceli ortogonal polinom tabanı
white, black grup 3 ikili ırk kuklaları (diğer: başvuru)
smoke grup 4 ikili gebelikte sigara
ptl1, ptl2m grup 5 ikili önceki erken doğum sayısı (1; 2 ve üstü)
ht grup 6 ikili hipertansiyon öyküsü
ui grup 7 ikili uterus irritabilitesi
ftv1, ftv2, ftv3m grup 8 ikili ilk trimester doktor ziyareti (1, 2, 3 ve üstü)

Bütün yordayıcılar veri dosyasında sayısal (0/1 ya da polinom değerleri) saklıdır; kukla sütunlar veri sekmesinde "ikili" sayılır ve R'ye sayı olarak gider, yani gruplar metni verildiğinde "sayısal olmalı" denetimi sorun çıkarmaz (162). Gruplar yazıldığı sırayla G_1,\dots,G_8 adını alır (160–166).

Bölümde kullanılan çalıştırmalar (tohum 2026): (1) örnek ayar; (2) sabit \lambda=0{,}05; (3) aynısı grMCP; (4) grSCAD; (5) \alpha=0{,}5; (6) gel; (7) cMCP; (8) cv1se; (9) ikili aile, y = low, \lambda=0{,}02; (10) Poisson, yanıt \lfloor3\,bwt\rceil, \lambda=0{,}01; (11) otomatik gruplar: ham birthwt.csv (race ve ftv metin), y = low, ikili aile, \lambda=0{,}03; (12) örnek ayar, tohum 7; (13) \lambda=500 ve \lambda=0; (14) hatalı grup tanımları.

161.4 Yöntem: formüller ve hesap adımları

Hesap şu sırayladır: eksik satırlar atılır; grup tanımından tasarım matrisi kurulur; grpreg her grubu ortalamasından arındırıp dikleştirir; \lambda yolu en büyük \lambda'dan başlayarak blok koordinat inişiyle çözülür; \lambda çapraz doğrulama ya da kullanıcı değeriyle seçilir; katsayılar özgün ölçeğe döndürülür; tablolar ve katsayı izleri üretilir.

161.4.1 Amaç işlevi

g=1,\dots,G grup, K_g grubun sütun sayısı, X_g grubun sütunları ve m_g=\sqrt{K_g} olsun.

\hat\beta(\lambda)=\arg\min_{\beta_0,\beta}\;\frac1{2n}\lVert y-\beta_0-X\beta\rVert^2\;+\;\sum_{g=1}^{G}P\bigl(\lVert\tilde\beta_g\rVert;\;\lambda m_g\bigr)\;+\;\frac{\lambda(1-\alpha)}{2}\lVert\tilde\beta\rVert^2

Bu ifadede \tilde\beta_g grubun dikleştirilmiş katsayı vektörü (161.4.2), P(\cdot;\lambda m_g) ceza işlevi, \alpha\in(0{,}1] karışım katsayısıdır (\alpha=1 ridge terimini kaldırır; \alpha<1 için bu yazım şablon üstbilgisinin tanımıdır ve bağımsız doğrulanmamıştır, 161.6.1). İkili ve Poisson ailelerinde birinci terim -\frac1n\ln L'dir. \beta_0 kesişimdir, cezalanmaz.

\sqrt{K_g} çarpanı

Büyük gruplar \lVert\beta_g\rVert'ye daha çok katkı verir. m_g=\sqrt{K_g} ile ceza, grubun boyuna göre ölçeklenir ve küçük ve büyük gruplar seçim için adil yarışır (Yuan ve Lin, 2006). Şablon bunu paketin varsayılanında bırakır; kullanıcı çarpan veremez.

Cezalar. t=\lVert\tilde\beta_g\rVert ve \ell=\lambda m_g için

P_{\text{lasso}}(t;\ell)=\ell\,t,\qquad P_{\text{MCP}}(t;\ell,\gamma)=\begin{cases}\ell t-\dfrac{t^2}{2\gamma}&t\le\gamma\ell\\[3pt]\dfrac{\gamma\ell^2}{2}&t>\gamma\ell\end{cases}
P'_{\text{SCAD}}(t;\ell,\gamma)=\ell\Bigl[\mathbb 1(t\le\ell)+\frac{(\gamma\ell-t)_+}{(\gamma-1)\,\ell}\,\mathbb 1(t>\ell)\Bigr]

Bu ifadede \gamma MCP ve SCAD'in içbükeyliğini belirler (MCP için \gamma>1, SCAD için \gamma>2; varsayılan 3 ve 4). t büyükken MCP ve SCAD'in türevi sıfırdır: büyük gruplar büzülmez, grup lasso'daki yanlılık ortadan kalkar.

gel ve cMCP dış ve iç cezanın birleşimidir: iç ceza gruptaki tek tek katsayılara, dış ceza grubun toplam büyüklüğüne uygulanır; bu nedenle grup içinde de sıfır katsayılar çıkar (iki düzeyli seçim; Breheny ve Huang, 2009; Breheny, 2015). Bu iki cezanın formülleri bu bölümde yazılmamıştır ve bağımsız doğrulanmamıştır; \tau (\texttt{gel} ve \texttt{cMCP}) iç ve dış seçim arasındaki dengeyi belirler.

161.4.2 Standartlaştırma ve dikleştirme

X_g'nin sütun ortalamaları çıkarılmış hâli X_g^{c}=USV' tekil değer ayrışımıyla yazılır (paketin orthogonalize işlevi; d_j>10^{-10} olan tekil değerler alınır):

T_g=V\,\mathrm{diag}\bigl(\sqrt n/d_j\bigr),\qquad \tilde X_g=X_g^{c}T_g=\sqrt n\,U,\qquad \tfrac1n\tilde X_g'\tilde X_g=I,\qquad \beta_g=T_g\tilde\beta_g

Bu ifadede T_g grup içi dikleştirme matrisi, \tilde X_g dikleştirilmiş sütunlar, d_j X_g^c'nin tekil değerleridir. Dikleştirme, cezayı grubun sütunlarının kapsadığı uzaya bağlar: sütunları çoğaltıp döndüren ya da başka bir başvuru düzeyi seçen her yeniden kodlama aynı grup lasso çözümünü verir. İçbükey cezalarda da aynıdır, çünkü ceza yalnız \lVert\tilde\beta_g\rVert'ye bağlıdır.

Koddaki tercih

Şablon sütunları kendisi standartlaştırmaz; grpreg(X, y, group = …) çağrısı içeride yukarıdaki dikleştirmeyi yapar ve katsayıları özgün ölçeğe \beta_g=T_g\tilde\beta_g, \beta_0=\bar y-\bar x'\beta ile döndürür (225). Ham sütunların ölçü birimi (kg, yıl) sonucu etkilemez. bi-level cezalarda (gel, cMCP) iç ceza \tilde\beta'nın tek tek bileşenlerine uygulandığından sonuç, grubun dikleştirme biçimine (sütun sırasına) bağlıdır.

161.4.3 Blok koordinat inişi

Gauss ailesinde dikleştirilmiş grup için güncelleme kapalı biçimlidir. r=y-\bar y-\tilde X\tilde\beta artık ve z_g=\tilde X_g'r/n+\tilde\beta_g olsun:

\text{grup lasso:}\qquad\tilde\beta_g\leftarrow\Bigl(1-\frac{\ell}{\lVert z_g\rVert}\Bigr)_+z_g
\text{grup MCP:}\qquad\tilde\beta_g\leftarrow\begin{cases}\dfrac{(1-\ell/\lVert z_g\rVert)_+}{1-1/\gamma}\,z_g&\lVert z_g\rVert\le\gamma\ell\\[6pt] z_g&\lVert z_g\rVert>\gamma\ell\end{cases}
\text{grup SCAD:}\qquad\tilde\beta_g\leftarrow\begin{cases}\bigl(1-\ell/\lVert z_g\rVert\bigr)_+z_g&\lVert z_g\rVert\le2\ell\\[6pt] \dfrac{\bigl(1-\gamma\ell/((\gamma-1)\lVert z_g\rVert)\bigr)_+}{1-1/(\gamma-1)}\,z_g&2\ell<\lVert z_g\rVert\le\gamma\ell\\[6pt] z_g&\lVert z_g\rVert>\gamma\ell\end{cases}

Bu ifadede \ell=\lambda m_g (karışım terimi olmadan; \alpha<1 için paketin sonucu yol bağımlıdır, 161.6.1; kesin çözüm için 161.4.6). Her güncelleme tek bir grubu, diğerleri sabitken, tam olarak çözer; (u)_+=\max(u,0). Grup lasso'da \lVert z_g\rVert\le\ell ise grubun tamamı sıfırlanır.

İkili ve Poisson ailelerinde blok güncellemesi, kayıp işlevinin her blokta kare bir üst sınırla (ikili için 1/4) sınırlandırılmasıyla aynı biçimde yapılır (Breheny ve Huang, 2015). Yineleme, katsayılardaki en büyük değişim tolerans'ın altına inene kadar ya da en_cok_yineleme dolana kadar sürer; \lambda yolu ısınmalıdır (bir önceki \lambda'nın çözümü başlangıç alınır).

Tolerans 10^{-10}

Paketin varsayılan eşiği 10^{-4}'tür ve katsayılarda 10^{-5} düzeyinde yakınsama hatası bırakır. Şablon eşiği 10^{-10} yapar; bağımsız hesapla farklar 10^{-10} düzeyindedir (161.6). Daha küçük eşik daha çok yineleme demektir; hata ile durdurma yoktur: yakınsamayan \lambda değerleri için paket uyarısı çıktının sonunda yazılır.

161.4.4 \lambda yolu ve seçimi

En büyük \lambda (tüm katsayıların sıfır olduğu ilk değer) ve yol:

\lambda_{\max}=\max_g\frac{\lVert\tilde X_g'(y-\bar y)/n\rVert}{\alpha\,m_g},\qquad \lambda_k=\lambda_{\max}\,\rho^{(k-1)/(N_\lambda-1)},\quad k=1,\dots,N_\lambda

Bu ifadede N_\lambda nlambda, \rho lambda_min (0 ise: n>p için 10^{-4}, aksi hâlde 0,05). Örnek veride \lambda_{\max}=0{,}206495 ve N_\lambda=100, \rho=10^{-4} ile en küçük \lambda 2{,}06\times10^{-5}'tir.

Çapraz doğrulama (cv, cv1se). Tam veriyle bulunan \lambda yolu sabit tutulur. Gauss ailesinde kat ataması V kat için sample(1:n %% V) ile (0 değeri V yapılır) yapılır; ikili ailede sınıflar içinde tabakalı. Her kat dışarıda bırakılır, geri kalan gözlemlerde dikleştirme ve yol yeniden hesaplanır, dışarıdaki gözlemler için \hat y_i(\lambda) bulunur. Gözlem başına hata e_i(\lambda)=(y_i-\hat y_i(\lambda))^2 (ikili ve Poisson'da sapma) olmak üzere

\mathrm{CV}(\lambda)=\frac1n\sum_{i=1}^ne_i(\lambda),\qquad \mathrm{SH}(\lambda)=\frac{s_e(\lambda)}{\sqrt n},\qquad \lambda_{\min}=\arg\min_\lambda\mathrm{CV}(\lambda)
\lambda_{1\mathrm{SH}}=\max\bigl\{\lambda:\ \mathrm{CV}(\lambda)\le\mathrm{CV}(\lambda_{\min})+\mathrm{SH}(\lambda_{\min})\bigr\}

Bu ifadede s_e(\lambda) gözlem hatalarının örnek standart sapması; SH, gözlem sayısına göre alınır, kat sayısına göre değil. 1-SH kuralı, hatası en iyiden bir standart hatadan fazla kötü olmayan en büyük (en seyrek) \lambda'yı seçer.

Koddaki tercih

cv.grpreg(X, y, …, nfolds = katlar) (230). Şablon λ_min'i paketin lambda.min alanından, 1-SH \lambda'sını 198–199. satırlardaki kuraldan alır ve katsayıları coef(cvfit$fit, lambda = lam) ile çeker (238). Kat ataması çağrıdan hemen önceki set.seed(tohum) ile belirlenir.

Verilen \lambda (sabit). \lambda, \lambda_{\max}'ı aşıyorsa \lambda_{\max}'a çekilir (241). Çözüm, \lambda_{\max}'tan verilen \lambda'ya log-aralıklı 100 noktalı bir yolun son noktasıdır; verilen değer yolun tam bir noktası olduğundan aradeğerleme yoktur (245–248). \lambda=0 ise yol \lambda_{\max}'tan 10^{-4}\lambda_{\max}'a 99 noktadan sonra 0'a iner.

Yayımlanmış değer aradeğerlemelidir

grpreg belgesinin coef(fit, lambda = 0.05) çağrısı, varsayılan yolun iki komşu noktası arasında doğrusal aradeğerleme yapar: yaşa ilişkin ilk katsayı 0,1405 çıkar (en yakın yol noktası \lambda=0{,}05115). Şablon \lambda=0{,}05'i yolun tam noktası yapar ve 10^{-10} toleransla çözer: 0,1407 (kesişim her iki yolda 3,0289).

161.4.5 Çıktının tanımı

Katsayı tablosu özgün ölçektedir (kesişim dahil). Grup tablosunda secildi =\bigl[\exists j:\ \hat\beta_{gj}\ne0\bigr] (grpreg sıfırlanan katsayıları tam sıfır yazar), norm_L2 =\lVert\hat\beta_g\rVert_2 (özgün ölçekte; cezalanan dikleştirilmiş ölçekteki \lVert\tilde\beta_g\rVert değildir) ve K grubun sütun sayısıdır.

Otomatik gruplar. gruplar boşsa her metin, mantıksal ya da etken (factor) sütunu için kuklalar model.matrix(~ z) ile kurulur (başvuru: etkenin ilk düzeyi; 163–168), kukla grubu bir gruptur, tek düzeyli sütun atılır; her sayısal sütun tek elemanlı bir gruptur. Etkenin düzey sırası Bölüm 1.3'teki kuralla belirlenir: veri sekmesinde "kategorik" olan sütun veri sekmesinin sırasıyla (ilk görülme), metin sütunu alfabetik sırayla.

161.4.6 Elastik ağ için kesin çözüm

\alpha<1 iken amaç işlevi dikleştirilmiş ölçekte (\tilde X_g'\tilde X_g/n=I)

\frac1{2n}\lVert y-\beta_0-\sum_g\tilde X_g\tilde\beta_g\rVert^2+\sum_g\Bigl[\lambda\alpha\sqrt{K_g}\,\lVert\tilde\beta_g\rVert+\tfrac{\lambda(1-\alpha)}2\lVert\tilde\beta_g\rVert^2\Bigr]

Bu ifadede K_g grubun sütun sayısı, \alpha grup cezası ile ridge arasındaki karışımdır. Problem dışbükeydir; her blok güncellemesi \tilde\beta_g\leftarrow\bigl(1-\lambda\alpha\sqrt{K_g}/\lVert z_g\rVert\bigr)_+z_g/(1+\lambda(1-\alpha)) biçimindedir (z_g=\tilde X_g'r/n+\tilde\beta_g, r artık).

Koddaki tercih

alfa_kesin açıkken şablon, Gauss ailesi ve grup lasso cezası için seçilen \lambda'daki katsayıları bu blok koordinat inişiyle kendisi çözer (mq_enet_kesin, 196–216; durma ölçütü 10^{-13}) ve grpreg'in sonucunu yalnız \lambda seçimi ve katsayı izleri için kullanır (250–253). Kapalıyken (varsayılan) katsayılar grpreg'den gelir ve konsola α < 1 uyarısı yazılır (227). Aile ya da ceza uygun değilse çalıştırma durur (194–195).

161.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
132–147 Paketi yükler, yordayıcıları, eksik satırları (complete.cases), yanıtı (mq_sayisal) ve ailenin yanıt koşullarını denetler. Atılan satır sayısı yazılır (139–142); n çıktı başlığında yazılır (161.8).
149–167 gruplar doluysa metni | ile gruplara ve boşluk/virgül/noktalı virgülle sütunlara ayırır; sütunların tekrarını, yokluğunu ve sayısallığını denetler; grup dışında kalan yordayıcıları tek elemanlı grup yapar. Grup adları G_1,\dots; adlarında boşluk ya da virgül olan sütunlar yazılamaz (161.8).
168–185 gruplar boşsa otomatik gruplar (kuklalar). Başvuru düzeyi ilk düzeydir (161.4.5).
186–189 Sabit sütun ve en az iki grup denetimi.
190–225 Paket çağrısının argümanlarını kurar; uyarıları toplar; kesin elastik ağ çözücüsü; \gamma ve \lambda_{\min} yalnız >0 ise paketin varsayılanını ezer. eps, max.iter, alpha, tau her zaman geçirilir (220–221). Tam veriyle yol: grpreg (225).
226–238 α < 1 uyarısı; cv/cv1se: cv.grpreg; \lambda_{\min}, 1-SH; CV tablosu; katsayılar. n<2\times kat ise durur (229). Çizimdeki yol 225'teki çağrıdan gelir (266).
239–249 sabit: \lambda kırpılırsa not yazılır, 100 noktalı yol, son sütun. Yol tamamen yeniden çözülür (247).
250–253 alfa_kesin ve \alpha<1: katsayılar kesin çözümle yeniden hesaplanır.
254–265 Özet satırı ve tablolar: katsayılar, grup düzeyinde seçim, CV, uyarılar.
266–271 Katsayı izleri: \log\lambda'ya karşı özgün ölçekteki katsayılar, renk = grup; kesikli çizgi seçilen \lambda. Grafikte gösterge yoktur; \log\lambda ekseni sağdan sola artar (268).

161.6 Elle hesap: örnek veride bağımsız yeniden hesap

Doğrulama grpreg ve şablon kullanılmadan yapılmıştır: dogrulama/grup_lasso/elle_hesap.py (numpy; SVD dikleştirme, blok koordinat inişi, tolerans 10^{-14}) ve r_dogrulama.R (taban R; aynı hesap). Kat ataması R'nin sample() algoritmasının (MT19937 ve "Rejection" örnekleme) Python'da yeniden kurulmasıyla da bulunmuştur; R tarafı set.seed(2026) ve sample ile.

Adım 1 — Dikleştirme. ftv1–ftv3m grubu için ortalaması çıkarılmış sütunların tekil değerleri 6{,}2759;\ 4{,}7044;\ 3{,}2047'dir; T_g=V\,\mathrm{diag}(\sqrt{189}/d_j).

Adım 2 — \lambda_{\max} ve yol. Grup başına \lVert\tilde X_g'(y-\bar y)/n\rVert/m_g'nin en büyüğü \lambda_{\max}=0{,}20649546; şablonda \lambda=500 verildiğinde şablonun kırptığı değer (0,206495) aynıdır. Yol 100 noktalı, \rho=10^{-4}; en küçük \lambda=2{,}0650\times10^{-5}.

Adım 3 — Verilen \lambda=0{,}05, grup lasso. Kesişim 3,02891055 (şablon 3,02891055), age1 0,14074154, lwt1 0,74690561, ht −0,29774416, ui −0,38049134; ftv grubu tam sıfır. Şablon ile bağımsız Python/R arasındaki en büyük fark 7{,}7\times10^{-11} (17 katsayı). Grup MCP ve grup SCAD için farklar 1{,}5\times10^{-10} ve 1{,}6\times10^{-10}'dur.

Adım 4 — Kat ataması ve çapraz doğrulama. set.seed(2026) ile sample(1:189 %% 10) ilk on gözlem için (1, 8, 5, 1, 1, 8, 4, 6, 3, 1) verir (Python ve R aynı). Her kat için dikleştirme ve yol eğitim satırlarında yeniden hesaplanır. \mathrm{CV}(\lambda_{\min})=0{,}43321242 (\lambda_{\min}=0{,}0183825378, yol üzerinde 27. nokta), \mathrm{SH}=0{,}04083738; 1-SH eşiği 0{,}43321242+0{,}04083738=0{,}47404980; bu eşiği aşmayan en büyük \lambda=0{,}0561376143 (15. nokta). Bunların hepsi şablonla 10^{-11} içinde aynıdır.

Adım 5 — İkili aile. low yanıtı, \lambda=0{,}02: kesişim -1{,}124286 (şablon ve bağımsız hesap 10^{-9} içinde); katsayılar ve grup seçimi aynıdır.

161.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Çapraz doğrulama: λ (en küçük CV hatası) 0,01838254 0,01838254 0,01838254 6,2e−17 ✓
Çapraz doğrulama: λ (1-SH kuralı) 0,05613761 0,05613761 0,05613761 2,1e−17 ✓
Çapraz doğrulama: en küçük CV hatası 0,43321242 0,43321242 0,43321242 5,5e−12 ✓
Çapraz doğrulama: CV hatasının SH'si 0,04083738 0,04083738 0,04083738 8,0e−13 ✓
CV ile seçilen λ'da katsayı: (Kesişim) 3,03981118 3,03981118 — 5,8e−12 ✓
CV ile seçilen λ'da katsayı: age1 0,06606159 0,06606159 — 4,8e−11 ✓
CV ile seçilen λ'da katsayı: age2 1,22161287 1,22161287 — 5,2e−11 ✓
CV ile seçilen λ'da katsayı: lwt1 1,4531864 1,4531864 — 1,6e−10 ✓
CV ile seçilen λ'da katsayı: white 0,25508384 0,25508384 — 5,8e−11 ✓
CV ile seçilen λ'da katsayı: smoke −0,24776751 −0,24776751 — 3,6e−11 ✓
CV ile seçilen λ'da katsayı: ht −0,46412994 −0,46412994 — 1,2e−12 ✓
CV ile seçilen λ'da katsayı: ui −0,44047785 −0,44047785 — 1,1e−11 ✓
CV ile seçilen λ'da katsayı: ftv1 0,05016304 0,05016304 — 1,0e−11 ✓
Grup lasso, λ = 0,05: (Kesişim) 3,02891055 3,02891055 3,02891055 2,0e−12 ✓
Grup lasso, λ = 0,05: age1 0,14074154 0,14074154 0,14074154 2,2e−11 ✓
Grup lasso, λ = 0,05: age2 0,62597219 0,62597219 0,62597219 2,9e−11 ✓
Grup lasso, λ = 0,05: lwt1 0,74690561 0,74690561 0,74690561 7,7e−11 ✓
Grup lasso, λ = 0,05: white 0,18346249 0,18346249 0,18346249 1,8e−11 ✓
Grup lasso, λ = 0,05: smoke −0,18778129 −0,18778129 −0,18778129 9,6e−12 ✓
Grup lasso, λ = 0,05: ht −0,29774416 −0,29774416 −0,29774416 1,4e−12 ✓
Grup lasso, λ = 0,05: ui −0,38049134 −0,38049134 −0,38049134 3,6e−12 ✓
Grup lasso, λ = 0,05: ftv1 0 0 0 0 ✓
Grup MCP (γ = 3), λ = 0,05: (Kesişim) 3,0393924 3,0393924 3,0393924 3,1e−12 ✓
Grup MCP (γ = 3), λ = 0,05: age1 −0,01337163 −0,01337163 −0,01337163 1,7e−12 ✓
Grup MCP (γ = 3), λ = 0,05: age2 0,83286911 0,83286911 0,83286911 3,9e−11 ✓
Grup MCP (γ = 3), λ = 0,05: lwt1 1,09378845 1,09378845 1,09378845 1,4e−10 ✓
Grup MCP (γ = 3), λ = 0,05: white 0,34052171 0,34052171 0,34052171 2,3e−11 ✓
Grup MCP (γ = 3), λ = 0,05: smoke −0,33830484 −0,33830484 −0,33830484 1,0e−11 ✓
Grup MCP (γ = 3), λ = 0,05: ht −0,4961126 −0,4961126 −0,4961126 1,1e−11 ✓
Grup MCP (γ = 3), λ = 0,05: ui −0,51411068 −0,51411068 −0,51411068 4,1e−12 ✓
Grup MCP (γ = 3), λ = 0,05: ftv1 0 0 0 0 ✓
Grup SCAD (γ = 4), λ = 0,05: (Kesişim) 3,04493978 3,04493978 3,04493978 7,9e−12 ✓
Grup SCAD (γ = 4), λ = 0,05: age1 0,07403734 0,07403734 0,07403734 8,9e−11 ✓
Grup SCAD (γ = 4), λ = 0,05: age2 0,58292403 0,58292403 0,58292403 6,9e−11 ✓
Grup SCAD (γ = 4), λ = 0,05: lwt1 0,65099463 0,65099463 0,65099463 1,6e−10 ✓
Grup SCAD (γ = 4), λ = 0,05: white 0,24914003 0,24914003 0,24914003 7,7e−11 ✓
Grup SCAD (γ = 4), λ = 0,05: smoke −0,26562302 −0,26562302 −0,26562302 5,1e−11 ✓
Grup SCAD (γ = 4), λ = 0,05: ht −0,36154228 −0,36154228 −0,36154228 1,6e−11 ✓
Grup SCAD (γ = 4), λ = 0,05: ui −0,51442503 −0,51442503 −0,51442503 3,7e−12 ✓
Grup SCAD (γ = 4), λ = 0,05: ftv1 0 0 0 0 ✓
İkili grup lasso, λ = 0,02: (Kesişim) −1,12428583 −1,12428583 — 4,1e−11 ✓
İkili grup lasso, λ = 0,02: age1 −0,89451253 −0,89451253 — 7,6e−10 ✓
İkili grup lasso, λ = 0,02: age2 −0,4631183 −0,4631183 — 5,0e−10 ✓
İkili grup lasso, λ = 0,02: lwt1 −3,40389315 −3,40389315 — 1,7e−10 ✓
İkili grup lasso, λ = 0,02: white −0,3898042 −0,3898042 — 7,3e−11 ✓
İkili grup lasso, λ = 0,02: smoke 0,44452728 0,44452728 — 4,4e−11 ✓
İkili grup lasso, λ = 0,02: ht 1,12766474 1,12766474 — 3,9e−11 ✓
İkili grup lasso, λ = 0,02: ui 0,49916211 0,49916211 — 1,9e−11 ✓
İkili grup lasso, λ = 0,02: ftv1 −0,15763804 −0,15763804 — 8,7e−14 ✓
1-SH kuralı: (Kesişim) 3,02535975 3,02535975 — 1,8e−12 ✓
1-SH kuralı: age1 0,12941713 0,12941713 — 2,0e−11 ✓
1-SH kuralı: lwt1 0,62865012 0,62865012 — 6,9e−11 ✓
1-SH kuralı: ht −0,26669963 −0,26669963 — 1,4e−12 ✓

Ölçütü karşılayan: 53/53. Python: SVD ile grup içi dikleştirme, blok koordinat inişi (tolerans 10^{-14}), \lambda yolu ve çapraz doğrulama; kat ataması R'nin sample() algoritmasının (MT19937 + Rejection) yeniden kurulmasıyla. R: aynı hesap taban R ile, kat ataması set.seed(2026); sample(1:n %% 10). grpreg çağrılmamıştır. Elastik ağ (\alpha<1) ile gel ve cMCP bu tabloda yoktur (Bölüm 161.6.1).

Satırların hepsi (53/53) 10^{-6} ölçütünü karşılar; en büyük fark 7{,}6\times10^{-10}'dur (ikili aile kesişimi). Elastik ağ (\alpha<1) için grpreg'in sonucu bu tabloda yoktur: \alpha=0{,}5, \lambda=0{,}05 ile paketin sonucu (kesişim 3,0431, lwt1 1,2111, ftv grubu 0), bağımsız uygulanan "\alpha\lambda m\lVert\tilde\beta_g\rVert+\frac{(1-\alpha)\lambda}2\lVert\tilde\beta\rVert^2" çözümünden (kesişim 3,0356, lwt1 1,2560, ftv grubu sıfırdan farklı) en çok 0,046 ayrılır ve grpreg aynı \lambda için tek-\lambda ve yol çağrılarında da farklı katsayı verir (kesişim 3,0206 ve 2,9981). Şablonun alfa_kesin seçeneği bağımsız çözümle 10^{-7} içinde örtüşür (kesişim 3,035602, lwt1 1,256031; tests/pro/test_duzeltme_371_grup_lasso.py). gel ve cMCP için bağımsız formül uygulanmamıştır; yalnız çalıştıkları ve grup içinde sıfır katsayı verdikleri gözlenmiştir.

161.7 Çıktıyı okuma

Örnek ayarın konsol çıktısı (gerçek):

n = 189, sütun = 16, grup = 8; ceza: grLasso; aile: gaussian; λ = 0,0183825 (çapraz doğrulama)

Katsayılar ve grup düzeyinde seçim (kısaltılmış; çapraz doğrulamayla seçilen \lambda):

 terim        grup   katsayi
 (Intercept)         3.0398112
 age1         G1     0.0660616
 age2         G1     1.2216129
 age3         G1     0.7241864
 lwt1         G2     1.4531864
 ...
 ht           G6    -0.4641299
 ui           G7    -0.4404779
 ftv1         G8     0.0501630
 ftv2         G8     0.0170902
 ftv3m        G8    -0.0751745

 grup sutunlar          K secildi norm_L2
 G1   age1 age2 age3    3 TRUE    1.4216709
 G2   lwt1 lwt2 lwt3    3 TRUE    1.8121307
 G3   white black       2 TRUE    0.2797801
 G4   smoke             1 TRUE    0.2477675
 G5   ptl1 ptl2m        2 TRUE    0.2963003
 G6   ht                1 TRUE    0.4641299
 G7   ui                1 TRUE    0.4404779
 G8   ftv1 ftv2 ftv3m   3 TRUE    0.0919761

 olcut                       deger
 λ (en küçük CV hatası)      0.0183825
 λ (1-SH kuralı)             0.0561376
 en küçük CV hatası          0.4332124
 CV hatasının SH'si          0.0408374
 kat sayısı                 10
Öğe Ne yazar Nasıl yorumlanır
katsayi Özgün ölçekte katsayı Polinom taban sütunlarının tek tek katsayıları yorumlanmaz; birlikte bir eğriyi tanımlar. Kukla katsayısı, başvuruya göre farktır.
grup, K Grup adı (G_i), sütun sayısı Adlar gruplar metnindeki sırayladır; otomatik gruplarda değişken adıdır.
secildi Grupta sıfırdan farklı katsayı var mı Grup lasso, MCP, SCAD'de grup ya tamamen girer ya tamamen çıkar; gel ve cMCP'de seçilen grupta bazı katsayılar yine de sıfır olabilir.
norm_L2 \lVert\hat\beta_g\rVert, özgün ölçekte Gruplar arası büyüklük karşılaştırması için ölçek bağımlıdır; cezalanan büyüklükle aynı değildir.
CV tablosu \lambda_{\min}, \lambda_{1\mathrm{SH}}, hata, SH 1-SH kuralı daha seyrek bir model verir: örnek veride \lambda_{\min}'da 8 grubun 8'i, \lambda_{1\mathrm{SH}}'da 7'si seçilir (ftv dışarıda).
Uyarılar: Paket uyarıları Genellikle "yakınsamadı"; varsa sonuçlara dikkatle yaklaşılır.

Şekil 161.1. Katsayı izleri: \log\lambda'ya karşı özgün ölçekte katsayılar; kesikli çizgi çapraz doğrulamayla seçilen \lambda (\log\lambda=-3{,}996).

Doğum ağırlığı için 16 yordayıcı 8 grupta toplandı ve grup lasso ile (n=189) çözüldü. Ceza katsayısı 10 katlı çapraz doğrulamayla seçildi (\lambda_{\min}=0{,}0184, CV hatası 0{,}433, SH 0{,}041); sekiz grubun hepsi modelde kaldı. 1-standart hata kuralıyla (\lambda=0{,}0561) ilk trimester doktor ziyaretleri grubu dışarıda kaldı ve diğer yedi grup korundu.

161.8 Sık hatalar ve tuzaklar

  • Seçilen \lambda tohuma bağlıdır. CV kat ataması rastgeledir; tohum değişince \lambda_{1\mathrm{SH}} 0,0561'den 0,0676'ya çıkar (örnek veri). Raporda künyedeki tohum yazılmalı ve gerektiğinde birkaç tohumla kararlılık denenmelidir.
  • Çapraz doğrulama tam veriyle dikleştirilmiş ölçekte yapılır. Yol (ve \lambda dizisi) tam veriden gelir; her katın içinde dikleştirme eğitim satırlarında yeniden kurulur. Standart hata gözlem sayısına göre alınır, kat sayısına göre değil.
  • \lambda \lambda_{\max}'ı aşınca kırpılır ve not yazılır. \lambda=500 verilen çalıştırma \lambda=0{,}206495 ile çalışır; konsola "Not: istenen λ = 500 en büyük λ'yı (0,206495) aşıyor; λ en büyük değere çekildi (yalnız kesişim kalır)." yazılır; bütün katsayılar sıfırdır (kesişim 2,9446, yanıt ortalaması).
  • Grup tanımı verilince yordayıcılar sayısal olmalı. race metin sütunuyla gruplar = "age lwt | race smoke" "Grup tanımı verildiğinde yordayıcılar sayısal olmalı ('race' değil)" ile durur; kuklaları önceden üretmek ya da grupları boş bırakmak gerekir. Veri sekmesinde "ikili" görünen 0/1 sütunları sayı olarak geldiğinden sorun çıkarmaz.
  • Sütun adları boşluk, virgül ya da noktalı virgül içeremez (152): bu karakterler ad ayırıcısıdır.
  • Otomatik gruplarda başvuru düzeyi ilk düzeydir (172–177). Grup lasso ve içbükey grup cezalarında çözüm başvuru seçiminden bağımsızdır (161.4.2); katsayıların yorumu ve gel/cMCP sonuçları ise başvuruya bağlıdır.
  • Eksik satırlar atılır ve sayısı yazılır (139–142). age1'de 5 boş hücre olan çalıştırmada "Not: 5 satır eksik değer nedeniyle atıldı (kalan n = 184)." yazılır.
  • norm_L2 cezalanan büyüklük değildir (161.4.5); gruplar arasında seçilme sırasını bu sütundan okumak yanıltır, secildi ve katsayı izleri kullanılmalıdır.
  • Elastik ağ (\alpha<1) sonuçları dikkatle yorumlanmalıdır. Aynı \lambda için paket yol ve tek-\lambda çağrılarında farklı katsayı verir (161.6.1); varsayılanda konsola uyarı yazılır. Gauss ve grup lasso için alfa_kesin açılırsa katsayılar kesin çözülür (161.4.6).
  • Poisson ve ikili ailelerde \lambda'nın ölçeği Gauss'tan farklıdır. \lambda değeri aileler arasında karşılaştırılamaz (örnek veride ikili için 0,02, Poisson için 0,01 alınmıştır).
  • Yakınsama. Paket uyarısı "Uyarılar:" altında yazılır; yakınsamayan \lambda noktaları için katsayılar yaklaşıktır.
  • Katsayı izleri grafiğinde gösterge yoktur; renk ve çizgi sırası G_i ile gruplara karşılık gelir.

161.9 Uzman soruları

S1. Dikleştirme neden gerekli? Ham sütunlarla grup lasso olmaz mıydı?

Ham sütunlarla ceza, grubun sütunlarının ölçeğine ve korelasyon yapısına bağlı olurdu: aynı değişken kg ya da g cinsinden verilince farklı model çıkardı. X_g'X_g/n=I yapıldığında ceza yalnız grubun kapsadığı uzaya bağlıdır ve \sqrt{K_g} çarpanı gruplar arasında adil bir yarış sağlar.

S2. \lambda_{\min} ile 1-SH kuralı arasında hangisi?

\lambda_{\min} kestirim hatasını en küçük yapar; 1-SH kuralı hata çubuğu içindeki en seyrek modeli seçer. Örnek veride ikisinin CV hatası 0{,}433 ve 0{,}468'dir ve ikincisi ftv grubunu dışarıda bırakır. Açıklama amaçlı çalışmada 1-SH, öngörü amaçlı çalışmada \lambda_{\min} yaygındır.

S3. MCP ve SCAD büyük grupları neden büzmez?

Her ikisinin türevi t>\gamma\ell için sıfırdır; güncelleme z_g'yi olduğu gibi bırakır. Örnek veride \lambda=0{,}05 ile tek sütunlu ht grubunun katsayısı grup lassoda -0{,}298, grup SCAD'de -0{,}362, grup MCP'de -0{,}496'dır; cezasız (\lambda=0) çözümde -0{,}568'dir: içbükey cezalar büyük etkiyi lassodan çok daha az büzer.

S4. Neden bir de grup içinde seçim isteriz? `gel` ve `cMCP` nedir?

Grup lasso grubun tüm sütunlarını birlikte seçer; seçilen grupta bazı sütunlar gereksizse onlar sıfırlanmaz. gel ve cMCP grup düzeyinde seçimi iç ceza ile birleştirir. Örnek veride \lambda=0{,}05'te age1 ve lwt2 bu iki cezada sıfırdır, oysa grup lassoda sıfırdan farklıdır. Ayar \tau iç/dış dengesini belirler; şablon iki cezanın formülünü açığa çıkarmaz.

S5. Neden verilen \lambda yolun tam noktası yapılıyor?

Paketin coef(fit, lambda = …) çağrısı komşu yol noktaları arasında aradeğerleme yapar (161.4.4); verilen \lambda yolda yoksa katsayılar kesin çözüm olmaz. Şablon yolu \lambda'da bitirir ve son noktayı alır; yayımlanmış değer ile fark yalnız aradeğerlemeden gelir (0,1405 ve 0,1407).

S6. Çözüm tek midir?

Grup lasso ve ridge'li biçimi dışbükeydir ve tek çözümü vardır; bağımsız hesap bunu 10^{-10} ile doğrular. MCP ve SCAD içbükeydir ve yerel çözümler olabilir; şablon yolu ısınmalı (büyük \lambda'dan küçüğe) çözer ve yol üzerinde bulunan yerel çözüm raporlanır. Örnek veride bağımsız hesap aynı yolu izlemiş ve aynı çözüme ulaşmıştır; farklı yol farklı yerel çözüm verebilir.

S7. \lambda değerleri ailelerde karşılaştırılabilir mi?

Hayır. Gauss'ta kayıp \frac1{2n}RSS'dir; ikili ve Poisson'da -\frac1n\ln L. \lambda_{\max} kayıp işlevinin sıfır modeldeki gradyanına bağlıdır, dolayısıyla \lambda'nın büyüklüğü ailelere özgüdür.

S8. Eksik veri nasıl işleniyor?

Yanıt ve yordayıcılarda eksik olan satırlar atılır (complete.cases, 140) ve atılan satır sayısı konsola yazılır. Yöntem eksik verinin tamamen rastgele olduğunu varsayar.

161.10 Kaynaklar

Breheny, P. (2015). The group exponential lasso for bi-level variable selection. Biometrics, 71(3), 731–740. https://doi.org/10.1111/biom.12300

Breheny, P., & Huang, J. (2009). Penalized methods for bi-level variable selection. Statistics and Its Interface, 2(3), 369–380. https://doi.org/10.4310/SII.2009.v2.n3.a10

Breheny, P., & Huang, J. (2015). Group descent algorithms for nonconvex penalized linear and logistic regression models with grouped predictors. Statistics and Computing, 25(2), 173–187. https://doi.org/10.1007/s11222-013-9424-2

Fan, J., & Li, R. (2001). Variable selection via nonconcave penalized likelihood and its oracle properties. Journal of the American Statistical Association, 96(456), 1348–1360. https://doi.org/10.1198/016214501753382273

Hosmer, D. W., & Lemeshow, S. (1989). Applied logistic regression. Wiley.

Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4. bs.). Springer. https://doi.org/10.1007/978-0-387-21706-2

Yuan, M., & Lin, Y. (2006). Model selection and estimation in regression with grouped variables. Journal of the Royal Statistical Society: Series B, 68(1), 49–67. https://doi.org/10.1111/j.1467-9868.2005.00532.x

Zhang, C.-H. (2010). Nearly unbiased variable selection under minimax concave penalty. The Annals of Statistics, 38(2), 894–942. https://doi.org/10.1214/09-AOS729

R Core Team. (2026). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/