MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Lasso Regresyon

Lasso Regresyonanaliz

Katsayıları bir cezayla küçülterek bazılarını tam sıfıra indiren ve böylece çok sayıda aday öngörücü arasından tahmin için gerekli olanları seçen regresyon yöntemi.

Kavram

Elde gözlem sayısına yakın ya da ondan fazla aday öngörücü olduğunda sıradan regresyon veriye aşırı uyar: eldeki veriyi neredeyse kusursuz açıklar ama yeni veride kötü tahmin verir. Üstelik hangi değişkenlerin gerçekten önemli olduğunu ayırt etmek zorlaşır. Lasso (Least Absolute Shrinkage and Selection Operator) hem katsayıları küçülterek tahmini kararlı hâle getirir hem de gereksiz değişkenleri modelden çıkarır.

Lasso, hata kareler toplamına katsayıların mutlak değerlerinin toplamını ceza olarak ekler: Σ(y − ŷ)² + λ·Σ|β| (sabitler ve ölçek farklılıkları bir yana). Ridge'deki kare cezasından farklı olarak mutlak değer cezası, yeterince büyük λ'da bazı katsayıları tam sıfıra iter; o değişkenler modelden düşer. λ büyüdükçe daha az değişken kalır. Öngörücüler önceden standartlaştırılır ve λ genellikle çapraz doğrulamayla seçilir; 1-SE kuralı biraz daha sade bir model seçer.

Lasso'nun seçimi kesin bir gerçeği değil, verinin desteklediği sade bir tahmin modelini gösterir. Birbiriyle güçlü ilişkili değişkenlerden çoğu zaman birini seçer, ötekini atar ve bu seçim örneklemden örnekleme değişebilir; seçim kararlılığı bu nedenle ayrıca incelenmelidir. Lasso katsayıları bilerek büzülmüş olduğundan klasik p-değerleri ve güven aralıkları geçerli değildir; seçilen değişkenlerle yeniden kurulan sıradan modelde bile p-değerleri seçimi hesaba katmadığı için iyimserdir.

Ne zaman kullanılır?

  • Çok sayıda aday öngörücü varken hem iyi tahmin eden hem de az sayıda değişken içeren sade bir model istendiğinde (ör. onlarca toprak ve iklim ölçüsünden verim tahmini, çok sayıda biyobelirteçten risk tahmini).
  • Öngörücüler birbiriyle güçlü ilişkiliyse ve hepsinin modelde kalması sakıncalı değilse ridge; ilişkili değişken gruplarını birlikte tutarak seçim yapmak isteniyorsa elastic net tercih edilir.
  • Öngörücü sayısı az ve kuramsal olarak belirlenmişse, katsayıların yorumu ve sınanması için sıradan çoklu doğrusal regresyon daha uygundur.

Gündelik bir örnek

Bir tarım işletmesi 80 parselde buğday verimini; toprağın pH'ı, organik maddesi, azot, fosfor ve potasyum düzeyleri, ekim tarihi, yağış, sıcaklık gibi 25 ölçümle tahmin etmek istiyor. 80 parsel ve 25 değişkenle sıradan regresyon veriye aşırı uyar. Lasso, çapraz doğrulamayla seçilen cezada örneğin yalnız azot, yağış, ekim tarihi ve organik maddeyi modelde bırakıp diğerlerinin katsayısını sıfıra indirebilir. İşletme böylece gelecek sezonda hangi ölçümlere öncelik vereceğine dair sade bir tahmin modeli elde eder.

MerQur'da parametreler

Bağımsız (özellikler) ve Hedef sütun

Kavram: Öngörücüler aday değişkenler, hedef ise tahmin edilen sonuçtur. Ceza tüm katsayılara eşit uygulandığından öngörücüler standartlaştırılır; böylece bir değişkenin seçilip seçilmemesi ölçü biriminden etkilenmez.

Gündelik örnek: Tarım örneğinde hedef buğday verimi, öngörücüler 25 toprak ve iklim ölçümüdür. Yağış milimetre, pH birimsiz ölçüldüğü hâlde standartlaştırma sayesinde ikisi aynı ölçütle değerlendirilir.

Ne işe yarar: Öngörücüleri ve bağımlı değişkeni seçer; metin sütunlar otomatik kukla kodlanır.

Sonuca etkisi: Ceza, standartlaştırılmış tüm sütunlara uygulanır.

α (Düzenlileştirme)

Kavram: Ceza katsayısıdır (λ); ne kadar büyükse o kadar çok katsayı tam sıfıra iner. Yeterince büyük bir değerde tüm katsayılar sıfır olur ve model yalnız ortalamayı tahmin eder.

Gündelik örnek: Küçük bir cezada 25 ölçümün 20'si modelde kalabilir; cezayı artırınca önce etkisi zayıf olanlar düşer ve sonunda yalnız azot ile yağış gibi en güçlü birkaç değişken kalır.

Ne işe yarar: L1 ceza katsayısıdır: (1/2n)||y - X_s b||² + α|b|₁; büyüdükçe daha çok katsayı tam sıfır olur. Anlamlı aralık 0 ile λ_max arasındadır; alfa bu amaç fonksiyonundaki λ'dır. α >= λ_max ise "tüm katsayılar sıfırdır" uyarısı yazılır.

Sonuca etkisi: Katsayılar, seçilen değişkenler ve R² değişir. Yakınsama toleransı 1e-12'dir; yakınsamazsa uyarı yazılır.

Doğrulama verisinde: QuickStart: α = 0.001 -> 20/20 sıfırdan farklı, R² 0.9132; 0.1 -> 9/20, R² 0.8994; 1 -> 2/20. Prostat 0.1 -> 5/8. Hitters CHmRun -0.0664293.

→ Düzenlileştirme (ceza) ve ceza parametresi λ/α

Otomatik α (çapraz-doğrulama)

Kavram: Cezanın, verinin bir kısmında kurulan modelin kalan kısımdaki tahmin hatasına bakılarak seçilmesidir; böylece λ, yeni veride en iyi tahmini verecek biçimde belirlenir.

Gündelik örnek: Parseller beş gruba ayrılır; her seferinde dört grupla model kurulup beşinci gruptaki verim tahmin edilir. Bu, farklı ceza değerleri için tekrarlanır ve ortalama tahmin hatası en küçük olan ceza seçilir.

Ne işe yarar: Alfayı log ölçekli ızgaradan (λ_max'tan λ_max × 1e-4'e, 100 nokta) k-kat CV MSE ile seçer; her eğitim katında yeniden ölçekler ve kat büyüklüğüyle ağırlıklı ortalama alır.

Sonuca etkisi: Seçilen alfa ve ona bağlı tüm sonuçlar değişir.

Doğrulama verisinde: QuickStart 5-kat λ_min 0.0830733 (9 değişken), prostat 10-kat 0.00578245 (7/8), Hitters 10-kat 2.67438 (13/19).

→ Düzenlileştirme (ceza) ve ceza parametresi λ/α

CV kat sayısı

Kavram: Çapraz doğrulamada verinin kaç parçaya bölüneceğini belirler. Seçilen ceza ve dolayısıyla seçilen değişkenler parça sayısıyla biraz değişebileceği için bu sayı raporlanmalıdır.

Gündelik örnek: 80 parsel 5 parçaya bölündüğünde 4 değişken seçilirken 10 parçaya bölündüğünde 5 değişken seçilebilir; fark genellikle sınırdaki zayıf bir değişkenden kaynaklanır.

Ne işe yarar: Ardışık (karıştırılmamış) kat sayısını belirler (3-20, varsayılan 5).

Sonuca etkisi: Otomatik alfa, CV performansı ve kararlılığı etkiler; CV kapalıyken etkisizdir.

Doğrulama verisinde: QuickStart λ_min: K = 3 -> 0.0628419 (11 değişken), 5 -> 0.0830733, 10 ve 20 -> 0.0756933.

→ k-katlı çapraz geçerleme

λ seçim kuralı (λ_min, λ_1SE)

Kavram: λ_min, çapraz doğrulama hatasını en küçük yapan cezadır. λ_1SE ise hatası en küçük hatadan bir standart hata uzaklığı içinde kalan en büyük cezadır; tahmin başarısı istatistiksel olarak benzer ama daha az değişkenli bir model verir.

Gündelik örnek: λ_min yedi değişkenli bir model verirken λ_1SE beş değişkenli bir model verebilir ve ikisinin tahmin hatası neredeyse aynıdır. İşletme daha az ölçüm yapmak istiyorsa ikinci modeli tercih eder.

Ne işe yarar: λ_1SE, CV MSE <= min + SE(min) olan en büyük λ'yı seçer (Breiman vd., 1984); daha seyrek modeldir.

Sonuca etkisi: Yalnız otomatik alfa açıkken seçilen alfa ve model değişir.

Doğrulama verisinde: QuickStart 5-kat: 0.0830733 (9 değişken, R² 0.9023) -> 0.145173 (8, R² 0.8901). Prostat: 0.00578 (7/8) -> 0.164686 (5/8).

→ 1-SE kuralı

Katsayı yolu

Kavram: Ceza büyüdükçe her katsayının nasıl değiştiğini ve hangi değişkenin hangi ceza düzeyinde sıfırdan ayrıldığını gösterir. Erken giren değişkenler sonuçla en güçlü ilişkiye sahip olanlardır.

Gündelik örnek: Katsayı yolunda azotun en büyük cezada bile modelde kaldığı, fosforun ise ancak ceza küçüldüğünde girdiği görülebilir. Bu sıra, hangi ölçümün verim tahmini için daha vazgeçilmez olduğuna dair fikir verir.

Ne işe yarar: Izgara boyunca standart katsayı yolunu ve değişkenlerin modele giriş sırasını (sıfırdan ayrıldıkları en büyük λ) verir.

Sonuca etkisi: Ek tablo ve grafik; genelleştirilmiş doğrusal model ailelerinde k-kat sapma eğrisi de verilir.

Doğrulama verisinde: Prostat giriş sırası: lcavol (0.8008), lweight (0.4175), svi (0.3466), pgg45 ve lbph (0.1984).

→ Katsayı yolu ve ridge izi

Hedef türü (Sürekli (doğrusal), ikili (lojistik), sayım (Poisson))

Kavram: Lasso cezası ikili (lojistik) ve sayım (Poisson) sonuçlarında da kullanılabilir; ceza bu modellerin olabilirlik fonksiyonuna eklenir ve değişken seçimi aynı mantıkla yapılır.

Gündelik örnek: İşletme verim yerine 'parselde hastalık görüldü mü?' sorusunu yanıtlamak isterse sonuç ikilidir; cezalı lojistik model 25 ölçümden hastalık riskini en iyi gösterenleri seçer.

Ne işe yarar: İkili hedefte cezalı lojistik (-l/n + α|b|₁), sayım hedefinde cezalı Poisson kestirir.

Sonuca etkisi: Model ailesi, sapma ve D² değişir.

Doğrulama verisinde: Binom α = 0.1: sapma 99.028, D² 0.2781, 8/30; Poisson α = 1: D² 0.9404, 6/20.

→ Dağılım ailesi (GLM)

Kategorik öngörücüler

Kavram: Kategorik öngörücüleri kukla değişkenlere açar. Kuklalar ayrı ayrı cezalandırıldığı için aynı değişkenin bazı düzeyleri modelde kalırken bazıları düşebilir.

Gündelik örnek: Toprak türü 'killi / tınlı / kumlu' iki kuklayla girer. Lasso 'kumlu' kuklasını tutup 'tınlı' kuklasını sıfırlayabilir; bu, tınlı toprağın referans düzeyle benzer verim verdiği anlamına gelir.

Ne işe yarar: Adı yazılan sütunları (sayısal olsa da) kukla kodlar, ilk düzey referanstır. Kuklalar ayrı ayrı cezalandırılır (grup lasso değildir).

Sonuca etkisi: Kukla tasarımı ve seçim değişir.

Doğrulama verisinde: Prostat "gleason" -> 3 kukla; 6/10 sıfırdan farklı, R² 0.6594.

→ Kukla (gösterge) değişken kodlaması

Ek çıktı: CV performansı

Kavram: Seçilen cezayla kurulan modelin, kurulurken kullanılmayan verideki tahmin başarısını özetler (ortalama kare hata, çapraz doğrulama R²'si). Eğitim verisindeki uyumdan daha dürüst bir ölçüdür.

Gündelik örnek: Model kurulduğu parsellerde verim farklılıklarının %80'ini açıklarken görmediği parsellerde %70'ini açıklıyorsa, yeni sezon için beklenebilecek başarı ikinci değere yakındır.

Ne işe yarar: Seçilen alfa ile ardışık k-kat dışarıda bırakılmış tahmin: MSE, R²_CV; genelleştirilmiş doğrusal modelde ortalama birim sapma ve sınıflama hatası.

Sonuca etkisi: Ek tablo.

Doğrulama verisinde: QuickStart α = 0.1, K = 5: MSE 1.1289, R²_CV 0.8676, df 9; K = 10: MSE 1.1321.

→ Tahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)

Ek çıktı: Seçilenlerle OLS

Kavram: Lasso'nun seçtiği değişkenlerle cezasız sıradan bir model yeniden kurulur; katsayılar büzülmemiş hâlleriyle yorumlanabilir. Ancak değişkenler aynı veriyle seçildiği için bu modelin p-değerleri ve güven aralıkları iyimserdir.

Gündelik örnek: Lasso azot, yağış, ekim tarihi ve organik maddeyi seçtiyse bu dört değişkenle sıradan regresyon kurulur ve 'her ek kg azot verimi ne kadar artırıyor?' sorusu büzülmemiş katsayıyla yanıtlanır. Bu sonucu doğrulamak için yeni sezon verisi gerekir.

Ne işe yarar: Sıfırdan farklı kalan değişkenlerle cezasız OLS/genelleştirilmiş doğrusal model yeniden uyumu (relaxed lasso, γ = 0); p ve güven aralığı seçimi hesaba katmaz (uyarı yazılır).

Sonuca etkisi: Ek tablo.

Doğrulama verisinde: Prostat s = .36: 3 değişken, R² 0.6374; lcavol B 0.51999 (SE 0.09442). QuickStart α = 0.1: 9 değişken, R² 0.9087.

→ En küçük kareler (OLS) yöntemi

Ek çıktı: Seçim kararlılığı

Kavram: Lasso'yu verinin çok sayıda rastgele alt örnekleminde tekrar çalıştırıp her değişkenin ne sıklıkla seçildiğini gösterir. Sık seçilen değişkenler güvenilir, ara sıra seçilenler ise örnekleme bağlı seçimlerdir.

Gündelik örnek: Azot alt örneklemlerin %100'ünde, yağış %90'ında, fosfor ise %35'inde seçiliyorsa ilk ikisinin önemi sağlamdır; fosforun modelde görünüp görünmemesi büyük ölçüde hangi parsellerin veride bulunduğuna bağlıdır.

Ne işe yarar: 100 alt örneklemde (floor(n/2), iadesiz, tohum 42) aynı alfa ile her değişkenin seçilme sıklığını verir; >= 0.6 kararlı sayılır. İkili/Poisson hedefte hesaplanmaz ve uyarı yazılır.

Sonuca etkisi: Ek tablo; her alt örneklemde yeniden ölçekleme yapılır.

Doğrulama verisinde: QuickStart α = 0.1: V1, V3, V5, V6, V8, V14, V20 için 1.00; V11 için 0.76. Prostat s = .36: lcavol 1.00, lweight 0.92, svi 0.70.

→ Seçim kararlılığı (stability selection)

Gerçek veride örnek

Veri: Stamey vd. 1989 prostat verisi (ESL eğitim kümesi)

Değişkenler: hedef lpsa (log PSA), sekiz klinik öngörücü (lcavol, lweight, age, lbph, svi, lcp, gleason, pgg45)

  • Soru: Prostat verisinde (n = 67) sekiz öngörücüden hangileri PSA düzeyini (lpsa) açıklamak için gereklidir? Lasso L1 cezası hem büzer hem değişken seçer; öngörücüler 1/n bölenli SD ile standartlaştırıldı, ceza α = 0.1, sabit cezasız.
  • Varsayım: α = 0.1 elle girilmiştir; tahmin amaçlı çalışmada α k-kat çapraz doğrulamayla (λ_min ya da λ_1SE) seçilmeli, seçim kararlılığı alt örneklemlerle denetlenmelidir. Lasso katsayıları için klasik SE/p yorumlanmaz.
  • Sonuç: Beş öngörücü modelde kalır: lcavol (0.4627), lweight (0.4833), svi (0.4102), lbph (0.0723), pgg45 (0.0022); age, lcp ve gleason tam sıfıra indirilir.
  • Etki büyüklüğü: R² = 0.6478, düzeltilmiş R² = 0.5992 (p = 8 ile); ridge'e (R² = 0.694) göre biraz daha düşük uyum, karşılığında daha sade model.
  • APA: Lasso regresyonu (α = 0.1, standartlaştırılmış öngörücüler) 8 öngörücüden 5'ini seçti, R² = .65.

İlgili kavramlar

Düzenlileştirme (ceza) ve ceza parametresi λ/αSeçim kararlılığı (stability selection)Katsayı yolu ve ridge izik-katlı çapraz geçerleme1-SE kuralıTahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)Dağılım ailesi (GLM)En küçük kareler (OLS) yöntemi

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.