MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Düzenlileştirilmiş Regresyon

Düzenlileştirilmiş Regresyonanaliz

Çok sayıda ve birbiriyle ilişkili yordayıcı bulunduğunda, katsayıların büyüklüğüne ceza uygulayarak aşırı uyumu önleyen ve LASSO gibi türleriyle yordayıcı seçimi de yapan regresyon yöntemleri (LASSO, Ridge, ElasticNet).

Kavram

Yordayıcı sayısı arttıkça sıradan en küçük kareler (EKK) eldeki veriye giderek daha iyi uyar, ama bu uyumun bir kısmı gerçek ilişkiyi değil verideki rastlantısal gürültüyü yansıtır; model yeni veride kötü tahmin yapar (aşırı uyum). Yordayıcılar birbiriyle güçlü biçimde ilişkiliyse katsayılar kararsızlaşır ve küçük veri değişiklikleriyle işaret bile değiştirebilir. Yordayıcı sayısı gözlem sayısına yaklaştığında ya da onu aştığında EKK hiç kullanılamaz hâle gelir. Düzenlileştirilmiş regresyon bu sorunlara, katsayıları bilinçli olarak küçülterek yanıt verir.

Yöntem, artık kareler toplamına katsayıların büyüklüğüne bağlı bir ceza ekler ve ikisinin toplamını en küçük yapar: Σ(y − ŷ)² + λ · ceza. Ridge cezası katsayıların karelerinin toplamıdır (L2); tüm katsayıları sıfıra doğru küçültür ama hiçbirini tam sıfır yapmaz, ilişkili yordayıcılar arasında etkiyi paylaştırır. LASSO cezası katsayıların mutlak değerlerinin toplamıdır (L1); bazı katsayıları tam sıfıra indirerek yordayıcı seçimi yapar. ElasticNet ikisini karıştırır ve ilişkili yordayıcı gruplarında LASSO'dan daha kararlı seçim yapar. Ceza şiddeti λ genellikle çapraz doğrulamayla, yeni veride en iyi tahmini verecek biçimde seçilir.

Ceza tüm katsayılara aynı ölçüde uygulandığından yordayıcılar önce standartlaştırılmalıdır; aksi halde ölçü birimi küçük olan değişkenler haksız biçimde cezalandırılır. Küçültülmüş katsayılar bilerek yanlıdır: amaç tek tek katsayıları yansız kestirmek değil, tahmin hatasını azaltmaktır. Bu nedenle sıradan p değerleri ve güven aralıkları bu modellerde doğrudan geçerli değildir. LASSO'nun seçtiği değişken kümesi veriye duyarlı olabilir; bootstrap ile seçilme kararlılığına bakmak, hangi yordayıcıların gerçekten güvenilir olduğunu gösterir.

Ne zaman kullanılır?

  • Çok sayıda ve birbiriyle ilişkili yordayıcıdan iyi tahmin yapan bir model kurmak ve hangi yordayıcıların önemli olduğunu seçmek istendiğinde; yordayıcı sayısı gözlem sayısına yakın ya da ondan büyük olduğunda.
  • Yordayıcı sayısı az, ilişkiler zayıf ve amaç katsayıları kuramsal olarak yorumlayıp sınamaksa sıradan çoklu regresyon daha uygundur.
  • Yordayıcılar çok yüksek bağıntılı ve sayıca çoksa (ör. spektral veri) kısmi en küçük kareler regresyonu; ilişkiler doğrusal değilse rastgele orman gibi esnek yöntemler düşünülebilir.

Gündelik bir örnek

Bir süpermarket zinciri, şubelerin haftalık satışını 40 aday değişkenle tahmin etmek istiyor: fiyat indirimleri, broşür kampanyaları, hava sıcaklığı, yağış, tatil günleri, rakip mağaza açılışları ve daha fazlası. Yalnız 120 haftalık veri olduğundan 40 değişkenli bir EKK modeli geçmişe çok iyi uyar ama gelecek haftaları kötü tahmin eder. LASSO, çapraz doğrulamayla seçilen bir cezayla katsayıların çoğunu sıfırlayıp örneğin yalnız indirim oranı, tatil günü ve sıcaklığı modelde bırakabilir. Böylece hem daha iyi tahmin yapan hem de yöneticilerin anlayabileceği sade bir model elde edilir.

MerQur'da parametreler

Hedef Sütun ve Hedef dağılımı (Sürekli, İkili, Sayım)

Kavram: Hedef dağılımı, bağımlı değişkenin türüne uygun modeli belirler: sürekli sonuçlar için doğrusal regresyon, ikili sonuçlar için lojistik regresyon, sayımlar için Poisson regresyonu. Ceza mantığı her üçünde aynıdır; değişen, modelin uyumunu ölçen kayıp fonksiyonudur.

Gündelik örnek: Haftalık satış tutarı sürekli bir hedeftir. Soru 'şube bu hafta satış hedefini tuttu mu?' olsaydı ikili, 'bu hafta kaç müşteri şikâyeti geldi?' olsaydı sayım hedefi seçilirdi.

Ne işe yarar: Modellenecek bağımlı değişkeni ve dağılım ailesini seçer. İkili ve sayım hedeflerinde cezalı olabilirlikli genelleştirilmiş doğrusal model (binom / Poisson ailesi) kurulur; CV ölçütü sapmadır.

Sonuca etkisi: Tüm çıktılar.

Doğrulama verisinde: İkili LASSO: lambda_min 0.025785, lambda_1se 0.049454, 17/30 değişken, sapma 48.2255. Poisson lambda_min 0.080441.

→ Dağılım ailesi (GLM)

Yöntem (LASSO, Ridge, ElasticNet)

Kavram: Yöntem, katsayılara uygulanan cezanın türünü belirler. Ridge tüm katsayıları küçültür ama hiçbirini sıfırlamaz; LASSO bazılarını tam sıfıra indirerek değişken seçer; ElasticNet ikisini karıştırarak ilişkili değişken gruplarını birlikte tutabilir.

Gündelik örnek: Sıcaklık ve 'mevsim' değişkenleri neredeyse aynı bilgiyi taşıyorsa LASSO bunlardan birini rastgele denebilecek biçimde seçip ötekini sıfırlayabilir. Ridge ikisine de küçük katsayılar verir; ElasticNet ise ikisini birlikte tutma eğilimindedir.

Ne işe yarar: Ceza türünü seçer. LASSO (L1) katsayıları sıfıra çekerek değişken seçer; Ridge (L2) tüm katsayıları küçültür ve sıfırlamaz; ElasticNet ikisinin karışımıdır (Zou ve Hastie, 2005). Ridge alfası LASSO / ElasticNet alfasıyla aynı ölçekte değildir (standartlaştırılmış ölçekte lambda = a s_y / n).

Sonuca etkisi: Katsayılar, seçilen değişken sayısı, CV ile seçilen alfa.

Doğrulama verisinde: QuickStart CV: LASSO alfa 0.08307, 9/20 değişken, R2(CV) 0.8471; Ridge alfa 5.7263, 20/20, 0.8260; ElasticNet (L1 oranı 0.5) alfa 0.0950752.

→ Düzenlileştirme (ceza) ve ceza parametresi λ/α

Alfa

Kavram: Ceza şiddeti, katsayıların ne kadar küçültüleceğini belirler. Şiddet sıfıra yaklaştıkça sonuç sıradan regresyona, arttıkça sabit bir tahmine yaklaşır; en uygun değer genellikle çapraz doğrulamayla seçilir.

Gündelik örnek: Ceza çok zayıfsa satış modeli 40 değişkenin hepsini tutar ve geçmiş haftaları ezberler. Ceza çok güçlüyse tüm katsayılar sıfırlanır ve model her hafta için aynı ortalama satışı tahmin eder. Arada bir değer, gelecek haftaları en iyi tahmin edeni verir.

Ne işe yarar: Ceza şiddetidir. 0 = CV ile seç (varsayılan); pozitif değer sabit ceza uygular.

Sonuca etkisi: Büyüdükçe katsayılar küçülür; alfa lambda_max'ın üstündeyse tüm katsayılar 0 olur ve uyarı verilir. Birim yönteme göre değişir.

Doğrulama verisinde: QuickStart LASSO alfa = 0.0001: 20/20 değişken; 0.1: 9/20; 0.5: 6/20; 10 ve 100: 0/20 ve uyarı "alfa >= lambda_max = 1.63076". Hitters alfa = 1: CHmRun 0.176368.

→ Düzenlileştirme (ceza) ve ceza parametresi λ/α

L1 ratio (ElasticNet)

Kavram: L1 oranı, ElasticNet cezasının ne kadarının LASSO (L1), ne kadarının Ridge (L2) türünden olduğunu belirler. Oran 1'e yaklaştıkça model daha az değişken tutar, 0'a yaklaştıkça Ridge gibi davranır.

Gündelik örnek: L1 oranı 0,9 seçilirse model büyük ölçüde LASSO gibi çalışır ama sıcaklık ile mevsim gibi ilişkili değişken çiftlerinden birini keyfî biçimde atma eğilimi biraz yumuşar.

Ne işe yarar: ElasticNet karışımı (1 = LASSO, 0 = saf Ridge). LASSO ve Ridge'de yok sayılır.

Sonuca etkisi: Seçilen değişken sayısı ve katsayılar.

Doğrulama verisinde: ElasticNet CV: L1 oranı 0.2 iken 19/20 değişken; 0.5 iken 13; 0.9 iken 9; 1.0 = LASSO. L1 oranı 0: saf Ridge, alfa 0.16308 ızgaranın alt ucunda (uyarı).

→ Elastik ağ (ElasticNet) ve L1 oranı

L1 oranını CV ile seç (ElasticNet)

Kavram: L1 oranını da çapraz doğrulamayla seçmek, karışımın ne kadar LASSO ne kadar Ridge olacağına verinin karar vermesini sağlar. Her aday oran için en iyi ceza şiddeti bulunur ve yeni veride en küçük hatayı veren oran-şiddet çifti seçilir.

Gündelik örnek: Analist 0,5 mi 0,9 mu seçeceğini bilmiyorsa birkaç oranı birlikte dener; geçmiş haftaların gizlenen kısmını en iyi tahmin eden karışım seçilir.

Ne işe yarar: L1 oranını {0.1, 0.5, 0.7, 0.9, 0.95, 0.99, 1} ızgarasından çapraz doğrulamayla seçer (alfa elle verilmişse yalnız L1 oranı seçilir). İkili hedefte de çalışır.

Sonuca etkisi: Seçilen oran, alfa ve katsayılar; LASSO seçiliyken ve Poisson hedefte sonucu değiştirmez.

Doğrulama verisinde: QuickStart'ta L1 oranı 1.0 seçilir. İkili örnekte seçilen oran 0.1, lambda_min 0.0483173.

→ Elastik ağ (ElasticNet) ve L1 oranı

CV fold sayısı

Kavram: k-katlı çapraz doğrulama veriyi k parçaya böler; model her seferinde k − 1 parçayla kurulup kalan parçada sınanır ve hatalar ortalanır. Böylece bir ceza değerinin modeli kurmakta kullanılmayan veride ne kadar iyi tahmin yaptığı ölçülür.

Gündelik örnek: 120 haftalık veri 5 parçaya bölünürse model her seferinde 96 haftayla kurulup kalan 24 haftayı tahmin eder. Beş denemenin ortalama hatası, o ceza değerinin gelecek haftalarda ne kadar iyi çalışacağının bir göstergesidir.

Ne işe yarar: Ardışık (karıştırmasız) k-kat çapraz doğrulamada alfa seçimi, CV eğrisi, R2(CV) ve RMSE(CV) için kat sayısını belirler. 5-10 olağandır; sıralı veride karıştırma açılmalıdır.

Sonuca etkisi: Seçilen alfa.

Doğrulama verisinde: QuickStart LASSO alfa: k = 2 için 0.05217; k = 5 için 0.08307; k = 10 için 0.07569. Prostat verisi lpsa'ya göre sıralı olduğundan ardışık katlarda R2(CV) -8.09'dur.

→ k-katlı çapraz geçerleme

Standardize et (önerilir)

Kavram: Standartlaştırma, her yordayıcıyı ortalaması 0 ve standart sapması 1 olacak biçimde ölçekler. Ceza katsayıların büyüklüğüne bağlı olduğundan, bu yapılmazsa ölçü birimi seçimi hangi değişkenin daha çok cezalandırılacağını belirler.

Gündelik örnek: Sıcaklık santigrat derece, reklam bütçesi lira cinsinden ölçülüyorsa, standartlaştırma olmadan bütçenin katsayısı çok küçük görünür ve neredeyse hiç cezalandırılmaz. Standartlaştırma her iki değişkene eşit muamele yapılmasını sağlar.

Ne işe yarar: Yordayıcıları 1/n sd ile ölçekler (ceza tüm yordayıcılara eşit uygulanır); katsayılar özgün ölçeğe çevrilir.

Sonuca etkisi: Ceza dağılımı ve seçim; ölçekleri farklı yordayıcılarda belirgindir.

Doğrulama verisinde: QuickStart (benzer ölçekli X): CV alfa 0.07884 / 0.08116 (küçük etki).

→ z-puanı (standartlaştırma)

Grafik (Katsayı çubukları, Katsayı yolu, CV hata eğrisi)

Kavram: Katsayı çubukları seçilen modelin katsayılarını, katsayı yolu ceza şiddeti arttıkça her katsayının nasıl küçülüp sıfıra indiğini, çapraz doğrulama eğrisi de ceza şiddetine göre tahmin hatasını gösterir.

Gündelik örnek: Katsayı yolu grafiğinde indirim oranının katsayısı ceza çok güçlenene kadar sıfıra inmiyorsa, bu değişken satışın en dayanıklı yordayıcısıdır. Rakip mağaza açılışının katsayısı ise ceza biraz artınca hemen sıfırlanabilir.

Ne işe yarar: Grafik türünü seçer.

Sonuca etkisi: Yalnız grafik; sayısal çıktı değişmez.

Doğrulama verisinde: Sayısal fark yok.

→ Katsayı yolu ve ridge izi

Alfa / lambda seçim kuralı (En küçük CV hatası, 1-SE kuralı)

Kavram: En küçük çapraz doğrulama hatası kuralı, tahmin hatasını en aza indiren cezayı seçer. 1-SE kuralı ise hatası en iyi değerin bir standart hatası içinde kalan en güçlü cezayı seçer; tahmin başarısından anlamlı bir kayıp olmadan daha sade bir model verir.

Gündelik örnek: En küçük hata kuralı satış modelinde 9 değişken bırakırken 1-SE kuralı 4 değişkenle neredeyse aynı tahmin başarısını sağlayabilir. Yöneticilere anlatılacak bir model için 4 değişkenli sürüm daha kullanışlıdır.

Ne işe yarar: CV eğrisinde en küçük hatayı ya da 1-SE kuralını (en küçük hatanın bir SE'si içindeki en büyük ceza, daha sade model) seçer.

Sonuca etkisi: Seçilen ceza ve değişken sayısı; alfa elle verilmişse etkisizdir.

Doğrulama verisinde: QuickStart LASSO: en küçük hata 0.08307 (9 değişken), 1-SE 0.14517 (8 değişken); ikili 0.025785 ve 0.049454.

→ 1-SE kuralı

CV katlarını karıştır ve CV / bootstrap tohumu

Kavram: Katları karıştırmak, gözlemleri çapraz doğrulama parçalarına rastgele dağıtır; veri belirli bir değişkene ya da zamana göre sıralıysa ardışık parçalar dengesiz olur ve hata kestirimleri yanıltır. Tohum, aynı rastgele dağıtımın yeniden üretilebilmesini sağlar.

Gündelik örnek: Veri satış tutarına göre sıralanmışsa, karıştırmasız ilk parça yalnız en düşük satışlı haftaları içerir ve model bu parçayı tahmin ederken anlamsız biçimde kötü görünür. Karıştırma her parçaya farklı türden haftalar düşmesini sağlar.

Ne işe yarar: Katları tohumlu rastgele atar; tohum bootstrap örneklemini de belirler. Karıştırma kapalıyken tohum yalnız bootstrap'ı etkiler.

Sonuca etkisi: Seçilen alfa.

Doğrulama verisinde: QuickStart LASSO alfa: karıştırmasız 0.08307; karıştırmalı tohum 42 için 0.10006, tohum 7 için 0.07569.

→ k-katlı çapraz geçerleme

CV tekrar sayısı

Kavram: Çapraz doğrulama, gözlemlerin parçalara hangi rastgele dağıtımla atandığına bağlı olarak biraz farklı sonuç verebilir. İşlemi birkaç farklı dağıtımla tekrarlayıp ortalamak, seçilen cezanın bu rastlantıya bağlı olmasını azaltır.

Gündelik örnek: Bir dağıtımda en iyi ceza 0,05, başka bir dağıtımda 0,08 çıkabilir. Çapraz doğrulama 10 kez tekrarlanıp ortalandığında satış modeli için daha kararlı bir ceza değeri elde edilir.

Ne işe yarar: Birden çok kat atamasının CV eğrilerini ve SE'lerini ortalar; tekrar sayısı 1'den büyükse katlar her tekrarda karıştırılır.

Sonuca etkisi: Seçilen alfa.

Doğrulama verisinde: 3 tekrar, alfa 0.09117.

→ k-katlı çapraz geçerleme

Bootstrap kararlılık (B)

Kavram: Seçilme kararlılığı, veriden çok sayıda bootstrap örneklemi çekilip her birinde model yeniden kurulduğunda her yordayıcının ne sıklıkla seçildiğini gösterir. Neredeyse her örneklemde seçilen yordayıcılar güvenilirdir; ara sıra seçilenler verideki rastlantılara bağlı olabilir.

Gündelik örnek: İndirim oranı 500 bootstrap örnekleminin %98'inde, rakip mağaza açılışı yalnız %35'inde seçiliyorsa, satış tahmininde indirim oranına güvenilebilir; rakip açılışının modele girmesi ise büyük ölçüde şansa bağlıdır.

Ne işe yarar: Seçilen alfada B bootstrap örnekleminde her değişkenin seçilme oranını verir (Meinshausen ve Bühlmann, 2010). Ridge'de anlamsızdır.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: QuickStart B = 200: V2 seçilme sıklığı 0.42.

→ Seçim kararlılığı (stability selection)

Gerçek veride örnek

Veri: Stamey ve ark. 1989, ESL prostat eğitim kümesi

Değişkenler: hedef lpsa (log PSA), açıklayıcılar lcavol, lweight, age, lbph, svi, lcp, gleason, pgg45

  • Soru: Prostat kanseri hastalarında log PSA (lpsa), sekiz klinik yordayıcıdan LASSO ile ne ölçüde kestirilebilir, hangi yordayıcılar modelde kalır?
  • Ceza seçimi: Ardışık 5 katlı çapraz doğrulamada en küçük hata α = 0.001305'te elde edildi; bu değer ızgaranın alt ucundadır, yani çözüm cezasız EKK'ya çok yakındır ve 8 yordayıcının 8'i de modelde kalmıştır. 1-SE kuralı α = 0.164686 ile 5 değişkenli daha sade bir model önerir.
  • Sonuç: En güçlü etkiler svi (B = 0.731), lweight (B = 0.613) ve lcavol (B = 0.573) yönünde pozitif; lcp (B = -0.200) ve age (B = -0.019) negatiftir.
  • Model uyumu: Eğitim R² = .69, RMSE = 0.6628; ancak CV kat R² ortalaması -8.09, RMSE(CV) = 0.9412.
  • Sınırlılık: Veri lpsa'ya göre sıralı olduğundan karıştırmasız (ardışık) katlarda her kat dar bir lpsa aralığı içerir; kat R²'si bu yüzden çok negatiftir. Bu bir aşırı uyum uyarısı kadar kat tasarımı sorunudur; katları karıştırma seçeneği açılmalıdır.
  • APA: LASSO (L1): R² = -8.09 (CV), R² = .69 (eğitim), α = 0.0013, k = 8/8 yordayıcı, N = 67.

İlgili kavramlar

Elastik ağ (ElasticNet) ve L1 oranık-katlı çapraz geçerlemeDüzenlileştirme (ceza) ve ceza parametresi λ/αSeçim kararlılığı (stability selection)Katsayı yolu ve ridge izi1-SE kuralıDağılım ailesi (GLM)z-puanı (standartlaştırma)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.