İstatistik Sözlüğü → Düzenlileştirme (ceza) ve ceza parametresi λ/α
Düzenlileştirme (ceza) ve ceza parametresi λ/αkavram
Model katsayılarının büyüklüğüne bir ceza ekleyerek aşırı uyumu azaltan ve kestirimleri daha kararlı hâle getiren yöntem; cezanın şiddeti λ (bazı yazılımlarda α) ile ayarlanır.
Sıradan en küçük kareler yalnız eğitim verisindeki hatayı en küçükler; açıklayıcı sayısı fazla ya da açıklayıcılar birbiriyle güçlü ilişkiliyse katsayılar büyük ve kararsız olur, model yeni veride kötü öngörür. Düzenlileştirme amaç fonksiyonuna bir ceza ekler. Ridge (L2) cezası katsayıların kareleri toplamıdır (λ·Σβ²): tüm katsayıları sıfıra doğru büzer ama hiçbirini tam sıfır yapmaz. Lasso (L1) cezası mutlak değerlerin toplamıdır (λ·Σ|β|): bazı katsayıları tam sıfıra indirerek değişken seçimi yapar. Elastik ağ ikisini karıştırır. Sinir ağlarındaki ağırlık azaltma (weight decay) da bir L2 cezasıdır.
λ büyüdükçe katsayılar küçülür: yanlılık artar ama varyans azalır; en iyi λ çoğunlukla çapraz doğrulamayla seçilir ('1-SE kuralı' en iyi değerden bir standart hata içindeki en sade modeli seçer). Ceza tüm katsayılara aynı ölçekte uygulandığı için açıklayıcıların önceden standartlaştırılması gerekir; sabit terim cezalandırılmaz. Cezalı kestirimler bilerek yanlı olduğundan klasik standart hatalar ve p-değerleri geçerli değildir; Lasso'nun seçtiği değişkenler, açıklayıcılar ilişkiliyse veriden veriye değişebilir.
Gündelik bir örnek
Bir öğrenci yalnız beş deneme sınavına bakarak gerçek sınav puanını tahmin etmeye çalışıyor ve her sınavın her sorusuna ayrı ağırlık veren karmaşık bir formül kuruyor. Formül beş denemeye kusursuz uyuyor ama gerçek sınavda tutmuyor. Ağırlıkların büyük olmasını 'cezalandıran' daha sade bir formül, denemelere biraz daha kötü uysa da gerçek sınavı daha iyi öngörür; düzenlileştirme bu dengeyi kurar.
MerQur'da
Ridge Regresyon ve Lasso Regresyon'da 'α (Düzenlileştirme)', 'Otomatik α (çapraz-doğrulama)' ve Ridge'de 'α seçim ölçütü' seçenekleri; Düzenlileştirilmiş Regresyon'da 'Yöntem' (LASSO, Ridge, ElasticNet) ve 'Alfa'. Yapay Sinir Ağı'nda 'Düzenlileştirme (L2: decay / alpha)', Zamana Bağlı Cox Regresyonu'nda 'Ceza katsayısı (L2, penalizer)', Destek Vektör Makinesi'nde yanlış sınıflama cezası 'C (maliyet)' olarak geçer; Lojistik Regresyon'un 'Firth düzeltmesi' cezalı olabilirlik kullanır.
Bu kavramın geçtiği analizler
Lojistik RegresyonRidge RegresyonLasso RegresyonDestek Vektör MakinesiYapay Sinir AğıGenelleştirilmiş Toplamsal ModelDüzenlileştirilmiş RegresyonZamana Bağlı Cox Regresyonu
İlgili kavramlar
Elastik ağ (ElasticNet) ve L1 oranı1-SE kuralıKatsayı yolu ve ridge izi