MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Optimizasyon algoritması (Adam, SGD, L-BFGS)

Optimizasyon algoritması (Adam, SGD, L-BFGS)kavram

Bir modelin parametrelerini, kayıp fonksiyonunu (ya da artık kareler toplamını) en küçük yapacak biçimde adım adım güncelleyen sayısal yöntem.

Kapalı bir çözümü olmayan modellerde (sinir ağları, doğrusal olmayan regresyon) parametreler bir başlangıç noktasından yola çıkılarak yinelemeli olarak iyileştirilir. Gradyan iniş, parametreleri kaybın en hızlı azaldığı yönde (gradyanın tersine) öğrenme oranı kadar kaydırır. Stokastik gradyan iniş (SGD) gradyanı her adımda tüm veri yerine küçük bir alt kümeden (mini-batch) hesaplar; ucuz ve gürültülüdür. Adam, her parametre için gradyanların hareketli ortalamasını ve varyansını tutarak adım büyüklüğünü uyarlar ve genellikle ayar gerektirmeden hızlı yakınsar. BFGS ve bellek açısından sınırlı sürümü L-BFGS, kaybın eğriliğini (Hessian) gradyanlardan yaklaşık olarak çıkaran yarı-Newton yöntemleridir; küçük ve orta büyüklükteki veride çok hızlı ve kararlıdır.

Doğrusal olmayan en küçük karelerde Levenberg-Marquardt (LM) ve güven bölgeli yöntemler (TRF) yaygın kullanılır; parametre sınırları verildiğinde güven bölgeli yöntemler tercih edilir. Seçilen algoritma, sinir ağlarında olduğu gibi kayıp yüzeyi çok tepeli ise farklı yerel en küçüklere ulaşabilir; bu yüzden sonuçlar başlangıç değerlerine ve rastgele tohuma bağlı olabilir. Yakınsama uyarıları göz ardı edilmemelidir: yakınsamamış bir modelin katsayıları ve standart hataları güvenilir değildir.

Gündelik bir örnek

Sisli bir dağda en alçak vadiyi arayan bir yürüyüşçü düşünün. Her adımda ayağının altındaki eğime bakıp aşağı doğru yürüyor (gradyan iniş). Adam'ı kullanan yürüyüşçü, son adımlarındaki eğimleri hatırlayarak adımlarını dik yerlerde kısaltıp düz yerlerde uzatıyor. L-BFGS'yi kullanan ise zeminin ne kadar kavisli olduğunu tahmin ederek vadinin dibine doğrudan sıçramaya çalışıyor; arazi düzgünse çok daha az adımda varıyor.

MerQur'da

Yapay sinir ağında 'Motor / çözücü' seçeneği (nnet / Adam / SGD / L-BFGS) olarak bulunur; nnet motoru BFGS ile tek gizli katmanlı ağ eğitir. Doğrusal olmayan regresyonda çözücü LM ve güven bölgeli yansıtıcı (TRF) algoritmalarını kullanır; parametre sınırı verilirse TRF devreye girer.

Bu kavramın geçtiği analizler

Yapay Sinir AğıDoğrusal Olmayan Regresyon

İlgili kavramlar

Öğrenme oranı (shrinkage)Yakınsama ve en fazla iterasyon