İstatistik Sözlüğü → Öğrenme oranı (shrinkage)
Öğrenme oranı (shrinkage)kavram
Yinelemeli bir öğrenme algoritmasında her adımda yapılan güncellemenin ne kadar büyük olacağını belirleyen katsayı.
Gradyan artırmada her yeni ağacın katkısı öğrenme oranıyla (ν, genellikle 0,01-0,3) çarpılarak modele eklenir; buna büzülme (shrinkage) de denir. Küçük öğrenme oranı her ağacın etkisini azaltır, bu yüzden aynı başarıya ulaşmak için daha çok ağaç gerekir; buna karşılık model genellikle yeni veride daha iyi genellenir. Öğrenme oranı ile ağaç sayısı birlikte ayarlanmalıdır; erken durdurma uygun ağaç sayısını bulmaya yardımcı olur.
Yapay sinir ağlarında ve t-SNE gibi gradyan inişine dayanan yöntemlerde öğrenme oranı, kayıp fonksiyonunun eğimi yönünde atılan adımın boyudur. Çok büyük bir oran çözümün çevresinde salınıma ya da ıraksamaya, çok küçük bir oran çok yavaş ilerlemeye ve yerel çözümlerde takılmaya yol açar. t-SNE'de çok düşük öğrenme oranı noktaların sıkışık bir yığında toplanmasına, çok yüksek oran ise dağınık ve düzensiz bir görüntüye neden olabilir.
Gündelik bir örnek
Karanlıkta bir vadinin en alçak noktasına inmeye çalışan bir yürüyüşçü düşünülsün. Çok büyük adımlar atarsa vadinin dibini aşıp karşı yamaca çıkar; çok küçük adımlarla ise dibe ulaşması saatler sürer. Öğrenme oranı bu adımın boyudur.
MerQur'da
t-SNE'de 'Öğrenme oranı' (gradyan adımının büyüklüğü; 'Otomatik' seçeneği); Gradyan Artırma ve Yapay Sinir Ağı analizlerinde de öğrenme oranı ayarlanır.
Bu kavramın geçtiği analizler
Gradyan ArtırmaYapay Sinir Ağıt-SNE