MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Erken durdurma

Erken durdurmakavram

Yinelemeli öğrenen modellerde (gradyan artırma, sinir ağları) eğitimi, ayrılmış bir doğrulama kümesindeki başarım iyileşmeyi bıraktığında sonlandırarak aşırı uyumu önleyen düzenlileştirme tekniği.

Gradyan artırma her turda bir ağaç ekler, sinir ağı her dönemde (epoch) ağırlıklarını günceller. Eğitim sürdükçe eğitim verisindeki hata hep azalır, ama bir noktadan sonra model gürültüyü ezberlemeye başlar ve görmediği verideki hata artar. Erken durdurmada eğitim verisinin bir kısmı (ör. %20) doğrulama için ayrılır; doğrulama hatası art arda belirli sayıda tur (sabır, patience) boyunca iyileşmezse eğitim durdurulur ve en iyi doğrulama hatasının görüldüğü tur sayısı kullanılır.

Erken durdurma, tur sayısını ayrı bir hiperparametre olarak aramaya göre ucuz bir yoldur ve öğrenme oranı küçüldükçe gereken tur sayısı artar. Sonuç, doğrulama kümesinin büyüklüğüne ve rastgele bölünmesine bağlıdır; küçük veride doğrulama hatası gürültülü olduğundan model çok erken ya da geç durabilir. Doğrulama kümesi tur seçiminde kullanıldığı için nihai başarım ayrı bir test kümesinde ölçülmelidir. Sabır değeri çok küçük seçilirse geçici duraklamalar yüzünden eğitim erken kesilebilir.

Gündelik bir örnek

Bir öğrenci sınava hazırlanırken her gün çözdüğü deneme sorularının yanında, hiç bakmadığı bir soru setiyle kendini sınıyor. On gün boyunca bu yeni setteki puanı yükseliyor, sonra artık yükselmiyor, hatta eski soruların cevaplarını ezberledikçe biraz düşüyor. Üç gün üst üste iyileşme görmeyince çalışma biçimini değiştirmeye karar veriyor; en iyi puanını aldığı 11. günün düzeyi onun gerçek hazırlık düzeyidir.

MerQur'da

Gradyan artırmada 'Erken durdurma (tur)' seçeneği olarak bulunur: eğitimin %20'si iç doğrulama olarak ayrılır, belirtilen tur sayısı boyunca iyileşme olmazsa durulur ve model en iyi tur sayısıyla yeniden uydurulur. Yapay sinir ağı analizinde de eğitim seçenekleri arasında yer alır.

Bu kavramın geçtiği analizler

Gradyan ArtırmaYapay Sinir Ağı

İlgili kavramlar

Öğrenme oranı (shrinkage)Hiperparametre ayarı (ızgara arama)