MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Eğitim-test ayırımı (holdout)

Eğitim-test ayırımı (holdout)kavram

Verinin bir kısmını modeli kurmak (eğitim), kalan kısmını modelin daha önce görmediği verideki başarısını ölçmek (test) için ayırma yöntemi.

Bir modelin kurulduğu verideki başarısı, yeni verideki başarısından neredeyse her zaman daha iyimserdir; esnek modeller verideki gürültüyü de öğrenebilir (aşırı uyum). Test kümesi model kurulurken hiç kullanılmadığından, başarımın dürüst bir tahminini verir. Yaygın oranlar %70-80 eğitim, %20-30 testtir; sınıflamada sınıf oranlarını korumak için tabakalı bölme kullanılır.

Tek bir bölme rastlantıya bağlıdır: başka bir rastgele tohum farklı bir başarım verebilir, özellikle küçük veride. k-katlı çapraz geçerleme bu oynamayı azaltır; sık izlenen bir yol, hiperparametreleri eğitim kümesi içinde çapraz geçerlemeyle seçip test kümesine yalnızca bir kez, en sonda bakmaktır. Zaman serilerinde rastgele bölme yerine son gözlemler test olarak ayrılır, çünkü gelecek geçmişi tahmin etmekte kullanılmamalıdır. Ölçekleme gibi ön işlemler de yalnızca eğitim kümesinden öğrenilmelidir; aksi halde bilgi sızıntısı olur.

Gündelik bir örnek

Bir öğretmen sınava hazırlık için 100 soru hazırlıyor. Öğrencilere 80 soruyu çalıştırıyor ve ezberledikleri bu sorularla değil, hiç görmedikleri 20 soruyla sınav yapıyor. Öğrencinin gerçek öğrenme düzeyini bu 20 soru gösterir.

MerQur'da

Rastgele Orman, Destek Vektör Makinesi, Gradyan Artırma, Karar Ağacı, Yapay Sinir Ağı ve k-En Yakın Komşu analizlerinde 'Test oranı', 'CV kat sayısı' ve 'Rastgele tohum' ayarları; Gerçek Beceri İstatistiğinde 'Değerlendirme' (örneklem içi, bağımsız test seti, k-katlı çapraz doğrulama). ARIMA Tahmin ve Üstel Düzlemede 'Geçerleme kümesi (son k gözlem)'.

Bu kavramın geçtiği analizler

Gerçek Beceri İstatistiğiRastgele OrmanDestek Vektör MakinesiGradyan ArtırmaKarar AğacıYapay Sinir AğıARIMA TahminÜstel Düzlemek-En Yakın Komşu

İlgili kavramlar

k-katlı çapraz geçerlemeTahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)