MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → k-katlı çapraz geçerleme

k-katlı çapraz geçerlemekavram

Veriyi k eşit parçaya bölüp her seferinde bir parçayı test, kalanları eğitim için kullanarak bir modelin yeni veride ne kadar iyi tahmin yapacağını kestiren yöntem.

Veri k kata ayrılır; model k kez kurulur ve her seferinde bir kat dışarıda bırakılıp bu katta tahmin hatası ölçülür. k hata değerinin ortalaması, modelin görmediği verideki başarımının kestirimidir. Her gözlem tam bir kez test verisi olur. k = 5 ya da 10 yaygındır; k = n olduğunda yöntem birini dışarıda bırak (LOO) adını alır. Küçük k daha karamsar (yanlı) ama daha az değişken, büyük k daha az yanlı ama daha değişken kestirim verir.

Çapraz geçerleme hem model başarımını değerlendirmek hem de ceza parametresi, komşu sayısı ya da bileşen sayısı gibi ayarları seçmek için kullanılır. Aynı CV ile hem ayar seçilip hem başarım raporlanırsa sonuç iyimser olur; bunun için iç içe çapraz geçerleme gerekir. Değişken seçimi ve ölçekleme gibi her ön işleme adımı her katın içinde yeniden yapılmalıdır, yoksa bilgi sızıntısı olur. Sınıflandırmada sınıf oranlarını koruyan tabakalı katlar kullanılır. Zaman serisi ya da sıralı veride rastgele karıştırma geleceği geçmişe sızdırabilir; mekânsal veride de yakın noktalar benzer olduğundan başarım abartılabilir.

Gündelik bir örnek

Bir emlak sitesi 500 evin fiyatını tahmin eden bir model kuruyor. Veriyi 100'er evlik 5 kata ayırıyor: model 400 evle eğitiliyor, kalan 100 evin fiyatı tahmin ediliyor ve bu beş kez tekrarlanıyor. Beş denemedeki ortalama hata 42 bin TL çıkıyor. Bu değer, modelin hiç görmediği yeni ilanlarda beklenecek hatanın gerçekçi bir kestirimidir.

MerQur'da

Ridge ve Lasso regresyonda 'CV kat sayısı' (3-20, varsayılan 5), Düzenlileştirilmiş regresyonda 'CV fold sayısı', 'CV katlarını karıştır' ve 'CV tekrar sayısı', Karar ağacında 'İç CV kat sayısı (xval)', Diskriminant analizinde 'CV fold sayısı', Kısmi en küçük kareler regresyonunda 'CV türü (LOO, 10-kat ardışık)' ve k-en yakın komşuda 'Aralıktan CV ile seç' seçenekleri bulunur. Gerçek beceri istatistiği, rastgele orman, SVM, gradyan artırma ve yapay sinir ağı da çapraz doğrulama sunar. GWR'de 'Bant seçim kriteri' CV seçeneğini içerir, Variogram + Kriging birini dışarıda bırak (LOO) çapraz doğrulaması verir, KDE yoğunluk haritası da bant genişliğini çapraz geçerlemeyle seçebilir.

Bu kavramın geçtiği analizler

Ridge RegresyonLasso RegresyonGerçek Beceri İstatistiğiRastgele OrmanDestek Vektör MakinesiGradyan ArtırmaKarar AğacıYapay Sinir AğıDiskriminant AnaliziDüzenlileştirilmiş RegresyonKısmi En Küçük Kareler RegresyonuGWRk-En Yakın KomşuKDE Yoğunluk HaritasıVariogram + Kriging

İlgili kavramlar

Birini dışarıda bırak (LOO)Eğitim-test ayırımı (holdout)Hiperparametre ayarı (ızgara arama)