İstatistik Sözlüğü → Permütasyon önemi
Permütasyon önemikavram
Bir değişkenin değerleri rastgele karıştırıldığında modelin test başarımının ne kadar düştüğüne bakarak o değişkenin öngörüye katkısını ölçen, modelden bağımsız önem ölçüsü.
Model eğitildikten sonra test kümesinde başarım (ör. doğruluk, AUC, RMSE) hesaplanır. Ardından bir değişkenin sütunu gözlemler arasında rastgele karıştırılır; bu, değişkenin sonuçla ilişkisini koparır ama dağılımını korur. Model yeniden eğitilmeden karıştırılmış veriyle tahmin yapılır ve başarımdaki düşüş o değişkenin önemi sayılır. İşlem birkaç kez tekrarlanıp ortalaması alınır; her değişken için ayrı ayrı yapılır.
Permütasyon önemi her tür modele (rastgele orman, sinir ağı, destek vektör makinesi) uygulanabilir ve ağaç modellerinin safsızlık tabanlı öneminin çok kategorili ya da sürekli değişkenleri kayırma eğilimini taşımaz. Ancak güçlü ilişkili iki değişken varsa biri karıştırıldığında model diğerinden aynı bilgiyi aldığı için ikisinin önemi de düşük görünebilir. Karıştırma, gerçekte görülmeyecek değer birleşimleri yaratabilir. Önem, öngörüye katkıyı gösterir; nedensel etki ya da etkinin yönü hakkında bilgi vermez. Eğitim kümesi yerine test kümesinde hesaplanması aşırı uyumdan doğan şişkinliği önler.
Gündelik bir örnek
Bir emlak sitesi ev fiyatlarını tahmin eden bir model kullanıyor; test kümesinde ortalama hata 50 bin TL. 'Metrekare' sütunu karıştırıldığında hata 180 bin TL'ye, 'semt' karıştırıldığında 140 bin TL'ye çıkıyor; 'kapı rengi' karıştırıldığında ise 51 bin TL'de kalıyor. Bu, modelin tahminlerinin büyük ölçüde metrekare ve semte dayandığını gösteriyor.
MerQur'da
Rastgele orman, destek vektör makinesi ve karar ağacında 'Permütasyon önemi' seçeneği olarak bulunur ve test kümesinde hesaplanır. Gradyan artırma ve yapay sinir ağı analizlerinin çıktılarında da yer alır.
Bu kavramın geçtiği analizler
Rastgele OrmanDestek Vektör MakinesiGradyan ArtırmaKarar AğacıYapay Sinir Ağı