MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Hiperparametre ayarı (ızgara arama)

Hiperparametre ayarı (ızgara arama)kavram

Bir makine öğrenmesi modelinin veriden öğrenilmeyen ayarlarını (ağaç derinliği, ceza katsayısı gibi), denenen değer kombinasyonları arasından çapraz doğrulama başarısına göre seçme işlemi.

Modelin parametreleri (ör. regresyon katsayıları, ağaçtaki bölmeler) eğitim sırasında veriden öğrenilir. Hiperparametreler ise öğrenmenin nasıl yapılacağını belirleyen ve önceden verilmesi gereken ayarlardır: rastgele ormanda her bölmede denenecek değişken sayısı, SVM'de C ve γ, gradyan artırmada öğrenme hızı ve ağaç derinliği gibi. Izgara aramada her hiperparametre için birkaç aday değer belirlenir, tüm kombinasyonlar denenir ve her biri eğitim verisi içinde k-kat çapraz doğrulamayla değerlendirilir; en iyi ortalama başarıyı veren kombinasyon seçilir.

Seçim yalnız eğitim verisiyle yapılmalıdır; test verisi ayar sürecine karışırsa raporlanan başarı iyimser olur. Izgara çok büyük olduğunda hesap süresi hızla artar; rastgele arama ya da ardışık yöntemler bu durumda daha verimlidir. Seçilen değer ızgaranın ucundaysa en iyi değer ızgaranın dışında olabilir. Ayrıca çok sayıda kombinasyon denendiğinde en iyi çapraz doğrulama skoru da biraz iyimserdir; tarafsız bir başarı tahmini için ayrı bir test kümesi ya da iç içe çapraz doğrulama gerekir.

Gündelik bir örnek

Bir aşçı yeni bir kek tarifinde fırın sıcaklığını (170, 180, 190 °C) ve pişirme süresini (30, 35, 40 dakika) ayarlamak istiyor. Dokuz kombinasyonun her birini birkaç kez deneyip tadımcılara puanlatıyor ve en yüksek ortalama puanı alan 180 °C - 35 dakika kombinasyonunu seçiyor. Seçtiği tarifi son olarak hiç tatmamış misafirlere sunduğunda gerçek beğeniyi görür; bu son adım test kümesine karşılık gelir.

MerQur'da

Rastgele Orman (mtry ve en küçük yaprak) ve Destek Vektör Makinesi'nde (C x γ) 'Hiperparametre ayarı (grid search + CV)', Gradyan Artırma'da (eta x derinlik x tur) 'Hiperparametre ayarı' seçeneği, en iyi ayarı eğitim kümesi içinde çapraz doğrulamayla ızgaradan seçer.

Bu kavramın geçtiği analizler

Rastgele OrmanDestek Vektör MakinesiGradyan Artırma

İlgili kavramlar

k-katlı çapraz geçerlemeErken durdurma