İstatistik Sözlüğü → Gizli katman ve aktivasyon fonksiyonu
Gizli katman ve aktivasyon fonksiyonukavram
Yapay sinir ağında girdi ile çıktı arasında yer alan ve girdilerin ağırlıklı toplamlarını doğrusal olmayan bir fonksiyondan geçirerek yeni özellikler üreten ara birim katmanları ve bu birimlerin kullandığı fonksiyon.
Çok katmanlı algılayıcıda (MLP) her gizli birim, bir önceki katmandaki değerlerin ağırlıklı toplamını hesaplar, bir sabit ekler ve sonucu bir aktivasyon fonksiyonundan geçirir: h = f(Σ wᵢxᵢ + b). Yaygın aktivasyonlar ReLU (max(0, z)), lojistik (sigmoid) ve tanh'tir. Aktivasyon doğrusal olmasaydı katman sayısı ne olursa olsun ağ tek bir doğrusal modele indirgenirdi; doğrusal olmama, ağın karmaşık ilişkileri öğrenebilmesini sağlar.
Birim ve katman sayısı modelin esnekliğini belirler. Çok az birim ilişkiyi yakalayamaz (eksik uyum); çok fazla birim ise eğitim verisini ezberler (aşırı uyum). Bu yüzden boyut, düzenlileştirme (ağırlık cezası), erken durdurma ve çapraz geçerlemeyle birlikte ayarlanır. Tablo verilerinde çoğu zaman bir ya da iki gizli katman yeterlidir. Girdilerin ölçeklendirilmesi eğitimin kararlılığı için önemlidir. Gizli birimlerin tek tek anlamlı bir yorumu genellikle yoktur.
Gündelik bir örnek
Bir ağ, bir evin metrekaresi, yaşı ve konumundan fiyatını tahmin ediyor. Gizli katmandaki birimlerden biri, açıkça programlanmadan 'yeni ve geniş ev' bileşimine, bir başkası 'merkezi ama eski' bileşimine duyarlı hâle gelebilir. Çıktı katmanı bu ara özellikleri birleştirerek fiyatı tahmin eder.
MerQur'da
Yapay sinir ağında 'Gizli katmanlar (birim sayıları)' alanı her katmandaki birim sayısını belirler; virgülle birden çok katman yazılabilir (yalnız Adam, SGD ve L-BFGS çözücülerinde). 'Etkinleştirme, Öğrenme oranı, Erken durdurma' seçenekleri aktivasyon fonksiyonunu, Adam/SGD öğrenme oranını ve doğrulama payıyla erken durdurmayı ayarlar.
Bu kavramın geçtiği analizler
İlgili kavramlar
Optimizasyon algoritması (Adam, SGD, L-BFGS)Düzenlileştirme (ceza) ve ceza parametresi λ/α