MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Yapay Sinir Ağı

Yapay Sinir Ağıanaliz

Girdileri ağırlıklı toplamlar ve doğrusal olmayan dönüşümlerden oluşan ara katmanlardan geçirerek bir sınıfı ya da sayısal değeri öngören, ağırlıklarını hatayı en aza indirecek biçimde veriden öğrenen esnek model.

Kavram

Değişkenlerle sonuç arasındaki ilişki düz bir çizgiyle ya da birkaç basit etkileşimle anlatılamayacak kadar karmaşıksa, ilişkinin biçimini önceden belirtmeden veriden öğrenebilen bir modele ihtiyaç duyulur. İleri beslemeli yapay sinir ağı (çok katmanlı algılayıcı, MLP) bu amaçla kullanılır: yeterli sayıda gizli birimle hemen her düzgün ilişkiye yaklaşabilir.

Ağ katmanlardan oluşur. Her gizli birim, girdilerin ağırlıklı toplamını alır ve bunu doğrusal olmayan bir etkinleştirme işlevinden geçirir: h = f(w₀ + w₁x₁ + … + w_px_p); f örneğin lojistik eğri ya da tanh olabilir. Çıktı birimi de gizli birimlerin çıktılarını aynı biçimde birleştirir; sınıflamada sonuç bir olasılığa, regresyonda doğrudan sayısal tahmine dönüştürülür. Ağırlıklar başlangıçta rastgele atanır ve bir eniyileme algoritması, kayıp işlevini (sınıflamada çapraz entropi, regresyonda kare hata) azaltacak yönde onları adım adım günceller; hatanın her ağırlığa göre eğimi geri yayılım ile hesaplanır.

Ağın amaç işlevinin birden çok yerel en küçüğü olabilir; bu yüzden farklı rastgele başlangıçlar farklı çözümler verebilir ve sonuçlar birkaç başlangıçla denenmelidir. Değişkenler standartlaştırılmalıdır; çok birim ve az veri aşırı uyuma götürür, bunu sınırlamak için ağırlık cezası (L2) ve erken durdurma kullanılır. Ağırlıklar tek tek yorumlanamaz; değişkenlerin rolü permütasyon önemi ve kısmi bağımlılıkla okunur. Küçük tablo verilerinde sinir ağı çoğu zaman ağaç tabanlı yöntemlerden ya da lojistik regresyondan daha iyi sonuç vermez; başarım her zaman modelin görmediği verilerde değerlendirilmelidir.

Ne zaman kullanılır?

  • Çok sayıda sürekli değişkenle sınıf ya da sayısal değer öngörülecek, ilişkilerin doğrusal olmadığı düşünülen ve yeterli büyüklükte veri bulunan durumlarda.
  • Örneklem küçükse ve etkilerin yorumlanması gerekiyorsa lojistik ya da doğrusal regresyon; tablo verilerinde güçlü ve az ayar isteyen bir model aranıyorsa rastgele orman veya gradyan artırma tercih edilir.
  • Görüntü, ses ya da metin gibi yapılandırılmamış veriler için tam bağlantılı küçük bir ağ yerine evrişimli ya da tekrarlayan derin ağ mimarileri kullanılır.

Gündelik bir örnek

Bir seracı, domates bitkilerinin bir hafta içinde mantar hastalığına yakalanıp yakalanmayacağını sıcaklık, nem, sulama miktarı, havalandırma süresi ve bitki yaşı gibi ölçümlerden öngörmek istiyor. Hastalık riski bu etkenlerin basit bir toplamı değildir: yüksek nem ancak sıcaklık belli bir aralıktayken ve havalandırma yetersizken tehlikeli olabilir. Sinir ağının gizli birimleri bu tür birleşimleri kendiliğinden öğrenir; örneğin bir birim 'sıcak ve nemli ve havasız' durumlarında güçlü biçimde etkinleşir ve çıktı birimi bu bilgiyi diğerleriyle birleştirerek her bitki sırası için bir hastalık olasılığı verir.

MerQur'da parametreler

Motor / çözücü (nnet / Adam / SGD / L-BFGS)

Kavram: Çözücü, ağırlıkları kayıp işlevini azaltacak biçimde güncelleyen eniyileme algoritmasıdır. BFGS ve L-BFGS eğimin yanında eğriliği de yaklaşık olarak kullanır ve küçük verilerde hızla yakınsar; SGD ve Adam ağırlıkları küçük adımlarla, Adam ise her ağırlık için adım boyunu uyarlayarak günceller.

Gündelik örnek: Sisli bir vadide en alçak noktayı arayan bir yürüyüşçüyü düşünün: BFGS zeminin eğimine ve kıvrımına bakarak büyük ve isabetli adımlar atar; SGD küçük adımlarla ilerler ve yeterince yürümezse dibe varamaz. Seracının birkaç yüz kayıtlık verisinde BFGS ve L-BFGS genellikle daha az adımda çözüme ulaşır.

Ne işe yarar: Eğitim algoritması: nnet (BFGS, tek gizli katman) ya da Adam, SGD ve L-BFGS çözücüleri.

Sonuca etkisi: Eniyileme yolu, yakınsama ve ulaşılan çözüm değişir; test ve CV başarımı değişir.

Doğrulama verisinde: iris test doğruluğu nnet 0.9667 (amaç 6.0482, 165 iterasyon); L-BFGS 0.9333; Adam 0.9333 (500 dönemde yakınsamadı); SGD 0.8667 (yakınsamadı). Boston test R²: nnet 0.8589, L-BFGS 0.8303, Adam 0.7589.

→ Optimizasyon algoritması (Adam, SGD, L-BFGS)

Gizli katmanlar (birim sayıları)

Kavram: Gizli birimler, ağın girdilerden türettiği ara özelliklerdir; birim sayısı arttıkça ağ daha karmaşık ilişkileri temsil edebilir. Birden çok gizli katman, ara özelliklerden yeni özellikler türetilmesini sağlar; ancak her ek birim yeni ağırlıklar ve aşırı uyum riski demektir.

Gündelik örnek: 2 gizli birimli bir ağ yalnızca 'nem riski' ve 'sıcaklık riski' gibi iki ara özellik oluşturabilir. 10 birimli bir ağ çok daha fazla birleşim kurar; ama yalnız 150 bitki sırasının kaydı varsa bu birimlerin bir kısmı gerçek örüntü yerine tesadüfi ayrıntıları öğrenir.

Ne işe yarar: Gizli katman(lar)daki birim sayısı; virgülle birden çok katman (yalnız Adam, SGD ve L-BFGS çözücülerinde).

Sonuca etkisi: Çok birim modeli esnekleştirir ve aşırı uyum riskini artırır; amaç değeri ve başarım değişir.

Doğrulama verisinde: iris 2 birim: 1.0 (amaç 8.061); 5 birim: 0.9667; 10 birim: 0.9667 (amaç 5.4674). "10,5" nnet'te açık hata iletisiyle reddedilir (tek katman); Adam'da 0.9667.

→ Gizli katman ve aktivasyon fonksiyonu

Etkinleştirme, Öğrenme oranı, Erken durdurma

Kavram: Etkinleştirme işlevi, gizli birimin ağırlıklı toplamı nasıl dönüştüreceğini belirler (lojistik, tanh, ReLU ya da doğrusal); doğrusal olmayan bir işlev olmadan ağ, sıradan bir doğrusal modelden farksızdır. Öğrenme oranı her güncellemenin büyüklüğüdür; erken durdurma ise ayrılan bir doğrulama payında başarım iyileşmeyi bırakınca eğitimi keser.

Gündelik örnek: Öğrenme oranı çok büyükse ağ en iyi çözümün üzerinden atlayıp durur, çok küçükse çözüme varması çok uzun sürer. Erken durdurmada seracı kayıtların bir kısmını ayırır; ağın bu kayıtlardaki tahmini düzelmeyi bıraktığında eğitim durur, ama öğrenme oranı küçükse ağ henüz bir şey öğrenmeden de durabilir.

Ne işe yarar: Adam, SGD ve L-BFGS çözücülerinde gizli birim etkinleştirme işlevi, Adam/SGD öğrenme oranı ve doğrulama payıyla erken durdurma.

Sonuca etkisi: nnet motorunda üçü de etkisizdir (beklenen; ipucu metni belirtir).

Doğrulama verisinde: (Adam): lojistik 0.8333, tanh 0.9667, doğrusal 0.9667; öğrenme oranı 0.01 ile 1.0 (309 dönemde yakınsadı). Adam ve erken durdurma: 15 dönemde durdu, doğruluk 0.40 (varsayılan öğrenme oranı 0.001 ile doğrulama skoru 10 dönem iyileşmedi). L-BFGS'te öğrenme oranı etkisizdir.

→ Gizli katman ve aktivasyon fonksiyonu

Düzenlileştirme (L2: decay / alpha)

Kavram: Düzenlileştirme, büyük ağırlıklar için kayıp işlevine bir ceza ekler (ağırlıkların karelerinin toplamı). Ceza ağırlıkları küçük tutarak ağın daha yumuşak, daha az kıvrımlı ilişkiler öğrenmesini sağlar ve aşırı uyumu azaltır.

Gündelik örnek: Ceza olmadan ağ, birkaç bitki sırasındaki tesadüfi bir hastalık kümesini açıklamak için çok büyük ağırlıklarla 'nem tam %83 ise risk çok yüksek' gibi keskin kurallar kurabilir. Ceza eklenince ağ nem arttıkça riskin giderek arttığını söyleyen daha yumuşak bir ilişkiyle yetinir.

Ne işe yarar: nnet amacı = kayıp + decay·Σw² (yanlılık dahil).

Sonuca etkisi: Büyük decay ağırlıkları küçültür, modeli düzgünleştirir; amaç değeri, olasılıklar ve başarım değişir.

Doğrulama verisinde: iris decay 0: 0.90 (amaç 1e-4, 36 iterasyon); 0.01: 0.9667; 0.5: 0.9667 (amaç 47.04).

→ Düzenlileştirme (ceza) ve ceza parametresi λ/α

En çok iterasyon

Kavram: Eniyileme algoritmasının ağırlıkları en çok kaç kez güncelleyeceğidir. Sınır çok düşükse ağ en iyi çözüme yaklaşmadan durur (yakınsamaz); yakınsama gerçekleştikten sonra sınırı artırmak sonucu değiştirmez.

Gündelik örnek: Vadideki yürüyüşçüye yalnız 20 adım izni verilirse dibe varamadan durur ve vardığı yer yanıltıcı olur. Dibe 90 adımda varıyorsa 500 adım izni vermek ile 1000 adım izni vermek arasında fark yoktur.

Ne işe yarar: Eniyileyicinin en çok iterasyon (dönem) sayısı.

Sonuca etkisi: Az iterasyonda ağ yakınsamadan durur ve sonuç değişir; yakınsadıktan sonra artırmak etkisizdir.

Doğrulama verisinde: iris maxit 10: yakınsamadı, 0.90 (amaç 14.1367); 500 ve 2000: 165'te yakınsar.

→ Yakınsama ve en fazla iterasyon

Tohum tekrarı (başlangıç sayısı)

Kavram: Ağırlıklar rastgele başlatıldığı için eniyileme farklı başlangıçlardan farklı yerel çözümlere varabilir. Ağı birkaç başlangıçla yeniden kurmak, sonucun bu rastlantıya ne kadar bağlı olduğunu gösterir ve daha iyi bir çözüm bulma şansını artırır.

Gündelik örnek: Vadide birden çok çukur varsa, yürüyüşe nereden başlandığına göre farklı çukurlara inilebilir. Seracı ağı beş farklı başlangıçla kurar; beşinde de benzer bir başarı çıkıyorsa sonuca daha çok güvenebilir.

Ne işe yarar: Tohum, tohum+1, ... başlangıçlarıyla yeniden uydurma.

Sonuca etkisi: Farklı başlangıçlar farklı yerel çözümlere götürebilir; tekrarlar sonucun başlangıca duyarlılığını gösterir.

Doğrulama verisinde: Test ve CV değerleri başlangıç ağırlıklarına bağlıdır. Regresyonda her tekrarda 5 başlangıç denenir ve en düşük amaç değerli olan seçilir.

→ Rastgele başlangıçlar ve yerel en iyi çözüm

Test oranı, CV kat sayısı ve tekrarı, Rastgele tohum, Olasılık eşiği, Permütasyon önemi, Tahminleri kaydet, Ek metrikler, Kısmi bağımlılık, Grafik

Kavram: Veri eğitim ve test kümelerine ayrılır, çapraz doğrulama eğitim kümesinde ek bir genelleme ölçüsü verir; tohum bu bölmeleri tekrarlanabilir kılar. Olasılık eşiği olasılıkların sınıf kararına dönüştüğü değeri belirler; permütasyon önemi ve kısmi bağımlılık, ağırlıkları doğrudan okunamayan ağın hangi bilgilere dayandığını gösterir.

Gündelik örnek: Seracı her şüpheli sırayı ilaçlamak istiyorsa eşiği düşük tutar ve olasılığı %30'u geçen sıraları da ilaçlar. Permütasyon önemi, nem ölçümleri karıştırılınca başarının belirgin düştüğünü gösteriyorsa ağ kararlarında nemden yoğun biçimde yararlanıyordur.

Ne işe yarar: Bölme oranı ve tohum, eğitim içi CV, ikili sınıflamada olasılık eşiği, test kümesinde permütasyon önemi, tahminlerin kaydı, ek metrikler, kısmi bağımlılık ve grafik.

Sonuca etkisi: Bölme, katlar ve tohum test ve CV skorlarını değiştirir; eşik yalnız sınıf tahminlerini değiştirir; diğerleri ek çıktı üretir.

Doğrulama verisinde: Test oranı 0 (tüm veri): iris eğitim doğruluğu 0.9867. Pima eşik 0.3: doğruluk 0.60 değerinden 0.675 değerine. iris CV 0.95. Boston nnet CV R² 0.782. Ek metrikler, permütasyon önemi (grafik "Permütasyon önemi" de açar), PDP ve tahmin kaydı üretilir.

→ Eğitim-test ayırımı (holdout)

Regresyon (Boston)

Kavram: Sonuç sürekli bir değişkense çıktı birimi bir olasılık değil, doğrudan sayısal bir tahmin verir (doğrusal çıktı). Eğitimde hedefin standartlaştırılması eniyilemeyi kolaylaştırır; tahminler sonra özgün birimlere geri çevrilir.

Gündelik örnek: Seracı hastalık olup olmayacağı yerine her sıranın haftalık domates verimini kilogram olarak öngörmek isterse aynı ağ regresyon için kurulur. Ağ verimi ortalama ve standart sapmaya göre ölçeklenmiş biçimde öğrenir, ama sonuçları yine kilogram olarak verir.

Ne işe yarar: Sürekli hedefte regresyon ağı (doğrusal çıktı birimi).

Sonuca etkisi: nnet hedefi z-standartlaştırır (tahminler geri dönüştürülür) ve 5 başlangıçtan en düşük amaç değerlisini seçer; Adam, SGD ve L-BFGS çözücüleri de hedefi standartlaştırır.

Doğrulama verisinde: 5 başlangıcın amaç değerleri (z-hedef) 33.638, 28.218, 25.328, 29.245, 23.974; en düşük amaçlı 5. başlangıç seçilir. Test R² 0.8589, CV R² 0.782 (tam veri 0.861; 10 birim 0.708).

Gerçek veride örnek

Veri: Pima Indians (Pima.tr), R MASS paketi (n = 200)

Değişkenler: hedef type (diyabet Yes/No), özellikler gebelik sayısı, glukoz, kan basıncı, deri kalınlığı, BKİ, soy ağacı işlevi ve yaş

  • Soru: Yedi klinik ölçüm (gebelik sayısı, glukoz, kan basıncı, deri kalınlığı, BKİ, soy ağacı işlevi, yaş) ile kurulan tek gizli katmanlı yapay sinir ağı diyabeti (type) ne kadar doğru sınıflar?
  • Model: 5 birimli tek gizli katman, lojistik etkinleştirme, BFGS eniyileme (nnet uyumlu), L2 cezası 0.01; ağ 91 yinelemede yakınsadı, son amaç değeri 36.337336. Eğitim n = 160, test n = 40 (tabakalı, tohum 42).
  • Sonuç: Test kümesinde doğruluk = .60, kesinlik = .44, duyarlılık = .50, F1 = .47, ROC-AUC = .63; 14 diyabetliden 7'si yakalanmış, 26 sağlıklıdan 9'u yanlış pozitif sınıflanmıştır.
  • Genelleme: 5-kat CV doğruluğu Ort = .69 (SS = .08); test doğruluğunun CV'den düşük olması küçük test kümesindeki örnekleme oynaklığını gösterir.
  • Sınırlılık: Başlangıç ağırlıkları rastgeledir; farklı tohum farklı yerel çözüme götürebilir (tohum tekrarı seçeneği önerilir). Küçük örneklemde ağ, lojistik regresyon gibi daha basit modellere üstünlük sağlamayabilir.
  • APA: Yapay sinir ağı (5 gizli birim, lojistik, λ = 0.01) test kümesinde (n = 40) doğruluk = .60, ROC-AUC = .63; 5-kat CV doğruluğu Ort = .69 (SS = .08).

İlgili kavramlar

Gizli katman ve aktivasyon fonksiyonuOptimizasyon algoritması (Adam, SGD, L-BFGS)Rastgele başlangıçlar ve yerel en iyi çözümYakınsama ve en fazla iterasyonEğitim-test ayırımı (holdout)Düzenlileştirme (ceza) ve ceza parametresi λ/αPermütasyon önemiDeğişken önemi (gain, cover, frequency)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.