MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Gradyan Artırma

Gradyan Artırmaanaliz

Küçük karar ağaçlarını art arda ekleyerek, her yeni ağaçla önceki ağaçların bıraktığı hataları biraz daha düzelten ve böylece güçlü bir öngörü modeli kuran makine öğrenmesi yöntemi.

Kavram

Rastgele ormanda ağaçlar birbirinden bağımsız kurulup ortalaması alınır; gradyan artırmada ise ağaçlar bir sıra içinde kurulur ve her ağaç bir öncekilerin hatalarından öğrenir. Tek başına zayıf olan (birkaç düzeyli) ağaçların bu biçimde birleştirilmesi, özellikle tablo biçimindeki verilerde en yüksek öngörü başarımını veren yöntemlerden birini ortaya çıkarır.

Model önce herkes için aynı basit bir tahminle başlar. Her turda, o ana kadarki modelin kayıp işlevinin (ör. regresyonda kare hata, sınıflamada log-kayıp) eğimine, yani hatanın hangi yönde azaltılacağına bakılır ve bu yönü öngören küçük bir ağaç kurulur. Yeni ağacın katkısı tam olarak değil, öğrenme oranıyla (eta) küçültülerek eklenir: F_yeni(x) = F_eski(x) + η · ağaç(x). Küçük adımlarla ilerlemek daha çok tur gerektirir ama genellikle daha iyi genelleyen bir model verir.

Yöntem esnek olduğu kadar aşırı uyuma da yatkındır: çok tur, derin ağaçlar ya da büyük öğrenme oranı eğitim verisini ezberleyebilir. Bu nedenle tur sayısı, derinlik ve öğrenme oranı birlikte ayarlanmalı; erken durdurma ve çapraz doğrulama kullanılmalıdır. Model katsayı vermez; değişkenlerin rolü önem ölçüleri, SHAP katkıları ve kısmi bağımlılıkla okunur. Başarım her zaman modelin görmediği verilerde değerlendirilir.

Ne zaman kullanılır?

  • Tablo biçimindeki verilerde (müşteri kayıtları, klinik ölçümler, çevresel değişkenler) sınıf ya da sayısal değer için mümkün olan en yüksek öngörü başarımı hedeflendiğinde.
  • Ayar yapmaya daha az zaman ayrılabiliyorsa ve sağlam, kolay kurulan bir model yetiyorsa rastgele orman; anlaşılır kurallar gerekiyorsa tek bir karar ağacı tercih edilir.
  • Etkilerin yönünü ve büyüklüğünü katsayılarla ve güven aralıklarıyla raporlamak gerekiyorsa lojistik ya da doğrusal regresyon daha uygundur.

Gündelik bir örnek

Bir market zinciri, müşterilerin alışveriş sıklığı, sepet tutarı, yaşı ve önceki kampanyalara katılımı gibi bilgilerle kime indirim kuponu göndereceğine karar vermek istiyor. İlk küçük ağaç 'sık gelenler kuponu kullanır' gibi kaba bir kural kurar ve bazı müşterilerde yanılır. İkinci ağaç yalnız bu yanılgılara odaklanır (ör. sık gelen ama sepeti küçük olanlar), üçüncü ağaç kalan hatalara bakar. Yüz tur sonra bu küçük düzeltmelerin toplamı, her müşteri için kuponu kullanma olasılığını oldukça isabetli öngören bir model oluşturur.

MerQur'da parametreler

Motor (Otomatik (XGBoost varsa) / XGBoost / scikit-learn)

Kavram: Aynı artırma fikrinin farklı yazılım uygulamalarıdır. XGBoost, kayıp işlevinin ikinci türevini de kullanan ve ağaç karmaşıklığını cezalandıran bir uygulamadır; scikit-learn'in GradientBoosting'i daha klasik bir uygulamadır. Varsayılan ayarları farklı olduğundan sonuçlar da biraz farklı çıkar.

Gündelik örnek: İki usta aynı tarifle ekmek yapsa da fırınları ve alışkanlıkları farklı olduğu için ekmekler birebir aynı olmaz. Market zinciri iki motorla da model kurup sonuçlarının benzer olup olmadığına bakabilir.

Ne işe yarar: Artırma algoritmasının uygulaması. "Otomatik" XGBoost kuruluysa XGBoost'tur.

Sonuca etkisi: Ağaç kurma kuralları ve varsayılan eta ve derinlik motora göre değişir; test ve CV sonuçları değişir.

Doğrulama verisinde: iris XGBoost 0.9333 (CV 0.9533), GradientBoosting 0.9667 (0.9667); Boston R² 0.9058 ve 0.9153. "Otomatik" ile "XGBoost" aynıdır (etkisiz, beklenen).

Ağaç sayısı, Öğrenme oranı (eta), En büyük derinlik

Kavram: Ağaç sayısı düzeltme turlarının sayısı, öğrenme oranı her turda atılan adımın büyüklüğü, derinlik ise her ağacın kaç değişkeni birlikte ele alabileceğidir (etkileşim düzeyi). Küçük öğrenme oranı daha çok tur gerektirir; büyük oran ve çok tur birlikte aşırı uyuma götürebilir.

Gündelik örnek: Öğrenme oranı 0,3 iken her ağaç bulduğu düzeltmenin %30'unu uygular; 0,05 iken yalnız %5'ini, bu yüzden aynı noktaya varmak için çok daha fazla tur gerekir. Derinlik 2 olan bir ağaç 'sık gelen ve sepeti küçük' gibi iki bilgiyi birleştirebilir, derinlik 6 olan bir ağaç çok daha ayrıntılı birleşimler kurar.

Ne işe yarar: Tur sayısı; küçültme (0 = XGBoost'ta 0.3, GradientBoosting'de 0.1); ağaç derinliği (0 = XGBoost'ta 6, GradientBoosting'de 3).

Sonuca etkisi: Çok tur ve büyük eta aşırı uyuma, az tur ve küçük eta yetersiz uyuma yol açabilir; derinlik etkileşim düzeyini belirler. Tüm metrikler değişir.

Doğrulama verisinde: iris 10 tur 0.9667, 100 tur 0.9333, 500 tur 0.9333; eta 0.05: 0.9667, eta 1.0: 0.9333 (CV 0.94); derinlik 2: 0.9333 (AUC 0.9617); derinlik 10, 6 ile aynıdır (iris ağaçları 6'ya ulaşmaz; veri kaynaklı).

→ Ağaç sayısı (topluluk modelleri)

Alt örneklem oranı

Kavram: Her turda ağaç tüm veriyle değil, rastgele seçilmiş bir bölümüyle kurulur (stokastik artırma). Bu rastgelelik ağaçların aynı hatalara takılmasını azaltır ve aşırı uyumu sınırlayabilir; bedeli, sonucun tohuma bağlı olmasıdır.

Gündelik örnek: Oran 0,8 ise her yeni ağaç müşterilerin rastgele %80'ine bakarak kurulur. Böylece her ağaç biraz farklı müşterilerden öğrenir ve model birkaç sıra dışı müşteriye aşırı uyum sağlamaz.

Ne işe yarar: Her turda kullanılan satır oranı (stokastik artırma); 1'den küçükken sonuç tohuma bağlıdır.

Sonuca etkisi: 1'den küçükken varyans azalabilir ve sonuç tohuma bağlı olur; 1'de XGBoost deterministiktir.

Doğrulama verisinde: Boston 0.5: R² 0.9159 (1.0: 0.9058). Alt örneklemli sonuç tohuma bağlıdır; değerler tohum 42 içindir.

→ Alt örnekleme oranı (stokastik artırma)

min_child_weight

Kavram: Bir yaprağın oluşabilmesi için içindeki gözlemlerin toplam 'ağırlığının' (kayıp işlevinin ikinci türevlerinin toplamı) en az bu değere ulaşması gerekir. Regresyonda bu kabaca yapraktaki gözlem sayısıdır; büyük değer çok az gözleme dayanan bölünmeleri engeller.

Gündelik örnek: Değer büyük tutulursa model, yalnız üç dört müşteriye dayanan 'şu yaşta, şu semtte, şu gün gelenler kupon kullanır' gibi çok özel kurallar kuramaz. Kurallar daha geniş müşteri gruplarına dayanır.

Ne işe yarar: XGBoost'ta bir yaprakta gereken en küçük toplam Hessian (örnek ağırlığı); büyük değer bölünmeyi kısıtlar.

Sonuca etkisi: Ağaçlar sadeleşir; olasılıklar, doğruluk ve AUC değişebilir. GradientBoosting motorunda etkisizdir.

Doğrulama verisinde: iris 5: doğruluk 0.9667, AUC 0.9583. GradientBoosting motorunda kullanılmaz (etkisiz, beklenen).

→ En küçük yaprak / düğüm boyutu

Erken durdurma (tur)

Kavram: Eğitim verisinin bir kısmı ayrılır ve her turdan sonra bu kısımdaki hata izlenir. Belirli sayıda tur boyunca iyileşme olmazsa eğitim durdurulur; böylece model eğitim verisini ezberlemeye başlamadan en uygun tur sayısında kalır.

Gündelik örnek: Market, müşterilerin bir bölümünü kenara ayırır ve her yeni ağaçtan sonra bu müşterilerdeki tahmin başarısına bakar. Başarı 10 tur boyunca artmıyorsa yeni ağaç eklemeyi bırakır; ek ağaçlar artık gerçek bir örüntü değil, gürültü öğreniyordur.

Ne işe yarar: Eğitimin %20'si iç doğrulama olarak ayrılır; k tur iyileşme olmazsa durur ve en iyi tur sayısıyla yeniden uydurulur.

Sonuca etkisi: Tur sayısı veriye göre seçilir; aşırı uyum azalır, test başarımı ve önem değerleri değişir.

Doğrulama verisinde: (XGBoost): iris 10 tur ile en iyi tur 12; Pima 4; Boston 10; eğitim ve doğrulama kayıp eğrileri raporlanır. GradientBoosting motorunda iris için en iyi tur 27, durma turu 37 (ayrıca raporlanır).

→ Erken durdurma

Önem türü (Kazanç / Toplam kazanç (R Gain) / Cover / Sıklık)

Kavram: Değişken öneminin farklı tanımlarıdır: kazanç, bir değişkenin kullanıldığı bölünmelerin kaybı ortalama ne kadar azalttığını; toplam kazanç bu azalmaların toplamını; cover, bu bölünmelerin ne kadar gözlemi etkilediğini; sıklık ise değişkenin kaç bölünmede kullanıldığını ölçer.

Gündelik örnek: Bir değişken çok sık kullanılıp her seferinde küçük bir iyileşme sağlıyorsa sıklıkta üstte, kazançta altta çıkabilir. Örneğin yaş pek çok küçük ayrımda kullanılırken önceki kampanyaya katılım az ama çok belirleyici bölünmelerde kullanılabilir; farklı ölçülere bakmak bu ayrımı gösterir.

Ne işe yarar: XGBoost önem ölçüsü; toplam 1'e normalleştirilir.

Sonuca etkisi: Yalnız önem tablosunun ölçüsünü değiştirir; model ve tahminler değişmez.

Doğrulama verisinde: iris için dört tür raporlanır (toplam kazanç, ortalama kazanç = toplam kazanç/sıklık, Cover, Sıklık). GradientBoosting motorunda etkisizdir.

→ Değişken önemi (gain, cover, frequency)

SHAP

Kavram: SHAP, her bir öngörüyü değişkenlerin katkılarına ayırır: ortalama öngörüden başlanır ve her değişkenin katkısı eklendiğinde o gözlemin öngörüsüne ulaşılır. Katkıların mutlak değerlerinin ortalaması, değişkenlerin genel önemini verir.

Gündelik örnek: Bir müşterinin kupon kullanma eğilimi ortalamanın üzerinde çıkmışsa SHAP bunun ne kadarının sık alışverişten, ne kadarının önceki kampanyalara katılımdan geldiğini, yaşın ise bu eğilimi biraz düşürdüğünü gösterebilir.

Ne işe yarar: XGBoost pred_contribs ile ortalama |SHAP| değişken katkıları; GradientBoosting motorunda üretilmez.

Sonuca etkisi: Model değişmez; değişken katkılarının ek tablosu üretilir.

Doğrulama verisinde: iris (çok sınıf), Pima ve Boston için gözlem başına SHAP katkıları ve ortalama |SHAP| sıralaması üretilir.

→ SHAP değerleri

Dengesiz sınıflar: dengeli ağırlık

Kavram: Az görülen sınıftaki her gözleme, sınıf büyüklüğüyle ters orantılı bir ağırlık verilir; böylece o sınıftaki hatalar kayıp işlevinde daha çok yer kaplar ve model azınlık sınıfını görmezden gelemez.

Gündelik örnek: Müşterilerin yalnız %15'i kuponu kullanıyorsa model 'kimse kullanmaz' demeye yatkındır. Dengeli ağırlıkla kuponu kullanan her müşteri daha ağır sayılır ve model bu müşterileri tanımayı öğrenir.

Ne işe yarar: Sınıf başına örnek ağırlığı n/(K·n_k); azınlık sınıfının kaybı büyütülür.

Sonuca etkisi: Olasılıklar, sınıf tahminleri ve AUC değişir. Dengeli sınıflarda etkisizdir.

Doğrulama verisinde: XGBoost örnek ağırlığı n/(K·n_k); Pima doğruluk 0.675 değerinden 0.65 değerine, AUC 0.6923 değerinden 0.7033 değerine. CV'de ağırlıklar eğitimden hesaplanır. iris dengeli olduğundan etkisizdir.

→ Sınıf dengesizliği ve dengeli ağırlıklar

Hiperparametre ayarı

Kavram: Öğrenme oranı, derinlik ve tur sayısının olası birleşimleri eğitim kümesi içinde çapraz doğrulamayla denenir ve en iyi ortalama başarımı veren seçilir. Bu ayarlar birbirini etkilediğinden tek tek değil, birlikte aranmaları gerekir.

Gündelik örnek: Market, '0,05 oranla 300 tur mu, 0,3 oranla 50 tur mu; derinlik 3 mü 6 mı?' sorularının bütün birleşimlerini eğitim müşterilerinde sınar ve en tutarlı sonucu vereni seçer.

Ne işe yarar: Eğitim kümesi içi CV ile eta x derinlik x tur ızgarasından en iyi ayarı seçer.

Sonuca etkisi: Seçilen ayarla kurulan model raporlanır; test başarımı seçime göre değişir.

Doğrulama verisinde: eta {0.05, 0.1, 0.3} x derinlik {2, 3, 6} x tur {100, 200}; iris en iyi 0.05, 2, 100 (0.95), Boston 0.1, 3, 200 (0.88).

→ Hiperparametre ayarı (ızgara arama)

Test oranı, CV kat sayısı ve tekrarı, Rastgele tohum, Olasılık eşiği, Permütasyon önemi, Tahminleri kaydet, Ek metrikler, Kısmi bağımlılık, Grafik

Kavram: Veri eğitim ve test kümelerine ayrılır, çapraz doğrulama eğitim kümesinde ek bir genelleme ölçüsü verir; tohum bu rastgele bölmeleri tekrarlanabilir kılar. Olasılık eşiği, olasılığın hangi değerden sonra 'pozitif' karara dönüşeceğini belirler; permütasyon önemi, kısmi bağımlılık ve ek metrikler modelin neye dayandığını ve dengesiz sınıflardaki başarımını gösterir.

Gündelik örnek: Market, kupon bütçesi kısıtlıysa eşiği yükseltip yalnız kullanma olasılığı yüksek müşterilere kupon gönderir; bütçe genişse eşiği düşürür. Kısmi bağımlılık grafiği de sepet tutarı arttıkça kupon kullanma olasılığının hangi noktadan sonra düzleştiğini gösterir.

Ne işe yarar: Bölme oranı ve tohum, eğitim içi CV, ikili sınıflamada olasılık eşiği, test kümesinde permütasyon önemi, tahminlerin kaydı, ek metrikler, kısmi bağımlılık ve grafik.

Sonuca etkisi: Bölme, katlar ve tohum test ve CV skorlarını değiştirir; eşik yalnız sınıf tahminlerini değiştirir; diğerleri ek çıktı üretir.

Doğrulama verisinde: Eşik 0.3 (Pima): doğruluk 0.675 değerinden 0.725 değerine. Boston XGBoost 5-kat CV R² 0.847. Ek metrikler, permütasyon önemi, PDP ve tahmin kaydı üretilir.

→ Eğitim-test ayırımı (holdout)

Gerçek veride örnek

Veri: Pima Indians (Pima.tr), R MASS paketi (n = 200)

Değişkenler: hedef type (diyabet Yes/No), özellikler gebelik sayısı, glukoz, kan basıncı, deri kalınlığı, BKİ, soy ağacı işlevi ve yaş

  • Soru: Gradyan artırma (XGBoost) yedi klinik ölçümle diyabeti (type) ne kadar doğru sınıflar ve hangi değişkenler öne çıkar?
  • Model: XGBoost, 100 ağaç, öğrenme oranı 0.3, en büyük derinlik 6 (kütüphane varsayılanları); eğitim n = 160, test n = 40 (tabakalı, tohum 42).
  • Sonuç: Test kümesinde doğruluk = .68, kesinlik = .53, duyarlılık = .57, F1 = .55, ROC-AUC = .69; 14 diyabetliden 8'i yakalanmış, 7 yanlış pozitif vardır.
  • Genelleme: 5-kat CV doğruluğu Ort = .73 (SS = .09).
  • Değişken önemi: Bölünme başına ortalama kazançta glukoz (0.227) ve yaş (0.212) önde, ardından BKİ (0.148) ve soy ağacı işlevi (0.131) gelir.
  • Sınırlılık: Varsayılan derinlik ve tur sayısı küçük veride aşırı uyuma açıktır; öğrenme oranı, derinlik ve erken durdurma ayarlanmalıdır.
  • APA: XGBoost (100 ağaç, eta = 0.3, derinlik 6) test kümesinde (n = 40) doğruluk = .68, F1 = .55, ROC-AUC = .69; 5-kat CV doğruluğu Ort = .73 (SS = .09).

İlgili kavramlar

SHAP değerleriDeğişken önemi (gain, cover, frequency)Erken durdurmaAlt örnekleme oranı (stokastik artırma)Eğitim-test ayırımı (holdout)Ağaç sayısı (topluluk modelleri)En küçük yaprak / düğüm boyutuHiperparametre ayarı (ızgara arama)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.