MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Karar Ağacı

Karar Ağacıanaliz

Veriyi 'evet/hayır' sorularıyla art arda ikiye bölerek her biri tek bir tahmin veren alt gruplara ayıran ve sonucu kolay okunan karar kuralları olarak sunan sınıflandırma ve regresyon yöntemi.

Kavram

Karar ağacı, bir sonucu öngörmek için 'yaş 35'ten büyük mü?', 'gelir 20.000'in altında mı?' gibi sorular sorar ve her yanıtla veriyi iki alt gruba ayırır. Bu bölmeler, her alt grubun sonuç bakımından olabildiğince tek tip (saf) olmasını sağlayacak biçimde seçilir. Ortaya çıkan model, kâğıt üzerinde çizilip uzman olmayan birine de anlatılabilen bir kurallar dizisidir; bu yüzden yorumlanabilirliğin önemli olduğu klinik, idari ve tarımsal kararlarda sık kullanılır.

Her adımda tüm değişkenler ve tüm olası kesim noktaları denenir; düğümün safsızlığını en çok azaltan bölme seçilir. Sınıflamada safsızlık genellikle Gini indeksiyle ölçülür: G = 1 − Σ p_k² (p_k, düğümdeki k sınıfının oranı); tek sınıflı bir düğümde G = 0'dır. Regresyon ağacında ölçüt kareler toplamıdır ve her yaprak, içindeki gözlemlerin ortalamasını tahmin eder. Bölme işlemi durdurulmazsa ağaç her gözlemi ayrı bir yaprağa koyana kadar büyür; bu nedenle önce büyük bir ağaç kurulur, sonra çapraz doğrulamayla belirlenen bir karmaşıklık cezasıyla geri budanır.

Ağaçlar dağılım varsayımı gerektirmez, etkileşimleri kendiliğinden yakalar ve vekil bölmeler sayesinde eksik değerlerle çalışabilir. Ancak kararsızdırlar: veride küçük bir değişiklik ağacın yapısını büyük ölçüde değiştirebilir, ve basamak biçimli tahminler sürekli ilişkileri kaba yansıtır. Küçük örneklemlerde kurallar şansa çok bağlıdır; budanmış ağacın genelleme başarısı çapraz doğrulama ve test kümesiyle sınanmalıdır.

Ne zaman kullanılır?

  • Öngörünün yanında, uygulamada doğrudan kullanılabilecek açık karar kurallarına ihtiyaç duyulduğunda (triyaj, kredi onayı, tür tanı anahtarı).
  • Öngörü başarımı yorumlanabilirlikten daha önemliyse çok sayıda ağacı birleştiren rastgele orman veya gradyan artırma tercih edilir.
  • Etkilerin büyüklüğünü katsayılar ve güven aralıklarıyla raporlamak gerekiyorsa lojistik ya da doğrusal regresyon kullanılır.

Gündelik bir örnek

Bir banka şubesi, kredi başvurularında geri ödeme sorunu yaşanıp yaşanmayacağını öngörmek istiyor. Karar ağacı önce 'aylık gelirin yarısından fazlası borç ödemesine mi gidiyor?' diye sorar; yanıt 'evet' ise ikinci soru 'iş yerinde 2 yıldan az mı çalışıyor?' olur. Bu iki sorunun ikisine de 'evet' diyen başvuruların çoğunda sorun yaşanmışsa ağaç bu kolu 'yüksek risk' olarak etiketler. Sonuçta şube çalışanları, bilgisayara gerek kalmadan uygulanabilecek üç dört basamaklı bir kurallar listesine sahip olur.

MerQur'da parametreler

Görev (Sınıflandırma / Regresyon)

Kavram: Sonuç bir kategori ise sınıflandırma ağacı kurulur ve her yaprak en olası sınıfı (ve sınıf oranlarını) verir; sonuç sayısal ise regresyon ağacı kurulur ve her yaprak o yapraktaki gözlemlerin ortalamasını tahmin eder.

Gündelik örnek: Banka 'sorun çıkar mı, çıkmaz mı?' diye soruyorsa sınıflandırma ağacı kurar. 'Bu müşteri kaç gün gecikmeyle öder?' diye soruyorsa regresyon ağacı kurar ve her yaprak ortalama gecikme gününü verir.

Ne işe yarar: Sınıflandırma ağacı (rpart method = "class") ya da regresyon ağacı ("anova").

Sonuca etkisi: Bölme ölçütü (Gini/entropi ya da kareler toplamı), düğüm tahmini ve raporlanan metrikler.

Doğrulama verisinde: car.test.frame Mileage ~ Weight tam veri: 4 yaprak, cptable CP 0.595349, 0.134528, 0.012828, 0.01, rel error 1, 0.40465, 0.27012, 0.25729, kök hata 22.576.

Ayrım ölçütü (Gini / Entropi)

Kavram: Bir düğümün ne kadar 'karışık' olduğunu ölçer. Gini indeksi, düğümden rastgele seçilen iki gözlemin farklı sınıflardan çıkma olasılığıdır; entropi ise düğümdeki sınıf belirsizliğini bilgi kuramı açısından ölçer. Uygulamada ikisi çoğunlukla benzer bölmeler seçer.

Gündelik örnek: Başvuruların yarısında sorun çıkan bir grup en karışık gruptur; hepsinde sorun çıkan ya da hiçbirinde çıkmayan bir grup tamamen saftır. Ağaç, her soruyla grupları bu saf duruma yaklaştırmaya çalışır.

Ne işe yarar: Sınıflamada düğüm safsızlığı ölçütü.

Sonuca etkisi: Seçilen bölmeler ve iyileşme değerleri.

Doğrulama verisinde: kyphosis (test 0.2) Gini ve entropi aynı ağacı kurdu (4 yaprak, doğruluk 0.7647); kyphosis tam veri, entropi ve eşit önsel: 4 yaprak, önem Start 15.84, Age 9.57, Number 2.13.

→ Düğüm safsızlığı (Gini, entropi)

Karmaşıklık parametresi (cp)

Kavram: Karmaşıklık parametresi, ağaca eklenen her yaprak için ödenen bir 'bedel'dir: bir bölme, hata oranını bu bedelden daha fazla azaltmıyorsa ağaçta tutulmaz. Büyük cp küçük ve sade, küçük cp büyük ve ayrıntılı ağaçlar verir.

Gündelik örnek: cp büyük tutulursa banka ancak gerçekten önemli bir fark yaratan soruları kurallara ekler ve iki üç soruluk bir liste elde eder. cp çok küçük tutulursa birkaç başvuruyu doğru ayırmak için onlarca küçük soru eklenir.

Ne işe yarar: Göreli riski en az cp kadar azaltmayan bölmeler budanır.

Sonuca etkisi: Büyük cp daha küçük ağaç, küçük cp daha büyük ağaç verir; yaprak sayısı, test başarımı ve değişken önemi değişir.

Doğrulama verisinde: kyphosis tam veri cp 0.01: 5 yaprak, doğruluk 0.8395; cp 0.05: 2 yaprak, 0.8272. Eğitim kümesinde cp 0.2: yalnız kök (doğruluk 0.7647 = çoğunluk oranı). cp = 0'da da yanlış sınıflama riskini azaltmayan bölmeler budanır (maxdepth 3, cp 0: 2 yaprak).

→ Ağaç budama ve karmaşıklık parametresi (cp)

Budama (Verilen cp / En küçük CV hatası / 1-SE kuralı)

Kavram: Budama, büyük ağacın gereksiz dallarını kesmektir. Hangi büyüklükte durulacağı çapraz doğrulama hatasına göre seçilebilir: 'en küçük CV hatası' en düşük hatayı veren ağacı, '1-SE kuralı' ise hatası en düşük hatadan bir standart hata uzaklığı içinde kalan en küçük ağacı seçer.

Gündelik örnek: Beş soruluk ağacın hatası 0,40, iki soruluk ağacınki 0,42 ve bu fark ölçüm belirsizliğinin içinde kalıyorsa 1-SE kuralı iki soruluk ağacı seçer. Şube çalışanları için daha kısa kural listesi, neredeyse aynı başarıyla daha kullanışlıdır.

Ne işe yarar: Verilen cp'de budama; xerror'u en küçük satırın cp'si ("min"); xerror <= en küçük xerror + xstd olan en küçük ağaç ("1se"). xval >= 2 gerektirir.

Sonuca etkisi: Nihai ağacın büyüklüğü cptable'dan seçilir; "min" ve "1se" kuralları daha küçük ağaçlara götürebilir.

Doğrulama verisinde: kyphosis tam veri cp 0 ve min ya da 1se: seçilen cp 0.1765, yalnız kök (xerror hiçbir satırda 1'in altına inmedi). Pima tam veri cp 0 ve 1se: cp 0.01471, 5 yaprak, eğitim doğruluğu 0.835.

→ Ağaç budama ve karmaşıklık parametresi (cp)

Bölünecek en küçük düğüm (minsplit) ve En küçük yaprak (minbucket)

Kavram: Bir düğümün bölünmeye aday olması için en az kaç gözlem içermesi gerektiğini (minsplit) ve her yaprakta en az kaç gözlem kalacağını (minbucket) belirler. Bu sınırlar, birkaç gözleme dayanan güvenilmez kuralların oluşmasını önler.

Gündelik örnek: Her yaprakta en az 10 başvuru olması istenirse ağaç 'bu meslekten, bu yaşta, bu semtte oturan iki kişi' gibi tek tük başvurulara dayanan kurallar üretemez.

Ne işe yarar: Bölme denenmesi için düğümde gereken en az gözlem; yapraktaki en az gözlem (0 = otomatik round(minsplit/3)).

Sonuca etkisi: Büyük değerler bölmeyi kısıtlar, ağacı küçültür; küçük değerler aşırı uyuma açık büyük ağaçlar verir.

Doğrulama verisinde: kyphosis tam veri minsplit 2 (cp 0): 17 yaprak, eğitim doğruluğu 1.0, CV 0.8029; minsplit 50: 2 yaprak. minbucket 1 (minsplit 20, cp 0): 5 yaprak ama farklı bölmeler (Age önemi 3.10 değerinden 4.86 değerine); minbucket 10: 2 yaprak.

→ En küçük yaprak / düğüm boyutu

En büyük derinlik

Kavram: Kökten en uzak yaprağa kadar art arda sorulabilecek en çok soru sayısıdır. Derinliği sınırlamak ağacı sadeleştirir ve dalgalanmasını azaltır, ama karmaşık ilişkileri yakalama gücünü de düşürür.

Gündelik örnek: Derinlik 2 ile sınırlanırsa bir başvuru hakkında en fazla iki soru sorulur: ör. borç yükü ve iş süresi. Bu, gişede hızla uygulanabilecek bir kural verir ama daha ince ayrımları kaçırabilir.

Ne işe yarar: Ağacın kökten en uzak yaprağa kadar en çok düzey sayısı.

Sonuca etkisi: Sığ ağaç daha az kural ve daha düşük varyans verir; yaprak sayısı ve başarım değişir.

Doğrulama verisinde: kyphosis tam veri maxdepth 1: 2 yaprak (Start < 8.5); maxdepth 3 ve cp 0: 2 yaprak.

→ En büyük ağaç derinliği

İç CV kat sayısı (xval)

Kavram: Budama kararı için ağacın her olası büyüklüğünde çapraz doğrulama hatası (xerror) ve onun standart hatası (xstd) hesaplanır. Bu iç CV ağacın kendisini değiştirmez; yalnız hangi büyüklükte budanacağına karar vermek için bilgi sağlar.

Gündelik örnek: Eğitim başvuruları 10 parçaya bölünür; her seferinde 9 parçayla ağaç kurulup kalan parçada denenir. Bir, iki, üç soruluk ağaçların bu sınavlardaki ortalama hataları karşılaştırılır ve budamanın nerede yapılacağı buna göre seçilir.

Ne işe yarar: cptable'ın xerror/xstd sütunları için V-katlı CV; gruplar tohumla rastgele atanır; 0 = kapalı.

Sonuca etkisi: Ağacı değiştirmez (prune = cp iken); yalnız xerror/xstd ve min/1se seçimini etkiler.

Doğrulama verisinde: kyphosis tam veri, son satır xerror: xval 5: 1.1765; 10: 1.0; 20: 0.8235; xval 0'da xerror yok. xerror ve xstd, tohumla oluşturulan CV gruplarına bağlıdır.

→ k-katlı çapraz geçerleme

Kategorik X (Alt küme bölmeleri / Kukla (k-1 gösterge) / Sıralı kod)

Kavram: Kategorik bir değişkenin ağaçta nasıl bölüneceğini belirler: düzeyler iki alt kümeye ayrılabilir, her düzey ayrı bir evet/hayır göstergesine (kukla) dönüştürülebilir ya da düzeyler sıralı sayılar gibi ele alınabilir. Seçim, hangi bölmelerin aday olabileceğini değiştirir.

Gündelik örnek: Meslek değişkeninde 'memur, esnaf, işçi, emekli' düzeyleri varsa alt küme bölmesi '{memur, emekli} ile {esnaf, işçi}' gibi bir ayrım yapabilir. Kukla gösterge yaklaşımında ise ağaç her seferinde tek bir meslek için 'esnaf mı, değil mi?' diye sorar.

Ne işe yarar: Kategorik açıklayıcıların ağaca nasıl girdiği: düzey alt kümeleriyle bölme, k-1 kukla gösterge ya da sıralı sayısal kod.

Sonuca etkisi: Aday bölmeler değişir; ağaç yapısı, yaprak sayısı ve başarım değişebilir.

Doğrulama verisinde: car.test.frame Type ~ ...: Country 8 düzey: alt küme bölmeleri 8 yaprak, doğruluk 0.8167; kukla ve sıralı kod 7 yaprak, 0.7833. Mileage regresyonu: alt küme R² 0.854, kukla ve sıralı 0.8545.

→ Kukla (gösterge) değişken kodlaması

Test oranı, CV kat sayısı ve tekrarı, Rastgele tohum

Kavram: Ağaç yalnız eğitim kümesinde kurulur ve hiç görmediği test kümesinde sınanır; çapraz doğrulama eğitim kümesi içinde ek bir genelleme ölçüsü verir. Ağaçlar veriye çok duyarlı olduğu için bölme oranı ve tohum, ağacın yapısını bile değiştirebilir.

Gündelik örnek: Banka geçmiş 500 başvurunun 400'üyle ağacı kurar, kalan 100'ünde kuralları sınar. Başka bir tohumla farklı 400 başvuru seçildiğinde ilk sorunun bile değişmesi, kuralların ne kadar kararsız olduğunu gösterir.

Ne işe yarar: Tabakalı eğitim/test bölme oranı (0 = tüm veri); eğitim kümesi içinde k-kat CV ve tekrar sayısı; bölme ve CV tohumu.

Sonuca etkisi: Ağaç yalnız eğitim kümesinde kurulur; oran ve tohum ağacı, test ve CV skorlarını değiştirir.

Doğrulama verisinde: kyphosis test oranı 0: eğitim doğruluğu 0.8395 (5 yaprak); 0.2: test 0.7647 (4 yaprak); 0.5: 41 gözlemli eğitimde yalnız kök. Test 0.2'de 5-kat CV 64 eğitim satırında 0.6551. Tohum 1: farklı bölme, 2 yaprak, test doğruluğu 0.7059 (tohum 42: 0.7647). car.test.frame Mileage ~ Weight 5-kat CV R² 0.606 (tam veri R² 0.743).

→ Eğitim-test ayırımı (holdout)

Dengesiz sınıflar: dengeli ağırlık

Kavram: Sınıflar dengesizse ağaç, çoğunluk sınıfını tahmin ederek yüksek doğruluğa kolayca ulaşır. Eşit önsel olasılıklar, her sınıfın safsızlık hesabında eşit söz hakkına sahip olmasını sağlar; böylece bölmeler azınlık sınıfını ayırt etmeye yönelir.

Gündelik örnek: Başvuruların yalnız %10'unda sorun çıkıyorsa ağaç 'herkes öder' diyerek %90 doğruluk tutturabilir ama sorunlu başvuruların hiçbirini yakalamaz. Dengeli ağırlıkla sorunlu başvuruları ayıran sorular öne çıkar.

Ne işe yarar: Eşit önsel olasılıklar (prior = 1/K); azınlık sınıf hatalarını ağırlaştırır.

Sonuca etkisi: Bölmeler azınlık sınıfı lehine değişir; duyarlılık ve F1 artabilir, doğruluk değişebilir.

Doğrulama verisinde: kyphosis tam veri: 3 yaprak, doğruluk 0.8272, F1 0.6667, kök bölme Start < 12.5.

→ Sınıf dengesizliği ve dengeli ağırlıklar

Permütasyon önemi, Tahminleri kaydet, Olasılık eşiği, Ek metrikler, Kısmi bağımlılık, Grafik

Kavram: Permütasyon önemi bir değişken karıştırılınca başarımın ne kadar düştüğünü, kısmi bağımlılık bir değişken değiştikçe öngörünün nasıl değiştiğini gösterir. Olasılık eşiği yaprak oranlarından hangi değerde 'pozitif' denileceğini belirler; ek metrikler ve grafikler ağacın başarımını ve yapısını özetler.

Gündelik örnek: Bir yaprakta başvuruların %35'inde sorun çıkmışsa varsayılan %50 eşiğinde bu yaprak 'düşük risk' sayılır. Banka riskten çok kaçınıyorsa eşiği %30'a indirir ve bu yapraktaki başvuruları da ek incelemeye alır.

Ne işe yarar: Test kümesinde permütasyon önemi; tahmin ve olasılık sütunlarının kaydı; ikili sınıflamada olasılık eşiği; ek metrikler (Kappa, MCC, NIR, McNemar); kısmi bağımlılık; grafik.

Sonuca etkisi: Ağaç değişmez; eşik yalnız sınıf tahminlerini değiştirir, diğerleri ek çıktı üretir.

Doğrulama verisinde: kyphosis permütasyon önemi: Start 0.0176 (SS 0.0459), Number 0.0, Age -0.0059. Eşik 0.3: test doğruluğu 0.7647 değerinden 0.8235 değerine, F1 0.3333 değerinden 0.6667 değerine. Ek metrikler: Kappa 0.2093 (ASE 0.2668), MCC 0.2279, NIR p 0.630, McNemar p 0.617. Grafik türü (cp, önem) yalnız çizimi değiştirir.

→ Permütasyon önemi

Gerçek veride örnek

Veri: kyphosis, R rpart paketi (n = 81)

Değişkenler: hedef Kyphosis (ameliyat sonrası kifoz absent/present), özellikler Age (ay), Number (omur sayısı) ve Start (ilk omur)

  • Soru: Yaş (Age), ameliyat edilen omur sayısı (Number) ve ilk omur (Start) ile kurulan karar ağacı, ameliyat sonrası kifozu (Kyphosis) ne kadar doğru sınıflar?
  • Ağaç: Gini ölçütü, cp = 0.01 ile 3 bölmeli, 4 yapraklı (derinlik 3) ağaç: Start >= 12.5 ise absent (37 çocuğun 36'sı); Start < 12.5, Age >= 34.5 ve Number >= 4.5 ise present (11 çocuğun 8'i). Eğitim n = 64, test n = 17.
  • Sonuç: Test kümesinde doğruluk = .76, kesinlik = .50, duyarlılık = .25, F1 = .33, ROC-AUC = .76; 4 kifozlu çocuktan yalnız 1'i yakalanmıştır.
  • Değişken önemi: Start %53.7, Number %25.5, Age %20.7 (birincil ve vekil bölmeler).
  • Genelleme: 5-kat CV doğruluğu Ort = .66 (SS = .12); iç CV'de en küçük xerror köke aittir (1.00), budanmamış ağacın xerror'ı 1.23'tür, yani ağacın genelleme kazancı belirsizdir.
  • Sınırlılık: Örneklem çok küçüktür (n = 81, 17 kifoz); azınlık sınıfı duyarlılığı düşüktür, dengeli ağırlık ya da eşik ayarı gerekir.
  • APA: CART (Gini, cp = 0.01; 4 yaprak) test kümesinde (n = 17) doğruluk = .76, ROC-AUC = .76; 5-kat CV doğruluğu Ort = .66 (SS = .12).

İlgili kavramlar

Ağaç budama ve karmaşıklık parametresi (cp)Düğüm safsızlığı (Gini, entropi)En küçük yaprak / düğüm boyutuEn büyük ağaç derinliğiEğitim-test ayırımı (holdout)Permütasyon önemiDeğişken önemi (gain, cover, frequency)Sınıf dengesizliği ve dengeli ağırlıklar

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.