MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Rastgele Orman

Rastgele Ormananaliz

Çok sayıda karar ağacını verinin farklı yeniden örneklemleri ve rastgele değişken alt kümeleriyle kurup ağaçların oylarını (ya da ortalamasını) birleştirerek sınıf ya da sayısal değer öngören makine öğrenmesi yöntemi.

Kavram

Tek bir karar ağacı anlaşılır kurallar üretir ama kararsızdır: veride küçük bir değişiklik bambaşka bir ağaca yol açabilir ve ağaç eğitim verisini ezberlemeye yatkındır. Rastgele orman bu kararsızlığı, birbirinden biraz farklı yüzlerce ağacın ortak kararına başvurarak giderir. Amaç, yeni gözlemler için olabildiğince doğru öngörüde bulunmak ve hangi değişkenlerin öngörüye en çok katkı verdiğini görmektir.

Her ağaç, verinin yerine koyarak çekilmiş bir bootstrap örneklemiyle kurulur; ayrıca her bölünmede tüm değişkenler değil, rastgele seçilmiş küçük bir alt küme denenir. Bu iki rastgelelik ağaçları birbirine daha az benzer kılar; birbirine az benzeyen ağaçların ortalaması da tek bir ağaçtan çok daha az dalgalanır. Sınıflandırmada sonuç ağaçların çoğunluk oyu, regresyonda ağaç tahminlerinin ortalamasıdır. Her ağacın bootstrap örnekleminde yer almayan gözlemler (yaklaşık üçte bir) o ağaç için doğal bir sınama kümesi olur; bunlardan hesaplanan OOB (torba dışı) hata, ayrı bir test kümesine gerek kalmadan genelleme başarımını kestirir.

Yöntem dağılım varsayımı gerektirmez, doğrusal olmayan ilişkileri ve etkileşimleri kendiliğinden yakalar. Buna karşılık sonuç tek bir formülle özetlenemez; değişkenlerin rolü önem ölçüleri ve kısmi bağımlılık grafikleriyle okunur. Safsızlık azalışına dayalı önem, çok sayıda farklı değer alan değişkenleri kayırabileceğinden permütasyon önemiyle birlikte değerlendirilmelidir. Regresyonda orman, eğitim verisinde görülen aralığın dışına tahmin yapamaz. Başarım her zaman modelin görmediği verilerde (test kümesi, çapraz doğrulama, OOB) değerlendirilmelidir.

Ne zaman kullanılır?

  • Çok sayıda açıklayıcı değişkenle bir sınıfı ya da sayısal değeri öngörmek istendiğinde ve ilişkilerin doğrusal olduğu varsayılamadığında (tür dağılımı, arazi örtüsü, hastalık riski, müşteri davranışı).
  • Öngörü başarımından çok kolay okunan kurallar gerekiyorsa tek bir karar ağacı; etkilerin yönünü ve büyüklüğünü katsayılarla raporlamak gerekiyorsa lojistik ya da doğrusal regresyon tercih edilir.
  • Tablo verilerinde öngörü başarımını biraz daha artırmak ve ayar yapmaya zaman ayırmak mümkünse gradyan artırma, ormanın güçlü bir alternatifidir.

Gündelik bir örnek

Bir aile sağlığı merkezi, kontrole gelen kişilerin kan şekeri, vücut kitle indeksi, yaşı ve tansiyonu gibi ölçümlerinden diyabet riskini öngörmek istiyor. Tek bir doktorun kararı yerine 500 doktorun ayrı ayrı oy verdiğini düşünün: her doktor hastaların yalnız bir kısmının dosyasını görmüş ve her soruda ölçümlerin yalnız bir kısmına bakmıştır. Kişi için 500 oydan 340'ı 'diyabet var' derse orman bu kişiyi yüksek riskli sınıflar; değişken önemi de kararlarda en çok kan şekerine, ardından yaşa başvurulduğunu gösterebilir.

MerQur'da parametreler

Ağaç sayısı

Kavram: Ormandaki ağaç sayısı, ortalaması alınan bağımsız 'görüş' sayısıdır. Ağaç eklemek ormanı aşırı uyuma götürmez; hata belli bir sayıdan sonra sabitlenir, yalnız hesaplama süresi artar.

Gündelik örnek: Merkezde 10 doktorun oyu, birkaç doktorun aykırı kararıyla kolayca değişebilir; 500 doktorun oyu ise neredeyse her seferinde aynı sonucu verir. 500'den 1000'e çıkmak sonucu pek değiştirmiyorsa yeterli sayıya ulaşılmıştır.

Ne işe yarar: Ormandaki ağaç sayısı (ntree); çok ağaç tahmin varyansını azaltır.

Sonuca etkisi: Test başarımı ve OOB; çok az ağaçta bazı gözlemlerin OOB tahmini bulunmaz.

Doğrulama verisinde: (iris, test doğruluğu ve OOB doğruluğu): 10 ağaç 0.9667 ve 0.9417; 100 ağaç 0.90 ve 0.95; 500: 0.9333 ve 0.95; 1000: 0.9333 ve 0.95.

→ Ağaç sayısı (topluluk modelleri)

mtry (bölünmede değişken sayısı)

Kavram: Her bölünmede kaç değişkenin aday olarak deneneceğidir. Küçük değer ağaçları birbirinden farklılaştırır ama her ağacı zayıflatır; büyük değer ağaçları güçlendirir ama birbirine benzetir.

Gündelik örnek: Her doktor her soruda tüm ölçümleri görebilseydi hepsi önce kan şekerine bakar ve birbirinin kopyası olurdu. Her soruda yalnız iki ölçüm gösterilince bazı doktorlar yaşa ya da kiloya da ağırlık verir ve ortak karar daha sağlam olur.

Ne işe yarar: Her bölünmede rastgele denenen değişken sayısı. 0 = varsayılan: sınıflamada √p, regresyonda max(1, floor(p/3)).

Sonuca etkisi: Ağaçlar arasındaki ilişkiyi ve tek ağacın gücünü belirler; test başarımı, OOB ve değişken önemi değişir.

Doğrulama verisinde: iris mtry 1: 0.9333, mtry 4: 0.9667. Boston mtry 4 (p/3) test R² 0.8754, OOB R² 0.8544, CV 0.8437.

→ mtry (bölünme başına denenen değişken sayısı)

En küçük yaprak (nodesize)

Kavram: Bir yaprakta (ağacın son kararında) bulunması gereken en az gözlem sayısıdır. Büyük değer, ağacın birkaç kişiye özgü ayrıntıları ezberlemesini engeller.

Gündelik örnek: En küçük yaprak 1 ise bir ağaç 'şu yaşta, şu kiloda ve şu tansiyondaki tek kişi diyabetli' gibi tek bir hastaya özgü bir kural kurabilir. Her yaprakta en az 20 kişi istenirse kurallar daha genel olur.

Ne işe yarar: Her yaprakta en az bu kadar gözlem bulunur (en küçük yaprak boyutu); bu bir düğüm bölme eşiği değildir.

Sonuca etkisi: Büyük değer daha sığ, daha düzgün ağaçlar verir; test başarımı ve olasılıklar değişir.

Doğrulama verisinde: iris 5: 0.9667, 20: 0.9333 (CV 0.9467); Boston 5: R² 0.8347.

→ En küçük yaprak / düğüm boyutu

En büyük derinlik

Kavram: Ağacın kökten yaprağa kadar art arda sorabileceği en çok soru sayısıdır. Sığ ağaçlar daha basit ve kararlıdır (düşük varyans) ama karmaşık ilişkileri kaçırabilir (yüksek yanlılık).

Gündelik örnek: Derinlik 1 olan bir ağaç yalnız 'kan şekeri yüksek mi?' diye sorup karar verir. Derinlik 5 olduğunda 'kan şekeri sınırda ama yaş ileri ve kilo fazla mı?' gibi birleşik durumları da ayırt edebilir.

Ne işe yarar: Ağaç derinlik sınırı (0 = sınırsız).

Sonuca etkisi: Sığ ağaçlar yanlılığı artırır, varyansı azaltır; test başarımı, OOB ve AUC değişir.

Doğrulama verisinde: iris derinlik 1 (kütükler): test 0.9667, OOB 0.925, AUC 0.9417; derinlik 2: 0.90. Boston derinlik 5: R² 0.8783.

→ En büyük ağaç derinliği

Dengesiz sınıflar: dengeli ağırlık

Kavram: Sınıflardan biri çok az gözlem içerdiğinde model çoğunluk sınıfını tahmin etmeye eğilimlidir. Dengeli ağırlık, az görülen sınıftaki her gözlemi daha ağır sayarak iki sınıfa toplamda eşit söz hakkı verir.

Gündelik örnek: Kontrole gelen 100 kişiden yalnız 30'u diyabetliyse ağaçlar 'herkes sağlıklı' demeye yatkındır ve diyabetlilerin bir kısmı gözden kaçar. Dengeli ağırlıkla her diyabetli kişinin dosyası daha fazla sayılır; daha çok hasta yakalanır, ama bazı sağlıklı kişiler de yanlışlıkla riskli görünebilir.

Ne işe yarar: Dengeli ağırlık n/(K·n_k) örnek ağırlığı olarak uygulanır; Gini'ye ve yaprak oranlarına girer (önsel olasılık olarak kullanılmaz).

Sonuca etkisi: Azınlık sınıfının ağırlığı artar; duyarlılık, doğruluk ve AUC değişebilir. Dengeli verilerde etkisizdir.

Doğrulama verisinde: Pima doğruluk 0.65 değerinden 0.675 değerine, AUC 0.7102 değerinden 0.7473 değerine. iris ve Boston'da etkisizdir (beklenen).

→ Sınıf dengesizliği ve dengeli ağırlıklar

Görev, Test oranı, CV kat sayısı ve tekrarı, Rastgele tohum

Kavram: Modelin başarımını dürüstçe ölçmek için veri, modelin kurulduğu eğitim kümesi ile hiç görmediği test kümesine ayrılır; çapraz doğrulama (CV) eğitim kümesini k parçaya bölüp her parçayı sırayla sınama için kullanır. Rastgele tohum, bu rastgele bölmelerin tekrarlanabilir olmasını sağlar.

Gündelik örnek: Merkez 200 kişinin dosyasından 160'ıyla ormanı kurar, kalan 40'ını en sonda sınav gibi kullanır. 40 kişilik bir sınav şansa açık olduğundan 5-kat CV de 'beş farklı küçük sınavın ortalaması' gibi ek bir ölçü verir. Aynı tohumla analiz tekrarlandığında aynı kişiler aynı kümelere düşer.

Ne işe yarar: Sınıflandırma ya da regresyon; tabakalı eğitim/test bölmesi; eğitim kümesi içinde tohumlu karıştırmalı (sınıflamada tabakalı) k-kat CV; tekrar sayısı; bölme, CV ve permütasyon tohumu.

Sonuca etkisi: Görev modeli ve metrikleri belirler; bölme, kat sayısı ve tohum test ve CV sonuçlarını değiştirir.

Doğrulama verisinde: iris test oranı 0.1: 0.9333; 0.5: 0.8933. CV 2, 5, 10 kat: 0.9533, 0.9667, 0.9666; 3x5 tekrar 0.9556; tohum 1: 0.9667, OOB 0.9333. Boston 5-kat CV R² 0.844.

→ Eğitim-test ayırımı (holdout)

Hiperparametre ayarı (grid search + CV)

Kavram: Model ayarlarının (bölünmede değişken sayısı, en küçük yaprak) olası birleşimlerinin her biri çapraz doğrulamayla denenir ve en iyi sonuç vereni seçilir. Seçim yalnız eğitim kümesinde yapılır; test kümesi ayar için kullanılırsa başarım olduğundan iyi görünür.

Gündelik örnek: Merkez, '2 ölçüm mü 3 ölçüm mü gösterelim, yapraklarda en az 1 mi 5 kişi mi olsun?' sorularının bütün birleşimlerini eğitim dosyalarında dener ve en tutarlı sonucu vereni seçer. Son sınav dosyalarına ancak bu seçimden sonra bakılır.

Ne işe yarar: mtry ve en küçük yaprak ızgarasında eğitim kümesi içi CV ile en iyi ayarı seçer.

Sonuca etkisi: Seçilen ayarla kurulan orman raporlanır; test başarımı ve önem sıraları değişebilir.

Doğrulama verisinde: mtry {sqrt, .33, .5, 1} x min_leaf {1, 3, 5} ızgarasında iris için sqrt ve 3 (CV 0.9583), Boston için 0.5 ve 1 (0.8546) seçildi.

→ Hiperparametre ayarı (ızgara arama)

Permütasyon önemi, Tahminleri kaydet, Ek çıktılar (ek metrikler, kısmi bağımlılık), Grafik

Kavram: Permütasyon önemi, bir değişkenin değerleri kişiler arasında rastgele karıştırılınca başarımın ne kadar düştüğüne bakar; düşüş büyükse model o değişkene çok dayanıyordur. Kısmi bağımlılık grafiği, diğer değişkenlerin etkisi ortalanırken bir değişken değiştikçe öngörünün nasıl değiştiğini gösterir; Kappa ve MCC gibi ek metrikler dengesiz sınıflarda doğruluktan daha bilgilendiricidir.

Gündelik örnek: Test dosyalarında kan şekeri değerlerini kişiler arasında karıştırınca doğru tahmin oranı belirgin biçimde düşüyorsa kan şekeri önemli bir ipucudur; tansiyonu karıştırmak hiçbir şeyi değiştirmiyorsa model ona dayanmıyordur. Kısmi bağımlılık grafiği de kan şekeri yükseldikçe öngörülen riskin hangi değerden sonra hızla arttığını gösterir.

Ne işe yarar: Test kümesinde her değişken karıştırılınca başarımdaki düşüş; tahmin ve olasılık sütunlarının veri setine yazılması; ek metrikler (Kappa, MCC, NIR, McNemar); kısmi bağımlılık (PDP/ICE); değişken önemi, ROC ya da PDP grafiği.

Sonuca etkisi: Grafik türü yalnız çizimi değiştirir; çok sınıflı yanıtta ROC grafiği üretilmez.

→ Permütasyon önemi

Olasılık eşiği (ikili)

Kavram: Model her kişi için bir olasılık verir; eşik, bu olasılığın hangi değerden sonra 'pozitif' sınıf kararına dönüşeceğini belirler. Eşiği düşürmek daha çok pozitif yakalar (duyarlılık artar) ama yanlış alarmı da artırır; olasılıklar ve AUC ise değişmez.

Gündelik örnek: Varsayılan eşik %50 ise diyabet olasılığı %40 çıkan kişi 'sağlıklı' sayılır. Merkez kimseyi kaçırmak istemiyorsa eşiği %30'a indirip bu kişiyi de ek teste çağırabilir; karşılığında gerçekte sağlıklı olan bazı kişiler de gereksiz yere çağrılır.

Ne işe yarar: İkili sınıflamada P(pozitif) >= eşik ise pozitif tahmin.

Sonuca etkisi: Olasılıklar ve AUC değişmez; sınıf tahminleri, doğruluk, kesinlik, duyarlılık ve F1 değişir.

Doğrulama verisinde: Pima eşik 0.3: doğruluk 0.625, F1 0.5946; 0.7: doğruluk 0.675, F1 0.2353. Çok sınıfta etkisizdir (beklenen).

→ Sınıflandırma eşiği (kesim değeri)

Gerçek veride örnek

Veri: Pima Indians (Pima.tr), R MASS paketi (n = 200)

Değişkenler: hedef type (diyabet Yes/No), özellikler gebelik sayısı, glukoz, kan basıncı, deri kalınlığı, BKİ, soy ağacı işlevi ve yaş

  • Soru: Yedi klinik ölçümle kurulan rastgele orman, Pima kadınlarında diyabeti (type) ne kadar doğru sınıflar ve hangi değişkenler öne çıkar?
  • Model: 100 ağaçlı orman (bölünmede √p = 2 değişken, yaprak en az 1 gözlem); eğitim n = 160, test n = 40 (tabakalı, tohum 42). OOB doğruluk = .73 (OOB hata .27); sınıf bazlı OOB hata No = .16, Yes = .48.
  • Sonuç: Test kümesinde doğruluk = .65, kesinlik = .50, duyarlılık = .57, F1 = .53, ROC-AUC = .71; 14 diyabetliden 8'i yakalanmış, 26 sağlıklıdan 8'i yanlış pozitiftir.
  • Genelleme: 5-kat CV doğruluğu Ort = .76 (SS = .09); test doğruluğu küçük test kümesi nedeniyle CV ortalamasının altında kalmıştır.
  • Değişken önemi: En önemli değişken glukoz (0.244), ardından yaş (0.159), BKİ (0.145) ve gebelik sayısıdır (0.141); kan basıncı en az katkıyı verir (0.081).
  • Sınırlılık: Orman rastgeledir; tohum ya da bölme değişince metrikler değişir. Diyabet sınıfında duyarlılık düşüktür; dengeli sınıf ağırlığı ya da eşik ayarı denenebilir.
  • APA: Rastgele orman (100 ağaç) test kümesinde (n = 40) doğruluk = .65, F1 = .53, ROC-AUC = .71; 5-kat CV doğruluğu Ort = .76 (SS = .09).

İlgili kavramlar

mtry (bölünme başına denenen değişken sayısı)Permütasyon önemiEn küçük yaprak / düğüm boyutuDeğişken önemi (gain, cover, frequency)Eğitim-test ayırımı (holdout)Sınıf dengesizliği ve dengeli ağırlıklarAğaç sayısı (topluluk modelleri)En büyük ağaç derinliği

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.