MerQuR+Başvuru Kitabı

50. Çok Değişkenli Uyarlanır Regresyon Spline'ları (MARS)

Şablon kimliği: mars · Kategori: düzgünleştirme · Dil: R · Dosya: pro/sablonlar/duzgunlestirme/mars.R (satır 1–220; üstbilgi 1–132) · Örnek veri: _ornek/trees.csv · Paketler: earth 5.3.6 (şekiller için plotmo 3.7.1)

50.1 Ne işe yarar

MARS, yanıt ile açıklayıcılar arasındaki ilişkiyi, kırılma noktalarını (düğümleri) veriden kendisi seçerek parçalı doğrusal bir yüzeyle kestirir (Friedman, 1991). Cevapladığı soru şudur: "Yanıt hangi açıklayıcılara, hangi eşiklerden sonra ve ne eğimle bağlı; etkileşim var mı?" Model, menteşe fonksiyonlarının doğrusal birleşimidir:

\hat f(\mathbf x)=\beta_0+\sum_{m=1}^{M}\beta_m\,B_m(\mathbf x),\qquad B_m(\mathbf x)=\prod_{k=1}^{K_m} h\big(s_{km}\,(x_{v(k,m)}-t_{km})\big),\qquad h(u)=\max(0,u)
  • h(x-t): t düğümünün solunda sıfır, sağında eğimi 1 olan menteşe; h(t-x) ayna görüntüsüdür. İkisi birlikte bir menteşe çifti oluşturur.
  • s_{km}=\pm1: menteşenin yönü; v(k,m): terimde kullanılan değişken; t_{km}: düğüm.
  • K_m: terimdeki çarpan sayısı (etkileşim derecesi). K_m=1 ise terim tek değişkenlidir ve model toplamsaldır.
  • \beta_m: en küçük karelerle kestirilen katsayılar.

Ne zaman kullanılır? İlişkinin biçimi bilinmiyorsa ve eşik etkisi bekleniyorsa (belirli bir çaptan sonra hacmin hızlanması gibi); çok sayıda aday açıklayıcı arasından kendiliğinden seçim isteniyorsa; sonuçta yazılabilir, açık bir denklem gerekiyorsa.

Ne zaman kullanılmaz?

  • Kırılma noktası tekse ve yeri için güven aralığı isteniyorsa: parcali_regresyon. MARS düğümler için standart hata vermez.
  • Düzgün (türevlenebilir) bir eğri ve onun güven bandı isteniyorsa: gamm_mgcv ya da temel programdaki Genelleştirilmiş Toplamsal Model (GAM).
  • Katsayılar için p değeri ve güven aralığı gerekiyorsa: MARS'ın seçtiği terimler veriye bakılarak bulunmuştur; klasik çıkarım geçerli değildir. Önceden belirlenmiş bir model için temel programdaki Çoklu Doğrusal Regresyon kullanılır.
  • Gözlem sayısı çok azsa: örnek veri (31 gözlem) yöntemin alt sınırındadır; otomatik düğüm aralığı kuralı değişken başına yalnız dört aday düğüm bırakır (50.4.2).

Temel programla ilişki. Temel programda MARS yoktur. En yakın analiz GAM'dir; o, düzgünleştirme parametresiyle cezalanan eğriler kurar, MARS ise terim ekleyip çıkararak seçim yapar.

50.2 Şablonun girdileri

Form, üstbilgideki on altı [[param]] bloğundan kurulur (mars.R:10–131).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt · y sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun mq_sayisal ile okunur (151).
Açıklayıcılar · x sütunlar · Değişkenler boş en az 1 sütun Sayısal ya da kategorik (153–158, 165).
Doğrusal girecek açıklayıcılar · dogrusal sütunlar · Model boş x içinden linpreds (146, 170–172).
Etkileşim derecesi · derece tamsayı · Model 1 1–3 degree (166).
İleri adımda en çok terim · nk tamsayı · Gelişmiş 0 0–500 0 ise earth'ün kuralı; değilse nk (167).
GCV cezası · ceza ondalık · Model 0 0–10 0 ise earth'ün kuralı; değilse penalty (168).
Düğümler arası en az gözlem · minspan tamsayı · Gelişmiş 0 0–1000 minspan (166).
Uçlarda düğümsüz gözlem · endspan tamsayı · Gelişmiş 0 0–1000 endspan (166).
Budama sonrası en çok terim · budama tamsayı · Model 0 0–500 0 ise GCV seçer; değilse nprune (169).
Yanıt dağılımı · aile seçim · Model gaussian gaussian, binomial, poisson glm = list(family = ) (173).
GLM ailesinde ölçüt satır adlarına model eki · olcut_eki onay · Çıktı kapalı açık/kapalı Açıkken GCV, RSS, GRSq, RSq satır adlarına "(doğrusal model)" eklenir (202–203).
Çapraz doğrulama kat sayısı · cv tamsayı · Seçenekler 0 0–20 nfold (174).
Budama yöntemi · budama_yontemi seçim · Model backward backward, none, exhaustive, forward, seqrep, cv pmethod (176).
İleri adım durdurma eşiği · esik ondalık · Gelişmiş 0,001 0–0,5 thresh (177).
Hızlı MARS en çok ebeveyn terim · fast_k tamsayı · Gelişmiş 20 0–1000 fast.k (178).
Yeni değişken cezası · yeni_degisken_cezasi ondalık · Gelişmiş 0 0–1 newvar.penalty (179).
Çapraz doğrulama tekrar sayısı · cv_tekrar tamsayı · Seçenekler 1 1–50 ncross; yalnız cv > 0 iken (180).

Örnek ayar (ornek_param, satır 9): y = Volume, x = Girth, Height, dogrusal = Height; öteki alanlar varsayılandadır.

"0 = otomatik" alanları. nk, ceza, budama, minspan ve endspan alanlarında 0, "earth'ün kendi kuralı" demektir: şablon bu durumda argümanı ya hiç vermez (167–169) ya da 0 olarak verir (166) ve earth otomatik değeri hesaplar. Sonuç olarak formdan GCV cezası tam 0 istenemez.

Şablonun kendi denetimleri.

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 136
Yanıt dışında açıklayıcı kalmıyor "En az bir açıklayıcı seçin" 137–138
Tam gözlem sayısı 10'dan az "en az 10 tam gözlem" 143
Yanıt sabit "Yanıt sabit." 145
Açıklayıcı sabit ya da tek düzeyli "'…' sabit" 146–151
İkili aile ve yanıt 0/1 değil "yanıt 0/1 olmalı" 152
Poisson ailesi ve yanıt negatif ya da kesirli "negatif olmayan tamsayı" 153
Kat sayısı > n/2 "gözlem sayısının yarısından az olmalı" 154
İkili aile, kat sayısı küçük sınıftan büyük "küçük sınıftaki gözlem sayısından büyük olamaz" 155
Budama yöntemi cv ve kat sayısı 0 "kat sayısını 0'dan büyük verin" 166
earth hata verdi "MARS modeli kurulamadı: …" 172–173

Eksik değer: yanıt ya da açıklayıcılardan birinde eksik olan satır liste bazında atılır (148). earth'ün uyarıları toplanır ve tablolardan sonra "Uyarılar:" satırında yazılır (181–182, 208); model özeti konsola summary(fit, digits = 7) ile yazılır (184). Karakter türündeki açıklayıcı faktöre çevrilir; earth her düzey için bir gösterge sütunu kurar (154).

50.3 Örnek veri

Dosya: _ornek/trees.csv. 31 kesilmiş kara kiraz ağacının ölçümleri (R'nin trees verisi; Atkinson, 1985). Eksik değer yoktur.

Değişken Rol Tür (veri sekmesi) Özet
Volume Yanıt sayısal Kereste hacmi (fit küp); 10,2–77,0; ortalama 30,171.
Girth Açıklayıcı sayısal Göğüs yüksekliğinde çap (inç); 8,3–20,6.
Height Açıklayıcı (doğrusal) sayısal Boy (fit); 63–87.

Kategorik değişken yoktur; düzey sırası bu örnekte rol oynamaz. Bölümdeki çalıştırmalar: (1) örnek ayar; (2) dogrusal boş; (3) dogrusal boş, minspan = 1, endspan = 1. Ek olarak etkileşim derecesi 2, GCV cezası 3, budama = 3, budama yöntemi none, beş katlı çapraz doğrulama (tohum 2026 ve 1) ve çapraz doğrulamalı budama çalıştırılmıştır.

50.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) eksik satırları at, formülü kur; (2) ileri adım: sabit terimden başlayıp her yinelemede artık kareler toplamını (KT) en çok düşüren menteşe çiftini ekle; (3) geri adım: terimleri tek tek çıkar, her boyut için en iyi alt kümeyi sakla ve genelleştirilmiş çapraz doğrulama (GCV) ölçütü en küçük olanı seç; (4) seçilen terimlerle en küçük kareler katsayılarını kestir; (5) uyum ölçütlerini, değişken önemini ve şekilleri yaz.

50.4.1 İleri adım

Elde M terimli bir taban varken, her (ebeveyn terim B_\ell, değişken x_v, düğüm t) üçlüsü için şu iki terim aday olur:

B_\ell(\mathbf x)\,h(x_v-t),\qquad B_\ell(\mathbf x)\,h(t-x_v)

Aday, tabana eklendiğinde KT'yi en çok düşüren üçlüdür. Derece 1'de tek ebeveyn sabit terimdir (B_0=1); derece 2'de var olan her tek değişkenli terim de ebeveyn olabilir ve değişkenlerin çarpımı modele girer.

  • Menteşe çifti doğrusal terimi de kapsar: h(x-t)-h(t-x)=x-t. Bu yüzden bir değişkenin ilk çifti, o değişkenin doğrusal etkisini ve bir eğim değişimini birlikte getirir.
  • Aynı değişkenin ikinci düğümünde çiftin bir üyesi öncekilerin doğrusal birleşimidir; earth onu atar ve yalnız bir terim kullanılır.
  • dogrusal listesindeki değişken için düğüm aranmaz; değişken tek bir doğrusal terimle (x_v) aday olur.

İleri adım şu koşullardan biri sağlanınca durur: terim yuvası sayısı nk'ya ulaşır; en iyi adayın R^2 artışı esik değerinin (0,001) altındadır; R^2, 1-\texttt{esik}'i aşar; GCV'ye dayalı R^2 −10'un altına düşer.

Koddaki tercih

earth(formula, data, degree, minspan, endspan, …) (satır 166–182). Verilmeyen argümanlarda earth'ün varsayılanları geçerlidir: nk = min(200, max(20, 2p)) + 1 (iki açıklayıcıda 21), thresh = 0.001, fast.k = 20, pmethod = "backward". Her çift, yalnız biri kullanılsa da iki yuva sayılır; konsoldaki "at 5 terms" ifadesi kullanılan terim sayısıdır. earth yanıtı ileri adımdan önce standartlaştırır; katsayılar özgün ölçekte verilir.

50.4.2 Aday düğümler: minspan ve endspan

Her gözlem düğüm adayı değildir. Friedman, gürültüye uyan çok yakın düğümleri önlemek için iki aralık tanımlar; earth bunları şöyle hesaplar (minspan = 0, endspan = 0 iken):

\text{endspan}=\Big\lfloor 3-\log_2\frac{0{,}05}{p}\Big\rfloor=\big\lfloor 7{,}32193+\log_2 p\big\rfloor,\qquad \text{minspan}=\Big\lfloor \frac{-\log_2\!\big(-\tfrac{1}{p\,n}\ln 0{,}95\big)}{2{,}5}\Big\rfloor=\Big\lfloor\frac{2{,}9702+\ln(p\,n)}{1{,}7329}\Big\rfloor
  • p: açıklayıcı sayısı (gösterge sütunları dahil); n: ebeveyn terimin sıfırdan farklı olduğu gözlem sayısı (derece 1'de bütün gözlemler).
  • endspan: sıralı gözlemlerin her iki ucunda düğüm konmayan gözlem sayısı. minspan: ardışık aday düğümler arasındaki gözlem sayısı.
  • Örnek veride p=2, n=31: endspan =\lfloor 8{,}32\rfloor=8, minspan =\lfloor(2{,}9702+4{,}1271)/1{,}7329\rfloor=4.

Neden 0,05?

Friedman'ın gerekçesi şudur: saf gürültüde, art arda aynı işaretli L artığın görülme olasılığı küçük kalacak biçimde L seçilirse, düğümler arası aralık bu uzunluğun altına inmediğinde model gürültü dizilerine uymaz. 0,05, bu olasılığın üst sınırıdır; iki formül de ondan türetilir (Friedman, 1991, denk. 43 ve 45).

Düğümler aralığın ortasına yerleştirilir: sıralı gözlemlerde uçlardan endspan gözlem ayrıldıktan sonra kalan n-2\,\text{endspan} gözlemin minspan'a bölümünden artan pay iki uca eşit dağıtılır. Örnek veride 15 gözlem kalır; aday düğümler sıralı 10., 14., 18. ve 22. gözlemlerdir: Girth için 11,2; 11,7; 13,3; 14,2 ve Height için 74; 75; 78; 80.

Yakın düğümlere karşı sayısal koruma

earth, bir menteşe adayını, eldeki tabana ve değişkenin doğrusal terimine dik kalan payı çok küçükse değerlendirmez: menteşe sütununun (ortalaması çıkarılmış) kareler toplamının, tabana dik bileşeninde kalan oranı 0,01'i (taban 15 sütuna ulaştıktan sonra 10^{-5}'i) aşmalıdır. Örnek veride üçüncü yinelemede Girth için 13,3 düğümü KT'yi en çok düşüren adaydır (187,48), ama 14,2 düğümlü çift ve Height tabandayken dik kalan payı 0,0080'dir ve aday sayılmaz; 11,7 düğümü (pay 0,0253; KT 196,08) seçilir.

50.4.3 Geri adım ve GCV

İleri adım bilerek fazla terim üretir. Geri adım, her terim sayısı k için bir alt küme belirler ve şu ölçütü en küçük yapanı seçer (Craven ve Wahba, 1978; Friedman, 1991):

\mathrm{GCV}(k)=\frac{\mathrm{KT}_k}{n\,\big(1-C(k)/n\big)^2},\qquad C(k)=k+c\,\frac{k-1}{2}
  • \mathrm{KT}_k: k terimli (sabit dahil) alt kümenin artık kareler toplamı.
  • C(k): etkin parametre sayısı. k katsayıya ek olarak her düğüm için c kadar ceza sayılır; (k-1)/2, menteşe çifti başına bir düğüm varsayımıyla düğüm sayısıdır.
  • c: GCV cezası (ceza). earth'ün kuralı: derece 1'de 2, derece > 1'de 3.

Neden düğüm başına ek ceza?

Düğümün yeri de veriden kestirilir; her düğüm, katsayısına ek olarak bir serbestlik derecesinden fazlasını harcar. Friedman'ın benzetim çalışmaları toplamsal modelde düğüm başına yaklaşık 2, etkileşimli modelde yaklaşık 3 parametre önerir. Ceza büyüdükçe daha az terimli model seçilir.

Seçilen modelin iki uyum ölçütü:

R^2=1-\frac{\mathrm{KT}_k}{\mathrm{TKT}},\qquad \mathrm{GR}^2=1-\frac{\mathrm{GCV}(k)}{\mathrm{GCV}(1)}
  • TKT: yanıtın ortalama etrafındaki kareler toplamı; \mathrm{GCV}(1): yalnız sabit terimli modelin GCV'si.
  • \mathrm{GR}^2 (çıktıda GRSq), R^2'nin cezalı karşılığıdır; yeni veri üzerindeki başarımın kestirimi olarak okunur ve negatif olabilir.

Koddaki tercih

Budama yöntemi pmethod ile seçilir (satır 176). backward her adımda, çıkarılması KT'yi en az artıran terimi çıkarır ve arama sırasında her boyut için karşılaşılan en iyi alt kümeyi saklar; alt kümeler iç içe olmak zorunda değildir. none ileri adımın bütün terimlerini bırakır; exhaustive bütün alt kümeleri dener; cv, terim sayısını GCV yerine katların dışındaki R^2 ortalamasıyla seçer ve cv > 0 ister (175). budama > 0 ise seçilecek terim sayısı bu değerle sınırlanır (169).

50.4.4 Değişken önemi

evimp(fit, trim = FALSE) (satır 209) üç ölçüt verir. Geri adımın 2, 3, …, k^{*} terimli alt kümeleri sırayla gezilir (k^{*} seçilen boyut):

\text{nsubsets}_v=\#\{k:\ x_v\in S_k\},\qquad I_v^{\mathrm{GCV}}=100\,\sqrt{\frac{\sum_{k:\,x_v\in S_k}\big[\mathrm{GCV}(k-1)-\mathrm{GCV}(k)\big]}{\max_u\sum_{k:\,x_u\in S_k}\big[\mathrm{GCV}(k-1)-\mathrm{GCV}(k)\big]}}
  • S_k: k terimli alt küme; "x_v\in S_k", alt kümedeki terimlerden en az birinin x_v'yi kullandığı anlamına gelir.
  • Her alt kümede GCV'deki azalma, o alt kümede kullanılan bütün değişkenlere yazılır. RSS ölçütü aynı tanımın KT ile kurulmuş hâlidir.
  • Karekök alınır ve en büyük değer 100'e ölçeklenir. Hiç kullanılmayan değişken 0 alır ve tabloda yer alır.

50.4.5 İkili ve sayım yanıtı, çapraz doğrulama

aile ikili ya da Poisson seçildiğinde earth terimleri yine en küçük karelerle seçer, ardından seçilen taban üzerinde bir GLM kurar (glm = list(family = …), satır 173). Katsayılar bağlantı ölçeğindedir (logit ya da log); GCV, RSS, GRSq ve RSq ise terim seçimini yapan doğrusal modele aittir. Uyum tablosuna GLM sapması, boş sapma ve AIC eklenir (glm.stats sütunu AIC; 190–193); GLM yakınsamamışsa (converged = 0) uyarı satırına yazılır.

cv > 0 iken earth veriyi katlara böler, her katı dışarıda bırakarak modeli yeniden kurar ve dışarıda kalan gözlemlerde R^2 hesaplar; ortalaması CV-RSq'dur (satır 204–206). cv_tekrar, bölmeyi farklı rastgele sıralarla yineler. Katlar rastgele kurulduğundan CV-RSq çalıştırmanın tohumuna bağlıdır.

50.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–132 Üstbilgi: on altı parametre, örnek veri ve ayar. Form buradan kurulur (Bölüm 1.2).
133–134 .m() ileti seçici; earth yüklenir. plotmo, Formula ve plotrix earth ile birlikte gelir.
136–151 Girdi denetimleri; d tam satırlarla kurulur; yanıt mq_sayisal ile sayıya çevrilir; açıklayıcılar denetlenir. dogrusal, x ile kesiştirilir (146).
152–155 Aileye ve kat sayısına özgü denetimler.
157–173 Formül ve earth argüman listesi. Varsayılandan farklı olan seçenekler listeye eklenir; dogrusal sütun numarasına çevrilir (170–172).
174–177 earth çağrısı (uyarılar toplanır, hata çevrilir); summary konsola. digits = 7.
179–183 Birinci tablo: seçilen terimler ve katsayıları. GLM'de glm.coefficients.
184–199 İkinci tablo: n, terim sayıları, ceza, GCV, RSS, GRSq, RSq; varsa GLM sapması, boş sapması, AIC ve CV-RSq; ardından toplanan uyarılar. "İleri adım terimi" kullanılan terim sayısıdır (nrow(fit$dirs)).
200–206 Üçüncü tablo: değişken önemi. trim = FALSE: kullanılmayan değişkenler de listelenir.
207–211 İki şekil: model seçimi ve artık tanıları; kısmi bağımlılık (plotmo). Şekil hatası çalıştırmayı durdurmaz.

dogrusal listesi earth'e linpreds olarak, açıklayıcı sütunlarının numarası biçiminde verilir (170–172). Numaralar model.matrix sütunlarının hangi açıklayıcıya ait olduğundan (assign) bulunur; ad eşleşmesi tamdır: Girth yazıldığında Girth_kare doğrusal girmez. Faktör açıklayıcıda bütün gösterge sütunları birlikte doğrusal girer (50.8).

Yanıtın okunması (satır 151):

y <- mq_sayisal(d[[P$y]], P$y)

Yanıt sütunu sayı türünde ya da etiketleri sayı olan kategorik türde olabilir; etiketin değeri kullanılır (düzey sıra numarası değil). Sayıya çevrilemeyen bir değer varsa çalıştırma sütun adıyla iletiyle durur.

50.6 Elle hesap: örnek veride bağımsız yeniden hesap

Hesap dogrulama/mars/elle_hesap.py ile, earth kullanılmadan, ileri ve geri adımın açık döngülerle yazılmasıyla yapılmıştır; ara sayılar adimlar.py çıktısıdır. R tarafında aynı adımlar lm.fit ile kurulmuştur (r_dogrulama.R).

Adım 1 — Başlangıç. n=31, \bar y=30{,}171, \mathrm{TKT}=8106{,}0839. Aday düğümler: Girth 11,2; 11,7; 13,3; 14,2. Height doğrusal girecektir; tek adayı kendisidir.

Adım 2 — İlk yineleme. Sabit terime her aday eklendiğinde KT:

Aday KT
Girth, düğüm 11,2 (çift) 443,0221
Girth, düğüm 11,7 (çift) 407,4707
Girth, düğüm 13,3 (çift) 326,4756
Girth, düğüm 14,2 (çift) 312,6848
Height (doğrusal) 5204,8950

14,2 düğümlü çift seçilir: R^2=1-312{,}6848/8106{,}0839=0{,}9614.

Adım 3 — İkinci ve üçüncü yineleme. Height eklendiğinde KT 208,0318'e iner (\Delta R^2=0{,}0129); Girth'ün ikinci düğümleri en çok 311,90'a indirebilir. Üçüncü yinelemede 11,7 düğümü KT'yi 196,0845'e indirir (\Delta R^2=0{,}001474>0{,}001) ve eklenir; 13,3 düğümü sayısal koruma nedeniyle aday değildir (50.4.2). Dördüncü yinelemede KT'yi düşüren aday kalmaz. İleri adım beş terimle biter: sabit, h(\text{Girth}-14{,}2), h(14{,}2-\text{Girth}), Height, h(\text{Girth}-11{,}7).

Adım 4 — Geri adım. Her boyutun en iyi alt kümesi, KT'si ve GCV'si (c=2):

k Alt küme KT C(k) GCV
1 sabit 8106,0839 1 279,2096
2 + h(\text{Girth}-14{,}2) 1224,3713 3 48,4126
3 + h(14{,}2-\text{Girth}) 312,6848 5 14,3391
4 + Height 208,0318 7 11,1962
5 + h(\text{Girth}-11{,}7) 196,0845 9 12,5591
\mathrm{GCV}(4)=\frac{208{,}0318}{31\,(1-7/31)^2}=\frac{208{,}0318}{18{,}5806}=11{,}1962

Dört terimli model seçilir. \mathrm{GR}^2=1-11{,}1962/279{,}2096=0{,}9599; R^2=1-208{,}0318/8106{,}0839=0{,}9743.

Adım 5 — Katsayılar. Seçilen dört sütun üzerinde en küçük kareler: sabit 4,220907; h(\text{Girth}-14{,}2) 6,404757; h(14{,}2-\text{Girth}) −3,199336; Height 0,343005. Çapı 12 inç, boyu 76 fit olan ağaç için kestirim 4{,}2209-3{,}1993\cdot2{,}2+0{,}3430\cdot76=23{,}25 fit küptür.

Adım 6 — Değişken önemi. Seçilen boyuta kadar alt kümeler k=2{,}3{,}4'tür. Girth üçünde de, Height yalnız k=4'te kullanılır: nsubsets 3 ve 1. GCV azalmaları 230,7970; 34,0735; 3,1429:

I^{\mathrm{GCV}}_{\text{Height}}=100\sqrt{\frac{3{,}1429}{230{,}7970+34{,}0735+3{,}1429}}=10{,}829,\qquad I^{\mathrm{RSS}}_{\text{Height}}=100\sqrt{\frac{104{,}6530}{7898{,}0521}}=11{,}511

50.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun üç tablosundan tam hassasiyetle alınmıştır (çalıştırmalar 1–3).

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Örnek ayar: (Intercept) 4,22090712 4,22090712 4,22090712 1,8e−14 ✓
Örnek ayar: h(Girth-14.2) 6,40475731 6,40475731 6,40475731 5,1e−15 ✓
Örnek ayar: h(14.2-Girth) −3,19933622 −3,19933622 −3,19933622 7,4e−15 ✓
Örnek ayar: Height 0,34300462 0,34300462 0,34300462 5,0e−16 ✓
Örnek ayar: seçilen terim sayısı 4 4 4 0 ✓
Örnek ayar: ileri adım terimi 5 5 5 0 ✓
Örnek ayar: GCV 11,1961577 11,1961577 11,1961577 4,1e−15 ✓
Örnek ayar: RSS 208,03183337 208,03183337 208,03183337 1,4e−15 ✓
Örnek ayar: GRSq 0,95990052 0,95990052 0,95990052 4,4e−16 ✓
Örnek ayar: RSq 0,97433633 0,97433633 0,97433633 3,3e−16 ✓
Örnek ayar: önem, nsubsets (Girth) 3 3 3 0 ✓
Örnek ayar: önem, nsubsets (Height) 1 1 1 0 ✓
Örnek ayar: önem, GCV (Height) 10,82903655 10,82903655 10,82903655 4,8e−15 ✓
Örnek ayar: önem, RSS (Height) 11,51107484 11,51107484 11,51107484 2,0e−15 ✓
Doğrusal terimsiz: (Intercept) 29,05995351 29,05995351 29,05995351 1,2e−15 ✓
Doğrusal terimsiz: h(Girth-14.2) 6,22951434 6,22951434 6,22951434 5,7e−16 ✓
Doğrusal terimsiz: h(14.2-Girth) −3,41980615 −3,41980615 −3,41980615 2,6e−15 ✓
Doğrusal terimsiz: h(Height-75) 0,58136438 0,58136438 0,58136438 2,3e−15 ✓
Doğrusal terimsiz: seçilen terim sayısı 4 4 4 0 ✓
Doğrusal terimsiz: ileri adım terimi 5 5 5 0 ✓
Doğrusal terimsiz: GCV 11,25439148 11,25439148 11,25439148 1,4e−15 ✓
Doğrusal terimsiz: RSS 209,11385457 209,11385457 209,11385457 2,4e−15 ✓
Doğrusal terimsiz: GRSq 0,95969195 0,95969195 0,95969195 1,1e−16 ✓
Doğrusal terimsiz: RSq 0,97420285 0,97420285 0,97420285 5,6e−16 ✓
Doğrusal terimsiz: önem, nsubsets (Girth) 3 3 3 0 ✓
Doğrusal terimsiz: önem, nsubsets (Height) 1 1 1 0 ✓
Doğrusal terimsiz: önem, GCV (Height) 10,72941062 10,72941062 10,72941062 8,3e−16 ✓
Doğrusal terimsiz: önem, RSS (Height) 11,45219746 11,45219746 11,45219746 4,2e−15 ✓
minspan = endspan = 1: (Intercept) 34,75426206 34,75426206 34,75426206 1,0e−14 ✓
minspan = endspan = 1: h(Girth-16) 6,9680917 6,9680917 6,9680917 2,4e−14 ✓
minspan = endspan = 1: h(16-Girth) −2,38888414 −2,38888414 −2,38888414 2,4e−14 ✓
minspan = endspan = 1: h(85-Height) −0,3639864 −0,3639864 −0,3639864 2,7e−15 ✓
minspan = endspan = 1: h(Girth-12) 2,16984716 2,16984716 2,16984716 5,3e−14 ✓
minspan = endspan = 1: h(Girth-18) 86,46189731 86,46189731 86,46189731 8,2e−16 ✓
minspan = endspan = 1: h(Girth-17.9) −86,39596386 −86,39596386 −86,39596386 1,8e−15 ✓
minspan = endspan = 1: seçilen terim sayısı 7 7 7 0 ✓
minspan = endspan = 1: ileri adım terimi 13 13 13 0 ✓
minspan = endspan = 1: GCV 10,56532127 10,56532127 10,56532127 5,0e−15 ✓
minspan = endspan = 1: RSS 110,42464813 110,42464813 110,42464813 2,4e−15 ✓
minspan = endspan = 1: GRSq 0,96215989 0,96215989 0,96215989 3,3e−16 ✓
minspan = endspan = 1: RSq 0,98637756 0,98637756 0,98637756 3,3e−16 ✓

Ölçütü karşılayan: 41/41. Python: ileri adım, geri adım, GCV ve değişken önemi numpy ile açık döngülerle (earth kullanılmadan). R: aynı adımlar lm.fit ile. Üçüncü çalıştırmada değişken önemi karşılaştırılmamıştır (50.6.1).

Üç çalıştırmada da bağımsız ileri adım earth ile aynı düğümleri, geri adım aynı alt kümeyi seçer; katsayı farkları 10^{-10} düzeyindedir. Üçüncü çalıştırmada (minspan = endspan = 1) ileri adım 13 terim üretir ve yedisi seçilir; iki seçilen terim birbirine çok yakın düğümlüdür (h(\text{Girth}-17{,}9) ve h(\text{Girth}-18), katsayıları −86,40 ve 86,46). Bu çalıştırmada earth'ün geri adımının sakladığı alt kümeler iç içe değildir (beş terimli alt küme altı terimlinin alt kümesi değildir); yalın geriye doğru eleme küçük boyutlarda başka alt kümeler verdiğinden değişken önemi karşılaştırmaya alınmamıştır. Seçilen yedi terimli model iki yolda da aynıdır.

50.7 Çıktıyı okuma

Örnek ayarın konsol çıktısı:

Call: earth(formula=Volume~Girth+Height, data=d, degree=1, minspan=0,
            endspan=0, linpreds="Height")

              coefficients
(Intercept)      4.2209071
Height           0.3430046
h(14.2-Girth)   -3.1993362
h(Girth-14.2)    6.4047573

Selected 4 of 5 terms, and 2 of 2 predictors
Termination condition: RSq changed by less than 0.001 at 5 terms
Importance: Girth, Height
Number of terms at each degree of interaction: 1 3 (additive model)
GCV 11.19616    RSS 208.0318    GRSq 0.9599005    RSq 0.9743363

Tablolar: "Seçilen terimler ve katsayıları" (dört satır, yukarıdaki katsayılar tam hassasiyetle); "Model uyumu" (n 31; seçilen terim 4; ileri adım terimi 5; GCV cezası 2; GCV 11,1962; RSS 208,0318; GRSq 0,9599; RSq 0,9743); "Değişken önemi" (Girth: nsubsets 3, GCV 100, RSS 100; Height: nsubsets 1, GCV 10,83, RSS 11,51).

Öğe Ne yazar Nasıl yorumlanır
h(Girth-14.2) 6,405 14,2 inçin üstünde her inç için hacim artışı Düğümün sağındaki eğim.
h(14.2-Girth) −3,199 14,2 inçin altında, çap azaldıkça hacimdeki değişim Düğümün solundaki eğim +3{,}199'dur: çap bir inç arttıkça hacim 3,20 artar. Eğim düğümde 3,20'den 6,40'a çıkar.
Height 0,343 Boyun doğrusal etkisi Her fit için 0,343 fit küp.
Selected 4 of 5 terms Geri adımın seçtiği / ileri adımın ürettiği terim sayısı Fark, budanan terimlerdir.
Termination condition İleri adımın neden durduğu "Reached nk" görülürse nk büyütülerek yeniden denenir.
GCV, GRSq Cezalı hata ve cezalı R^2 Modeller arası karşılaştırma bunlarla yapılır; RSq terim eklendikçe hep artar.
nsubsets, GCV, RSS Değişken önemi Göreli sıralamadır; etki büyüklüğü ya da anlamlılık değildir.
CV-RSq Katların dışındaki R^2 ortalaması Tohuma bağlıdır: beş kat, üç tekrar için 0,9278 (tohum 2026) ve 0,9392 (tohum 1).

Şekil 50.1. Şablonun birinci şekli (örnek ayar): terim sayısına göre GRSq ve RSq ile seçilen model (sol üst), mutlak artıkların birikimli dağılımı (sağ üst), artık–kestirim grafiği (sol alt) ve artıkların normal kantil grafiği (sağ alt).

Şekil 50.2. Şablonun ikinci şekli: her açıklayıcının kısmi bağımlılık eğrisi (öteki açıklayıcı medyanında tutulur). Girth eğrisi 14,2'de kırılır; Height doğrusaldır.

Öteki ayarların sonuçları:

Ayar Seçilen model GCV RSq
Örnek ayar sabit, Girth çifti (14,2), Height 11,1962 0,9743
dogrusal boş sabit, Girth çifti (14,2), h(\text{Height}-75) 11,2544 0,9742
GCV cezası 3 örnek ayarla aynı dört terim 12,7387 0,9743
budama = 3 sabit, Girth çifti (14,2) 14,3391 0,9614
Budama yöntemi none beş terimin hepsi 12,5591 0,9758
Derece 2, dogrusal boş sabit, Girth çifti, \text{Girth}\times h(\text{Height}-75) 12,3337 0,9752
minspan = endspan = 1 yedi terim (düğümler 12; 16; 17,9; 18; 85) 10,5653 0,9864

Rapor cümlesi (örnek ayar):

Ağaç hacmi, çap ve boy ile MARS yöntemiyle modellendi (toplamsal model, boy doğrusal; GCV cezası 2). Geri adım dört terimli modeli seçti (GCV = 11,20; GR² = 0,960; R² = 0,974). Çapın etkisi 14,2 inçte kırıldı: bu değerin altında her inç için hacim 3,20, üstünde 6,40 fit küp arttı; boyun her fiti hacmi 0,34 fit küp artırdı. Değişken öneminde çap birinci (100), boy ikinci (GCV ölçütüyle 10,8) sıradaydı.

50.8 Sık hatalar ve tuzaklar

  • Yanıt sütununu "kategorik" türde bırakmak. Yanıt mq_sayisal ile okunur (satır 151): sayı etiketli kategorik sütun değerleriyle kullanılır; etiketi sayı olmayan sütunda çalıştırma sütun adıyla durur. Örnek veride Volume kategorik yapıldığında sonuç sayısal türdekiyle aynıdır (GCV 11,20).
  • Adı başka bir adın parçası olan değişkeni doğrusal seçmek. Ad eşleşmesi tamdır. Girth ve Girth_kare birlikte açıklayıcıyken yalnız Girth doğrusal seçildiğinde seçilen model sabit, h(\text{Girth\_kare}-201{,}64), h(201{,}64-\text{Girth\_kare}) ve h(\text{Height}-74) terimlerinden oluşur (GCV 10,81); Girth_kare doğrusal girmez.
  • İkili ya da sayım yanıtında GCV ile sapmayı karıştırmak. aile ikili ya da Poisson seçildiğinde uyum tablosuna GLM sapması, boş sapma ve AIC eklenir. Tam ayrışma gibi durumlarda GLM yakınsamayabilir (converged = 0); bu durum çıktının "Uyarılar:" satırında bildirilir ve katsayılar ile AIC güvenilir sayılmaz. "GLM ailesinde ölçüt satır adlarına model eki" seçeneği açılırsa GCV, RSS, GRSq ve RSq satırlarının adına "(doğrusal model)" eklenir; sayılar değişmez, GLM satırları zaten "GLM" ile başlar.
  • Katsayılara standart hata aramak. Şablon p değeri ve güven aralığı vermez; düğümler ve terimler aynı veriden seçildiği için seçim sonrası en küçük kareler standart hataları iyimserdir. Belirsizlik için çapraz doğrulama (cv) ya da yeniden örnekleme kullanılır.
  • Küçük veride otomatik düğüm aralığına güvenmek. 31 gözlemde değişken başına dört aday düğüm vardır; "en iyi düğüm 14,2" sonucu, bu dört değer arasındaki en iyidir. minspan = endspan = 1 ile bütün gözlemler aday olur, ama yedi terimli, birbirine 0,1 inç uzaklıkta iki düğümlü ve ±86 katsayılı bir model seçilir: aşırı uyum. İkisinin arası (minspan = 2, endspan = 3 gibi) denenir ve GRSq ile CV-RSq birlikte izlenir.
  • Çapraz doğrulama sonucunu tek çalıştırmadan okumak. Katlar rastgeledir. Çapraz doğrulamalı budamada (budama_yontemi = cv, beş kat, dogrusal boş) tohum 2026 dört terimli, tohum 1 beş terimli modeli seçer. cv_tekrar artırılır ve tohum raporlanır.
  • GLM seçeneğinde GCV'yi sapma sanmak. GCV, RSS, GRSq ve RSq, terimleri seçen doğrusal modelin ölçütleridir; 0/1 yanıtta kareler toplamına dayanır. GLM'nin uyumu sapma ve AIC ile değerlendirilir.
  • Derece 2'de her çarpımı etkileşim kanıtı saymak. Etkileşim terimi yalnız GCV'yi düşürdüğü için seçilir. Örnek veride derece 2 modeli (GCV 12,33) toplamsal modelden (11,25) kötüdür; etkileşim eklemek kazandırmamıştır.

50.9 Uzman soruları

S1. İleri adım neden KT'yi daha çok düşüren 13,3 düğümünü değil 11,7'yi seçti?

Üçüncü yinelemede 13,3 düğümü KT'yi 187,48'e, 11,7 düğümü 196,08'e indirir. earth, tabana neredeyse doğrusal bağımlı menteşeleri sayısal kararlılık için değerlendirmez: h(\text{Girth}-13{,}3)'ün, tabana ve Girth'ün doğrusal terimine dik kalan payı 0,0080'dir ve 0,01 eşiğinin altındadır (50.4.2). 14,2 ile 13,3 arasında yalnız dört gözlem vardır; iki menteşe bu dört gözlem dışında aynı doğruyu çizer. Bağımsız hesap bu kural olmadan 13,3'ü seçer ve earth'ten ayrışır; kuralla birlikte üç çalıştırmada da aynı modeli verir.

S2. GCV'deki C(k) neden k + c(k − 1)/2?

k terimin k katsayısı vardır. Menteşe çiftleri düğüm başına iki terim ürettiğinden k-1 terimde yaklaşık (k-1)/2 düğüm bulunur; her düğüm c ek parametre sayılır. Örnek veride k=4, c=2: C=4+3=7. Ceza 3 yapıldığında C=8{,}5 ve GCV 12,7387 olur; seçilen model değişmez (beş terimli modelin GCV'si 15,1966'ya çıkar).

S3. "Selected 4 of 5 terms" ile "RSq changed by less than 0.001 at 5 terms" aynı beşi mi sayıyor?

Evet; ikisi de kullanılan terim sayısıdır. İleri adım yedi terim yuvası açmıştır (sabit ve üç çift), ama Height tek terimle girer ve Girth'ün ikinci çiftinin bir üyesi doğrusal bağımlı olduğundan atılır. nk sınırı ise yuvalara uygulanır: üçüncü çalıştırmada 21 yuva dolduğunda 13 terim kullanılmıştır.

S4. Doğrusal terimsiz çalıştırmada Height neden tek menteşeyle kaldı?

İleri adım h(\text{Height}-75) ve h(75-\text{Height}) çiftini ekler; geri adım ikincisini çıkarır, çünkü dört terimli modelin GCV'si (11,2544) beş terimlinin GCV'sinden küçüktür. Sonuç, boyun 75 fitin altında hacmi etkilemediği, üstünde her fit için 0,581 artırdığı bir modeldir. Örnek ayardaki doğrusal Height modeli (GCV 11,1962) biraz daha iyidir; iki model veride ayırt edilemeyecek kadar yakındır.

S5. Değişken önemindeki üç ölçüt neden aynı sırayı vermek zorunda değil?

nsubsets yalnız sayar; GCV ve RSS ölçütleri azalmaların büyüklüğünü toplar. Bir değişken çok alt kümede yer alıp her birinde az katkı yapabilir. Ayrıca azalma, alt kümede bulunan bütün değişkenlere yazıldığından erken giren değişken sonraki bütün azalmalardan pay alır: örnek veride Girth'ün toplamına Height'in eklendiği adımın azalması (3,14) da girer. Ölçütler sıralama içindir; 10,8, "Height hacmin %10,8'ini açıklar" anlamına gelmez.

S6. minspan ve endspan gözlem sayısıyla nasıl değişir?

endspan yalnız açıklayıcı sayısına bağlıdır: p=2 için 8, p=10 için 10, p=100 için 13. minspan \ln(p\,n) ile yavaşça büyür: p=2 için n=31'de 4, n=1000'de 6. Küçük veride uçlardan atılan 2\times8=16 gözlem verinin yarısıdır; büyük veride ihmal edilir. Kategorik açıklayıcının her düzeyi p'ye ayrı sayılır.

S7. Aynı model doğrusal regresyonla kurulabilir mi?

Seçilen terimler bilindiğinde evet: h(\text{Girth}-14{,}2), h(14{,}2-\text{Girth}) ve Height sütunları kurulup en küçük kareler uygulandığında aynı katsayılar bulunur (50.6, Adım 5). Fark çıkarımdadır: bu regresyonun standart hataları düğümün veriden seçildiğini bilmez.

S8. Budama yöntemleri ne zaman farklı sonuç verir?

İleri adımın ürettiği terim sayısı az olduğunda (örnek veride 5) bütün yöntemler aynı alt kümeleri bulur. Terim sayısı arttıkça backward ile exhaustive ayrışabilir, çünkü geriye doğru eleme her boyutun en iyi alt kümesini bulmayı güvence etmez. cv ise ölçütü değiştirir: GCV yerine katların dışındaki R^2'yi kullanır ve örnek veride tohuma göre dört ya da beş terim seçer.

50.10 Kaynaklar

  • Atkinson, A. C. (1985). Plots, transformations and regression: An introduction to graphical methods of diagnostic regression analysis. Oxford University Press.
  • Craven, P., & Wahba, G. (1978). Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the method of generalized cross-validation. Numerische Mathematik, 31(4), 377–403. https://doi.org/10.1007/BF01404567
  • Friedman, J. H. (1991). Multivariate adaptive regression splines. The Annals of Statistics, 19(1), 1–67. https://doi.org/10.1214/aos/1176347963
  • Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7
  • Milborrow, S., Hastie, T., & Tibshirani, R. (2026). earth: Multivariate adaptive regression splines (R package version 5.3.6). https://doi.org/10.32614/CRAN.package.earth
  • Miller, A. (2002). Subset selection in regression (2nd ed.). Chapman and Hall/CRC. https://doi.org/10.1201/9781420035933