50. Çok Değişkenli Uyarlanır Regresyon Spline'ları (MARS)
Şablon kimliği: mars · Kategori: düzgünleştirme · Dil: R · Dosya: pro/sablonlar/duzgunlestirme/mars.R (satır 1–220; üstbilgi 1–132) · Örnek veri: _ornek/trees.csv · Paketler: earth 5.3.6 (şekiller için plotmo 3.7.1)
50.1 Ne işe yarar
MARS, yanıt ile açıklayıcılar arasındaki ilişkiyi, kırılma noktalarını (düğümleri) veriden kendisi seçerek parçalı doğrusal bir yüzeyle kestirir (Friedman, 1991). Cevapladığı soru şudur: "Yanıt hangi açıklayıcılara, hangi eşiklerden sonra ve ne eğimle bağlı; etkileşim var mı?" Model, menteşe fonksiyonlarının doğrusal birleşimidir:
- h(x-t): t düğümünün solunda sıfır, sağında eğimi 1 olan menteşe; h(t-x) ayna görüntüsüdür. İkisi birlikte bir menteşe çifti oluşturur.
- s_{km}=\pm1: menteşenin yönü; v(k,m): terimde kullanılan değişken; t_{km}: düğüm.
- K_m: terimdeki çarpan sayısı (etkileşim derecesi). K_m=1 ise terim tek değişkenlidir ve model toplamsaldır.
- \beta_m: en küçük karelerle kestirilen katsayılar.
Ne zaman kullanılır? İlişkinin biçimi bilinmiyorsa ve eşik etkisi bekleniyorsa (belirli bir çaptan sonra hacmin hızlanması gibi); çok sayıda aday açıklayıcı arasından kendiliğinden seçim isteniyorsa; sonuçta yazılabilir, açık bir denklem gerekiyorsa.
Ne zaman kullanılmaz?
- Kırılma noktası tekse ve yeri için güven aralığı isteniyorsa:
parcali_regresyon. MARS düğümler için standart hata vermez. - Düzgün (türevlenebilir) bir eğri ve onun güven bandı isteniyorsa:
gamm_mgcvya da temel programdaki Genelleştirilmiş Toplamsal Model (GAM). - Katsayılar için p değeri ve güven aralığı gerekiyorsa: MARS'ın seçtiği terimler veriye bakılarak bulunmuştur; klasik çıkarım geçerli değildir. Önceden belirlenmiş bir model için temel programdaki Çoklu Doğrusal Regresyon kullanılır.
- Gözlem sayısı çok azsa: örnek veri (31 gözlem) yöntemin alt sınırındadır; otomatik düğüm aralığı kuralı değişken başına yalnız dört aday düğüm bırakır (50.4.2).
Temel programla ilişki. Temel programda MARS yoktur. En yakın analiz GAM'dir; o, düzgünleştirme parametresiyle cezalanan eğriler kurar, MARS ise terim ekleyip çıkararak seçim yapar.
50.2 Şablonun girdileri
Form, üstbilgideki on altı [[param]] bloğundan kurulur (mars.R:10–131).
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Yanıt · y |
sayısal sütun · Değişkenler | ilk sayısal sütun | sayısal sütun | mq_sayisal ile okunur (151). |
Açıklayıcılar · x |
sütunlar · Değişkenler | boş | en az 1 sütun | Sayısal ya da kategorik (153–158, 165). |
Doğrusal girecek açıklayıcılar · dogrusal |
sütunlar · Model | boş | x içinden |
linpreds (146, 170–172). |
Etkileşim derecesi · derece |
tamsayı · Model | 1 | 1–3 | degree (166). |
İleri adımda en çok terim · nk |
tamsayı · Gelişmiş | 0 | 0–500 | 0 ise earth'ün kuralı; değilse nk (167). |
GCV cezası · ceza |
ondalık · Model | 0 | 0–10 | 0 ise earth'ün kuralı; değilse penalty (168). |
Düğümler arası en az gözlem · minspan |
tamsayı · Gelişmiş | 0 | 0–1000 | minspan (166). |
Uçlarda düğümsüz gözlem · endspan |
tamsayı · Gelişmiş | 0 | 0–1000 | endspan (166). |
Budama sonrası en çok terim · budama |
tamsayı · Model | 0 | 0–500 | 0 ise GCV seçer; değilse nprune (169). |
Yanıt dağılımı · aile |
seçim · Model | gaussian |
gaussian, binomial, poisson |
glm = list(family = ) (173). |
GLM ailesinde ölçüt satır adlarına model eki · olcut_eki |
onay · Çıktı | kapalı | açık/kapalı | Açıkken GCV, RSS, GRSq, RSq satır adlarına "(doğrusal model)" eklenir (202–203). |
Çapraz doğrulama kat sayısı · cv |
tamsayı · Seçenekler | 0 | 0–20 | nfold (174). |
Budama yöntemi · budama_yontemi |
seçim · Model | backward |
backward, none, exhaustive, forward, seqrep, cv |
pmethod (176). |
İleri adım durdurma eşiği · esik |
ondalık · Gelişmiş | 0,001 | 0–0,5 | thresh (177). |
Hızlı MARS en çok ebeveyn terim · fast_k |
tamsayı · Gelişmiş | 20 | 0–1000 | fast.k (178). |
Yeni değişken cezası · yeni_degisken_cezasi |
ondalık · Gelişmiş | 0 | 0–1 | newvar.penalty (179). |
Çapraz doğrulama tekrar sayısı · cv_tekrar |
tamsayı · Seçenekler | 1 | 1–50 | ncross; yalnız cv > 0 iken (180). |
Örnek ayar (ornek_param, satır 9): y = Volume, x = Girth, Height, dogrusal = Height; öteki alanlar varsayılandadır.
"0 = otomatik" alanları. nk, ceza, budama, minspan ve endspan alanlarında 0, "earth'ün kendi kuralı" demektir: şablon bu durumda argümanı ya hiç vermez (167–169) ya da 0 olarak verir (166) ve earth otomatik değeri hesaplar. Sonuç olarak formdan GCV cezası tam 0 istenemez.
Şablonun kendi denetimleri.
| Koşul | İleti (özet) | Satır |
|---|---|---|
| Veri açık değil | "Önce Veri sekmesinde bir veri açın." | 136 |
| Yanıt dışında açıklayıcı kalmıyor | "En az bir açıklayıcı seçin" | 137–138 |
| Tam gözlem sayısı 10'dan az | "en az 10 tam gözlem" | 143 |
| Yanıt sabit | "Yanıt sabit." | 145 |
| Açıklayıcı sabit ya da tek düzeyli | "'…' sabit" | 146–151 |
| İkili aile ve yanıt 0/1 değil | "yanıt 0/1 olmalı" | 152 |
| Poisson ailesi ve yanıt negatif ya da kesirli | "negatif olmayan tamsayı" | 153 |
| Kat sayısı > n/2 | "gözlem sayısının yarısından az olmalı" | 154 |
| İkili aile, kat sayısı küçük sınıftan büyük | "küçük sınıftaki gözlem sayısından büyük olamaz" | 155 |
Budama yöntemi cv ve kat sayısı 0 |
"kat sayısını 0'dan büyük verin" | 166 |
earth hata verdi |
"MARS modeli kurulamadı: …" | 172–173 |
Eksik değer: yanıt ya da açıklayıcılardan birinde eksik olan satır liste bazında atılır (148). earth'ün uyarıları toplanır ve tablolardan sonra "Uyarılar:" satırında yazılır (181–182, 208); model özeti konsola summary(fit, digits = 7) ile yazılır (184). Karakter türündeki açıklayıcı faktöre çevrilir; earth her düzey için bir gösterge sütunu kurar (154).
50.3 Örnek veri
Dosya: _ornek/trees.csv. 31 kesilmiş kara kiraz ağacının ölçümleri (R'nin trees verisi; Atkinson, 1985). Eksik değer yoktur.
| Değişken | Rol | Tür (veri sekmesi) | Özet |
|---|---|---|---|
Volume |
Yanıt | sayısal | Kereste hacmi (fit küp); 10,2–77,0; ortalama 30,171. |
Girth |
Açıklayıcı | sayısal | Göğüs yüksekliğinde çap (inç); 8,3–20,6. |
Height |
Açıklayıcı (doğrusal) | sayısal | Boy (fit); 63–87. |
Kategorik değişken yoktur; düzey sırası bu örnekte rol oynamaz. Bölümdeki çalıştırmalar: (1) örnek ayar; (2) dogrusal boş; (3) dogrusal boş, minspan = 1, endspan = 1. Ek olarak etkileşim derecesi 2, GCV cezası 3, budama = 3, budama yöntemi none, beş katlı çapraz doğrulama (tohum 2026 ve 1) ve çapraz doğrulamalı budama çalıştırılmıştır.
50.4 Yöntem: formüller ve hesap adımları
Hesap sırası: (1) eksik satırları at, formülü kur; (2) ileri adım: sabit terimden başlayıp her yinelemede artık kareler toplamını (KT) en çok düşüren menteşe çiftini ekle; (3) geri adım: terimleri tek tek çıkar, her boyut için en iyi alt kümeyi sakla ve genelleştirilmiş çapraz doğrulama (GCV) ölçütü en küçük olanı seç; (4) seçilen terimlerle en küçük kareler katsayılarını kestir; (5) uyum ölçütlerini, değişken önemini ve şekilleri yaz.
50.4.1 İleri adım
Elde M terimli bir taban varken, her (ebeveyn terim B_\ell, değişken x_v, düğüm t) üçlüsü için şu iki terim aday olur:
Aday, tabana eklendiğinde KT'yi en çok düşüren üçlüdür. Derece 1'de tek ebeveyn sabit terimdir (B_0=1); derece 2'de var olan her tek değişkenli terim de ebeveyn olabilir ve değişkenlerin çarpımı modele girer.
- Menteşe çifti doğrusal terimi de kapsar: h(x-t)-h(t-x)=x-t. Bu yüzden bir değişkenin ilk çifti, o değişkenin doğrusal etkisini ve bir eğim değişimini birlikte getirir.
- Aynı değişkenin ikinci düğümünde çiftin bir üyesi öncekilerin doğrusal birleşimidir; earth onu atar ve yalnız bir terim kullanılır.
dogrusallistesindeki değişken için düğüm aranmaz; değişken tek bir doğrusal terimle (x_v) aday olur.
İleri adım şu koşullardan biri sağlanınca durur: terim yuvası sayısı nk'ya ulaşır; en iyi adayın R^2 artışı esik değerinin (0,001) altındadır; R^2, 1-\texttt{esik}'i aşar; GCV'ye dayalı R^2 −10'un altına düşer.
Koddaki tercih
earth(formula, data, degree, minspan, endspan, …) (satır 166–182). Verilmeyen argümanlarda earth'ün varsayılanları geçerlidir: nk = min(200, max(20, 2p)) + 1 (iki açıklayıcıda 21), thresh = 0.001, fast.k = 20, pmethod = "backward". Her çift, yalnız biri kullanılsa da iki yuva sayılır; konsoldaki "at 5 terms" ifadesi kullanılan terim sayısıdır. earth yanıtı ileri adımdan önce standartlaştırır; katsayılar özgün ölçekte verilir.
50.4.2 Aday düğümler: minspan ve endspan
Her gözlem düğüm adayı değildir. Friedman, gürültüye uyan çok yakın düğümleri önlemek için iki aralık tanımlar; earth bunları şöyle hesaplar (minspan = 0, endspan = 0 iken):
- p: açıklayıcı sayısı (gösterge sütunları dahil); n: ebeveyn terimin sıfırdan farklı olduğu gözlem sayısı (derece 1'de bütün gözlemler).
- endspan: sıralı gözlemlerin her iki ucunda düğüm konmayan gözlem sayısı. minspan: ardışık aday düğümler arasındaki gözlem sayısı.
- Örnek veride p=2, n=31: endspan =\lfloor 8{,}32\rfloor=8, minspan =\lfloor(2{,}9702+4{,}1271)/1{,}7329\rfloor=4.
Neden 0,05?
Friedman'ın gerekçesi şudur: saf gürültüde, art arda aynı işaretli L artığın görülme olasılığı küçük kalacak biçimde L seçilirse, düğümler arası aralık bu uzunluğun altına inmediğinde model gürültü dizilerine uymaz. 0,05, bu olasılığın üst sınırıdır; iki formül de ondan türetilir (Friedman, 1991, denk. 43 ve 45).
Düğümler aralığın ortasına yerleştirilir: sıralı gözlemlerde uçlardan endspan gözlem ayrıldıktan sonra kalan n-2\,\text{endspan} gözlemin minspan'a bölümünden artan pay iki uca eşit dağıtılır. Örnek veride 15 gözlem kalır; aday düğümler sıralı 10., 14., 18. ve 22. gözlemlerdir: Girth için 11,2; 11,7; 13,3; 14,2 ve Height için 74; 75; 78; 80.
Yakın düğümlere karşı sayısal koruma
earth, bir menteşe adayını, eldeki tabana ve değişkenin doğrusal terimine dik kalan payı çok küçükse değerlendirmez: menteşe sütununun (ortalaması çıkarılmış) kareler toplamının, tabana dik bileşeninde kalan oranı 0,01'i (taban 15 sütuna ulaştıktan sonra 10^{-5}'i) aşmalıdır. Örnek veride üçüncü yinelemede Girth için 13,3 düğümü KT'yi en çok düşüren adaydır (187,48), ama 14,2 düğümlü çift ve Height tabandayken dik kalan payı 0,0080'dir ve aday sayılmaz; 11,7 düğümü (pay 0,0253; KT 196,08) seçilir.
50.4.3 Geri adım ve GCV
İleri adım bilerek fazla terim üretir. Geri adım, her terim sayısı k için bir alt küme belirler ve şu ölçütü en küçük yapanı seçer (Craven ve Wahba, 1978; Friedman, 1991):
- \mathrm{KT}_k: k terimli (sabit dahil) alt kümenin artık kareler toplamı.
- C(k): etkin parametre sayısı. k katsayıya ek olarak her düğüm için c kadar ceza sayılır; (k-1)/2, menteşe çifti başına bir düğüm varsayımıyla düğüm sayısıdır.
- c: GCV cezası (
ceza). earth'ün kuralı: derece 1'de 2, derece > 1'de 3.
Neden düğüm başına ek ceza?
Düğümün yeri de veriden kestirilir; her düğüm, katsayısına ek olarak bir serbestlik derecesinden fazlasını harcar. Friedman'ın benzetim çalışmaları toplamsal modelde düğüm başına yaklaşık 2, etkileşimli modelde yaklaşık 3 parametre önerir. Ceza büyüdükçe daha az terimli model seçilir.
Seçilen modelin iki uyum ölçütü:
- TKT: yanıtın ortalama etrafındaki kareler toplamı; \mathrm{GCV}(1): yalnız sabit terimli modelin GCV'si.
- \mathrm{GR}^2 (çıktıda GRSq), R^2'nin cezalı karşılığıdır; yeni veri üzerindeki başarımın kestirimi olarak okunur ve negatif olabilir.
Koddaki tercih
Budama yöntemi pmethod ile seçilir (satır 176). backward her adımda, çıkarılması KT'yi en az artıran terimi çıkarır ve arama sırasında her boyut için karşılaşılan en iyi alt kümeyi saklar; alt kümeler iç içe olmak zorunda değildir. none ileri adımın bütün terimlerini bırakır; exhaustive bütün alt kümeleri dener; cv, terim sayısını GCV yerine katların dışındaki R^2 ortalamasıyla seçer ve cv > 0 ister (175). budama > 0 ise seçilecek terim sayısı bu değerle sınırlanır (169).
50.4.4 Değişken önemi
evimp(fit, trim = FALSE) (satır 209) üç ölçüt verir. Geri adımın 2, 3, …, k^{*} terimli alt kümeleri sırayla gezilir (k^{*} seçilen boyut):
- S_k: k terimli alt küme; "x_v\in S_k", alt kümedeki terimlerden en az birinin x_v'yi kullandığı anlamına gelir.
- Her alt kümede GCV'deki azalma, o alt kümede kullanılan bütün değişkenlere yazılır. RSS ölçütü aynı tanımın KT ile kurulmuş hâlidir.
- Karekök alınır ve en büyük değer 100'e ölçeklenir. Hiç kullanılmayan değişken 0 alır ve tabloda yer alır.
50.4.5 İkili ve sayım yanıtı, çapraz doğrulama
aile ikili ya da Poisson seçildiğinde earth terimleri yine en küçük karelerle seçer, ardından seçilen taban üzerinde bir GLM kurar (glm = list(family = …), satır 173). Katsayılar bağlantı ölçeğindedir (logit ya da log); GCV, RSS, GRSq ve RSq ise terim seçimini yapan doğrusal modele aittir. Uyum tablosuna GLM sapması, boş sapma ve AIC eklenir (glm.stats sütunu AIC; 190–193); GLM yakınsamamışsa (converged = 0) uyarı satırına yazılır.
cv > 0 iken earth veriyi katlara böler, her katı dışarıda bırakarak modeli yeniden kurar ve dışarıda kalan gözlemlerde R^2 hesaplar; ortalaması CV-RSq'dur (satır 204–206). cv_tekrar, bölmeyi farklı rastgele sıralarla yineler. Katlar rastgele kurulduğundan CV-RSq çalıştırmanın tohumuna bağlıdır.
50.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 1–132 | Üstbilgi: on altı parametre, örnek veri ve ayar. | Form buradan kurulur (Bölüm 1.2). |
| 133–134 | .m() ileti seçici; earth yüklenir. |
plotmo, Formula ve plotrix earth ile birlikte gelir. |
| 136–151 | Girdi denetimleri; d tam satırlarla kurulur; yanıt mq_sayisal ile sayıya çevrilir; açıklayıcılar denetlenir. |
dogrusal, x ile kesiştirilir (146). |
| 152–155 | Aileye ve kat sayısına özgü denetimler. | |
| 157–173 | Formül ve earth argüman listesi. |
Varsayılandan farklı olan seçenekler listeye eklenir; dogrusal sütun numarasına çevrilir (170–172). |
| 174–177 | earth çağrısı (uyarılar toplanır, hata çevrilir); summary konsola. |
digits = 7. |
| 179–183 | Birinci tablo: seçilen terimler ve katsayıları. | GLM'de glm.coefficients. |
| 184–199 | İkinci tablo: n, terim sayıları, ceza, GCV, RSS, GRSq, RSq; varsa GLM sapması, boş sapması, AIC ve CV-RSq; ardından toplanan uyarılar. | "İleri adım terimi" kullanılan terim sayısıdır (nrow(fit$dirs)). |
| 200–206 | Üçüncü tablo: değişken önemi. | trim = FALSE: kullanılmayan değişkenler de listelenir. |
| 207–211 | İki şekil: model seçimi ve artık tanıları; kısmi bağımlılık (plotmo). | Şekil hatası çalıştırmayı durdurmaz. |
dogrusal listesi earth'e linpreds olarak, açıklayıcı sütunlarının numarası biçiminde verilir (170–172). Numaralar model.matrix sütunlarının hangi açıklayıcıya ait olduğundan (assign) bulunur; ad eşleşmesi tamdır: Girth yazıldığında Girth_kare doğrusal girmez. Faktör açıklayıcıda bütün gösterge sütunları birlikte doğrusal girer (50.8).
Yanıtın okunması (satır 151):
y <- mq_sayisal(d[[P$y]], P$y)
Yanıt sütunu sayı türünde ya da etiketleri sayı olan kategorik türde olabilir; etiketin değeri kullanılır (düzey sıra numarası değil). Sayıya çevrilemeyen bir değer varsa çalıştırma sütun adıyla iletiyle durur.
50.6 Elle hesap: örnek veride bağımsız yeniden hesap
Hesap dogrulama/mars/elle_hesap.py ile, earth kullanılmadan, ileri ve geri adımın açık döngülerle yazılmasıyla yapılmıştır; ara sayılar adimlar.py çıktısıdır. R tarafında aynı adımlar lm.fit ile kurulmuştur (r_dogrulama.R).
Adım 1 — Başlangıç. n=31, \bar y=30{,}171, \mathrm{TKT}=8106{,}0839. Aday düğümler: Girth 11,2; 11,7; 13,3; 14,2. Height doğrusal girecektir; tek adayı kendisidir.
Adım 2 — İlk yineleme. Sabit terime her aday eklendiğinde KT:
| Aday | KT |
|---|---|
Girth, düğüm 11,2 (çift) |
443,0221 |
Girth, düğüm 11,7 (çift) |
407,4707 |
Girth, düğüm 13,3 (çift) |
326,4756 |
Girth, düğüm 14,2 (çift) |
312,6848 |
Height (doğrusal) |
5204,8950 |
14,2 düğümlü çift seçilir: R^2=1-312{,}6848/8106{,}0839=0{,}9614.
Adım 3 — İkinci ve üçüncü yineleme. Height eklendiğinde KT 208,0318'e iner (\Delta R^2=0{,}0129); Girth'ün ikinci düğümleri en çok 311,90'a indirebilir. Üçüncü yinelemede 11,7 düğümü KT'yi 196,0845'e indirir (\Delta R^2=0{,}001474>0{,}001) ve eklenir; 13,3 düğümü sayısal koruma nedeniyle aday değildir (50.4.2). Dördüncü yinelemede KT'yi düşüren aday kalmaz. İleri adım beş terimle biter: sabit, h(\text{Girth}-14{,}2), h(14{,}2-\text{Girth}), Height, h(\text{Girth}-11{,}7).
Adım 4 — Geri adım. Her boyutun en iyi alt kümesi, KT'si ve GCV'si (c=2):
| k | Alt küme | KT | C(k) | GCV |
|---|---|---|---|---|
| 1 | sabit | 8106,0839 | 1 | 279,2096 |
| 2 | + h(\text{Girth}-14{,}2) | 1224,3713 | 3 | 48,4126 |
| 3 | + h(14{,}2-\text{Girth}) | 312,6848 | 5 | 14,3391 |
| 4 | + Height |
208,0318 | 7 | 11,1962 |
| 5 | + h(\text{Girth}-11{,}7) | 196,0845 | 9 | 12,5591 |
Dört terimli model seçilir. \mathrm{GR}^2=1-11{,}1962/279{,}2096=0{,}9599; R^2=1-208{,}0318/8106{,}0839=0{,}9743.
Adım 5 — Katsayılar. Seçilen dört sütun üzerinde en küçük kareler: sabit 4,220907; h(\text{Girth}-14{,}2) 6,404757; h(14{,}2-\text{Girth}) −3,199336; Height 0,343005. Çapı 12 inç, boyu 76 fit olan ağaç için kestirim 4{,}2209-3{,}1993\cdot2{,}2+0{,}3430\cdot76=23{,}25 fit küptür.
Adım 6 — Değişken önemi. Seçilen boyuta kadar alt kümeler k=2{,}3{,}4'tür. Girth üçünde de, Height yalnız k=4'te kullanılır: nsubsets 3 ve 1. GCV azalmaları 230,7970; 34,0735; 3,1429:
50.6.1 Doğrulama: MerQuR+, Python ve R
MerQuR+ sütunu şablonun üç tablosundan tam hassasiyetle alınmıştır (çalıştırmalar 1–3).
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | |
|---|---|---|---|---|---|
| Örnek ayar: (Intercept) | 4,22090712 | 4,22090712 | 4,22090712 | 1,8e−14 | ✓ |
| Örnek ayar: h(Girth-14.2) | 6,40475731 | 6,40475731 | 6,40475731 | 5,1e−15 | ✓ |
| Örnek ayar: h(14.2-Girth) | −3,19933622 | −3,19933622 | −3,19933622 | 7,4e−15 | ✓ |
| Örnek ayar: Height | 0,34300462 | 0,34300462 | 0,34300462 | 5,0e−16 | ✓ |
| Örnek ayar: seçilen terim sayısı | 4 | 4 | 4 | 0 | ✓ |
| Örnek ayar: ileri adım terimi | 5 | 5 | 5 | 0 | ✓ |
| Örnek ayar: GCV | 11,1961577 | 11,1961577 | 11,1961577 | 4,1e−15 | ✓ |
| Örnek ayar: RSS | 208,03183337 | 208,03183337 | 208,03183337 | 1,4e−15 | ✓ |
| Örnek ayar: GRSq | 0,95990052 | 0,95990052 | 0,95990052 | 4,4e−16 | ✓ |
| Örnek ayar: RSq | 0,97433633 | 0,97433633 | 0,97433633 | 3,3e−16 | ✓ |
| Örnek ayar: önem, nsubsets (Girth) | 3 | 3 | 3 | 0 | ✓ |
| Örnek ayar: önem, nsubsets (Height) | 1 | 1 | 1 | 0 | ✓ |
| Örnek ayar: önem, GCV (Height) | 10,82903655 | 10,82903655 | 10,82903655 | 4,8e−15 | ✓ |
| Örnek ayar: önem, RSS (Height) | 11,51107484 | 11,51107484 | 11,51107484 | 2,0e−15 | ✓ |
| Doğrusal terimsiz: (Intercept) | 29,05995351 | 29,05995351 | 29,05995351 | 1,2e−15 | ✓ |
| Doğrusal terimsiz: h(Girth-14.2) | 6,22951434 | 6,22951434 | 6,22951434 | 5,7e−16 | ✓ |
| Doğrusal terimsiz: h(14.2-Girth) | −3,41980615 | −3,41980615 | −3,41980615 | 2,6e−15 | ✓ |
| Doğrusal terimsiz: h(Height-75) | 0,58136438 | 0,58136438 | 0,58136438 | 2,3e−15 | ✓ |
| Doğrusal terimsiz: seçilen terim sayısı | 4 | 4 | 4 | 0 | ✓ |
| Doğrusal terimsiz: ileri adım terimi | 5 | 5 | 5 | 0 | ✓ |
| Doğrusal terimsiz: GCV | 11,25439148 | 11,25439148 | 11,25439148 | 1,4e−15 | ✓ |
| Doğrusal terimsiz: RSS | 209,11385457 | 209,11385457 | 209,11385457 | 2,4e−15 | ✓ |
| Doğrusal terimsiz: GRSq | 0,95969195 | 0,95969195 | 0,95969195 | 1,1e−16 | ✓ |
| Doğrusal terimsiz: RSq | 0,97420285 | 0,97420285 | 0,97420285 | 5,6e−16 | ✓ |
| Doğrusal terimsiz: önem, nsubsets (Girth) | 3 | 3 | 3 | 0 | ✓ |
| Doğrusal terimsiz: önem, nsubsets (Height) | 1 | 1 | 1 | 0 | ✓ |
| Doğrusal terimsiz: önem, GCV (Height) | 10,72941062 | 10,72941062 | 10,72941062 | 8,3e−16 | ✓ |
| Doğrusal terimsiz: önem, RSS (Height) | 11,45219746 | 11,45219746 | 11,45219746 | 4,2e−15 | ✓ |
| minspan = endspan = 1: (Intercept) | 34,75426206 | 34,75426206 | 34,75426206 | 1,0e−14 | ✓ |
| minspan = endspan = 1: h(Girth-16) | 6,9680917 | 6,9680917 | 6,9680917 | 2,4e−14 | ✓ |
| minspan = endspan = 1: h(16-Girth) | −2,38888414 | −2,38888414 | −2,38888414 | 2,4e−14 | ✓ |
| minspan = endspan = 1: h(85-Height) | −0,3639864 | −0,3639864 | −0,3639864 | 2,7e−15 | ✓ |
| minspan = endspan = 1: h(Girth-12) | 2,16984716 | 2,16984716 | 2,16984716 | 5,3e−14 | ✓ |
| minspan = endspan = 1: h(Girth-18) | 86,46189731 | 86,46189731 | 86,46189731 | 8,2e−16 | ✓ |
| minspan = endspan = 1: h(Girth-17.9) | −86,39596386 | −86,39596386 | −86,39596386 | 1,8e−15 | ✓ |
| minspan = endspan = 1: seçilen terim sayısı | 7 | 7 | 7 | 0 | ✓ |
| minspan = endspan = 1: ileri adım terimi | 13 | 13 | 13 | 0 | ✓ |
| minspan = endspan = 1: GCV | 10,56532127 | 10,56532127 | 10,56532127 | 5,0e−15 | ✓ |
| minspan = endspan = 1: RSS | 110,42464813 | 110,42464813 | 110,42464813 | 2,4e−15 | ✓ |
| minspan = endspan = 1: GRSq | 0,96215989 | 0,96215989 | 0,96215989 | 3,3e−16 | ✓ |
| minspan = endspan = 1: RSq | 0,98637756 | 0,98637756 | 0,98637756 | 3,3e−16 | ✓ |
Ölçütü karşılayan: 41/41. Python: ileri adım, geri adım, GCV ve değişken önemi numpy ile açık döngülerle (earth kullanılmadan). R: aynı adımlar lm.fit ile. Üçüncü çalıştırmada değişken önemi karşılaştırılmamıştır (50.6.1).
Üç çalıştırmada da bağımsız ileri adım earth ile aynı düğümleri, geri adım aynı alt kümeyi seçer; katsayı farkları 10^{-10} düzeyindedir. Üçüncü çalıştırmada (minspan = endspan = 1) ileri adım 13 terim üretir ve yedisi seçilir; iki seçilen terim birbirine çok yakın düğümlüdür (h(\text{Girth}-17{,}9) ve h(\text{Girth}-18), katsayıları −86,40 ve 86,46). Bu çalıştırmada earth'ün geri adımının sakladığı alt kümeler iç içe değildir (beş terimli alt küme altı terimlinin alt kümesi değildir); yalın geriye doğru eleme küçük boyutlarda başka alt kümeler verdiğinden değişken önemi karşılaştırmaya alınmamıştır. Seçilen yedi terimli model iki yolda da aynıdır.
50.7 Çıktıyı okuma
Örnek ayarın konsol çıktısı:
Call: earth(formula=Volume~Girth+Height, data=d, degree=1, minspan=0,
endspan=0, linpreds="Height")
coefficients
(Intercept) 4.2209071
Height 0.3430046
h(14.2-Girth) -3.1993362
h(Girth-14.2) 6.4047573
Selected 4 of 5 terms, and 2 of 2 predictors
Termination condition: RSq changed by less than 0.001 at 5 terms
Importance: Girth, Height
Number of terms at each degree of interaction: 1 3 (additive model)
GCV 11.19616 RSS 208.0318 GRSq 0.9599005 RSq 0.9743363
Tablolar: "Seçilen terimler ve katsayıları" (dört satır, yukarıdaki katsayılar tam hassasiyetle); "Model uyumu" (n 31; seçilen terim 4; ileri adım terimi 5; GCV cezası 2; GCV 11,1962; RSS 208,0318; GRSq 0,9599; RSq 0,9743); "Değişken önemi" (Girth: nsubsets 3, GCV 100, RSS 100; Height: nsubsets 1, GCV 10,83, RSS 11,51).
| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
h(Girth-14.2) 6,405 |
14,2 inçin üstünde her inç için hacim artışı | Düğümün sağındaki eğim. |
h(14.2-Girth) −3,199 |
14,2 inçin altında, çap azaldıkça hacimdeki değişim | Düğümün solundaki eğim +3{,}199'dur: çap bir inç arttıkça hacim 3,20 artar. Eğim düğümde 3,20'den 6,40'a çıkar. |
Height 0,343 |
Boyun doğrusal etkisi | Her fit için 0,343 fit küp. |
| Selected 4 of 5 terms | Geri adımın seçtiği / ileri adımın ürettiği terim sayısı | Fark, budanan terimlerdir. |
| Termination condition | İleri adımın neden durduğu | "Reached nk" görülürse nk büyütülerek yeniden denenir. |
| GCV, GRSq | Cezalı hata ve cezalı R^2 | Modeller arası karşılaştırma bunlarla yapılır; RSq terim eklendikçe hep artar. |
| nsubsets, GCV, RSS | Değişken önemi | Göreli sıralamadır; etki büyüklüğü ya da anlamlılık değildir. |
| CV-RSq | Katların dışındaki R^2 ortalaması | Tohuma bağlıdır: beş kat, üç tekrar için 0,9278 (tohum 2026) ve 0,9392 (tohum 1). |
Şekil 50.1. Şablonun birinci şekli (örnek ayar): terim sayısına göre GRSq ve RSq ile seçilen model (sol üst), mutlak artıkların birikimli dağılımı (sağ üst), artık–kestirim grafiği (sol alt) ve artıkların normal kantil grafiği (sağ alt).

Şekil 50.2. Şablonun ikinci şekli: her açıklayıcının kısmi bağımlılık eğrisi (öteki açıklayıcı medyanında tutulur). Girth eğrisi 14,2'de kırılır; Height doğrusaldır.

Öteki ayarların sonuçları:
| Ayar | Seçilen model | GCV | RSq |
|---|---|---|---|
| Örnek ayar | sabit, Girth çifti (14,2), Height |
11,1962 | 0,9743 |
dogrusal boş |
sabit, Girth çifti (14,2), h(\text{Height}-75) |
11,2544 | 0,9742 |
| GCV cezası 3 | örnek ayarla aynı dört terim | 12,7387 | 0,9743 |
budama = 3 |
sabit, Girth çifti (14,2) |
14,3391 | 0,9614 |
Budama yöntemi none |
beş terimin hepsi | 12,5591 | 0,9758 |
Derece 2, dogrusal boş |
sabit, Girth çifti, \text{Girth}\times h(\text{Height}-75) |
12,3337 | 0,9752 |
| minspan = endspan = 1 | yedi terim (düğümler 12; 16; 17,9; 18; 85) | 10,5653 | 0,9864 |
Rapor cümlesi (örnek ayar):
Ağaç hacmi, çap ve boy ile MARS yöntemiyle modellendi (toplamsal model, boy doğrusal; GCV cezası 2). Geri adım dört terimli modeli seçti (GCV = 11,20; GR² = 0,960; R² = 0,974). Çapın etkisi 14,2 inçte kırıldı: bu değerin altında her inç için hacim 3,20, üstünde 6,40 fit küp arttı; boyun her fiti hacmi 0,34 fit küp artırdı. Değişken öneminde çap birinci (100), boy ikinci (GCV ölçütüyle 10,8) sıradaydı.
50.8 Sık hatalar ve tuzaklar
- Yanıt sütununu "kategorik" türde bırakmak. Yanıt
mq_sayisalile okunur (satır 151): sayı etiketli kategorik sütun değerleriyle kullanılır; etiketi sayı olmayan sütunda çalıştırma sütun adıyla durur. Örnek verideVolumekategorik yapıldığında sonuç sayısal türdekiyle aynıdır (GCV 11,20). - Adı başka bir adın parçası olan değişkeni doğrusal seçmek. Ad eşleşmesi tamdır.
GirthveGirth_karebirlikte açıklayıcıyken yalnızGirthdoğrusal seçildiğinde seçilen model sabit, h(\text{Girth\_kare}-201{,}64), h(201{,}64-\text{Girth\_kare}) ve h(\text{Height}-74) terimlerinden oluşur (GCV 10,81);Girth_karedoğrusal girmez. - İkili ya da sayım yanıtında GCV ile sapmayı karıştırmak.
aileikili ya da Poisson seçildiğinde uyum tablosuna GLM sapması, boş sapma ve AIC eklenir. Tam ayrışma gibi durumlarda GLM yakınsamayabilir (converged= 0); bu durum çıktının "Uyarılar:" satırında bildirilir ve katsayılar ile AIC güvenilir sayılmaz. "GLM ailesinde ölçüt satır adlarına model eki" seçeneği açılırsa GCV, RSS, GRSq ve RSq satırlarının adına "(doğrusal model)" eklenir; sayılar değişmez, GLM satırları zaten "GLM" ile başlar. - Katsayılara standart hata aramak. Şablon p değeri ve güven aralığı vermez; düğümler ve terimler aynı veriden seçildiği için seçim sonrası en küçük kareler standart hataları iyimserdir. Belirsizlik için çapraz doğrulama (
cv) ya da yeniden örnekleme kullanılır. - Küçük veride otomatik düğüm aralığına güvenmek. 31 gözlemde değişken başına dört aday düğüm vardır; "en iyi düğüm 14,2" sonucu, bu dört değer arasındaki en iyidir.
minspan = endspan = 1ile bütün gözlemler aday olur, ama yedi terimli, birbirine 0,1 inç uzaklıkta iki düğümlü ve ±86 katsayılı bir model seçilir: aşırı uyum. İkisinin arası (minspan = 2,endspan = 3gibi) denenir ve GRSq ile CV-RSq birlikte izlenir. - Çapraz doğrulama sonucunu tek çalıştırmadan okumak. Katlar rastgeledir. Çapraz doğrulamalı budamada (
budama_yontemi = cv, beş kat,dogrusalboş) tohum 2026 dört terimli, tohum 1 beş terimli modeli seçer.cv_tekrarartırılır ve tohum raporlanır. - GLM seçeneğinde GCV'yi sapma sanmak. GCV, RSS, GRSq ve RSq, terimleri seçen doğrusal modelin ölçütleridir; 0/1 yanıtta kareler toplamına dayanır. GLM'nin uyumu sapma ve AIC ile değerlendirilir.
- Derece 2'de her çarpımı etkileşim kanıtı saymak. Etkileşim terimi yalnız GCV'yi düşürdüğü için seçilir. Örnek veride derece 2 modeli (GCV 12,33) toplamsal modelden (11,25) kötüdür; etkileşim eklemek kazandırmamıştır.
50.9 Uzman soruları
S1. İleri adım neden KT'yi daha çok düşüren 13,3 düğümünü değil 11,7'yi seçti?
Üçüncü yinelemede 13,3 düğümü KT'yi 187,48'e, 11,7 düğümü 196,08'e indirir. earth, tabana neredeyse doğrusal bağımlı menteşeleri sayısal kararlılık için değerlendirmez: h(\text{Girth}-13{,}3)'ün, tabana ve Girth'ün doğrusal terimine dik kalan payı 0,0080'dir ve 0,01 eşiğinin altındadır (50.4.2). 14,2 ile 13,3 arasında yalnız dört gözlem vardır; iki menteşe bu dört gözlem dışında aynı doğruyu çizer. Bağımsız hesap bu kural olmadan 13,3'ü seçer ve earth'ten ayrışır; kuralla birlikte üç çalıştırmada da aynı modeli verir.
S2. GCV'deki C(k) neden k + c(k − 1)/2?
k terimin k katsayısı vardır. Menteşe çiftleri düğüm başına iki terim ürettiğinden k-1 terimde yaklaşık (k-1)/2 düğüm bulunur; her düğüm c ek parametre sayılır. Örnek veride k=4, c=2: C=4+3=7. Ceza 3 yapıldığında C=8{,}5 ve GCV 12,7387 olur; seçilen model değişmez (beş terimli modelin GCV'si 15,1966'ya çıkar).
S3. "Selected 4 of 5 terms" ile "RSq changed by less than 0.001 at 5 terms" aynı beşi mi sayıyor?
Evet; ikisi de kullanılan terim sayısıdır. İleri adım yedi terim yuvası açmıştır (sabit ve üç çift), ama Height tek terimle girer ve Girth'ün ikinci çiftinin bir üyesi doğrusal bağımlı olduğundan atılır. nk sınırı ise yuvalara uygulanır: üçüncü çalıştırmada 21 yuva dolduğunda 13 terim kullanılmıştır.
S4. Doğrusal terimsiz çalıştırmada Height neden tek menteşeyle kaldı?
İleri adım h(\text{Height}-75) ve h(75-\text{Height}) çiftini ekler; geri adım ikincisini çıkarır, çünkü dört terimli modelin GCV'si (11,2544) beş terimlinin GCV'sinden küçüktür. Sonuç, boyun 75 fitin altında hacmi etkilemediği, üstünde her fit için 0,581 artırdığı bir modeldir. Örnek ayardaki doğrusal Height modeli (GCV 11,1962) biraz daha iyidir; iki model veride ayırt edilemeyecek kadar yakındır.
S5. Değişken önemindeki üç ölçüt neden aynı sırayı vermek zorunda değil?
nsubsets yalnız sayar; GCV ve RSS ölçütleri azalmaların büyüklüğünü toplar. Bir değişken çok alt kümede yer alıp her birinde az katkı yapabilir. Ayrıca azalma, alt kümede bulunan bütün değişkenlere yazıldığından erken giren değişken sonraki bütün azalmalardan pay alır: örnek veride Girth'ün toplamına Height'in eklendiği adımın azalması (3,14) da girer. Ölçütler sıralama içindir; 10,8, "Height hacmin %10,8'ini açıklar" anlamına gelmez.
S6. minspan ve endspan gözlem sayısıyla nasıl değişir?
endspan yalnız açıklayıcı sayısına bağlıdır: p=2 için 8, p=10 için 10, p=100 için 13. minspan \ln(p\,n) ile yavaşça büyür: p=2 için n=31'de 4, n=1000'de 6. Küçük veride uçlardan atılan 2\times8=16 gözlem verinin yarısıdır; büyük veride ihmal edilir. Kategorik açıklayıcının her düzeyi p'ye ayrı sayılır.
S7. Aynı model doğrusal regresyonla kurulabilir mi?
Seçilen terimler bilindiğinde evet: h(\text{Girth}-14{,}2), h(14{,}2-\text{Girth}) ve Height sütunları kurulup en küçük kareler uygulandığında aynı katsayılar bulunur (50.6, Adım 5). Fark çıkarımdadır: bu regresyonun standart hataları düğümün veriden seçildiğini bilmez.
S8. Budama yöntemleri ne zaman farklı sonuç verir?
İleri adımın ürettiği terim sayısı az olduğunda (örnek veride 5) bütün yöntemler aynı alt kümeleri bulur. Terim sayısı arttıkça backward ile exhaustive ayrışabilir, çünkü geriye doğru eleme her boyutun en iyi alt kümesini bulmayı güvence etmez. cv ise ölçütü değiştirir: GCV yerine katların dışındaki R^2'yi kullanır ve örnek veride tohuma göre dört ya da beş terim seçer.
50.10 Kaynaklar
- Atkinson, A. C. (1985). Plots, transformations and regression: An introduction to graphical methods of diagnostic regression analysis. Oxford University Press.
- Craven, P., & Wahba, G. (1978). Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the method of generalized cross-validation. Numerische Mathematik, 31(4), 377–403. https://doi.org/10.1007/BF01404567
- Friedman, J. H. (1991). Multivariate adaptive regression splines. The Annals of Statistics, 19(1), 1–67. https://doi.org/10.1214/aos/1176347963
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7
- Milborrow, S., Hastie, T., & Tibshirani, R. (2026). earth: Multivariate adaptive regression splines (R package version 5.3.6). https://doi.org/10.32614/CRAN.package.earth
- Miller, A. (2002). Subset selection in regression (2nd ed.). Chapman and Hall/CRC. https://doi.org/10.1201/9781420035933