MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → LOESS

LOESSanaliz

Bir sonucun bir ya da iki açıklayıcıya göre nasıl değiştiğini, önceden doğru, parabol gibi bir biçim varsaymadan, veriye yerel olarak uydurulan küçük regresyonlarla çizilen düzgün bir eğriyle (ya da yüzeyle) gösteren yöntem.

Kavram

Doğrusal regresyon ilişkinin bir doğru, polinom regresyon ise belirli bir eğri olduğunu baştan varsayar. Oysa çoğu zaman ilişkinin biçimi bilinmez: yakıt tüketimi düşük hızlarda yüksek, orta hızlarda en düşük, yüksek hızlarda yine yüksek olabilir. LOESS (yerel regresyon), ilişkinin biçimini veriden öğrenen esnek bir düzgünleştiricidir ve bu tür eğrileri tek bir formüle sığdırmaya çalışmadan gösterir.

Eğri üzerindeki her nokta için, o noktaya en yakın gözlemlerden oluşan bir komşuluk alınır. Komşuluğun büyüklüğünü span belirler: span = 0,75, her yerel uyumda gözlemlerin %75'inin kullanılması demektir. Komşuluktaki gözlemler noktaya uzaklıklarına göre ağırlıklandırılır (yakındakiler daha ağır; tricube ağırlıklar) ve bunlara ağırlıklı bir doğru ya da parabol uydurulur. Bu yerel uyumun o noktadaki değeri eğrinin değeri olur. Küçük span ayrıntıyı yakalar ama gürültülü bir eğri verir; büyük span daha düzgün ama ayrıntıyı kaçırabilecek bir eğri verir.

LOESS bir katsayı tablosu değil bir eğri üretir; bu nedenle 'x bir birim artınca y ne kadar artar?' sorusuna tek bir sayıyla yanıt vermez. Modelin karmaşıklığı eşdeğer parametre sayısıyla (enp) özetlenir. Güven bandı noktasaldır: her x değerinde ayrı ayrı geçerlidir, eğrinin tamamı için eşzamanlı bir bant değildir. Verinin seyrek olduğu uçlarda ve gözlem aralığının dışında eğri güvenilmez hâle gelir; çok sayıda açıklayıcıyla da yöntem verimsizleşir.

Ne zaman kullanılır?

  • Bir sonuç ile bir ya da iki sayısal açıklayıcı arasındaki ilişkinin biçimi bilinmediğinde ve veriyi keşfetmek, eğriliği görmek ya da doğrusal bir modelin yeterli olup olmadığını denetlemek istendiğinde.
  • İlişkinin biçimi kuramdan biliniyorsa (ör. ikinci dereceden) polinom regresyon ya da yanıt yüzeyi regresyonu daha yorumlanabilir katsayılar verir.
  • Birçok açıklayıcı varsa ve her birinin etkisi esnek bir eğriyle modellenecekse genelleştirilmiş toplamsal modeller (GAM) ya da spline regresyonu tercih edilir.

Gündelik bir örnek

Bir lojistik firması, 60 kamyonun farklı ortalama hızlardaki yakıt tüketimini kaydetmiş. Bir doğru, hız arttıkça tüketimin sürekli arttığını ya da azaldığını söylemeye zorlanır. LOESS eğrisi ise tüketimin 50 km/sa altında yüksek olduğunu, 70-80 km/sa çevresinde en düşük düzeye indiğini ve 90 km/sa üstünde hızla arttığını gösterebilir. Firma bu eğriye bakarak sürücülere önerilecek hız aralığını belirleyebilir.

MerQur'da parametreler

Açıklayıcı(lar)

Kavram: Açıklayıcı, eğrinin yatay eksenini oluşturan sayısal değişkendir. Tek açıklayıcıda bir eğri, iki açıklayıcıda ise bir yüzey (iki boyutlu bir 'arazi') uydurulur.

Gündelik örnek: Kamyon örneğinde açıklayıcı ortalama hızdır. Hıza ek olarak yük ağırlığı da seçilirse LOESS, tüketimin hız ve yükle birlikte nasıl değiştiğini gösteren bir yüzey çizer.

Ne işe yarar: Düzgünleştirmenin dayandığı bir ya da iki sayısal açıklayıcıyı seçer; iki açıklayıcıda yüzey uydurulur.

Sonuca etkisi: Komşuluk uzaklığını ve model boyutunu belirler.

Doğrulama verisinde: cars'ta tek açıklayıcı (hız), ethanol'da iki açıklayıcı (C ve E).

Hedef Sütun

Kavram: Hedef, değişimi düzgünleştirilerek gösterilecek sayısal sonuç değişkenidir.

Gündelik örnek: Hedef, 100 km başına litre cinsinden yakıt tüketimidir; eğri her hız için beklenen tüketimi gösterir.

Ne işe yarar: Düzgünleştirilecek sayısal bağımlı değişkeni seçer.

Sonuca etkisi: Tüm çıktıları belirler.

Doğrulama verisinde: cars: dist (frenleme mesafesi).

Span seçimi (Sabit (elle), Otomatik: AICc, Otomatik: GCV)

Kavram: Span elle verilebileceği gibi veriden de seçilebilir. AICc ve genelleştirilmiş çapraz doğrulama (GCV), uyumun iyiliği ile eğrinin karmaşıklığı arasında denge kuran ölçütlerdir; en küçük değeri veren span seçilir.

Gündelik örnek: Hangi span'in uygun olduğu bilinmiyorsa AICc seçilir; ölçüt, gereksiz kıvrımlar eklemeden tüketim eğrisinin gerçek biçimini yakalayan span'i önerir.

Ne işe yarar: Sabit seçimde span elle girilir (varsayılan 0.75). AICc ya da GCV seçilirse span <= 1 içindeki tüm komşuluk büyüklükleri taranır ve ölçütü en küçük yapan seçilir; eşitlikte en büyük span alınır.

Sonuca etkisi: Span'ı, dolayısıyla eğrinin pürüzlülüğünü belirler. Otomatik seçimde span, AICc ya da GCV ölçütüyle veriden belirlenir.

Doğrulama verisinde: cars: AICc ile span 1.0 (en küçük AICc 6.56859516), GCV ile 0.98; ethanol: AICc ile 0.27272727, GCV ile 0.22727273.

→ Düzgünleştirme parametresi (λ, span)

Düzgünleştirme (span) (varsayılan 0.75)

Kavram: Span, her yerel uyumda kullanılan gözlemlerin oranıdır ve eğrinin ne kadar düzgün olacağını belirler. Küçük span yerel ayrıntıya, büyük span genel eğilime ağırlık verir.

Gündelik örnek: Span 0,3 ise her nokta yalnız en yakın 18 kamyonun verisiyle (60'ın %30'u) hesaplanır ve eğri kıpır kıpır olur. Span 0,9 ise neredeyse tüm kamyonlar kullanılır ve eğri yumuşar; ama 70-80 km/sa'deki dip noktası silikleşebilir.

Ne işe yarar: Her yerel uyumda kullanılan gözlem oranını belirler: q = floor(n x span). Span 1'den büyükse tüm gözlemler kullanılır ve komşuluk yarıçapı büyütülür.

Sonuca etkisi: Küçük span daha esnek, büyük span daha düzgün eğri verir; enp ve artık standart hatayı değiştirir.

Doğrulama verisinde: cars, derece 2: span 0.75 için enp 4.83393101, artık SE 15.31087491; span 1.5 için enp 3.19816237, artık SE 15.16661435.

→ Düzgünleştirme parametresi (λ, span)

Yerel polinom derecesi (1 (yerel doğrusal), 2 (yerel ikinci derece))

Kavram: Her komşulukta uydurulan küçük regresyonun biçimidir. Yerel doğrusal uyum yalnız eğimi, yerel ikinci derece uyum eğriliği de yakalar; tepe ve çukurların olduğu ilişkilerde ikinci derece genellikle daha iyi sonuç verir.

Gündelik örnek: Tüketim eğrisi 75 km/sa civarında bir çukur yapıyorsa, yerel ikinci derece uyum bu dibi daha doğru çizer; yerel doğrusal uyum dibi biraz düzleştirebilir.

Ne işe yarar: Her komşulukta uydurulan yerel polinomun derecesini belirler (1 doğrusal, 2 ikinci derece).

Sonuca etkisi: Yerel doğrusal daha az esnek; yerel ikinci derece eğrilik ve tepe noktalarını daha iyi izler fakat varyansı büyütür.

Doğrulama verisinde: cars: derece 1 ve span 0.5 için enp 4.01730395, artık SE 15.289023; derece 2 ve span 0.75 için enp 4.83393101, artık SE 15.31087491.

→ Düzgünleştirme parametresi (λ, span)

Aile (Gauss (en küçük kareler), Simetrik (sağlam, bisquare))

Kavram: Gauss ailesi sıradan en küçük kareler kullanır ve aykırı değerlere duyarlıdır. Simetrik (sağlam) aile, büyük artıklı gözlemlerin ağırlığını yinelemeli olarak azaltır; böylece birkaç uç değer eğriyi kendine doğru çekemez.

Gündelik örnek: Bir kamyonun yakıt deposu kaçak yaptığı için tüketimi olağanın iki katı kaydedilmişse, Gauss eğrisi o hızda yukarı doğru bir çıkıntı yapar. Sağlam aile bu tek kaydın etkisini büyük ölçüde azaltır.

Ne işe yarar: Gauss en küçük kareler uyumudur. Simetrik aile 4 yinelemeli bisquare sağlam ağırlıklandırma uygular ve aykırı değerlere dirençlidir.

Sonuca etkisi: Uydurulan değerleri ve artık standart hatayı değiştirir.

Doğrulama verisinde: cars, derece 2, span 0.75: Gauss artık SE 15.31087491, simetrik 13.24337049.

→ M-tahmincisi (Huber, Tukey biweight)

İstatistikler (Yaklaşık (R varsayılanı), Kesin (SAS DIRECT))

Kavram: LOESS'te serbestlik derecesi ve artık standart hatası gibi istatistikler, düzgünleştirme matrisinden hesaplanır. Bu hesap yaklaşık formülle hızlıca ya da tam matrisle kesin olarak yapılabilir; iki yol genellikle çok yakın sonuç verir.

Gündelik örnek: Sonuçları başka bir programla birebir karşılaştırmak gerekiyorsa o programın kullandığı hesaplama türü seçilir. 60 kamyonluk veride iki yöntem arasındaki fark ancak ikinci ondalıkta görülür.

Ne işe yarar: Yaklaşıkta delta1/delta2 Cleveland-Grosse yaklaşımıyla hesaplanır; kesinde tam düzgünleştirme matrisinden hesaplanır (n <= 4000).

Sonuca etkisi: delta1, delta2, arama sd'si, enp ve artık SE'yi değiştirir; iz(L) ve uydurulan değerleri değiştirmez.

Doğrulama verisinde: cars, derece 2, span 0.75: yaklaşık enp 4.83393101, delta1 44.23236615, artık SE 15.31087491; kesin enp 4.90741774, delta1 44.30585288, artık SE 15.29817216.

Normalleştir ([Parametreler] onay kutusu; varsayılan açık)

Kavram: İki açıklayıcı farklı birimlerde ölçüldüğünde 'yakınlık' hesabı büyük sayılarla ölçülen değişkene göre belirlenir. Normalleştirme, her açıklayıcıyı kendi yayılımına bölerek iki değişkenin komşuluk hesabına eşit ölçekte katılmasını sağlar.

Gündelik örnek: Hız 40-110 km/sa, yük ise 2000-20 000 kg aralığındaysa normalleştirme olmadan komşuluk neredeyse yalnız yüke göre belirlenir. Normalleştirmeyle hız ve yük benzer ağırlıkta hesaba girer.

Ne işe yarar: İki açıklayıcıda her açıklayıcıyı yüzde 10 kırpılmış standart sapmasına böler (varsayılan); tek açıklayıcıda etkisizdir.

Sonuca etkisi: Açıklayıcıların ölçeğini, dolayısıyla komşuluğu ve tüm istatistikleri değiştirir.

Doğrulama verisinde: ethanol, derece 2, span 0.5: açık enp 13.64520361, artık SE 0.24929388; kapalı enp 11.6500919, artık SE 0.45843128.

→ z-puanı (standartlaştırma)

Güven Düzeyi (%90, %95, %99, Diğer (özel))

Kavram: Eğrinin her noktası için güven aralığının düzeyini belirler. Bu aralıklar noktasaldır: her hız değerinde ayrı ayrı geçerlidir; eğrinin tamamının aynı anda bandın içinde kalacağını garanti etmez.

Gündelik örnek: 75 km/sa'de beklenen tüketimin %95 güven aralığı 28-30 litre ise bu yalnız o hız için geçerlidir. Verinin az olduğu 110 km/sa civarında aralık belirgin biçimde genişler.

Ne işe yarar: Tahmin güven aralığı (noktasal; eşzamanlı bant değildir) için güven düzeyini belirler. Özel düzey 80.0-99.9 aralığında girilir.

Sonuca etkisi: Yalnız güven aralığı sınırlarını değiştirir.

Doğrulama verisinde: cars yeni noktalarda %95 tahmin, SE ve güven aralığı verilir; Gas verisinde %99 güven aralığı 22 gözlem için hesaplanır.

→ Güven düzeyi ve güven aralığı

Veri setine kaydet ([Parametreler] onay kutusu)

Kavram: Her gözlem için eğrinin verdiği tahmini (uydurulmuş değer) ve gözlenen değerle arasındaki farkı (artık) veri setine yeni sütunlar olarak ekler. Artıklar, aykırı gözlemleri bulmak ya da başka analizlerde kullanmak için yararlıdır.

Gündelik örnek: Her kamyonun satırına 'beklenen tüketim' ve 'beklenenden sapma' sütunları eklenir. Sapması en büyük kamyonlar bakım için öncelikli olarak incelenebilir.

Ne işe yarar: Veri setine "<hedef>_loess_fit" ve "<hedef>_loess_resid" sütunlarını ekler.

Sonuca etkisi: Hesabı değiştirmez.

Doğrulama verisinde: cars: dist_loess_fit ve dist_loess_resid sütunları eklenir.

Gerçek veride örnek

Veri: Ezekiel 1930, R datasets

Değişkenler: hedef dist (frenleme mesafesi), açıklayıcı speed (hız)

  • Soru: Arabaların fren mesafesi (dist) hızla (speed) parametrik bir biçim varsayılmadan nasıl değişir? (cars, n = 50)
  • Model: LOESS, span = 0.75 (her yerel uyumda 37/50 gözlem), yerel polinom derecesi 2, Gauss ailesi, doğrudan hesaplama.
  • Uyum: Eşdeğer parametre sayısı 4.83, iz(L) = 5.30, artık standart hatası 15.31, artık KT = 10369.08, R²-benzeri = .68.
  • Ek istatistikler: δ1 = 44.23, δ2 = 43.92, arama serbestlik derecesi 44.55; AICc = 6.63, GCV = 5.19.
  • Yorum: Eğri hızla birlikte artan ve yüksek hızlarda dikleşen bir ilişki gösterir; doğrusal modelden daha esnek, yaklaşık 5 parametrelik bir uyumdur.
  • APA: LOESS (derece = 2, span = 0.75), N = 50, enp = 4.83, artık SE = 15.31, R²-benzeri = .68.

İlgili kavramlar

Düzgünleştirme parametresi (λ, span)M-tahmincisi (Huber, Tukey biweight)z-puanı (standartlaştırma)Genelleştirilmiş çapraz geçerleme (GCV)Artık (kalıntı) grafikleri ve artık tanılamasıAykırı değerYakınsama ve en fazla iterasyonBağlı değerler ve sıfır farklar (sıra testleri)

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.