MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Kantil Regresyon

Kantil Regresyonanaliz

Bağımlı değişkenin ortalaması yerine medyanı, alt çeyreği ya da üst yüzdelikleri gibi seçilen kantillerinin açıklayıcılarla nasıl değiştiğini kestiren ve böylece etkinin dağılımın farklı kesimlerinde farklı olup olmadığını gösteren regresyon.

Kavram

Sıradan regresyon tek bir soruyu yanıtlar: açıklayıcı değiştikçe sonucun ortalaması nasıl değişir? Oysa bir etki dağılımın farklı kesimlerinde farklı olabilir. Gelir arttıkça gıda harcamasının ortalaması artarken, çok harcayan hanelerde bu artış daha hızlı olabilir; bir eğitim programı başarısı düşük öğrencileri belirgin biçimde yukarı çekip başarılıları pek etkilemeyebilir. Kantil regresyon, dağılımın seçilen her kesimi için ayrı bir regresyon doğrusu kestirerek bu farkları görünür kılar.

τ kantili (0 < τ < 1), değerlerin τ oranının altında kaldığı noktadır; τ = 0,5 medyandır. Kantil regresyon, artıkların karesini değil mutlak değerlerini asimetrik ağırlıklarla toplar: τ = 0,9 için doğrunun üstünde kalan gözlemlerin artıkları daha ağır cezalandırılır, böylece doğru gözlemlerin yaklaşık %90'ının altında kalacağı yere yerleşir. Her kantilin eğimi, açıklayıcı bir birim arttığında o kantilin ne kadar değiştiğini gösterir. Eğimler kantiller boyunca aynıysa açıklayıcı dağılımı yalnızca kaydırır; farklıysa dağılımın genişliğini ya da biçimini de değiştirir.

Yöntem, hataların normal dağılması ya da eşit varyanslı olması varsayımına gerek duymaz ve bağımlı değişkendeki aykırı değerlere karşı ortalama regresyonundan daha dayanıklıdır. Buna karşın uç kantillerde (ör. τ = 0,05 ya da 0,95) az sayıda gözleme dayanıldığı için kestirimler belirsizdir ve büyük örneklem gerekir. Katsayılar koşullu kantillerle ilgilidir; 'üst kantildeki kişiler' gibi bireysel yorumlardan kaçınılmalı, sonuç 'koşullu dağılımın üst kesimi' biçiminde okunmalıdır.

Ne zaman kullanılır?

  • Bir etkinin dağılımın alt, orta ve üst kesimlerinde farklı olmasından şüphelenildiğinde ya da ilginin ortalamada değil uçlarda olduğu durumlarda: gelir ve harcama, maaş eşitsizliği, büyüme eğrisi yüzdelikleri, en kötü durumdaki bekleme ve teslimat süreleri.
  • Yalnız ortalama etki soruluyorsa ve hatalar yaklaşık normal ve eşit varyanslıysa sıradan doğrusal regresyon yeterli ve daha kesindir.
  • Amaç yalnız birkaç aykırı gözlemin ortalama doğrusunu çarpıtmasını önlemekse sağlam regresyon da bir seçenektir; kantil regresyonun medyan (τ = 0,5) doğrusu da bu amaçla kullanılabilir.

Gündelik bir örnek

Bir yemek siparişi şirketi, teslimat süresinin restoran ile müşteri arasındaki mesafeyle nasıl değiştiğini inceliyor. Ortalama regresyonu her ek kilometrenin teslimatı yaklaşık 3 dakika uzattığını gösteriyor. Kantil regresyon ise daha ayrıntılı bir tablo sunabilir: hızlı teslimatlarda (τ = 0,1) her kilometre yaklaşık 2 dakika eklerken, en yavaş teslimatlarda (τ = 0,9) 6 dakika ekleyebilir, çünkü uzun yollarda trafik ve kayıp adres sorunları birikir. Şirket müşteriye 'teslimatların %90'ı şu süre içinde gelir' sözünü verirken ortalama doğrusuna değil τ = 0,9 doğrusuna bakmalıdır.

MerQur'da parametreler

Açıklayıcı(lar) ve Hedef Sütun

Kavram: Bağımlı değişken, kantilleri incelenecek sonuçtur; açıklayıcılar bu kantillerin nasıl değiştiğini açıklaması beklenen değişkenlerdir. Kategorik açıklayıcılar bir temel düzeye göre kukla değişkenlerle girer.

Gündelik örnek: Teslimat süresi bağımlı değişken, mesafe ve yağmur yağıp yağmadığı (evet/hayır) açıklayıcılardır. Yağmur katsayısı τ = 0,9'da büyükse, yağmur en çok zaten yavaş olan teslimatları geciktiriyor demektir.

Ne işe yarar: Bağımlı ve açıklayıcı değişkenleri seçer; kategorik değişkenler kukla değişkenlere açılır.

Sonuca etkisi: Tüm kestirimler.

Doğrulama verisinde: engel, tau = 0.5 eğimi 0.5601806; kesişim 81.4822474.

Quantile'lar (CSV)

Kavram: Her τ değeri, dağılımın kestirilecek bir kesimini tanımlar: τ = 0,25 alt çeyrek, τ = 0,5 medyan, τ = 0,75 üst çeyrektir. Birkaç kantil birlikte kestirilince etkinin dağılım boyunca nasıl değiştiği görülür.

Gündelik örnek: Şirket τ = 0,1, 0,5 ve 0,9 değerlerini seçerse hızlı, tipik ve yavaş teslimatlar için mesafenin etkisini yan yana görür. Yalnız müşteri şikâyetleriyle ilgileniyorsa τ = 0,95 gibi tek bir üst kantil de seçebilir.

Ne işe yarar: Tahmin edilecek tau değerlerini virgülle verir (0 ile 1 arası); varsayılan 0.25, 0.50, 0.75. (0, 1) dışı veya sayı olmayan girdiler atılır ve uyarı yazılır; hiçbiri geçerli değilse varsayılan kullanılır.

Sonuca etkisi: Kestirilen kantiller.

Doğrulama verisinde: engel gelir eğimi tau = 0.25 / 0.5 / 0.75 için 0.4741 / 0.5602 / 0.6440. "0.5, 1.2, abc, 0" girdisi yalnız 0.5'e indirgenir.

→ Yüzdelik (kantil) ve yüzdelik tanımları

SE / GA yöntemi (Robust çekirdek, nid, ker, boot)

Kavram: Kantil regresyon katsayılarının standart hatası, verinin o kantil çevresindeki yoğunluğuna bağlıdır ve farklı yöntemlerle kestirilebilir. Sağlam çekirdek yöntemi tek bir yoğunluk kestirimi kullanır; nid ve ker yöntemleri yoğunluğun açıklayıcıya göre değişmesine, yani değişen varyansa izin verir; bootstrap ise veriyi yeniden örnekleyerek dağılım varsayımı olmadan çalışır.

Gündelik örnek: Kısa mesafelerde teslimat süreleri birbirine yakın, uzun mesafelerde çok dağınıksa varyans mesafeyle artıyordur. Bu durumda nid ya da ker yöntemi, uzun mesafe kestirimlerinin belirsizliğini daha gerçekçi gösterir.

Ne işe yarar: Standart hata yöntemini seçer: robust (Hall-Sheather bandı, Epanechnikov çekirdeği, tek yoğunluk f0 ile sandviç), nid (Hendricks-Koenker), ker (Powell çekirdeği) ve boot (xy bootstrap, B = 200, tohum 42). Katsayılar her yöntemde kesin LP çözümüdür; p ve aralıklar t(n - p) ile verilir. Heteroskedastik veride nid veya ker, küçük n'de boot önerilir (Koenker, 2005).

Sonuca etkisi: SE, p ve güven aralıkları; katsayılar değişmez.

Doğrulama verisinde: engel tau = 0.25 sabit SE: robust 18.550; nid 21.392; ker 24.164.

→ Sağlam (sandviç) standart hatalar (HC0-HC3)

Kantiller arası eğim eşitliği testi (Wald)

Kavram: Bu test, bir açıklayıcının eğiminin seçilen kantillerde aynı olup olmadığını sınar. Eşitlik reddedilirse açıklayıcı dağılımı yalnızca kaydırmıyor, genişliğini ya da biçimini de değiştiriyor demektir.

Gündelik örnek: Mesafenin eğimi τ = 0,1'de 2 dakika, τ = 0,9'da 6 dakika ise test bu farkın şansla açıklanıp açıklanamayacağını söyler. Fark anlamlıysa uzak teslimatlar yalnızca daha uzun sürmekle kalmaz, süreleri de çok daha öngörülemez olur.

Ne işe yarar: Etkinin kantiller arasında farklı olup olmadığını sınar (Koenker-Bassett Wald testi, nid kovaryansı): ortak test ve her eğim için ayrı test. En az iki kantil gerekir.

Sonuca etkisi: Yalnız test tablosu.

Doğrulama verisinde: salary years için W = 3.4026, ki-kare p = 0.1825; ortak F(6, 1371) = 5.5276.

→ Wald testi ve Wald güven aralığı

Grafik (Katsayı eğrileri, Kantil süreci + GA bantları, Uyum grafiği)

Kavram: Katsayı eğrileri ve kantil süreci, bir açıklayıcının katsayısının τ değeri 0'dan 1'e giderken nasıl değiştiğini, güven bandı ve sıradan regresyon katsayısıyla birlikte gösterir. Uyum grafiği ise farklı kantil doğrularını veri noktalarının üzerinde çizer.

Gündelik örnek: Grafik, mesafe katsayısının hızlı teslimatlardan yavaşlara doğru düzenli biçimde yükseldiğini ve sıradan regresyonun 3 dakikalık tek değerinin bu eğrinin ortasında bir yerde kaldığını gösterir. Uyum grafiğinde ise τ = 0,9 doğrusunun uzak mesafelerde giderek daha dik yükseldiği görülür.

Ne işe yarar: Katsayı eğrilerini, tau = 0.05-0.95 ızgarasında kantil sürecini (seçili SE ile güven bandı ve OLS aralığı) ya da serpme grafiğini çizer. Süreç seçildiğinde metne ızgaradaki katsayılar ve aralıklar eklenir.

Sonuca etkisi: Süreç seçeneği metne sayısal çıktı ekler; diğerleri yalnız grafiktir.

Doğrulama verisinde: Süreç grafiği her tau için katsayıyı ve güven aralığını, yanında en küçük kareler katsayısını ve aralığını gösterir.

Kantil tahminlerini ve artıkları veri setine kaydet

Kavram: Her kantil için modelin tahmin ettiği değeri ve gözlenen değerle tahmin arasındaki farkı veri setine ekler. τ kantili için doğru bir modelde gözlemlerin yaklaşık τ oranının artığı negatif olmalıdır.

Gündelik örnek: Her sipariş için τ = 0,9 tahmini kaydedilirse, bu süreyi aşan siparişler otomatik olarak işaretlenebilir. Model iyi çalışıyorsa siparişlerin yaklaşık %10'u bu sınırı aşar.

Ne işe yarar: Her tau için QR_PRED_qXX ve QR_RESID_qXX sütunlarını ekler.

Sonuca etkisi: Yalnız yeni sütunlar.

Doğrulama verisinde: Eklenen sütunlar engel'deki her gözlem için uyum değerini ve artığı içerir.

Güven Düzeyi (%90, %95, %99, özel)

Kavram: Katsayıların güven aralıklarının gerçek değeri ne kadar güvenceyle kapsayacağını belirler. Düzey yükseldikçe aralık genişler.

Gündelik örnek: τ = 0,9'da mesafenin eğimi 6 dakika bulunduysa %95 güvenle gerçek eğimin örneğin 4,8 ile 7,2 dakika arasında olduğu söylenir; %99 istenirse aralık genişler.

Ne işe yarar: Güven aralığı düzeyini belirler (t(n - p)).

Sonuca etkisi: Aralıklar; MerQur ve quantreg'de Hall-Sheather bandında alfa 0.05 sabit olduğundan SE değişmez.

Doğrulama verisinde: engel nid, %90: aralık değişir, SE değişmez.

→ Güven düzeyi ve güven aralığı

Gerçek veride örnek

Veri: Engel 1857 gıda harcaması, quantreg paketi

Değişkenler: hedef foodexp (gıda harcaması), açıklayıcı income (hane geliri)

  • Soru: Belçikalı hanelerde gelir (income) gıda harcamasını (foodexp) dağılımın alt, orta ve üst kısmında aynı biçimde mi etkiler?
  • Model: Kantil regresyon, τ = .25, .50, .75; katsayılar kesin LP çözümü; SE MerQur varsayılanı "robust" (Hall-Sheather bandı, Epanechnikov çekirdeği); N = 235.
  • Sonuç: income eğimi τ = .25'te 0.474 (SE = 0.017), τ = .50'de 0.560 (SE = 0.013), τ = .75'te 0.644 (SE = 0.011); tümü p < .001.
  • Yorum: Eğim kantil arttıkça büyür (heterojen etki): çok harcayan hanelerde gelirin gıda harcamasına etkisi daha güçlüdür. OLS eğimi (0.485) bu farkı gizler.
  • Model uyumu: Sözde R² τ = .25: .554, τ = .50: .621, τ = .75: .697.
  • Sınırlılık: "Robust" SE tek yoğunluk f0 ile sandviç tanımına dayanır; nid SE'ler daha geniştir (τ = .25 sabit: 21.39 ve 18.55).
  • APA: Kantil regresyon (N = 235): τ = .25: b = 0.474, SE = 0.017; τ = .50: b = 0.560, SE = 0.013; τ = .75: b = 0.644, SE = 0.011; tümü p < .001.

İlgili kavramlar

Yüzdelik (kantil) ve yüzdelik tanımlarıWald testi ve Wald güven aralığıSaçılım (dağılım) grafiğiStandart hataSağlam (sandviç) standart hatalar (HC0-HC3)Bant genişliği (çekirdek yumuşatma)Değişen varyans (heteroskedastisite)En küçük kareler (OLS) yöntemi

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.