MerQuR+Başvuru Kitabı

209. Küçük alan kestirimi: Fay-Herriot modeli ve EBLUP

Şablon kimliği: kucuk_alan · Kategori: anket · Dil: R · Dosya: pro/sablonlar/anket/kucuk_alan.R (satır 1–178; üstbilgi 1–71) · Örnek veri: _ornek/eusilc_fh.csv · Paketler: sae 1.3

209.1 Ne işe yarar

Anketler ulusal ya da bölgesel düzeyde tasarlanır; il ya da ilçe gibi küçük alanlarda örnek birim sayısı azdır ve alanın doğrudan (yalnız o alanın örneğine dayanan) kestirimi çok değişkendir. Şablon, her alan için doğrudan kestirimi, alan düzeyindeki yardımcı değişkenlerle (sayım ya da idari kayıtlardan bilinen alan ortalamaları) birleştirerek güçlendirir. Model Fay ve Herriot (1979) alan düzeyi modelidir:

\hat y_d=\theta_d+e_d,\qquad \theta_d=\mathbf x_d^{\top}\boldsymbol\beta+u_d,\qquad u_d\sim N(0,A),\ e_d\sim N(0,D_d)
  • d=1,\dots,m: alan; \hat y_d: doğrudan anket kestirimi (alan ortalaması ya da oranı); \theta_d: alanın gerçek, bilinmeyen değeri.
  • \mathbf x_d: alan düzeyi yardımcı değişkenler (sabit terim dahil); \boldsymbol\beta: bağlanım katsayıları.
  • u_d: alana özgü rastgele etki, varyansı A (alanlar arası varyans); bilinmez ve kestirilir.
  • e_d: örnekleme hatası, varyansı D_d; bilinen kabul edilir (anketten kestirilmiş örnekleme varyansı).

Kestirici EBLUP (deneysel en iyi doğrusal yansız yordayıcı), doğrudan kestirim ile bağlanım kestiriminin ağırlıklı ortalamasıdır:

\tilde\theta_d=\gamma_d\,\hat y_d+(1-\gamma_d)\,\mathbf x_d^{\top}\hat{\boldsymbol\beta},\qquad \gamma_d=\frac{\hat A}{\hat A+D_d}
  • \gamma_d: büzülme ağırlığı. Doğrudan kestirimin varyansı D_d büyükse (az örnekli alan) \gamma_d küçülür ve kestirim bağlanım değerine "büzülür"; D_d küçükse doğrudan kestirime güvenilir.
  • \hat A: alanlar arası varyans kestirimi; \hat{\boldsymbol\beta}: genelleştirilmiş en küçük kareler kestirimi (209.4).

Ne zaman kullanılır? Alan sayısı yeterince fazlaysa (en az yordayıcı sayısı + 5), her alanın doğrudan kestirimi ve onun örnekleme varyansı biliniyorsa ve alan düzeyinde hedefle ilişkili bir yardımcı değişken varsa.

Ne zaman kullanılmaz?

  • Örnekleme varyansı bilinmiyorsa ya da kestirilmemişse (Fay-Herriot D_d'yi veri sayar): önce ağırlıklı kestirimi ve varyansını üretin (temel programdaki Weighted Mean (Survey Means)).
  • Birim düzeyi veri ve birim düzeyi yardımcı değişkenler varsa (birim düzeyi model): bu şablonda yok; karma model için temel programdaki LMM (Linear Mixed Models) ya da MerQuR+'ta glmer_ileri.
  • Eksik veriyi atamak için: sicak_deste (Bölüm 211).
  • Ağırlıkları nüfus toplamlarına uydurmak için: kalibrasyon_raking (Bölüm 208).
  • Alan etkisini rastgele değil sabit saymak istiyorsanız: yordayıcı olarak alan göstergesi eklemek m parametre ister; bu şablonda m\ge p+5 sınırı vardır.

Temel programla ilişki. Temel programda küçük alan kestirimi (Fay-Herriot, EBLUP, MSE) yoktur. En yakın analizler: Weighted Mean (Survey Means) alan (alt grup) bazında doğrudan kestirim ve Taylor SH'si verir (stats/survey_design.py, stats/survey_extras.py); yani bu şablonun girdisi olan \hat y_d ve D_d=\mathrm{SH}^2 temel programda üretilebilir. LMM rastgele etkili bağlanım uydurur ve REML kullanır, ancak D_d gibi bilinen hata varyansı almaz ve alan başına tek gözlem (doğrudan kestirim) için tasarlanmamıştır; Fay-Herriot, D_d bilinen ve A kestirilen özel bir karma modeldir. Bu nedenle LMM ile aynı sonuç elde edilmez.

209.2 Şablonun girdileri

Form, üstbilgideki dokuz [[param]] bloğundan kurulur (kucuk_alan.R:10–70).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Doğrudan kestirim · y sayısal sütun · Değişkenler boş sayısal \hat y_d (97); varyans ile aynı sütun olamaz (77).
Örnekleme varyansı / SH · varyans sayısal sütun · Değişkenler boş pozitif D_d (98); \le 0 ise hata (100).
Bu sütun · varyans_turu seçim · Seçenekler varyans varyans, sh sh ise sütunun karesi alınır (99).
Yardımcı değişkenler · x sütunlar · Değişkenler boş (isteğe bağlı) sayısal ya da kategorik \mathbf x_d (78, 102–111); boşsa yalnız sabit terim.
Alan kimliği · alan kategorik sütun · Değişkenler boş (isteğe bağlı) herhangi sütun Alan etiketi (79, 162–163); boşsa 1…m.
A kestirimi · yontem seçim · Model REML REML, ML, FH mseFH(method =) (114–148).
En çok yineleme · en_cok_yineleme tamsayı · Gelişmiş 1000 10–100000 MAXITER (114–148).
Yakınsama duyarlığı · tolerans ondalık · Gelişmiş 10^{-10} 10^{-16}–0,01 PRECISION (114–148).
Güvenilirlik eşiği: CV (%) · cv_esik ondalık · Çıktı 20 1–100 Özet iletide eşiği aşan alan sayısı (168–169).

Örnek ayar (ornek_param, satır 9): y = Mean, varyans = Var_Mean, varyans_turu = varyans, x = [cash, self_empl], alan = Domain, yontem = REML.

Şablonun kendi denetimleri (mq_hata):

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde alan düzeyi veriyi açın." 75
y ve varyans aynı sütun "Doğrudan kestirim ve varyans sütunları farklı olmalı." 77
m<p+5 "Alan sayısı model için yetersiz (en az yordayıcı sayısı + 5)." 83
D\le 0 "Örnekleme varyansları pozitif olmalı." 87
y sabit "Doğrudan kestirimler sabit." 88
Kategorik yordayıcı tek düzeyli "'…' tek düzeyli; yordayıcılardan çıkarın." 94
Sayısal yordayıcı sabit "'…' sabit; yordayıcılardan çıkarın." 95
Eş doğrusallık "Yordayıcılar doğrusal bağımlı (eş doğrusallık)." 99
Model kestirilemedi "Fay-Herriot modeli kestirilemedi: …" (paket iletisi) 102

209.3 Örnek veri

eusilc_fh.csv: Avusturya'nın 94 ilçesi (Domain), gelir ve yaşam koşulları anketi (EU-SILC) verisinden alan düzeyine indirilmiş (emdi paketi vinyeti; Kreutzmann ve ark., 2019). Eksik değer yok.

Değişken Rol Tür (veri sekmesi) Özet
Domain alan kimliği kategorik 94 ilçe
Mean doğrudan kestirim sayısal ortalama gelir; 8817–78 548 (ortalama 18 884)
Var_Mean örnekleme varyansı sayısal 2,70·10⁵–7,93·10⁷ (ortanca 1,89·10⁶)
n alan örnek büyüklüğü sayısal 5–200 (şablonda kullanılmaz)
cash yordayıcı sayısal nakit gelir ortalaması; 4096–23 720
self_empl yordayıcı sayısal serbest çalışma geliri; 0–20 392
unempl_ben (kullanılmıyor) sayısal işsizlik yardımı

Kategorik yordayıcıda düzey sırası ilk görülme sırasıdır; ilk düzey başvurudur (örn. grup = cok, orta, az: başvuru cok; ku_kat). Metin ya da mantıksal sütun factor() ile alfabetik düzeylendirilir (104–106); yani iki ayrı tür aynı şablonda farklı sırayı doğurabilir.

Bölümde kullanılan çalıştırmalar (dogrulama/kucuk_alan/isler.py): ku_ornek (REML), ku_ml, ku_fh, ku_sh (SH sütunu), ku_xsiz (yalnız sabit terim), ku_tek_x, ku_uc_x, ku_kat (kategorik yordayıcı), ku_sifir_A* (benzetim: A = 0), ku_ml_sae_esigi ve ku_reml_sae_esigi (sae varsayılan eşiği 10^{-4}), ku_h_* (uç ve hata durumları). Şablon rastgele sayı üretmez; sonuç tohumdan bağımsızdır (Tohum alanı ortak bölüm 1.3'teki gibi yalnız künyeye yazılır).

209.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) A kestirilir; (2) A biliniyormuşçasına \boldsymbol\beta GLS ile bulunur; (3) EBLUP ve büzülme ağırlığı hesaplanır; (4) ortalama kare hatası (MSE) hesaplanır.

209.4.1 A'nın kestirimi

Üç yöntem vardır; hepsi V_d=A+D_d ve \hat{\boldsymbol\beta}(A)=\bigl(\sum V_d^{-1}\mathbf x_d\mathbf x_d^\top\bigr)^{-1}\sum V_d^{-1}\mathbf x_d\hat y_d üzerinden yürür.

  • REML (varsayılan). Kısıtlı olabilirliğin skor denklemi sıfıra eşitlenir: -\tfrac12\operatorname{tr}\mathbf P+\tfrac12\,\hat{\mathbf y}^\top\mathbf P^2\hat{\mathbf y}=0, \mathbf P=\mathbf V^{-1}-\mathbf V^{-1}\mathbf X(\mathbf X^\top\mathbf V^{-1}\mathbf X)^{-1}\mathbf X^\top\mathbf V^{-1}.
  • ML. Tam olabilirliğin skor denklemi: -\tfrac12\sum V_d^{-1}+\tfrac12\sum V_d^{-2}r_d^2=0, r_d=\hat y_d-\mathbf x_d^\top\hat{\boldsymbol\beta}.
  • FH (momentler). \sum V_d^{-1}r_d^2=m-p (Fay ve Herriot, 1979).

Çözüm A<0 çıkarsa \hat A=0 alınır.

Neden REML varsayılan?

ML, \boldsymbol\beta'nın kestirimindeki serbestlik derecesi kaybını hesaba katmaz ve A'yı aşağı çeker; REML bunu düzeltir (Rao ve Molina, 2015). Küçük m'de fark belirgindir: örnek veride REML \hat A=1\,464\,702, ML 1\,371\,195, FH 1\,970\,958.

Koddaki tercih

sae::mseFH(formula, vardir, method, MAXITER, PRECISION, data) (114–148). Paket A'yı Fisher puanlama ile bulur: başlangıç A_0=\operatorname{ortanca}(D_d), durma ölçütü |A_{k+1}-A_k|/A_k< PRECISION. Şablon varsayılan eşiği 10^{-10} yapar (sae'de 10^{-4}): ku_ml_sae_esigi (10^{-4}) \hat A=1{,}37121\cdot10^{6} (5 yineleme), ku_ml (10^{-10}) 1{,}371195\cdot10^{6} verir; fark yaklaşık 15 birimdir.

Paket varsayılanı ile şablon tercihi farklı

Şablon PRECISION = 1e-10 ve MAXITER = 1000 kullanır; MAXITER ya da eşik sıkı seçilip yakınsama sağlanamazsa paket yalnız yakınsama bayrağı döndürür; şablon bu bayrağı okur ve çalıştırmayı durdurur (209.8).

209.4.2 \hat{\boldsymbol\beta}, EBLUP ve büzülme

\hat{\boldsymbol\beta}=\bigl(\mathbf X^\top\mathbf V^{-1}\mathbf X\bigr)^{-1}\mathbf X^\top\mathbf V^{-1}\hat{\mathbf y}, \operatorname{Var}(\hat{\boldsymbol\beta})=\bigl(\mathbf X^\top\mathbf V^{-1}\mathbf X\bigr)^{-1}; SH bunun köşegeninin karekökü, z=\hat\beta/\mathrm{SH}, p=2\{1-\Phi(|z|)\} (şablonun katsayı tablosu; 107–111). EBLUP yukarıdaki formüldür. Katsayı tablosundaki p değerleri A'nın kestirim belirsizliğini hesaba katmaz.

209.4.3 Ortalama kare hatası

Üç bileşen: g_{1d}=D_d(1-B_d) (örnekleme belirsizliği, B_d=D_d/(A+D_d)=1-\gamma_d), g_{2d}=B_d^2\,\mathbf x_d^\top\mathbf Q\mathbf x_d (\boldsymbol\beta belirsizliği, \mathbf Q=\operatorname{Var}\hat{\boldsymbol\beta}), g_{3d}=B_d^2\,\mathrm{Var}(\hat A)/(A+D_d) (A belirsizliği). Yöntemlere göre:

\widehat{\mathrm{MSE}}_d=g_{1d}+g_{2d}+2g_{3d}\ (\text{REML, Prasad-Rao});\qquad g_{1d}+g_{2d}+2g_{3d}-b\,B_d^2\ (\text{ML, FH})
  • \mathrm{Var}(\hat A)=2/\sum V_d^{-2} (REML, ML); FH'de 2m/(\sum V_d^{-1})^2.
  • b: yanlılık düzeltmesi: ML'de -\operatorname{tr}\{\mathbf Q\,\mathbf X^\top\mathrm{diag}(V_d^{-2})\mathbf X\}/\sum V_d^{-2}; FH'de 2\bigl(m\sum V_d^{-2}-(\sum V_d^{-1})^2\bigr)/(\sum V_d^{-1})^3 (Datta ve ark., 2005). REML'de b=0 (Prasad ve Rao, 1990).

Neden g_3 iki kez?

\hat A kestiriminin belirsizliği EBLUP'a iki yoldan girer (ağırlığın ve bağlanım kestiriminin üzerinden); ikili katkı Prasad-Rao yaklaşımının sonucudur ve m büyükken ikinci derece terimdir.

Değişim katsayıları: doğrudan \mathrm{CV}=100\sqrt{D_d}/|\hat y_d|; EBLUP \mathrm{CV}=100\sqrt{\widehat{\mathrm{MSE}}_d}/|\tilde\theta_d| (162–163).

209.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
72–77 .m; sae yüklenir; veri ve sütun denetimi. y ile varyans aynı olamaz.
78–95 Yordayıcı ve alan sütunları; complete.cases ile eksik satırlar çıkarılır. Çıkarılan alanlar adları ve satır numaralarıyla not olarak yazılır (81–87); yinelenen alan adı uyarılır (90–95).
96–101 m\ge p+5; D (\mathrm{SH} ise karesi); D>0; y sabit değil.
102–111 Yordayıcılar: metin/mantıksal sütun factor olur (alfabetik), sabit sütun reddedilir. Kategorik düzeylerin sırası 209.3.
112–113 Model matrisi ve eş doğrusallık (qr).
113–118 mseFH çağrısı (uydur); uyarılar toplanır. Paket hatası ve yakınsama bayrağı ayrıca sınanır; hata fırlatılmaz, nesne olarak döner.
119–148 Yakınsama başarısızsa: ML/FH'de A=0 sınırı bağımsız sınanır, sınırdaysa REML uydurması kullanılır (121–136); değilse çalıştırma açık iletiyle durur (138–147). Yakınsamamış sonuç hiçbir zaman "yakınsadı" gibi sunulmaz.
149–155 Uydurma sonucu; katsayı tablosu (\hat\beta, SH, z, p) ve ilk satır.
156–159 Model uyumu: A, log-olabilirlik, AIC, BIC, yineleme. Log-olabilirlik REML'de de tam olabilirliktir (B5).
160–167 Alan tablosu: doğrudan, D, EBLUP, MSE, iki CV, \gamma. Doğrudan CV ortancası %100'ü aşarsa varyans türünü gözden geçirmeyi söyleyen uyarı yazılır (165–167).
168–171 CV eşiğini aşan alan sayısı (özet ileti); uyarı satırı.
172–177 Alanlar D'ye göre büyükten küçüğe sıralanır; doğrudan (açık daire) ve EBLUP (dolu) grafiği. Büzülmeyi gösterir.

209.6 Elle hesap: örnek veride bağımsız yeniden hesap

Bağımsız hesaplar dogrulama/kucuk_alan/elle_hesap.py (numpy/scipy; A kök bulma brentq ile, Fisher puanlama kullanılmadan; sae ve şablon çağrılmaz) ve r_dogrulama.R (yalnız temel R: optimize ve uniroot; REML için kısıtlı olabilirlik doğrudan en iyilenir) ile yapılmıştır.

Adım 1 — \hat A. REML: \hat A=1\,464\,702{,}0571; ML: 1\,371\,194{,}6961; FH: 1\,970\,958{,}1295. Üç hesapta (şablon, Python, R) aynıdır; ML değeri vinyetteki 1\,371\,195 ile uyuşur.

Adım 2 — \hat{\boldsymbol\beta} (REML). (3075{,}1785;\ 1{,}058246;\ 1{,}753231); SH (646{,}6495;\ 0{,}071538;\ 0{,}222141); z=(4{,}7556;\ 14{,}7927;\ 7{,}8924). ML için (3070{,}5123;\ 1{,}059385;\ 1{,}745636), SH (635{,}9429;\ 0{,}070490;\ 0{,}220174): vinyet 3070{,}51231, 1{,}05939, 1{,}74564 (SH 635{,}94290; 0{,}07049; 0{,}22017).

Adım 3 — İlk alan (Amstetten, REML). \hat y_1=14\,768{,}5693, D_1=926\,167{,}37, \mathbf x_1^\top\hat{\boldsymbol\beta}=13\,463{,}0962; \gamma_1=1\,464\,702/(1\,464\,702+926\,167)=0{,}612623; \tilde\theta_1=0{,}612623\cdot14\,768{,}5693+0{,}387377\cdot13\,463{,}0962=14\,262{,}8593.

Adım 4 — MSE (REML). g_1=567\,391{,}61; g_2=7407{,}42; \mathrm{Var}(\hat A)=1{,}9446\cdot10^{11}; g_3=12\,204{,}86; \widehat{\mathrm{MSE}}_1=567\,391{,}61+7407{,}42+2\cdot12\,204{,}86=599\,208{,}75; CV =100\sqrt{599\,208{,}75}/14\,262{,}86=5{,}427\,\%.

Adım 5 — Model uyumu. REML için tam log-olabilirlik -847{,}8506; \mathrm{AIC}=1703{,}701; \mathrm{BIC}=1713{,}874 (p+1=4 parametre). ML: -847{,}8303; 1703{,}661; 1713{,}834 (vinyet).

209.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
eusilc REML: A 1,464702·106 1,464702·106 1,464702·106 1,7e−8 ✓
eusilc REML: katsayı 1 3075,17850499 3075,17850499 3075,17850377 4,0e−10 ✓
eusilc REML: SH 1 646,6495112 646,6495112 646,64950846 4,2e−9 ✓
eusilc REML: katsayı 2 1,05824597 1,05824597 1,05824597 2,8e−10 ✓
eusilc REML: SH 2 0,07153834 0,07153834 0,07153834 2,7e−10 ✓
eusilc REML: katsayı 3 1,75323074 1,75323074 1,75323074 1,1e−9 ✓
eusilc REML: SH 3 0,22214121 0,22214121 0,22214121 5,0e−10 ✓
eusilc REML: log-olabilirlik −847,85056038 −847,85056038 −847,85056037 1,2e−11 ✓
eusilc REML: AIC 1703,70112076 1703,70112076 — 7,1e−15 ✓
eusilc REML: BIC 1713,87429989 1713,87429989 — 7,0e−15 ✓
eusilc REML: EBLUP (1. alan) 14262,85931918 14262,85931917 14262,85931399 3,6e−10 ✓
eusilc REML: EBLUP (son alan) 10405,97380198 10405,97380198 10405,97380053 1,4e−10 ✓
eusilc REML: MSE (1. alan) 5,992087·105 5,992087·105 5,992087·105 5,5e−9 ✓
eusilc REML: MSE toplamı 1,016413·108 1,016413·108 1,016413·108 7,9e−9 ✓
eusilc REML: büzülme γ (1. alan) 0,61262319 0,61262319 0,61262319 3,9e−9 ✓
eusilc REML: CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc REML: CV EBLUP (ortalama) 5,57733236 5,57733236 — 3,0e−12 ✓
eusilc ML: A 1,371195·106 1,371195·106 1,371195·106 4,4e−8 ✓
eusilc ML: katsayı 1 3070,51230273 3070,51230273 3070,51230571 9,7e−10 ✓
eusilc ML: SH 1 635,94288273 635,94288273 635,9428897 1,1e−8 ✓
eusilc ML: katsayı 2 1,05938499 1,05938499 1,05938499 7,0e−10 ✓
eusilc ML: SH 2 0,07049025 0,07049025 0,07049025 6,8e−10 ✓
eusilc ML: katsayı 3 1,7456364 1,7456364 1,7456364 2,8e−9 ✓
eusilc ML: SH 3 0,22017393 0,22017393 0,22017393 1,3e−9 ✓
eusilc ML: log-olabilirlik −847,83029263 −847,83029263 −847,83029263 5,4e−16 ✓
eusilc ML: AIC 1703,66058526 1703,66058526 — 2,8e−15 ✓
eusilc ML: BIC 1713,83376438 1713,83376438 — 2,9e−15 ✓
eusilc ML: EBLUP (1. alan) 14242,04452834 14242,04452834 14242,04454226 9,8e−10 ✓
eusilc ML: EBLUP (son alan) 10400,14853315 10400,14853315 10400,14853705 3,7e−10 ✓
eusilc ML: MSE (1. alan) 5,990106·105 5,990106·105 5,990106·105 1,4e−8 ✓
eusilc ML: MSE toplamı 1,010771·108 1,010771·108 1,010771·108 2,0e−8 ✓
eusilc ML: büzülme γ (1. alan) 0,59685616 0,59685616 0,59685617 1,1e−8 ✓
eusilc ML: CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc ML: CV EBLUP (ortalama) 5,56919922 5,56919922 — 8,6e−13 ✓
eusilc FH momentler: A 1,970958·106 1,970958·106 1,970958·106 1,0e−11 ✓
eusilc FH momentler: katsayı 1 3101,65764393 3101,65764393 3101,65764393 4,3e−13 ✓
eusilc FH momentler: SH 1 700,51389307 700,51389307 700,51389307 2,9e−12 ✓
eusilc FH momentler: katsayı 2 1,05231884 1,05231884 1,05231884 2,4e−13 ✓
eusilc FH momentler: SH 2 0,07678841 0,07678841 0,07678841 1,9e−13 ✓
eusilc FH momentler: katsayı 3 1,79051964 1,79051964 1,79051964 8,0e−13 ✓
eusilc FH momentler: SH 3 0,23188983 0,23188983 0,23188983 3,6e−13 ✓
eusilc FH momentler: log-olabilirlik −848,4937119 −848,4937119 −848,4937119 4,6e−14 ✓
eusilc FH momentler: AIC 1704,9874238 1704,9874238 — 4,7e−14 ✓
eusilc FH momentler: BIC 1715,16060293 1715,16060293 — 4,7e−14 ✓
eusilc FH momentler: EBLUP (1. alan) 14352,35356317 14352,35356318 14352,35356318 2,1e−13 ✓
eusilc FH momentler: EBLUP (son alan) 10430,99925568 10430,99925568 10430,99925568 8,1e−14 ✓
eusilc FH momentler: MSE (1. alan) 6,569625·105 6,569625·105 6,569625·105 2,8e−12 ✓
eusilc FH momentler: MSE toplamı 1,167235·108 1,167235·108 1,167235·108 4,6e−12 ✓
eusilc FH momentler: büzülme γ (1. alan) 0,68031507 0,68031507 0,68031507 2,2e−12 ✓
eusilc FH momentler: CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc FH momentler: CV EBLUP (ortalama) 5,97146401 5,97146401 — 2,2e−12 ✓
eusilc REML, yalnız sabit terim: A 4,717019·107 4,717019·107 4,717019·107 1,5e−8 ✓
eusilc REML, yalnız sabit terim: katsayı 1 18306,63394038 18306,63394038 18306,63393582 2,5e−10 ✓
eusilc REML, yalnız sabit terim: SH 1 728,46452764 728,46452765 728,46452253 7,0e−9 ✓
eusilc REML, yalnız sabit terim: log-olabilirlik −976,75533835 −976,75533835 −976,75533834 7,2e−12 ✓
eusilc REML, yalnız sabit terim: AIC 1957,5106767 1957,5106767 — 5,2e−15 ✓
eusilc REML, yalnız sabit terim: BIC 1962,59726627 1962,59726627 — 5,2e−15 ✓
eusilc REML, yalnız sabit terim: EBLUP (1. alan) 14836,70006539 14836,70006539 14836,70006629 6,1e−11 ✓
eusilc REML, yalnız sabit terim: EBLUP (son alan) 10670,71704869 10670,71704869 10670,717051 2,2e−10 ✓
eusilc REML, yalnız sabit terim: MSE (1. alan) 9,093410·105 9,093410·105 9,093410·105 2,7e−10 ✓
eusilc REML, yalnız sabit terim: MSE toplamı 2,425250·108 2,425250·108 2,425250·108 2,2e−9 ✓
eusilc REML, yalnız sabit terim: büzülme γ (1. alan) 0,9807435 0,9807435 0,9807435 2,8e−10 ✓
eusilc REML, yalnız sabit terim: CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc REML, yalnız sabit terim: CV EBLUP (ortalama) 8,22223887 8,22223887 — 2,7e−13 ✓
eusilc REML, tek yordayıcı (cash): A 2,221611·106 2,221611·106 — 2,1e−11 ✓
eusilc REML, tek yordayıcı (cash): katsayı 1 992,42392242 992,42392241 — 9,7e−12 ✓
eusilc REML, tek yordayıcı (cash): SH 1 669,86410763 669,86410763 — 6,0e−12 ✓
eusilc REML, tek yordayıcı (cash): katsayı 2 1,4622581 1,4622581 — 7,1e−13 ✓
eusilc REML, tek yordayıcı (cash): SH 2 0,05793005 0,05793005 — 3,2e−13 ✓
eusilc REML, tek yordayıcı (cash): log-olabilirlik −878,28811863 −878,28811863 — 1,4e−14 ✓
eusilc REML, tek yordayıcı (cash): AIC 1762,57623726 1762,57623726 — 1,6e−14 ✓
eusilc REML, tek yordayıcı (cash): BIC 1770,2061216 1770,2061216 — 1,6e−14 ✓
eusilc REML, tek yordayıcı (cash): EBLUP (1. alan) 14405,62369839 14405,6236984 — 3,6e−13 ✓
eusilc REML, tek yordayıcı (cash): EBLUP (son alan) 10011,34910459 10011,3491046 — 5,8e−13 ✓
eusilc REML, tek yordayıcı (cash): MSE (1. alan) 6,768314·105 6,768314·105 — 5,4e−12 ✓
eusilc REML, tek yordayıcı (cash): MSE toplamı 1,012469·108 1,012469·108 — 1,0e−11 ✓
eusilc REML, tek yordayıcı (cash): büzülme γ (1. alan) 0,70577112 0,70577112 — 4,4e−12 ✓
eusilc REML, tek yordayıcı (cash): CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc REML, tek yordayıcı (cash): CV EBLUP (ortalama) 6,10513055 6,10513055 — 4,5e−12 ✓
eusilc REML, SH sütunu (karesi alınır): A 1,464702·106 1,464702·106 — 1,3e−11 ✓
eusilc REML, SH sütunu (karesi alınır): katsayı 1 3075,17850499 3075,17850499 — 3,1e−13 ✓
eusilc REML, SH sütunu (karesi alınır): SH 1 646,6495112 646,6495112 — 3,2e−12 ✓
eusilc REML, SH sütunu (karesi alınır): katsayı 2 1,05824597 1,05824597 — 2,3e−13 ✓
eusilc REML, SH sütunu (karesi alınır): SH 2 0,07153834 0,07153834 — 2,0e−13 ✓
eusilc REML, SH sütunu (karesi alınır): katsayı 3 1,75323074 1,75323074 — 8,6e−13 ✓
eusilc REML, SH sütunu (karesi alınır): SH 3 0,22214121 0,22214121 — 3,8e−13 ✓
eusilc REML, SH sütunu (karesi alınır): log-olabilirlik −847,85056038 −847,85056038 — 9,5e−15 ✓
eusilc REML, SH sütunu (karesi alınır): AIC 1703,70112076 1703,70112076 — 7,2e−15 ✓
eusilc REML, SH sütunu (karesi alınır): BIC 1713,87429989 1713,87429989 — 7,2e−15 ✓
eusilc REML, SH sütunu (karesi alınır): EBLUP (1. alan) 14262,85931918 14262,85931917 — 2,8e−13 ✓
eusilc REML, SH sütunu (karesi alınır): EBLUP (son alan) 10405,97380198 10405,97380198 — 1,0e−13 ✓
eusilc REML, SH sütunu (karesi alınır): MSE (1. alan) 5,992087·105 5,992087·105 — 4,2e−12 ✓
eusilc REML, SH sütunu (karesi alınır): MSE toplamı 1,016413·108 1,016413·108 — 6,0e−12 ✓
eusilc REML, SH sütunu (karesi alınır): büzülme γ (1. alan) 0,61262319 0,61262319 — 3,0e−12 ✓
eusilc REML, SH sütunu (karesi alınır): CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc REML, SH sütunu (karesi alınır): CV EBLUP (ortalama) 5,57733236 5,57733236 — 3,0e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): A 2,230497·106 2,230497·106 — 9,4e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): katsayı 1 1381,05952976 1381,05952976 — 4,1e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): SH 1 868,68311246 868,68311246 — 2,7e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): katsayı 2 1,4596834 1,4596834 — 3,9e−13 ✓
eusilc REML, kategorik yordayıcı (cash + grup): SH 2 0,06416182 0,06416182 — 1,5e−13 ✓
eusilc REML, kategorik yordayıcı (cash + grup): log-olabilirlik −876,66494791 −876,66494791 — 1,3e−14 ✓
eusilc REML, kategorik yordayıcı (cash + grup): AIC 1763,32989582 1763,32989582 — 1,2e−14 ✓
eusilc REML, kategorik yordayıcı (cash + grup): BIC 1776,04636973 1776,04636973 — 1,2e−14 ✓
eusilc REML, kategorik yordayıcı (cash + grup): EBLUP (1. alan) 14514,19167848 14514,19167848 — 9,9e−14 ✓
eusilc REML, kategorik yordayıcı (cash + grup): EBLUP (son alan) 10050,12212424 10050,12212424 — 2,6e−13 ✓
eusilc REML, kategorik yordayıcı (cash + grup): MSE (1. alan) 6,874885·105 6,874885·105 — 2,3e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): MSE toplamı 1,036021·108 1,036021·108 — 4,4e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): büzülme γ (1. alan) 0,70659937 0,70659937 — 1,9e−12 ✓
eusilc REML, kategorik yordayıcı (cash + grup): CV doğrudan (ortalama) 8,4478157 8,4478157 — 0 ✓
eusilc REML, kategorik yordayıcı (cash + grup): CV EBLUP (ortalama) 6,1656846 6,1656846 — 1,9e−12 ✓
simülasyon: A = 0 (REML): A 0 0 0 0 ✓
simülasyon: A = 0 (REML): katsayı 1 49,78424881 49,78424881 49,78424881 1,0e−15 ✓
simülasyon: A = 0 (REML): SH 1 0,62712463 0,62712463 0,62712463 2,2e−16 ✓
simülasyon: A = 0 (REML): katsayı 2 1,89768947 1,89768947 1,89768947 5,3e−15 ✓
simülasyon: A = 0 (REML): SH 2 0,63069521 0,63069521 0,63069521 1,1e−16 ✓
simülasyon: A = 0 (REML): log-olabilirlik −66,6892939 −66,6892939 −66,6892939 2,1e−16 ✓
simülasyon: A = 0 (REML): AIC 139,3785878 139,3785878 — 1,2e−15 ✓
simülasyon: A = 0 (REML): BIC 143,58217995 143,58217995 — 2,0e−15 ✓
simülasyon: A = 0 (REML): EBLUP (1. alan) 47,33733243 47,33733243 47,33733243 0 ✓
simülasyon: A = 0 (REML): EBLUP (son alan) 51,00240676 51,00240676 51,00240676 5,6e−16 ✓
simülasyon: A = 0 (REML): MSE (1. alan) 1,30602964 1,30602964 1,30602964 1,7e−15 ✓
simülasyon: A = 0 (REML): MSE toplamı 54,2512779 54,2512779 54,2512779 2,6e−16 ✓
simülasyon: A = 0 (REML): büzülme γ (1. alan) 0 0 0 0 ✓
simülasyon: A = 0 (REML): CV doğrudan (ortalama) 7,54070598 7,54070598 — 1,2e−16 ✓
simülasyon: A = 0 (REML): CV EBLUP (ortalama) 2,65912062 2,65912062 — 3,3e−16 ✓
yayımlanmış: ML A (vinyet 1371195) 1,371195·106 1,371195·106 — 2,2e−7 ✓
yayımlanmış: ML (Intercept) (3070,51231) 3070,51230273 3070,51231 — 2,4e−9 ✓
yayımlanmış: ML cash (1,05939) 1,05938499 1,05939 — 4,7e−6 ✓
yayımlanmış: ML self_empl SH (0,22017) 0,22017393 0,22017 — 3,9e−6 ✓
yayımlanmış: ML log-olabilirlik (−847,8303) −847,83029263 −847,8303 — 8,7e−9 ✓
yayımlanmış: ML AIC (1703,661) 1703,66058526 1703,661 — 2,4e−7 ✓
yayımlanmış: ML BIC (1713,834) 1713,83376438 1713,834 — 1,4e−7 ✓

Ölçütü karşılayan: 133/133. Bağımsız kolda A, Fisher puanlama yerine kök bulma (brentq; R kolunda optimize/uniroot) ile kestirildi; MSE formülleri Prasad-Rao, Datta-Lahiri ve Datta ve ark. açık formülleridir. Ölçüt 10⁻⁶: şablonun yineleme eşiği (bağıl değişim 10⁻¹⁰) A'yı yaklaşık 10⁻⁸ göreli duyarlıkla bırakır. Şablonun kullandığı eşik 10⁻¹⁰'dur (sae varsayılanı 10⁻⁴: 209.8).

Ek denetimler: A = 0 olan benzetim verisinde (30 alan) REML üç hesapta \hat A=0, katsayılar (49{,}7842;\ 1{,}8977) ve \gamma_d=0 (EBLUP = bağlanım kestirimi). ML ve FH'de paketin yinelemesi bu sınırda ilerleyemez; şablon sınırı bağımsız sınar (ML için \sum r_i^2/D_i^2\le\sum 1/D_i; FH için \sum r_i^2/D_i\le m-p, r ağırlığı 1/D olan GLS artığı) ve sınırdaysa A=0 sınırında REML uydurmasını kullanır: katsayılar, SH, EBLUP ve log-olabilirlik aynıdır, MSE Prasad-Rao kestiricisiyle verilir (209.8).

209.7 Çıktıyı okuma

m = 94 alan; yöntem: REML; A = 1,4647e+06 (11 yineleme)
Ortalama CV: doğrudan %8,45, EBLUP %5,58; CV > %20 olan alan: doğrudan 1, EBLUP 0.
-- Regresyon katsayıları (GLS)
 terim          kestirim         SH        z          p
 (Intercept)  3075.178505  646.649511   4.7556   1.98e-06
 cash            1.058246    0.071538  14.7927   1.63e-49
 self_empl       1.753231    0.222141   7.8924   2.96e-15
-- Model uyumu
 alan varyansı A  1.464702e+06 | log-olabilirlik -847.8506 | AIC 1703.701 | BIC 1713.874 | yineleme 11
-- Alan kestirimleri (MSE: Prasad-Rao)
 alan       dogrudan     varyans_D     EBLUP        MSE     CV_dogr  CV_EBLUP  buzulme_gamma
 Amstetten  14768.569    9.2617e+05   14262.859   5.9921e+05  6.516    5.427     0.6126
 Baden      21995.725    4.4653e+05   21636.137   3.5606e+05  3.038    2.758     0.7664
Öğe Ne yazar Nasıl yorumlanır
İlk satır Alan sayısı, yöntem, \hat A ve yineleme. \hat A=0 ise alan etkisi yoktur; EBLUP bağlanım kestirimine eşit olur.
Katsayı tablosu GLS katsayıları, SH, z, p. Yordayıcının alanlar arası gelir farkını açıklayıp açıklamadığı.
Model uyumu \hat A, log-olabilirlik, AIC, BIC. Yalnız aynı yöntemli modelleri karşılaştırın (B5).
Alan tablosu Doğrudan, EBLUP, MSE, iki CV, \gamma. \gamma küçük alan çok büzülmüştür (Eisenstadt: \gamma=0{,}018, doğrudan 78 548 → EBLUP 51 707); \gamma büyük alan doğrudan kestirime yakındır (Landeck: 0,844).
Şekil Doğrudan ve EBLUP, D büyükten küçüğe. Soldaki (yüksek D) alanlarda EBLUP ile doğrudan farkı büyüktür.

Şekil 209.1. Doğrudan kestirimler ve EBLUP'lar (REML; alanlar örnekleme varyansına göre sıralı).

Kesinlik kazancı: ortalama CV doğrudan %8,45, EBLUP %5,58; CV > %20 olan tek alan (Gmünd, %20,05) EBLUP'da %10,05'e iner. Yöntemlerin karşılaştırması: REML \hat A=1{,}4647\cdot10^6; ML 1{,}3712\cdot10^6; FH 1{,}9710\cdot10^6; yalnız sabit terimli modelde 4{,}717\cdot10^{7} (yordayıcılar \hat A'yı yaklaşık otuz iki kat azaltır); bu modelde EBLUP CV'si ortalama %8,22'dir.

Avusturya ilçeleri için Fay-Herriot modeli (REML) ile alanlar arası varyans \hat A=1{,}46\cdot10^{6} bulundu; EBLUP, doğrudan kestirimin ortalama değişim katsayısını %8,45'ten %5,58'e düşürdü ve CV'si %20'yi aşan alan kalmadı.

209.8 Sık hatalar ve tuzaklar

  • Yakınsama. en_cok_yineleme = 10 ve 10^{-16} eşiğiyle paket yakınsamaz; şablon "A kestirimi 10 yinelemede yakınsamadı; yakınsamamış sonuçlar yanıltıcı olacağından çalıştırma durduruldu" iletisiyle durur (ku_h_yineleme10). Eşiği gevşetin ya da yineleme sayısını artırın.
  • A = 0 sınırı. Doğrudan kestirimlerin değişkenliği örnekleme varyansından küçükse \hat A=0 olur. REML bunu 55 yinelemede aşar. ML (pakette "missing value where TRUE/FALSE needed") ve FH (yakınsamaz) bu sınırda ilerleyemez; şablon sınırı kendisi sınar ve "Not: A kestirimi 0 sınırında (alan etkisi yok; EBLUP = bağlanım kestirimi, γ = 0)" notuyla A=0'daki REML uydurmasını verir (ku_sifir_A_ml, ku_sifir_A_fh); ilk satırda yöntem REML yazılır ve MSE Prasad-Rao'dur. Sınır dışı bir yakınsama sorununda bu geçiş yapılmaz, çalıştırma durur.
  • SH ile varyans karışması. varyans_turu yanlışsa model çalışır ama sonuç anlamsızdır (ku_h_sh_yanlis: \hat A=0, CV %14 147); doğrudan CV ortancası %100'ü aştığında şablon "varyans sütununun türünü doğru seçtiğinizden emin olun" uyarısı yazar. Sütunun karesini alıp almadığını kontrol edin; \sqrt{D_d}/|y_d| makul bir yüzde olmalıdır.
  • Eksik alanlar çıkarılır. ku_h_eksik: m=94\to90; şablon "Not: eksik değeri olan 4 alan çıkarıldı, m = 90 alan kaldı" iletisine alanların adlarını ve satır numaralarını yazar. Yinelenen alan adı kabul edilir ama "Uyarı: … yinelenen alan adları var" ile bildirilir (ku_h_yinelenen_alan).
  • Kategorik yordayıcının sırası. Veri sekmesinin ilk görülme sırasıyla başvuru düzeyi belirlenir (ku_kat: başvuru cok; katsayılar gruporta, grupaz); metin sütununda alfabetik sıra geçerlidir. Katsayılar başvuruya bağlıdır; EBLUP bağlı değildir.
  • Gereksiz yordayıcı. unempl_ben eklenince \hat A 1,4647·10⁶'dan 1,4441·10⁶'ya (ku_uc_x) iner; kazanç küçüktür. Alan sayısı azsa fazla yordayıcı \hat A'yı kestirilemez kılar (m\ge p+5 sınırı).
  • p değerleri. Katsayı p değerleri \hat A belirsizliğini yok sayar; küçük m'de iyimser olabilir.
  • Doğrudan kestirimin ölçeği. Gelir gibi çarpık değişkenlerde log ölçekte kestirim ve geri dönüşüm gerekebilir; şablon dönüşüm yapmaz.

209.9 Uzman soruları

S1. REML, ML ve FH ne zaman farklı sonuç verir?

m küçükken ve yordayıcı sayısı fazlayken. ML, serbestlik derecesi kaybını yok sayar ve A'yı aşağı çeker (örnek veride ML 1{,}371\cdot10^6, REML 1{,}465\cdot10^6); FH momentler yöntemi D_d'lerin eşit olmadığı durumda en değişken A kestirimini verir (1{,}971\cdot10^6). Büyük m'de üçü yakınsar. Şablon varsayılanı REML'dir (114–148).

S2. Neden D_d bilinen sayılıyor, bu gerçekçi mi?

Hayır, yaklaşıktır: D_d de örnekten kestirilir ve küçük örneklerde yanlı ve değişkendir. Model bunu hata yapmayan sabit sayar; bu yüzden MSE olduğundan küçük çıkabilir. Düzeltmek için D_d'yi düzgünleştirme (genelleştirilmiş varyans işlevi) önerilir; şablonda yoktur.

S3. Neden bazı alanlarda EBLUP doğrudan kestirimden çok uzaklaşıyor?

\gamma_d küçükse. \gamma_d=A/(A+D_d); D_d ne kadar büyükse EBLUP o kadar bağlanım değerine çekilir (Eisenstadt: D=7{,}93\cdot10^7, \gamma=0{,}018). Büzülme küçük örnekli alanlar için istenen etkidir; ama bağlanım yanlış belirtilmişse bu alanlar sistematik olarak yanlış çekilir.

S4. Şablon `PRECISION = 1e-10` kullanıyor; sae varsayılanı neden değil?

Fisher puanlama durma ölçütü bağıl değişimdir; 10^{-4}'te dururken ML'de A yaklaşık 15 birim (6 anlamlı hanede) yanlı kalır ve vinyet değerleri 4. hanede örtüşmez (209.4.1). Şablon vinyet değerlerinin tam yeniden üretilmesi için 10^{-10} seçmiştir; bu bağıl ölçütle \hat A yaklaşık 10^{-8} göreli duyarlıkla bulunur (bağımsız kök bulmayla 1{,}7\cdot10^{-8} fark).

S5. Doğrudan kestirimleri zaten ağırlıklı yapmışsam model neye ekleniyor?

Model alanlar arası bilgiyi ("ödünç alma") ekler: aynı yordayıcılara sahip alanlar benzer değerlere sahiptir. Az örnekli alanın doğrudan kestirimi tek başına çok değişkendir; EBLUP bu değişkenliği bağlanım bilgisiyle azaltır. Kazanç A'nın küçüklüğüne ve yordayıcının gücüne bağlıdır (yalnız sabit terimde EBLUP CV'si %8,22, iki yordayıcıyla %5,58).

S6. MSE neden doğrudan kestirimin varyansından küçüktür?

g_1=D_d(1-B_d)=\gamma_dD_d<D_d; g_2 ve g_3 eklenince bile toplam çoğu alanda D_d'den küçüktür (Amstetten: D=926\,167, MSE =599\,209). A çok küçükse g_3 önem kazanır; m küçükken MSE kestirimi de A'nın belirsizliği yüzünden değişkendir.

S7. Alan etiketi boş bırakılırsa ne olur?

Alan tablosu 1…m numarasıyla yazılır (162); sonuç hiçbir şekilde değişmez. Veri eksik satır eliyorsa bu numaralar Veri sekmesindeki satır numaralarıyla örtüşmez (eksik alanlar çıktıdaki notta satır numarasıyla bildirilir); bu yüzden etiketi her zaman verin.

209.10 Kaynaklar

Datta, G. S., Rao, J. N. K., & Smith, D. D. (2005). On measuring the variability of small area estimators under a basic area level model. Biometrika, 92(1), 183–196. https://doi.org/10.1093/biomet/92.1.183

Fay, R. E., & Herriot, R. A. (1979). Estimates of income for small places: An application of James-Stein procedures to census data. Journal of the American Statistical Association, 74(366), 269–277. https://doi.org/10.1080/01621459.1979.10482505

Kreutzmann, A.-K., Pannier, S., Rojas-Perilla, N., Schmid, T., Templ, M., & Tzavidis, N. (2019). The R package emdi for estimating and mapping regionally disaggregated indicators. Journal of Statistical Software, 91(7). https://doi.org/10.18637/jss.v091.i07

Molina, I., & Marhuenda, Y. (2015). sae: An R package for small area estimation. The R Journal, 7(1), 81–98. https://doi.org/10.32614/RJ-2015-007

Prasad, N. G. N., & Rao, J. N. K. (1990). The estimation of the mean squared error of small-area estimators. Journal of the American Statistical Association, 85(409), 163–171. https://doi.org/10.1080/01621459.1990.10475320

Rao, J. N. K., & Molina, I. (2015). Small area estimation (2nd ed.). Wiley. https://doi.org/10.1002/9781118735855