MerQuR+Başvuru Kitabı

211. Sıcak deste ataması: hücre içi rastgele ve sıralı, FEFI ve FHDI

Şablon kimliği: sicak_deste · Kategori: anket · Dil: R · Dosya: pro/sablonlar/anket/sicak_deste.R (satır 1–296; üstbilgi 1–102) · Örnek veri: _ornek/ogrenci_anket.csv · Paketler: simputation 0.2.9, FHDI 1.4.1

211.1 Ne işe yarar

Şablon, veri kümesindeki eksik değerleri gözlenmiş bağışçıların (donör) değerleriyle doldurur. "Sıcak deste", bağışçının aynı veri kümesinden (aynı anketten) gelmesi demektir; atanan değer bu nedenle gerçekte gözlenmiş bir değerdir ve değişkenin dağılımı bozulmaz. Dört yöntem sunar:

Yöntem Ne yapar Değişken türü
rastgele Her alıcıya, atama hücresindeki gözlenmiş değerlerden rastgele bir bağışçı (simputation::impute_rhd) kategorik ya da sayısal
sirali Veri sırasında hücredeki son (ya da sonraki) gözlenmiş değer (impute_shd: LOCF / NOCB) kategorik ya da sayısal
fefi Tam etkin kesirli atama: her alıcı, gözlenen değerleriyle uyumlu tüm bağışçı hücrelerinden kesirli ağırlıklarla değer alır; oranlar ve jackknife SH yalnız kategorik (en çok 8 değişken, değişken başına en çok 30 düzey)
fhdi Kesirli sıcak deste (FHDI paketi): hücreler kurulur, her alıcıya M bağışçı seçilir; ortalamalar ve jackknife SH yalnız sayısal (en az 2 değişken)

"Atama hücresi", hücre değişkenlerinin aynı değerli birimleridir (örn. aynı cinsiyetteki öğrenciler). Hücre değişkeni verilmezse tüm veri tek hücredir.

Ne zaman kullanılır? Eksik değer mekanizması rastlantısal eksiklik (MAR; eksiklik, gözlenen değişkenlere koşullu olarak rastlantısaldır) varsayımıyla savunulabildiğinde; değişkenin dağılımını korumak gerektiğinde (kategorik değişkenler dahil); anket verisinde birim ağırlıkları varsa (FEFI/FHDI).

Ne zaman kullanılmaz?

  • Eksiklik gözlenmeyen değere bağlıysa (MNAR): hiçbir sıcak deste yansızlığı sağlamaz; duyarlılık analizi gerekir.
  • Atanmış veriyle yapılacak analizin varyansı doğru olmalıysa: tek atama belirsizliği taşımaz; temel programdaki Multiple Imputation (çoklu atama, Rubin birleştirmesi) ya da bu şablonda FEFI/FHDI'nin jackknife SH'si kullanılır.
  • Veri zaman serisiyse ve boşluk doldurma isteniyorsa: LOCF/NOCB anlamlıdır ama dönüşüm ve mevsimsellik yok; zaman serisi şablonları (Zaman Serisi kategorisi).
  • Çok sayıda eksik değişkenle çok değişkenli atama gerekiyorsa ve değişkenler karışık türdeyse: temel programdaki Multiple Imputation (FCS: pmm, norm, logreg, polyreg).
  • Ağırlıkları nüfus toplamlarına uydurmak için: kalibrasyon_raking (Bölüm 208). Kümeli seçim için: orneklem_secimi (Bölüm 210).

Temel programla ilişki. Temel programda sıcak deste, FEFI ve FHDI yoktur. Eksik veri için Multiple Imputation analizi vardır (gui/panels/analyses/multiple_imputation.py, stats/mi_tools.py): zincirli denklemlerle atama (FCS; sayısal değişkende pmm ya da norm, ikili değişkende logreg, çok düzeyli kategorikte polyreg), monoton atama, eksik veri örüntü tablosu, Little MCAR testi ve Rubin kurallarıyla birleştirme. Farklar: Multiple Imputation modele dayalıdır ve birden çok veri kümesi üretir (atama varyansı hesaba katılır); bu şablonun rastgele ve sıralı sıcak destesi tek veri kümesi üretir ve model kurmaz (bağışçı havuzu hücrelerle tanımlanır); FEFI ve FHDI ise tek veri kümesi yerine kesirli ağırlıklı satırlar ve jackknife ile varyans verir. pmm de bir "en yakın bağışçı" yöntemidir ama bağışçıyı tahmin edilmiş ortalamanın yakınlığıyla seçer; sıcak deste hücreyle seçer.

211.2 Şablonun girdileri

Form, üstbilgideki on üç [[param]] bloğundan kurulur (sicak_deste.R:10–101).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yöntem · yontem seçim · Model fefi fefi, rastgele, sirali, fhdi Dal seçimi (296).
Atanacak değişkenler · degiskenler sütunlar · Değişkenler boş (en az 1) herhangi sütun v (106); yöntemlere göre tür koşulu.
Atama hücresi değişkenleri · hucre sütunlar · Değişkenler boş (isteğe bağlı) degiskenler'den farklı Rastgele ve sıralı hücreler (107–108, 230).
Örneklem ağırlığı · agirlik sayısal sütun · Değişkenler boş (isteğe bağlı) \ge0 Yalnız FEFI ve FHDI (109, 130–131, 282).
Jackknife SH · jackknife onay · Seçenekler açık açık / kapalı Yalnız FEFI (176–177).
FHDI: bağışçı sayısı M · M tamsayı · Model 5 1–50 FHDI (283).
FHDI: hücre başına kategori k · k tamsayı · Model 3 2–20 FHDI (283).
Havuz · havuz seçim · Model complete complete, univariate, multivariate Rastgele ve sıralı (232–249); rastgele destede multivariate şablonun kendi cok_havuz işleviyle yürür (232–248).
Sıra yönü · sira_yonu seçim · Model locf locf, nocb Yalnız sıralı (232–249).
FHDI hücre yapımı · hucre_yapimi seçim · Model knn knn, cell FHDI (283).
FHDI birleştirme · birlestirme seçim · Gelişmiş fixed fixed, rand FHDI (283).
EM toleransı · em_tolerans ondalık · Gelişmiş 10^{-13} 10^{-16}–0,001 FEFI (146).
EM en çok yineleme · em_yineleme tamsayı · Gelişmiş 10000 10–1 000 000 FEFI (140).

Örnek ayar (ornek_param, satır 9): yontem = fefi, degiskenler = [cinsiyet, sigara, boy, nabiz], jackknife = açık.

Tohum. Şablonun kendi tohum alanı yoktur. Rastgele sıcak destenin bağışçı seçimi çalıştırmanın tohumuna bağlıdır: R işçisi kullanıcı kodundan önce set.seed(mq_tohum) çağırır (ortak bölüm 1.3). Kod panelindeki isteğe bağlı Tohum alanı boşsa her çalıştırmaya yeni bir tohum atanır ve künyeye "Tohum: …" yazılır; aynı tohumu alana yazmak aynı atamayı yeniden üretir. FEFI ve sıralı sıcak deste belirleyicidir; FHDI de bu veride tohumdan bağımsız çıktı (B4).

Şablonun kendi denetimleri (mq_hata):

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 105
Değişken hem atanacak hem hücre "Bir değişken hem atanacak hem de hücre değişkeni olamaz." 108
n<5 "Atama için en az 5 birim gerekli." 111
Hiç eksik yok "Seçilen değişkenlerde eksik değer yok; atanacak bir şey yok." 118
FEFI: >8 değişken "FEFI en çok 8 kategorik değişkenle sunulur." 122
FEFI: >30 düzey "FEFI değişkenleri kategorik olmalı (…en çok 30 düzey)…" 125
FEFI: değişkende gözlem yok "Bir değişkenin hiç gözlenmiş değeri yok." 127
FEFI: ağırlık eksik/negatif "Ağırlıklar eksiksiz ve negatif olmayan sayılar olmalı." 131
FEFI: <2 tam bağışçı "FEFI için en az 2 tam gözlenmiş bağışçı gerekli." 133
FEFI: jackknife n>3000 "Jackknife 3000'den fazla birim için çok yavaş…" 177
Sıcak deste başarısız "Sıcak deste ataması yapılamadı: …" (paket iletisi) 233
FHDI: sayısal değil "FHDI sayısal değişken ister: …" 259
FHDI: <2 değişken "FHDI en az 2 değişken ister…" 261
FHDI: gözlem <5 "Her değişkende en az 5 gözlenmiş değer olmalı." 262
FHDI: sabit değişken "Sabit bir değişken var." 263
FHDI: <2 tam birim "FHDI için en az 2 tam gözlenmiş birim gerekli." 264
FHDI başarısız "FHDI çalıştırılamadı (hücreler oluşturulamadı)…" 268

211.3 Örnek veri

ogrenci_anket.csv: MASS paketi survey verisinin (Adelaide Üniversitesi öğrenci anketi; Venables ve Ripley, 2002) Türkçeleştirilmiş uyarlaması: 237 öğrenci, gerçek eksiklik.

Değişken Rol Tür (veri sekmesi) Özet
cinsiyet FEFI / hücre kategorik erkek, kadın; 1 eksik
sigara FEFI kategorik hic, ara_sira, duzenli, agir; 1 eksik
egzersiz rastgele sıcak deste kategorik bazen, sik; 24 eksik
boy FEFI kategorik kisa, orta, uzun; 28 eksik
nabiz FEFI kategorik dusuk, orta, yuksek; 45 eksik
boy_cm, nabiz_dk sıralı, FHDI sayısal boy (cm; 28 eksik), nabız (dk; 45 eksik)
yas FHDI sayısal tam gözlenmiş

Kategorik değişkenlerin düzeyleri FEFI'de metin sırasıyla (sort(unique(x)), 124) sıralanır; bütün düzeyleri sayıya çevrilebilen değişkende (ör. sınıf 5–12) düzeyler sayıya göre (5, 6, …, 12) dizilir. Sıra yalnız çıktı tablolarının görünüşünü belirler, hesabı etkilemez. Sıralı sıcak destede veri satır sırası belirleyicidir.

Bölümde kullanılan çalıştırmalar (dogrulama/sicak_deste/isler.py): sd_fefi (örnek ayar), sd_fefi_sksiz, sd_fefi_2, sd_fefi_agirlik (benzetilmiş ağırlık agirlik), sd_rastgele (+ _ayni, _baska, _tek, _sayisal, _tam), sd_sirali (+ _nocb, _hucresiz, _cok), sd_fhdi (+ _ayni, _baska), sd_h_* (uç ve hata durumları).

211.4 Yöntem: formüller ve hesap adımları

211.4.1 Rastgele ve sıralı sıcak deste

Rastgele: y_i eksikse ve i hücre c'deyse, c'de y'si gözlenmiş birimler arasından eşit olasılıkla bir bağışçı j seçilir ve \tilde y_i=y_j atanır. Sıralı: veri sırasında i'den önceki, hücre c'deki son gözlenmiş değer (LOCF) ya da sonraki ilk gözlenmiş değer (NOCB) atanır. Her ikisinde de bağışçı havuzu havuz ile belirlenir: complete yalnız tüm değişkenleri tam gözlenmiş kayıtlar; univariate her değişken için kendi gözlenmişleri; multivariate birlikte eksik olan değişkenler aynı bağışçıdan.

  • c: atama hücresi (hücre değişkenlerinin aynı değerli birimleri).
  • Hücrede gözlenmiş değer yoksa atama yapılmaz; eksik kalır ve not yazılır (257–258).

Koddaki tercih

simputation::impute_rhd(data, formula, pool =) ve impute_shd(data, formula, pool =, order =) (249). Rastgele destede pool = multivariate seçilirse paket çağrılmaz; aynı tanım şablondaki cok_havuz işleviyle uygulanır (232–248). Formül değişkenler ~ hücre1 + hücre2 (hücre yoksa ~ 1; 229–230). Hücre değişkeninde eksik değer ayrı bir "(NA)" kategorisi olur (227). Boş metin eksik sayılır (226).

211.4.2 FEFI: tam etkin kesirli atama

Değişkenler kategoriktir (p değişken, birleşik hücre vektörü \mathbf y=(y_1,\dots,y_p)). Tam gözlenmiş birimler bağışçıdır; farklı bağışçı hücreleri c=1,\dots,K (K hücre). Birleşik hücre olasılıkları \pi_c doymuş çok terimli model altında EM ile kestirilir (eksik veri MAR varsayımıyla):

q_{ic}^{(t)}=\frac{a_{ic}\,\pi_c^{(t)}}{\sum_{c'}a_{ic'}\,\pi_{c'}^{(t)}},\qquad \pi_c^{(t+1)}=\frac{\sum_{i}w_i\,q_{ic}^{(t)}}{\sum_i w_i}
  • a_{ic}=1 eğer c hücresi i'nin gözlenen değerleriyle uyumluysa (gözlenen değişkenlerde aynı düzey), değilse 0. Tam gözlenmiş birimde yalnız kendi hücresi uyumludur.
  • q_{ic}: i biriminin c hücresine ait olma olasılığı, P(c\mid \text{gözlenen}_i); kesirli ağırlık w_{ic}^*=w_i\,q_{ic}.
  • Başlangıç \pi_c^{(0)}: tam gözlenmiş birimlerin ağırlıklı hücre oranları; durma: \max_c|\pi_c^{(t+1)}-\pi_c^{(t)}|< em_tolerans.

Her alıcı, uyumlu hücrelere P(c\mid\text{gözlenen}) ile orantılı kesirli ağırlıklarla atanır; uyumlu bağışçısı olmayan birim atanmaz. j. değişkenin düzey l oranı

\hat p_{jl}=\frac{\sum_i w_i\sum_{c:\,y_{cj}=l}q_{ic}\;+\;\sum_{i\in\text{atanamayan}}w_i\,1(y_{ij}=l)}{\text{payların toplamı}}

Neden "tam etkin"?

Kim ve Fuller (2004) kesirli atamada her alıcıya tüm uyumlu bağışçı hücrelerinden ağırlıkla değer vererek rastgele bağışçı seçiminden doğan atama varyansını ortadan kaldırır (tam etkin). Sonuç, olabilirlik kestiricisine eşdeğerdir (Kim ve Shao, 2014).

Jackknife varyansı. Her birim sırayla çıkarılır: w^{(k)}_i=w_i\,n/(n-1) (i\ne k), w^{(k)}_k=0; her yinelemede EM ve kesirli ağırlıklar yeniden kestirilir. \widehat{\mathrm{SH}}^2(\hat p)=\dfrac{n-1}{n}\sum_k(\hat p^{(k)}-\hat p)^2 (172–183). n>3000 için seçenek kapatılmalıdır (177).

211.4.3 FHDI

Sürekli değişkenlerde birleşik hücreler her değişkenin k kategoriye bölünmesiyle kurulur (hucre_yapimi: knn en yakın komşu birleştirme, cell hücre azaltma); her alıcıya M bağışçı seçilir ve atanan değerler kesirli ağırlıklıdır (Im ve ark., 2018). Şablon FHDI_Driver(s_op_imputation = "FHDI", i_op_variance = 1, k, M, w, s_op_cellmake, s_op_merge) çağırır (283); ortalama ve jackknife SH o$imp.mean, "tek atanmış veri" o$simp.data olarak alınır.

211.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
103–111 .m; veri; değişken ve hücre kümeleri; n\ge5.
112–118 Değişken başına eksik sayısı (boş metin de eksik) ve tablo; hiç eksik yoksa hata. Her çalıştırmada ilk tablo.
120–185 FEFI: kodlama, bağışçı hücreleri, uyumluluk matrisi A, em, oranlar, jackknife. Düzeyler metin sırasıyla (123–124).
186–222 FEFI çıktıları: özet, örüntüler, oranlar, hücre olasılıkları, kesirli satırlar, şekil. Uyumlu bağışçısı olmayan birim atanmaz.
224–272 Rastgele/sıralı: hücre ve boş metin hazırlığı, formül, impute_rhd/impute_shd (çok değişkenli havuzda cok_havuz, 232–248); özet, öncesi/sonrası, tamamlanmış veri (atandi işareti). Ağırlık kullanılmaz (B2).
274–293 FHDI: tür ve sayı denetimleri, FHDI_Driver, ortalama tablosu, tek atanmış veri. Jackknife her zaman.
296 Yöntem seçimi.

211.6 Elle hesap: örnek veride bağımsız yeniden hesap

Bağımsız hesaplar dogrulama/sicak_deste/elle_hesap.py (numpy/pandas; EM, kesirli ağırlıklar ve jackknife yeniden yazıldı; FHDI, simputation ve şablon çağrılmaz) ve r_dogrulama.R (yalnız temel R: EM ve oranlar; LOCF/NOCB) ile yapılmıştır.

Adım 1 — Bağışçı hücreleri. 237 öğrenciden 170'i dört değişkende tam gözlenmiştir; bunlar 36 farklı hücre (K=36) oluşturur. Eksikli 67 birimden 65'inin gözlenen değerleriyle uyumlu en az bir bağışçı hücresi vardır (atanan), 2'sinin yoktur (atanamayan).

Adım 2 — EM. Başlangıç \pi_c hücre oranlarıdır; 25 yinelemede \max|\Delta\pi|<10^{-13}. Üç hesapta (\pi_c ve yineleme sayısı) aynıdır.

Adım 3 — Bir alıcı. 4. öğrenci (erkek, hic, kisa, nabız eksik): uyumlu üç hücre (nabız = dusuk, orta, yuksek); \pi_c=(0{,}018545;\ 0{,}006462;\ 0{,}011896), toplam 0{,}036903; kesirli ağırlıklar q=(0{,}502539;\ 0{,}175098;\ 0{,}322362), toplamı 1.

Adım 4 — Oranlar. FEFI sonrası boy: kısa 0{,}262662, orta 0{,}369581, uzun 0{,}367758 (gözlenen 0{,}253589; 0{,}373206; 0{,}373206); nabız: düşük 0{,}350964, orta 0{,}402607, yüksek 0{,}246429. Jackknife SH: boy (0{,}031429;\ 0{,}034134;\ 0{,}032383); nabız (0{,}036014;\ 0{,}035940;\ 0{,}031783).

Adım 5 — Sıralı sıcak deste. Hücre = cinsiyet, veri sırası: boy_cm ortalaması 172{,}380861\to171{,}954346, nabız 74{,}151042\to74{,}181435 (LOCF); NOCB için 172{,}204979 ve 73{,}864979. 28 eksik boy ve 45 eksik nabız değerinin tamamı bağımsız kuralla aynı değeri alır.

211.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
FEFI (4 değişken): tam gözlenmiş (bağışçı) 170 170 — 0 ✓
FEFI (4 değişken): atanan 65 65 — 0 ✓
FEFI (4 değişken): atanamayan 2 2 — 0 ✓
FEFI (4 değişken): bağışçı hücre sayısı 36 36 36 0 ✓
FEFI (4 değişken): EM yineleme sayısı 25 25 — 0 ✓
FEFI oranı: cinsiyet = erkek 0,49926535 0,49926535 0,49926535 3,3e−16 ✓
FEFI jackknife SH: cinsiyet = erkek 0,03302994 0,03302994 — 4,2e−17 ✓
FEFI oranı: cinsiyet = kadin 0,50073465 0,50073465 0,50073465 3,3e−16 ✓
FEFI jackknife SH: cinsiyet = kadin 0,03302994 0,03302994 — 1,4e−17 ✓
FEFI oranı: sigara = agir 0,0464135 0,0464135 0,0464135 4,2e−17 ✓
FEFI jackknife SH: sigara = agir 0,01370303 0,01370303 — 4,9e−17 ✓
FEFI oranı: sigara = ara_sira 0,08065635 0,08065635 0,08065635 1,4e−17 ✓
FEFI jackknife SH: sigara = ara_sira 0,01903628 0,01903628 — 2,8e−17 ✓
FEFI oranı: sigara = duzenli 0,07193864 0,07193864 0,07193864 2,8e−17 ✓
FEFI jackknife SH: sigara = duzenli 0,01818803 0,01818803 — 4,5e−17 ✓
FEFI oranı: sigara = hic 0,80099151 0,80099151 0,80099151 2,2e−16 ✓
FEFI jackknife SH: sigara = hic 0,02734438 0,02734438 — 1,1e−16 ✓
FEFI oranı: boy = kisa 0,26266151 0,26266151 0,26266151 1,1e−16 ✓
FEFI jackknife SH: boy = kisa 0,03142905 0,03142905 — 3,5e−17 ✓
FEFI oranı: boy = orta 0,36958073 0,36958073 0,36958073 2,8e−16 ✓
FEFI jackknife SH: boy = orta 0,03413389 0,03413389 — 1,5e−16 ✓
FEFI oranı: boy = uzun 0,36775776 0,36775776 0,36775776 1,7e−16 ✓
FEFI jackknife SH: boy = uzun 0,03238301 0,03238301 — 1,1e−16 ✓
FEFI oranı: nabiz = dusuk 0,35096441 0,35096441 0,35096441 5,0e−16 ✓
FEFI jackknife SH: nabiz = dusuk 0,03601357 0,03601357 — 6,2e−17 ✓
FEFI oranı: nabiz = orta 0,40260692 0,40260692 0,40260692 1,1e−16 ✓
FEFI jackknife SH: nabiz = orta 0,03593989 0,03593989 — 9,7e−17 ✓
FEFI oranı: nabiz = yuksek 0,24642867 0,24642867 0,24642867 3,6e−16 ✓
FEFI jackknife SH: nabiz = yuksek 0,03178311 0,03178311 — 1,1e−16 ✓
FEFI (boy, nabiz) oranı: boy = kisa 0,25368959 0,25368959 0,25368959 2,2e−16 ✓
FEFI (boy, nabiz) oranı: boy = orta 0,37342773 0,37342773 0,37342773 2,2e−16 ✓
FEFI (boy, nabiz) oranı: boy = uzun 0,37288267 0,37288267 0,37288267 4,4e−16 ✓
FEFI (boy, nabiz) oranı: nabiz = dusuk 0,34927478 0,34927478 0,34927478 4,4e−16 ✓
FEFI (boy, nabiz) oranı: nabiz = orta 0,40581653 0,40581653 0,40581653 1,1e−16 ✓
FEFI (boy, nabiz) oranı: nabiz = yuksek 0,24490869 0,24490869 0,24490869 3,9e−16 ✓
FEFI ağırlıklı oran: cinsiyet = erkek 0,52107409 0,52107409 — 4,4e−16 ✓
FEFI ağırlıklı oran: cinsiyet = kadin 0,47892591 0,47892591 — 5,0e−16 ✓
FEFI ağırlıklı oran: sigara = agir 0,05493015 0,05493015 — 3,5e−17 ✓
FEFI ağırlıklı oran: sigara = ara_sira 0,0877523 0,0877523 — 2,8e−17 ✓
FEFI ağırlıklı oran: sigara = duzenli 0,06607934 0,06607934 — 2,8e−17 ✓
FEFI ağırlıklı oran: sigara = hic 0,79123821 0,79123821 — 1,1e−16 ✓
FEFI ağırlıklı oran: boy = kisa 0,24399639 0,24399639 — 5,6e−17 ✓
FEFI ağırlıklı oran: boy = orta 0,36899997 0,36899997 — 2,2e−16 ✓
FEFI ağırlıklı oran: boy = uzun 0,38700364 0,38700364 — 2,8e−16 ✓
FEFI ağırlıklı oran: nabiz = dusuk 0,35470699 0,35470699 — 3,3e−16 ✓
FEFI ağırlıklı oran: nabiz = orta 0,40221658 0,40221658 — 3,9e−16 ✓
FEFI ağırlıklı oran: nabiz = yuksek 0,24307643 0,24307643 — 2,8e−17 ✓
gözlenen oran: boy = kisa 0,25358852 0,25358852 — 5,0e−16 ✓
gözlenen oran: boy = orta 0,37320574 0,37320574 — 2,8e−16 ✓
gözlenen oran: boy = uzun 0,37320574 0,37320574 — 2,8e−16 ✓
gözlenen oran: nabiz = dusuk 0,34895833 0,34895833 — 3,3e−16 ✓
gözlenen oran: nabiz = orta 0,40625 0,40625 — 0 ✓
gözlenen oran: nabiz = yuksek 0,24479167 0,24479167 — 3,3e−16 ✓
sıralı (LOCF): boy_cm farklı atanan satır sayısı 0 0 — 0 ✓
sıralı (LOCF): boy_cm ortalama (atama sonrası) 171,95434599 171,95434599 171,95434599 9,9e−16 ✓
sıralı (LOCF): boy_cm atanamayan (kalan eksik) 0 0 0 0 ✓
sıralı (LOCF): nabiz_dk farklı atanan satır sayısı 0 0 — 0 ✓
sıralı (LOCF): nabiz_dk ortalama (atama sonrası) 74,1814346 74,1814346 74,1814346 1,9e−16 ✓
sıralı (LOCF): nabiz_dk atanamayan (kalan eksik) 0 0 0 0 ✓
sıralı (NOCB): boy_cm farklı atanan satır sayısı 0 0 — 0 ✓
sıralı (NOCB): boy_cm ortalama (atama sonrası) 172,2049789 172,2049789 172,2049789 2,5e−15 ✓
sıralı (NOCB): boy_cm atanamayan (kalan eksik) 0 0 0 0 ✓
sıralı (NOCB): nabiz_dk farklı atanan satır sayısı 0 0 — 0 ✓
sıralı (NOCB): nabiz_dk ortalama (atama sonrası) 73,8649789 73,8649789 73,8649789 1,9e−16 ✓
sıralı (NOCB): nabiz_dk atanamayan (kalan eksik) 0 0 0 0 ✓
sıralı (LOCF, hücresiz): boy_cm farklı satır sayısı 0 0 — 0 ✓
sıralı (LOCF, hücresiz): nabiz_dk farklı satır sayısı 0 0 — 0 ✓
rastgele sıcak deste: atanan değerlerden hücrede gözlenmiş olanlar 97 97 — 0 ✓
rastgele sıcak deste: aynı tohum, farklı olan atanmış hücre sayısı 0 0 — 0 ✓
rastgele sıcak deste: farklı tohum, atanmış değerler farklı (1 = evet) 1 1 — 0 ✓

Ölçütü karşılayan: 70/70. Bağımsız Python kolu FEFI'yi (doymuş çok terimli EM, kesirli ağırlıklar, sırayla çıkarılan jackknife) ve hücre içi sıralı sıcak deste kuralını numpy/pandas ile yeniden yazar; R kolu yalnız temel R'dir (FEFI oranları, LOCF/NOCB). Rastgele sıcak deste ve FHDI için ölçüt özelliktir (atanan değer aynı hücrede gözlenmiş mi; tohum yinelenebilirliği); donör seçimi paketin rastgele sayı akışına bağlıdır.

Ek denetimler: rastgele sıcak deste: 97 atanan değerin tamamı aynı hücrede gözlenmiş bir değerdir; aynı tohumla iki çalıştırma özdeştir (tohum 20261119), tohum 7 farklı atama verir (sd_rastgele, _ayni, _baska). FHDI: M = 5, k = 3 ile ortalamalar boy_cm 172{,}4125 (SH 0{,}6799), nabiz_dk 74{,}1544 (SH 0{,}8124); aynı çıktı tohumdan bağımsızdır. Bu iki yöntem için bağımsız bir değer yeniden hesaplanmadı (donör seçimi paketin rastgele sayı akışına, FHDI hücre kurma algoritması paketin içine bağlıdır).

211.7 Çıktıyı okuma

Yöntem: FEFI; 237 birim, 4 değişken, toplam 75 eksik değer.
-- FEFI atama özeti
 Birim 237 | Tam gözlenmiş (bağışçı) 170 | Eksikli birim 67 | Atanan 65 | Atanamayan 2 | Bağışçı hücre sayısı 36 | EM yineleme sayısı 25
-- Eksik veri örüntüleri (X = gözlenen; sıra: cinsiyet, sigara, boy, nabiz)
 X X X X 170 | X X X . 38 | X X . X 20 | X X . . 7 | . X X X 1 | X . . X 1
-- Oranlar: gözlenen ve FEFI sonrası
 degisken duzey   gozlenen_oran  fefi_oran  jackknife_SH
 boy      kisa    0.253589       0.262662   0.031429
 boy      orta    0.373206       0.369581   0.034134
 boy      uzun    0.373206       0.367758   0.032383
 nabiz    dusuk   0.348958       0.350964   0.036014
Öğe Ne yazar Nasıl yorumlanır
Eksik değer sayıları Her değişkende eksik sayı ve yüzde. Atama öncesi ölçek.
Atama özeti Bağışçı, alıcı, atanan, atanamayan, hücre ve EM yineleme sayısı. "Atanamayan" sıfırdan farklıysa o birimlerin eksiği doldurulmamıştır.
Eksik veri örüntüleri Gözlenen/eksik örüntüler ve birim sayıları. Tek örüntü baskınsa (örn. yalnız nabız eksik) atama kolaydır.
Oranlar Gözlenen (eksikler dışarıda), FEFI sonrası oran, jackknife SH. FEFI oranı gözlenen orandan küçük sapmalarla ayrılır; büyük sapma eksikliğin gözlenen değişkenlere bağlı olduğunu gösterir.
Bağışçı hücre olasılıkları \pi_c (EM). En olası hücreler bağışçı havuzunu belirler.
Kesirli atanmış satırlar Her alıcı için uyumlu hücre ve kesirli ağırlık. Bir alıcının ağırlıkları w_i'ye toplanır.
Rastgele/sıralı: özet, öncesi–sonrası, tamamlanmış veri Atanan/kalan eksik, oran ya da ortalama, atandi işaretli veri. Atama sonrası oranların öncekilerle yakınlığı atamanın dağılımı bozmadığını gösterir.
FHDI Ortalama, jackknife SH, tek atanmış veri. Tek atanmış değerler bağışçı değeri değil özet değerdir (B4).

Şekil 211.1. Gözlenen ve FEFI sonrası oranlar (örnek ayar).

Yöntemlerin karşılaştırması (örnek veri): rastgele sıcak destede (hücre cinsiyet) boy oranları (kısa/orta/uzun) 0{,}2536/0{,}3732/0{,}3732\to0{,}2658/0{,}3713/0{,}3629 (tohum 20261119) olur; FEFI'de 0{,}2627/0{,}3696/0{,}3678. İkisi de gözlenen orana yakındır; rastgele sıcak destenin değeri tohuma bağlıdır, FEFI'ninki belirleyicidir ve SH verir. Sıralı sıcak destede boy_cm ortalaması 172{,}38\to171{,}95 (LOCF) ve 172{,}20 (NOCB): sıra sonucu etkiler.

Eksik değerler (boy %11,8; nabız %19,0) FEFI ile atandığında boyun "kısa" oranı 0{,}254'ten 0{,}263'e (jackknife SH 0{,}031), nabzın "yüksek" oranı 0{,}245'ten 0{,}246'ya (0{,}032) değişti; atanamayan iki birim eksik kaldı.

211.8 Sık hatalar ve tuzaklar

  • MAR varsayımı. Sıcak deste yalnız eksikliğin hücre ya da gözlenen değişkenlere bağlı olduğu durumda yansızdır. Eksiklik değerin kendisine bağlıysa (örn. yüksek nabızlıların ölçüm vermemesi) sonuç yanlıdır; çıktı bunu denetlemez.
  • Tek atama varyansı. Rastgele ve sıralı sıcak deste atanmış veriyi gerçek gibi gösterir; sonraki analizde SH küçük çıkar (B6). Varyans için FEFI/FHDI ya da Multiple Imputation kullanın.
  • Çok değişkenli havuz. rastgele ile multivariate havuzda eksik örüntüsü aynı olan alıcılar, aynı hücrede o değişkenlerin hepsi gözlenmiş bir bağışçıdan değerlerini birlikte alır (sd_rastgele_cok, sd_rastgele_cok_hucresiz); paketin bu seçenekteki "incorrect number of probabilities" hatası şablonun kendi uygulamasıyla aşılmıştır. Hücrede bağışçısı olmayan örüntü eksik kalır ve "kalan eksik" sütununda görünür. Sıralıda (sd_sirali_cok) paketin kendi işlevi çalışır.
  • Hücre seçimi. Hücreler çok ince olursa bağışçısı olmayan hücreler doğar ve eksik kalır (sd_h_sirali_siz_hucre_bos: hücre sigara; bir boy değeri atanamadı). Hücre değişkenindeki eksik değer ayrı bir "(NA)" hücresidir.
  • Ağırlık ve jackknife seçenekleri. Ağırlık yalnız FEFI/FHDI'de, jackknife kutusu yalnız FEFI'yi etkiler (FHDI kutu kapalıyken de jackknife SH'sini yazar; form etiketleri bunu belirtir); rastgele ve sıralı destede girilen ağırlık görmezden gelinir.
  • FEFI değişken türü. Sayısal ve çok düzeyli değişken (boy_cm: 67 düzey) FEFI'de "kategorik olmalı (en çok 30 düzey)" hatası verir (sd_h_sayisal_fefi); sürekli değişken için FHDI. FHDI'ye kategorik değişken verilemez (sd_h_fhdi_kategorik), tek değişken verilemez (sd_h_fhdi_tek).
  • Negatif ağırlık. FEFI'de negatif ağırlık hata verir (sd_h_negatif_agirlik).
  • FHDI cell seçeneği. Örnek veride hücre kurulamaz (B3: sd_fhdi_cell); knn kullanın; şablonun hata iletisi de bunu önerir.
  • Sıralı sıcak deste ve veri sırası. Sonuç satır sırasına bağlıdır; veri sıralanmışsa (örn. tarihe göre) anlamlıdır, rastgele sıralıysa rastgele atamadan farksızdır. NOCB ile LOCF farklı değer verir (boy_cm ortalaması 171,95 ve 172,20).
  • Düzey sırası. FEFI düzeyleri metin sırasıyla yazılır; yalnız bütün düzeyleri sayı olan değişkende sayıya göre sıralanır (5, 6, …, 12).

211.9 Uzman soruları

S1. Sıcak deste ile çoklu atama (Multiple Imputation) arasında nasıl seçim yapılır?

Çoklu atama atama belirsizliğini hesaba katar ve genel analizlerde geçerli çıkarım verir; sıcak deste (tek atama) bunu yapmaz. Sıcak deste dağılımı korur, model gerektirmez, atanan değer gerçekten gözlenmiştir. Anket ağırlıklı kategorik veride FEFI atama varyansını jackknife ile verir; çoklu atamaya yakın bir sonuç elde edilir ama model kurmak gerekmez.

S2. FEFI neden "tam etkin"?

Rastgele bağışçı seçimi yerine tüm uyumlu bağışçı hücreleri kesirli ağırlıkla kullanılır; bağışçı seçiminin rastgeleliğinden doğan varyans kalkar. Kestirim, EM olabilirlik kestiricisine eşdeğer olur ve en küçük varyansı verir (Kim ve Fuller, 2004). Bedeli: tek bir tamamlanmış veri yerine kesirli ağırlıklı satırlar (örnekte 65 alıcı için 204 satır).

S3. Doymuş çok terimli model neyi varsayar?

Birleşik hücre olasılıklarının hiçbir yapıya (bağımsızlık, log-doğrusal) uymadığını, yani her hücrenin ayrı bir olasılığı olduğunu. Bu nedenle model uydurma hatası yoktur ama hücre sayısı artıp bağışçı azaldıkça EM kararsızlaşır (K çok büyükse bazı hücreler 0 olasılık alır). Örnekte 4 değişkenle 170 bağışçı 36 hücreye dağılır.

S4. Jackknife SH neden her yinelemede EM'yi yeniden çalıştırır?

EM kestirimi örnekten hesaplandığı için atama sürecinin kendisi de belirsizlik taşır; yineleme ağırlıklarını sabit tutup yalnız son oranı yeniden hesaplamak atama varyansını yok sayar. Şablon her çıkarılan birim için \pi_c ve kesirli ağırlıkları yeniden kestirir (172–183); bunun bedeli n kez EM'dir (n=237 için birkaç saniye; n>3000 engellidir).

S5. Rastgele ve sıralı sıcak deste ne zaman farklı sonuç verir?

Rastgele deste bağışçıyı hücreden rastgele çeker, sıralı deste veri sırasındaki komşuyu alır; veri sırası içerikle ilişkiliyse (zaman, coğrafya) sıralı deste daha yakın bağışçı seçer ama LOCF ve NOCB aynı eksikte farklı değer verir (boy_cm ortalaması 171,95; 172,20). Rastgele destede tohum değişince değerler değişir; sıralıda değişmez.

S6. Hücre değişkenini nasıl seçmeliyim?

Eksikliği ve değişkeni açıklayan gözlenen değişkenler hücre olmalıdır; hücre sayısı bağışçı sayısına göre küçük kalmalıdır. Çok ince hücre bağışçısız kalır (atanamayan), çok kaba hücre atamayı hedeften uzaklaştırır. Temel programdaki Multiple Imputation'ın pmm'si bu ödünleşimi sürekli bir yakınlıkla çözer.

S7. FHDI ile FEFI hangi durumda?

FEFI kategorik değişkenler içindir ve birleşik hücre olasılıklarını EM ile kestirir; FHDI sürekli değişkenler içindir ve hücreleri değişkenleri kategorilere bölerek kurar (Im ve ark., 2018). İkisi de kesirli atama ve jackknife varyansı verir. Karışık türde değişken için önce sürekli olanları kategorilere bölüp FEFI ya da FHDI'ye girmek gerekir; bu şablon karışık türü tek çalıştırmada kabul etmez.

211.10 Kaynaklar

Andridge, R. R., & Little, R. J. A. (2010). A review of hot deck imputation for survey non-response. International Statistical Review, 78(1), 40–64. https://doi.org/10.1111/j.1751-5823.2010.00103.x

Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22. https://doi.org/10.1111/j.2517-6161.1977.tb01600.x

Im, J., Cho, I. H., & Kim, J. K. (2018). FHDI: An R package for fractional hot deck imputation. The R Journal, 10(1), 140–154. https://doi.org/10.32614/RJ-2018-020

Kim, J. K., & Fuller, W. (2004). Fractional hot deck imputation. Biometrika, 91(3), 559–578. https://doi.org/10.1093/biomet/91.3.559

Kim, J. K., & Shao, J. (2013). Statistical methods for handling incomplete data. Chapman and Hall/CRC. https://doi.org/10.1201/b13981

Little, R. J. A., & Rubin, D. B. (2019). Statistical analysis with missing data (3rd ed.). Wiley. https://doi.org/10.1002/9781119482260

Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581–592. https://doi.org/10.1093/biomet/63.3.581

Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer.

Yang, S., & Kim, J. K. (2016). Fractional imputation in survey sampling: A comparative review. Statistical Science, 31(3), 415–432. https://doi.org/10.1214/16-STS569