MerQuR+Başvuru Kitabı

164. Seçim sonrası çıkarım

Şablon kimliği: secim_sonrasi_cikarim · Kategori: çok değişkenli · Dil: R · Dosya: pro/sablonlar/cok_degiskenli/secim_sonrasi_cikarim.R (satır 1–281; üstbilgi 1–110) · Örnek veri: _ornek/growthdata.csv · Paketler: hdm 0.3.2, glmnet 5.1, selectiveInference 1.2.5 (R 4.5.3)

164.1 Ne işe yarar

Kontrol değişkeni sayısı gözlem sayısına yaklaşırken ya da onu aşarken, bir ya da birkaç hedef değişkenin sonuç üzerindeki katsayısı için geçerli güven aralığı ve p değeri verir. Cevapladığı soru şudur: "Çok sayıda aday kontrolden hangilerinin modelde yer alacağını veriden seçtikten sonra da, hedef değişkenin etkisi için standart hatası ve güven aralığı doğru kalan bir kestirim nasıl yapılır?"

Model, hedef d ve p kontrolden oluşan x ile

y_i=\alpha\,d_i+x_i^{\top}\beta+\varepsilon_i

biçimindedir. \alpha ilgilenilen katsayıdır; \beta çok boyutludur ve çoğu bileşeni sıfıra yakın (seyrek) kabul edilir.

Neden en küçük kareler ya da tek lasso yetmez?

p gözlem sayısına yakınsa EKK'nın standart hatası büyür (örnek veride 62 parametre, 90 gözlem). Bunun yerine y'yi lassoyla kontrollere regres edip seçilen kontrollerle EKK yapmak da geçersizdir: seçim sürecinde \alpha'nın kestirimi, hedefle ilişkili ama y ile zayıf ilişkili kontrolleri dışarıda bırakabilir; bu, ihmal edilen değişken yanlılığı yaratır ve standart hata bu yanlılığı hesaba katmaz (Leeb ve Pötscher, 2005). Şablonun iki ana yöntemi (çift seçim, kısmi çıkarma) bu yanlılığı y ve d için ayrı seçimle gidermek üzere kurulmuştur (Belloni ve ark., 2014).

Ne zaman kullanılır?

  • Seyrek bir yüksek boyutlu kontrol kümesi varken (ülkeler arası büyüme regresyonları, genomik ya da çevresel kovaryat kümeleri) tek bir etki katsayısına geçerli çıkarım yapmak.
  • Kontrol sayısı gözlem sayısına yakın ya da ondan büyükken EKK'nın çalışmadığı durumlarda.
  • Sonuçları "veriye dayalı kontrol seçimi" ile "bütün kontroller" arasında karşılaştırmak (şablon bu karşılaştırmayı EKK satırıyla verir).

Ne zaman kullanılmaz?

  • Ana soru tahmin ya da kestirim doğruluğuysa: temel programdaki cezalı regresyon (lasso, elastik ağ). Bu şablon tek bir katsayının çıkarımına odaklanır.
  • Sonuç ikili ya da sayımsa: bu şablon yalnız doğrusal modeldir. İkili sonuçlu lojistik regresyon için temel programdaki lojistik regresyon.
  • Hedef değişken içsel (araç değişken gerektiriyorsa), panel verisi ya da kümelenmiş hata yapısı varsa: bu şablonda bu sürümler yoktur.
  • Kontrol sayısı küçük ve gözlemden çok azsa: tam modelle EKK (temel programdaki çoklu regresyon) daha basit ve bu şablondaki EKK satırıyla aynıdır.

Temel programla ilişki. Temel programın çoklu regresyonu bütün kontrolleri modele sokar ve klasik standart hata verir; bu şablonun "EKK, bütün kontroller" satırı aynı sonucu verir (p+1<n iken). Lasso ve elastik ağ temel programda yalnız kestirim için vardır ve seçim sonrası çıkarım üretmez.

164.2 Şablonun girdileri

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Sonuç değişkeni · y sayısal sütun · Değişkenler boş bir sayısal sütun Bağımlı değişken (141).
Hedef değişkenler · hedef sütunlar (yalnız sayısal) · Değişkenler boş en az 1 sütun \alpha'sı istenen değişkenler (127, 143).
Kontrol değişkenler · kontrol sütunlar · Değişkenler boş en az 1 sütun (sayısal, metin, faktör) Aday kontroller (128, 146–169).
Lasso ceza yüklemeleri · ceza seçim · Model hetero hetero, homo homoscedastic (174, 182).
Lasso sonrası EKK · lasso_sonrasi onay · Model açık açık/kapalı post (188).
Koşullu lasso çıkarımı · secici onay · Seçenekler açık açık/kapalı Ek bölüm (240–269).
Anlamlılık düzeyi \alpha · alfa ondalık · Seçenekler 0,05 0,001–0,5 Güven aralıkları (172–173, 265).
Ceza sabiti c · c_sabit ondalık · Gelişmiş 0,0 0–5; 0 = varsayılan penalty$c (184, 252).
Ceza olasılık düzeyi \gamma · gama ondalık · Gelişmiş 0,0 0–0,5; 0 = 0{,}1/\log n penalty$gamma (185).
Tasarıma bağlı \lambda · x_bagimli_lambda onay · Gelişmiş kapalı açık/kapalı X.dependent.lambda (183).
Ceza yükleri için en çok yineleme · en_cok_yineleme tamsayı · Gelişmiş 15 1–1000 control$numIter (189).
Ceza yükleri yakınsama toleransı · tolerans ondalık · Gelişmiş 10^{-5} 10^{-12}–0,1 control$tol (189).
Kısmi çıkarmada dayanıklı SH (HC1) · kismi_dayanikli onay · Seçenekler kapalı açık/kapalı Kapalı: kısmi çıkarmanın SH'si hdm'nin klasik EKK varyansı; açık: kalıntı regresyonunda HC1 (194–203).
Koşullu p değeri · kosullu_p seçim · Seçenekler tek tek, iki tek: paket çıktısı (tek yönlü); iki: 2\min(p,1-p) (259).

Şablona özgü denetimler (mq_hata):

  • Veri yoksa "Önce Veri sekmesinde bir veri açın." (126).
  • Sonuçtan farklı hedef kalmazsa "Sonuçtan farklı en az bir hedef değişken seçin." (129); sonuç ve hedeflerden farklı kontrol kalmazsa "Sonuç ve hedeflerden farklı en az bir kontrol değişkeni seçin." (130).
  • Eksiksiz gözlem sayısı 10'dan azsa "En az 10 tam gözlem gerekli." (136). Eksik değer nedeniyle satır atıldıysa atılan satır sayısı, kalan ve toplam satır sayısı ile değişken başına eksik değer sayısı not olarak yazılır (137–140).
  • Sonuç sabitse "Sonuç değişkeni sabit." (142); bir hedef sabitse "Hedef değişken '…' sabit." (145).
  • Bütün kontroller sabitse "Kontrol değişkenlerinin hepsi sabit." (171). Sabit ya da tek düzeyli kontroller atıldıysa hangilerinin atıldığı not olarak yazılır (162–166).
  • rlassoEffects hata verirse "Lasso kestirimi yapılamadı: …" (190).
  • Koşullu çıkarım için selectiveInference ya da glmnet yoksa kurulum iletisi (241); çıkarım hata verirse "Koşullu lasso çıkarımı yapılamadı: …" (262).

Örnek ayar: sonuç Outcome, hedef gdpsh465, kontrol olarak öteki 60 sütun; secici açık, alfa 0,05, diğer alanlar varsayılan.

164.3 Örnek veri

growthdata.csv, hdm paketinin GrowthData veri kümesidir (Barro ve Lee, 1994): 90 ülke, 1965–1985 dönemi için. Outcome ülkenin kişi başına GSYH büyüme oranı; gdpsh465 1965 başlangıç kişi başına GSYH'nin logaritması (hedef: yakınsama katsayısı, kuram negatif beklenir); 60 kontrol eğitim, sağlık, kurumsal ve demografik göstergelerdir. Eksik değer yok.

Değişken Rol Tür (veri sekmesinin algıladığı) Özet
Outcome sonuç sayısal ortalama 0,0453; sd 0,0513
gdpsh465 hedef sayısal ortalama 7,703; sd 0,896
bmp1l … ex1, tot1, … (60 sütun) kontrol sayısal ör. bmp1l: ortalama 0,169; sd 0,249

Bütün sütunlar sayısaldır; faktör ya da metin sütunu yoktur, dolayısıyla düzey sırası sorunu çıkmaz (kategorik kontroller için bkz. 164.8).

Bölümde kullanılan çalıştırmalar:

  1. Örnek ayar (sonuç Outcome, hedef gdpsh465, secici açık).
  2. ceza = homo; 3. lasso_sonrasi kapalı.
  3. alfa = 0,10; 5. iki hedef (gdpsh465, bmp1l).
  4. x_bagimli_lambda açık, iki ayrı tohum.
  5. İlk 40 satır (kontrol sayısı 60 > gözlem sayısı 40).
  6. Kategorik kontrollü sentetik sütun eklenmiş veri; 9. eksik hücreli veri (164.8).

164.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) sütunlar alınır, eksik satırlar atılır (atılan sayı yazılır); metin/faktör kontroller düzey sırasına göre gösterge değişkenlere açılır, sabit sütunlar atılır ve bildirilir; (2) hdm::rlassoEffects ile kısmi çıkarma ve çift seçim kestirilir; (3) p+1<n ise bütün kontrollerle EKK eklenir; (4) çift seçimde seçilen kontroller listelenir; (5) istenirse koşullu (polihedral) lasso çıkarımı yapılır; (6) güven aralıklarının orman grafiği çizilir.

164.4.1 Veriye dayalı cezalı (rigorous) lasso

Her kestirim, z_i yanıt (ya da hedefin kendisi) olmak üzere bir lasso regresyonuna dayanır. hdm'nin rlasso işlevi (Belloni ve ark., 2012) amaç işlevini şöyle kurar:

\hat\beta=\arg\min_{b}\ \frac1n\sum_{i=1}^{n}\big(z_i-x_i^{\top}b\big)^2+\frac{\lambda}{n}\sum_{j=1}^{p}\hat\psi_j\,|b_j|
  • z_i: o lassonun yanıtı (y ya da hedef d); x_i: ortalaması çıkarılmış kontroller (kesişim lassodan önce atılır).
  • \lambda=2c\sqrt n\,\Phi^{-1}\big(1-\gamma/(2p)\big): kuramsal ceza düzeyi. Varsayılan c=1{,}1 (lasso sonrası EKK açıkken) ya da c=0{,}5 (kapalıyken, c_sabit = 0 ise); \gamma=0{,}1/\log n (gama = 0 ise).
  • \hat\psi_j=\sqrt{\tfrac1n\sum_i x_{ij}^2\hat e_i^2}: ceza yükü; \hat e_i kalıntılardır. Değişen varyansa dayanıklı yükte (ceza = hetero) \hat e_i gözlem düzeyindedir, sabit varyans yükünde (homo) tek bir \hat\sigma\sqrt{\overline{x_j^2}} kullanılır.

Neden kuramsal λ ve neden çapraz geçerleme değil?

Çapraz geçerleme tahmin hatasını en küçültecek \lambda'yı seçer; bu, kestirilen seçilmiş modelin bütün gerçek kontrolleri içereceğini garanti etmez ve geçerli çıkarım için gereken "gürültü baskınlığı" koşulunu sağlamaz. Kuramsal \lambda, \max_j|x_j^{\top}e|/n üzerindeki yüksek olasılıklı sınırı aşacak biçimde seçilir (Belloni ve ark., 2012): böylece gerçekten sıfır olan katsayılar yüksek olasılıkla sıfırda kalır.

Ceza yükleri bilinmediğinden algoritma yinelemelidir. Başlangıç kalıntıları, z ile en yüksek mutlak korelasyonlu 5 kontrolün EKK'sinden alınır. Sonra: (i) \hat\psi ile lasso çözülür (ilk yinelemede, lasso sonrası açıkken, \lambda/2 ile); (ii) seçilen kontrollerle EKK ("post-lasso") kalıntıları bulunur; (iii) kalıntı standart sapması iki yineleme arasında tolerans'tan az değişene ya da en çok en_cok_yineleme yinelemeye kadar yükler güncellenir. Lasso adımının koordinat inişi hdm'nin LassoShooting.fit işleviyle yapılır (en çok 1000 tur, \sum|\Delta b|<10^{-5} durdurma; |b|<10^{-6} sıfır sayılır).

Koddaki tercih

rlassoEffects(x = XD, y = y, index = seq_along(hedef), method = yontem, post = isTRUE(P$lasso_sonrasi), penalty = ceza_l, control = list(numIter, tol)) (187–191). XD hedefleri ve kontrolleri yan yana tutar; her hedef için kontrol kümesi öteki hedefleri de içerir (164.8). penalty listesi homoscedastic, X.dependent.lambda (açıksa \lambda tasarım matrisine bağlı, 5000 çekilişli benzetimle hesaplanır ve sonuç tohuma bağlıdır), c ve gamma'yı taşır (182–185).

164.4.2 Çift seçim

  1. d kontrollere regres edilir (rigorous lasso); seçilen kontrol kümesi \hat I_d.
  2. y kontrollere regres edilir; seçilen küme \hat I_y.
  3. \hat I=\hat I_d\cup\hat I_y (7 kontrol, 164.6).
  4. y, d ve x_{\hat I} üzerine EKK ile regres edilir; \hat\alpha bu regresyondaki d katsayısıdır.

Standart hata değişen varyansa dayanıklıdır:

\widehat{\operatorname{Var}}(\hat\alpha)=\frac1n\cdot\frac{\overline{v^{2}\xi^{2}}}{\big(\overline{v^{2}}\big)^{2}},\qquad \xi_i=\hat\varepsilon_i\sqrt{\frac{n}{n-|\hat I|-1}}
  • v_i: d'nin x_{\hat I} üzerine EKK kalıntısı.
  • \hat\varepsilon_i: 4. adımdaki EKK kalıntısı; \xi_i serbestlik derecesi düzeltmeli hâli.
  • \overline{v^2} ve \overline{v^2\xi^2}: örneklem ortalamaları.

t=\hat\alpha/\mathrm{SH}; p=2\,\Phi(-|t|) ve güven aralığı \hat\alpha\pm z_{1-\alpha/2}\,\mathrm{SH} (205–209): normal yaklaşıktır.

164.4.3 Kısmi çıkarma

  1. y ve d ayrı rigorous lassolarla kontrollere regres edilir; her ikisinin kalıntıları \tilde y ve \tilde d alınır (lasso sonrası açıkken post-lasso kalıntıları).
  2. \tilde y, \tilde d üzerine kesişimle EKK ile regres edilir; \hat\alpha eğimdir.

Bu, Frisch–Waugh–Lovell teoreminin yüksek boyutlu biçimidir. hdm'nin bu yöntemdeki standart hatası klasik EKK varyansıdır: \hat s^2/\sum(\tilde d_i-\bar{\tilde d})^2, \hat s^2 2 serbestlik dereceli artık varyans; şablon bunu varsayılan olarak aynen aktarır. Aynı regresyonda değişen varyansa dayanıklı hata daha büyüktür (HC0 0,015219; HC1 0,015391; 164.6, 164.8); "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneği açıkken şablon \mathrm{SH}=\sqrt{n/(n-2)}\,\sqrt{\sum_i(\tilde d_i-\bar{\tilde d})^2\hat e_i^2}\big/\sum_i(\tilde d_i-\bar{\tilde d})^2 hesaplar (194–203); kestirim değişmez ve satır adına "; dayanıklı SH" eklenir.

164.4.4 Bütün kontrollerle EKK

p+1<n ve tasarım matrisi tam ranklıysa şablon, kesişim, hedefler ve bütün kontroller üzerine EKK yapar; standart hata \hat s^2(X^{\top}X)^{-1}'in köşegenidir (klasik), p değeri ve güven aralığı t_{n-\mathrm{rank}} dağılımındandır (210–222). p+1\ge n ise bu satır yazılmaz ve nedeni bir notla bildirilir (223–227).

164.4.5 Koşullu (polihedral) lasso çıkarımı

Seçim sonrası çıkarımın ikinci yaklaşımı (Lee ve ark., 2016) seçilen modele koşullanır. Sabit bir \lambda için lasso çözümü (hedef dahil bütün sütunlar, standartlaştırılmış Z ve ortalaması çıkarılmış y ile)

\hat\beta=\arg\min_b\ \tfrac12\lVert y-Zb\rVert^2+\lambda\lVert b\rVert_1

olsun ve seçilen küme E, işaretleri s olsun. Lasso'nun bu (E,s)'i seçmesi olayı y'nin bir çokyüzlüsüne \{Ay\le b\} denktir. Seçilen j. değişkenin sınanan parametresi \eta^{\top}\mu (\eta=Z_E(Z_E^{\top}Z_E)^{-1}e_j) olduğundan, \eta^{\top}y'nin çokyüzlüye koşullu dağılımı [V^-,V^+] aralığına kesilmiş normaldir:

\eta^{\top}y\mid\{Ay\le b\}\sim N\big(\eta^{\top}\mu,\ \sigma^2\lVert\eta\rVert^2\big)\ \text{aralığa kesilmiş},\quad p=\Big[1-F_{0}\big(\eta^{\top}y\big)\Big]\ \text{(işaret yönünde)}
  • A,b: seçim olayını tanımlayan matris ve vektör (Lee ve ark., 2016, Bölüm 4). Aralık uçları V^-,V^+ y'nin \eta doğrultusundaki bileşeni çıkarılarak bulunur.
  • F_\delta: ortalaması \delta, standart sapması \sigma\lVert\eta\rVert olan, [V^-,V^+]'a kesilmiş normalin dağılım işlevi.
  • Güven aralığı \{\delta: \alpha/2<F_\delta(\eta^{\top}y)<1-\alpha/2\} kümesidir.

Şablonda \lambda kuramsal değerdir: \lambda=c\,\hat\sigma\sqrt n\,\Phi^{-1}\big(1-\gamma/(2p)\big), c=1{,}1 (lasso sonrası açıkken), \gamma=0{,}1/\log n (251–252). \hat\sigma, p+1<n ise tam modelin artık standart sapmasıdır; aksi hâlde selectiveInference::estimateSigma (çapraz geçerlemeli lasso; rastgele katlara dayandığından tohuma bağlı olması beklenir, bu bölümde denenmedi) kullanılır (250). Lasso glmnet ile çözülür (s=\lambda/n, standardize = FALSE, thresh =10^{-14}; 253–254). Dönüştürülmüş katsayılar sütunların standart sapmasına bölünerek özgün ölçeğe getirilir (257–260).

Bu çıkarım hdm'in aksine hedefi ayrıcalıklı tutmaz: hedef, öteki kontroller gibi cezalanır ve yalnız lasso onu seçerse bir sonuç satırı üretilir. Örnek veride lasso yalnız bmp1l'i seçer (hedef gdpsh465 seçilmez), tabloda tek satır vardır ve hedef_mi sütunu boştur.

164.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
112–140 hdm yüklenir; .m, .m3 ve düzey sırası işlevi .siral (117–124); hedef/kontrol kümeleri kurulur; veri alınır, eksik satırlar complete.cases ile atılır Atılan satır sayısı ve değişken başına eksik değer sayısı not olarak yazılır (137–140).
141–145 Sonuç ve hedef matrisi D (mq_sayisal); sabit sonuç/hedef denetimi
146–171 Kontroller: metin/mantıksal sütun .siral ile düzey sırasına konur (etken sütunda Veri sekmesi sırası, sayı etiketlerinde sayısal sıra, aksi hâlde harf sırası); model.matrix(~ x)[, -1] ile gösterge (ilk düzey başvuru); tek düzeyli ve sabit sütunlar atılır Atılan kontroller ve her kategorik kontrolün başvuru düzeyi not olarak yazılır (162–169); başvuru düzeyi lasso'nun cezasını etkileyebilir.
172–186 Anlamlılık düzeyi, ceza listesi ceza_l; birden çok hedefte öteki hedeflerin kontrol sayıldığı not homoscedastic, X.dependent.lambda, c, gamma.
187–193 rlassoEffects ile iki yöntem; uyarılar toplanır Uyarılar İngilizce paket iletisidir, "Uyarılar:" satırında çıkar (270).
194–209 Kısmi çıkarma SH'si (varsayılan hdm'nin klasik varyansı; seçenekle HC1), satır etiketleri, hedef sonuç tablosu: kestirim, SH, t, p (\Phi), GA Satır etiketi lasso_sonrasi ve kismi_dayanikli ayarlarını yansıtır ("Kısmi çıkarma (lasso)", "(lasso sonrası; dayanıklı SH)") (202–204).
210–227 EKK karşılaştırma satırı Yalnız p+1<n ve tam rank iken; değilse neden not edilir (223–227).
231–238 Çift seçimde seçilen kontroller Birden çok hedefte öteki hedefler listeye girmez.
240–269 Koşullu çıkarım: Z, \hat\sigma, \lambda, glmnet, fixedLassoInf; kosullu_p ayarına göre p (259) Hedefin seçilmediği durumda hedef satırı yoktur; tablo başlığı p'nin tek ya da iki yönlü olduğunu yazar (265).
272–280 Orman grafiği Eksen etiketi \alpha'ya göre (%g GA) yazılır (276).

164.6 Elle hesap: örnek veride bağımsız yeniden hesap

Ara değerler dogrulama/secim_sonrasi_cikarim/elle_hesap.py (numpy ve scipy; hdm, glmnet ve selectiveInference kullanılmadan, rigorous lasso algoritması ve polihedral çıkarım açık yazılarak) ve r_dogrulama.R (taban R; seçim sonrası aritmetik) ile hesaplanmıştır.

Adım 1 — Bütün kontrollerle EKK. Tasarım matrisi 90 × 62, rank 62, artık serbestlik derecesi 28. \hat\alpha=-0{,}0093780, \mathrm{SH}=0{,}0298877, t=-0{,}313774, p=0{,}756019 (t_{28}), %95 GA [-0{,}070600;\ 0{,}051844].

Adım 2 — Rigorous lasso (hdm'nin algoritması). \lambda_0=2\cdot1{,}1\sqrt{90}\,\Phi^{-1}\big(1-\gamma/120\big), \gamma=0{,}1/\log90=0{,}022222. y için seçilen: bmp1l. d için seçilen: freetar, hm65, sf65, lifee065, humanf65, pop6565. Birleşim 7 kontroldür (şablonun tablosuyla aynı).

Adım 3 — Çift seçim. 4. adımdaki EKK: \hat\alpha=-0{,}0500059; dayanıklı varyans (serbestlik düzeltmeli \xi ile) \mathrm{SH}=0{,}0157914, t=-3{,}16666, p=0{,}001542, GA [-0{,}080956;\ -0{,}019055].

Adım 4 — Kısmi çıkarma. Post-lasso kalıntılarıyla: \hat\alpha=-0{,}0498115; klasik EKK \mathrm{SH}=0{,}0139364, t=-3{,}57421, p=0{,}000351, GA [-0{,}077126;\ -0{,}022497]. Aynı regresyonda dayanıklı hata (HC0) 0{,}0152194, HC1 0{,}0153913'tür; hdm'nin ve şablonun varsayılan olarak verdiği klasik hata HC0'dan %8,4 küçüktür. "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneği HC1 değerini yazar (t=-3{,}2363, p=0{,}001211).

Adım 5 — Koşullu çıkarım. Z=\mathrm{scale}(XD) (sütun standart sapması n-1 ile), \hat\sigma=0{,}0307393 (tam model), \lambda=1{,}1\cdot0{,}0307393\sqrt{90}\,\Phi^{-1}(1-\gamma/122)=1{,}143476. Lasso (koordinat inişi, 10^{-15} toleransla) yalnız bmp1l'i seçer (\hat\beta<0). Seçim olayı için \eta^{\top}y=z ve kesme sınırları V^-=-\infty, V^+=-0{,}012848 (standartlaştırılmış ölçekte, sütun standart sapmasına bölününce özgün ölçeğe geçilir). Özgün ölçekte kestirim -0{,}0755655; kesilmiş normal p değeri iki yönlü 0{,}000189, lasso işareti yönünde tek yönlü 0{,}0000944; %95 GA [-0{,}101185;\ -0{,}043013].

164.6.1 Doğrulama: MerQuR+, Python ve R

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Kısmi çıkarma: kestirim −0,04981147 −0,04981147 −0,04981147 4,9e−15 ✓
Kısmi çıkarma: SH 0,01393636 0,01393636 0,01393636 2,2e−15 ✓
Kısmi çıkarma: t −3,57420955 −3,57420955 −3,57420955 9,0e−14 ✓
Kısmi çıkarma: p 3,512875·10−4 3,512875·10−4 3,512875·10−4 1,0e−16 ✓
Kısmi çıkarma: GA alt −0,07712623 −0,07712623 −0,07712623 4,5e−15 ✓
Kısmi çıkarma: GA üst −0,0224967 −0,0224967 −0,0224967 4,2e−15 ✓
Çift seçim: kestirim −0,05000585 −0,05000585 −0,05000585 3,2e−15 ✓
Çift seçim: SH 0,01579138 0,01579138 0,01579138 4,0e−16 ✓
Çift seçim: t −3,16665516 −3,16665516 −3,16665516 1,6e−14 ✓
Çift seçim: p 0,00154203 0,00154203 0,00154203 5,0e−16 ✓
Çift seçim: GA alt −0,08095639 −0,08095639 −0,08095639 5,1e−16 ✓
Çift seçim: GA üst −0,01905532 −0,01905532 −0,01905532 4,1e−15 ✓
EKK, bütün kontroller: kestirim −0,00937799 −0,00937799 −0,00937799 1,1e−12 ✓
EKK, bütün kontroller: SH 0,02988773 0,02988773 0,02988773 2,3e−11 ✓
EKK, bütün kontroller: t −0,31377391 −0,31377391 −0,31377391 2,8e−10 ✓
EKK, bütün kontroller: p 0,75601852 0,75601852 0,75601852 2,1e−10 ✓
EKK, bütün kontroller: GA alt −0,07060022 −0,07060022 −0,07060022 4,6e−11 ✓
EKK, bütün kontroller: GA üst 0,05184424 0,05184424 0,05184424 4,8e−11 ✓
Çift seçimde seçilen kontrol sayısı 7 7 — 0 ✓
Koşullu çıkarım: bmp1l kestirim (özgün ölçek) −0,07556548 −0,07556548 — 5,6e−17 ✓
Koşullu çıkarım: bmp1l p (tek yönlü, lasso işareti yönünde) 9,436928·10−5 9,436928·10−5 — 3,8e−14 ✓
Koşullu çıkarım: bmp1l GA alt −0,10129061 −0,101185 — 1,1e−4 ✗
Koşullu çıkarım: bmp1l GA üst −0,04283832 −0,04301318 — 1,7e−4 ✗

Ölçütü karşılayan: 21/23. Koşullu çıkarımın p değeri bağımsız hesapta iki yönlü (1,887386·10−4) ve tek yönlü (9,436928·10−5) olarak kurulmuştur; tabloya tek yönlü olanı girmiştir. Güven aralığı uçlarındaki fark (10^{-3} göreli), selectiveInference paketinin aralığı ızgara aramasıyla bulmasından kaynaklanır; bağımsız hesapta uçlar kök bulmayla 10^{-12} duyarlıkla alınmıştır.

Güven aralığı uçlarındaki 10^{-4} düzeyindeki fark, paketin aralığı ızgara tabanlı bir aramayla bulmasından (TG.interval.base işlevi gridrange bağımsız değişkeni alır) kaynaklanıyor görünür; bu bölümde ızgara ayrıntısı ayrıca sınanmamıştır; bağımsız hesapta uçlar kök bulmayla alınmıştır. Koşullu çıkarımın p değeri tek yönlüdür (164.7 ve 164.8).

164.7 Çıktıyı okuma

Örnek ayarın (Çalıştırma 1) çıktısı:

n = 90; hedef sayısı = 1; kontrol (gösterge) sayısı p = 60; ceza: değişen varyansa dayanıklı

Hedef katsayıları (%95 GA):

      hedef                                 yontem  kestirim        SH         t         p    GA_alt    GA_ust
0  gdpsh465          Kısmi çıkarma (lasso sonrası) -0.049811  0.013936 -3.574210  0.000351 -0.077126 -0.022497
1  gdpsh465                             Çift seçim -0.050006  0.015791 -3.166655  0.001542 -0.080956 -0.019055
2  gdpsh465  EKK, bütün kontroller (karşılaştırma) -0.009378  0.029888 -0.313774  0.756019 -0.070600  0.051844

Çift seçimde seçilen kontroller:

      hedef  secilen_kontrol_sayisi                                       secilen_kontroller
0  gdpsh465                       7  bmp1l, freetar, hm65, sf65, lifee065, humanf65, pop6565

Koşullu (polihedral) lasso çıkarımı:

  degisken hedef_mi  kestirim         p    GA_alt    GA_ust
0    bmp1l          -0.075565  0.000094 -0.101291 -0.042838

Şekil 164.1. Hedef katsayısının üç yaklaşımla orman grafiği (örnek ayar): kısmi çıkarma ve çift seçim güven aralıkları sıfırı içermez; bütün kontrollerle EKK'nın aralığı çok geniştir ve sıfırı içerir. Eksen etiketi `alfa` ne olursa olsun "%95 GA" yazar.

Öğe Ne yazar Nasıl yorumlanır
kestirim, SH, t, p, GA_alt, GA_ust Hedef katsayısı ve normal yaklaşık çıkarım Kısmi çıkarma ve çift seçim aynı büyüklüğü verir (-0{,}0498 ve -0{,}0500), ama varsayılan olarak standart hataları farklı tür (klasik ve dayanıklı) olduğundan p değerleri 0{,}0004 ve 0{,}0015'tir; dayanıklı SH seçeneği açıkken kısmi çıkarmanın p değeri 0{,}0012 olur.
EKK, bütün kontroller p+1<n iken tam model Örnekte tahmin 5 kat küçüktür (-0{,}0094) ve standart hatası 2 kat büyüktür: kontrol sayısı gözlem sayısına yakınken EKK kararsızdır.
secilen_kontrol_sayisi, secilen_kontroller \hat I_d\cup\hat I_y Seçilen kümenin kendisi çıkarımın nesnesi değildir; yalnız \alpha'nın kestirimi içindir.
Koşullu çıkarım tablosu Lassonun seçtiği değişkenlerin (özgün ölçekli) katsayısı, p ve GA Yalnız lassonun seçtiği değişkenler için; varsayılanda p tek yönlüdür (aşağıya bakınız). hedef_mi = "evet" ise satır hedeftir.

Koşullu tablodaki varsayılan p=0{,}000094, aynı seçim olayına koşullu iki yönlü p=0{,}000189'un yarısıdır: selectiveInference::fixedLassoInf işareti bilinen seçilmiş katsayılar için lasso işareti yönünde tek yönlü p verir. Aynı tabloda güven aralığı iki yönlüdür; bu yüzden p ve aralık doğrudan karşılaştırıldığında tutarsız görünebilir. Tablo başlığı p'nin hangi türde olduğunu yazar; "Koşullu p değeri" alanı iki seçilirse tabloya 2\min(p,1-p)=0{,}000189 yazılır ve p ile aralık aynı türdedir.

Çalıştırma 4 (\alpha=0{,}10): %90 aralıklar [-0{,}072735;\ -0{,}026888] (kısmi çıkarma), [-0{,}075980;\ -0{,}024031] (çift seçim), [-0{,}060221;\ 0{,}041465] (EKK); koşullu aralık [-0{,}097287;\ -0{,}048977]; p değerleri değişmez.

Rapor cümlesi: Barro–Lee verisinde (n = 90, 60 aday kontrol) 1965 kişi başı GSYH'nin büyümeye etkisi, hdm çift seçimiyle −0,050 (SH 0,016; %95 GA −0,081 ile −0,019; p = 0,0015), kısmi çıkarmayla −0,050 (SH 0,014; p = 0,0004) bulunmuştur. Bütün kontrollerle EKK ise −0,009 (SH 0,030; p = 0,76) vermiştir; aradaki fark yüksek boyutlu kontrol kümesinde EKK'nın kararsızlığıyla açıklanır.

164.8 Sık hatalar ve tuzaklar

  • Kısmi çıkarmanın standart hatası varsayılanda klasiktir, değişen varyansa dayanıklı değildir. Üstbilgi ve açıklama metni bunu söyler; örnekte kısmi çıkarma SH'si 0,013936 (klasik) iken aynı regresyonda dayanıklı hata 0,015219 (HC0) ya da 0,015391 (HC1)'dir. ceza = hetero yalnız lasso ceza yüklerini dayanıklı kılar; çift seçimin SH'si dayanıklıdır (serbestlik düzeltmeli), kısmi çıkarmanınki varsayılanda değildir. İki yöntemin p değerlerini birbirine karşı yorumlarken bunu hesaba katın ya da "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneğini açın.
  • Koşullu çıkarımın varsayılan p değeri tek yönlüdür, güven aralığı iki yönlü. Tablo ikisini aynı satırda gösterir; başlık p'nin türünü yazar, "Koşullu p değeri" = iki iki yönlü p verir (164.7).
  • Koşullu çıkarım yalnız lassonun seçtiği değişkenler içindir. Örnek veride hedef gdpsh465 seçilmediği için hedefin koşullu aralığı yoktur; çıkan satır başka bir değişkenindir (bmp1l) ve hedef_mi boştur. Çok az kontrol seçilirse tablo hiç yazılmaz ("Koşullu lasso çıkarımı yapılamadı: seçilen değişken yok").
  • Çok hedefte öteki hedefler kontrol olur ve seçim listesine girmez. İki hedefle (gdpsh465, bmp1l) gdpsh465 için kısmi çıkarma kestirimi tek hedefli çalıştırmayla aynıdır (-0{,}049811), çünkü bmp1l zaten tek hedefli çalıştırmada kontrol olarak vardır. Seçilen kontroller tablosunda gdpsh465 için 7 yerine 6 kontrol görünür: öteki hedef listeden çıkarılmıştır (231–238); birden çok hedefte çıktı bunu bir notla söyler (178–181).
  • p\ge n-1 iken EKK satırı yoktur; çıktı nedenini söyler. İlk 40 satırla (p=60) tabloda yalnız kısmi çıkarma ve çift seçim vardır ve "Not: kontrol sayısı gözlem sayısına yakın ya da büyük (p + 1 = … ≥ n = …); bütün kontrollerle EKK karşılaştırması hesaplanamadı." yazılır; kısmi çıkarma ve çift seçim aynı kestirimi verir (-0{,}080904).
  • Tasarıma bağlı \lambda sonucu tohuma bağlar. x_bagimli_lambda açıkken 5000 çekilişli benzetim vardır: kısmi çıkarma -0{,}048962 (tohum 1) ve -0{,}049811 (tohum 2). Kapalıyken sonuç belirlenimcidir. Tohum konusu Bölüm 1.3'te anlatılmıştır; \hat\sigma çapraz geçerlemeyle kestirildiğinde (p\ge n-1) koşullu çıkarımın da tohuma bağlı olması beklenir; bu durum denenmemiştir (40 satırlık çalıştırmada lasso hiçbir değişken seçmemiştir).
  • Lasso sonrası EKK kapalıyken satır etiketleri "lasso" der. lasso_sonrasi kapalı çalıştırmada kestirim -0{,}044693 (kısmi çıkarma) ve -0{,}046474 (çift seçim) olur ve c=0{,}5 kullanılır; satır adları "Kısmi çıkarma (lasso)" ve "Çift seçim (lasso)" olur (202–204).
  • Ceza yükü seçimi sonucu değiştirir. homo ile seçilen kontrol sayısı 7'den 27'ye çıkar ve kısmi çıkarma -0{,}053330 (SH 0{,}014328), çift seçim -0{,}045356 (SH 0{,}018656) olur. Veride değişen varyans varsa dayanıklı yük (hetero) gerekir.
  • Kategorik kontroller göstergelere açılır; başvuru düzeyi ilk düzeydir. model.matrix(~ x)[, -1] (154) ilk düzeyi atar; düzey sırası etken sütunda Veri sekmesindeki sıra, sayı etiketlerinde sayısal sıra, aksi hâlde harf sırasıdır ve çıktı her kategorik kontrolün başvuru düzeyini yazar. Dörde bölünmüş bir bolge sütunuyla gösterge sayısı p=63'e çıkar ve EKK satırı -0{,}013311 olur; lasso cezası başvuru düzeyine simetrik değildir. Sabit ve tek düzeyli sütunlar atılır ve çıktı hangilerinin atıldığını söyler (sabit, tek_duzey).
  • Eksik değerli satırlar atılır ve bildirilir. h65 sütununda 3, Outcome'ta 1 eksik hücre ile n=86 olur; çıktı "Eksik değer nedeniyle 4 satır atıldı (86 satır kaldı, toplam 90). Değişken başına eksik değer sayısı: …" yazar.
  • Kontrol sütunları arasında yüksek korelasyon. Lasso birbirine çok yakın kontrollerden birini rastgele gibi seçer; seçilen kümeyi tek tek yorumlamayın.

164.9 Uzman soruları

S1. Çift seçimde neden hem y hem d için ayrı seçim yapılıyor?

y için yapılan seçim, hedefle güçlü ilişkili ama sonuçla zayıf ilişkili bir kontrolü (ihmal edilen değişken) kaçırabilir; bu kontrolün katsayısı \hat\alpha'ya yanlılık olarak geçer. d için yapılan ikinci seçim, hedefi güçlü yordayan kontrolleri de içeri alır ve yanlılığın ikinci derece küçük kalmasını sağlar (Belloni ve ark., 2014). Seçilen küme 7 kontroldür: y lassosu yalnız bmp1l'i, d lassosu 6 kontrol seçmiştir.

S2. Çift seçim ile kısmi çıkarma aynı şey mi?

Hayır, ama asimptotik olarak eşdeğerdir. Çift seçim birleşim kümesiyle tek EKK yapar; kısmi çıkarma y ve d'yi kendi seçimleriyle ayrı ayrı temizleyip kalıntıları regres eder. Örnekte kestirimler -0{,}0500 ve -0{,}0498'dir; küçük örneklemde (n=90) ayrılırlar ve standart hata türleri de farklıdır (164.8).

S3. Çıkarım neden \sqrt n yakınsayan normal yaklaşıkla yapılıyor ve n=90 yeterli mi?

Kuram, s^2\log^2p/n\to0 gibi bir seyreklik koşulu altında \hat\alpha'nın asimptotik normalliğini verir. n=90, p=60 küçük bir örneklem olduğundan normal yaklaşıkın güvenilirliği veriden denetlenemez; şablon küçük örneklem düzeltmesi (ör. t dağılımı) yapmaz. Çift seçimde yalnız serbestlik derecesi düzeltmeli kalıntı kullanılır (164.4.2).

S4. Koşullu çıkarım ile hdm çıkarımı neden farklı sorular yanıtlar?

hdm hedefi cezalamaz ve yalnız \alpha'nın çıkarımını verir; kontrollerin seçimi bir "gürültü parametresi" olarak ele alınır ve \alpha üzerindeki çıkarım seçimin bir sonucu sayılmaz (Neyman ortogonalliği). Koşullu çıkarım ise lassonun seçtiği her değişkenin katsayısı için, lassonun tam o modeli seçtiği olaya koşullanır; hedef de öteki değişkenler gibi cezalanır. İki tablo aynı değişkeni tahmin etmez: biri hedef etkisini, diğeri seçilen modeldeki katsayıları.

S5. Koşullu çıkarımda \lambda neden sabit ve \sigma tam modelden?

Polihedral kuram yalnız \lambda'nın veriden bağımsız seçildiği durumda geçerlidir. Çapraz geçerlemeyle seçilen \lambda veriye bağlı olacağından seçim olayı çokyüzlü olmaktan çıkar; bu nedenle şablon kuramsal (Belloni ve ark.) bir \lambda kullanır (191–192). \sigma bilinmediğinden tam modelden (p+1<n), aksi hâlde çapraz geçerlemeli lassodan kestirilir; ikincisinde kuram kesin değildir ve sonuç tohuma bağlıdır.

S6. Kısmi çıkarmanın standart hatası neden klasiktir?

hdm'nin rlassoEffect işlevi, kısmi çıkarmada kalıntı regresyonunun lm varyansını kullanır; dayanıklı ve klasik hatalar arasındaki fark örnekte %8,4'tür (0,015219 ve 0,013936). Çift seçimde ise serbestlik düzeltmeli dayanıklı ifade kullanılır. Bu, paketin tanımıdır; şablon varsayılanda aynen aktarır, istenirse HC1 seçeneğiyle dayanıklı hatayı kendisi hesaplar (194–203).

S7. Hedef seçilmezse koşullu çıkarım ne ifade eder?

Hiçbir şey: hedefin katsayısı için koşullu bir aralık yoktur. Lassonun seçmediği bir değişken hakkında seçim sonrası çıkarım aynı yöntemle yapılamaz. Örnekte tablo yalnız bmp1l'i gösterir; hedefin geçerli aralığı için çift seçim ya da kısmi çıkarma kullanılmalıdır.

164.10 Kaynaklar

  • Barro, R. J., & Lee, J.-W. (1994). Sources of economic growth. Carnegie-Rochester Conference Series on Public Policy, 40, 1–46. https://doi.org/10.1016/0167-2231(94)90002-7
  • Belloni, A., Chen, D., Chernozhukov, V., & Hansen, C. (2012). Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica, 80(6), 2369–2429. https://doi.org/10.3982/ECTA9626
  • Belloni, A., Chernozhukov, V., & Hansen, C. (2014). Inference on treatment effects after selection among high-dimensional controls. The Review of Economic Studies, 81(2), 608–650. https://doi.org/10.1093/restud/rdt044
  • Chernozhukov, V., Hansen, C., & Spindler, M. (2016). hdm: High-dimensional metrics. The R Journal, 8(2), 185–199. https://doi.org/10.32614/RJ-2016-040
  • Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1), 1–22. https://doi.org/10.18637/jss.v033.i01
  • Lee, J. D., Sun, D. L., Sun, Y., & Taylor, J. E. (2016). Exact post-selection inference, with application to the lasso. The Annals of Statistics, 44(3), 907–927. https://doi.org/10.1214/15-AOS1371
  • Leeb, H., & Pötscher, B. M. (2005). Model selection and inference: Facts and fiction. Econometric Theory, 21(1), 21–59. https://doi.org/10.1017/S0266466605050036
  • Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
  • Tibshirani, R., Tibshirani, R., Taylor, J., Loftus, J., Reid, S., & Markovic, J. (2019). selectiveInference: Tools for post-selection inference (R package version 1.2.5). https://CRAN.R-project.org/package=selectiveInference