164. Seçim sonrası çıkarım
Şablon kimliği: secim_sonrasi_cikarim · Kategori: çok değişkenli · Dil: R · Dosya: pro/sablonlar/cok_degiskenli/secim_sonrasi_cikarim.R (satır 1–281; üstbilgi 1–110) · Örnek veri: _ornek/growthdata.csv · Paketler: hdm 0.3.2, glmnet 5.1, selectiveInference 1.2.5 (R 4.5.3)
164.1 Ne işe yarar
Kontrol değişkeni sayısı gözlem sayısına yaklaşırken ya da onu aşarken, bir ya da birkaç hedef değişkenin sonuç üzerindeki katsayısı için geçerli güven aralığı ve p değeri verir. Cevapladığı soru şudur: "Çok sayıda aday kontrolden hangilerinin modelde yer alacağını veriden seçtikten sonra da, hedef değişkenin etkisi için standart hatası ve güven aralığı doğru kalan bir kestirim nasıl yapılır?"
Model, hedef d ve p kontrolden oluşan x ile
biçimindedir. \alpha ilgilenilen katsayıdır; \beta çok boyutludur ve çoğu bileşeni sıfıra yakın (seyrek) kabul edilir.
Neden en küçük kareler ya da tek lasso yetmez?
p gözlem sayısına yakınsa EKK'nın standart hatası büyür (örnek veride 62 parametre, 90 gözlem). Bunun yerine y'yi lassoyla kontrollere regres edip seçilen kontrollerle EKK yapmak da geçersizdir: seçim sürecinde \alpha'nın kestirimi, hedefle ilişkili ama y ile zayıf ilişkili kontrolleri dışarıda bırakabilir; bu, ihmal edilen değişken yanlılığı yaratır ve standart hata bu yanlılığı hesaba katmaz (Leeb ve Pötscher, 2005). Şablonun iki ana yöntemi (çift seçim, kısmi çıkarma) bu yanlılığı y ve d için ayrı seçimle gidermek üzere kurulmuştur (Belloni ve ark., 2014).
Ne zaman kullanılır?
- Seyrek bir yüksek boyutlu kontrol kümesi varken (ülkeler arası büyüme regresyonları, genomik ya da çevresel kovaryat kümeleri) tek bir etki katsayısına geçerli çıkarım yapmak.
- Kontrol sayısı gözlem sayısına yakın ya da ondan büyükken EKK'nın çalışmadığı durumlarda.
- Sonuçları "veriye dayalı kontrol seçimi" ile "bütün kontroller" arasında karşılaştırmak (şablon bu karşılaştırmayı EKK satırıyla verir).
Ne zaman kullanılmaz?
- Ana soru tahmin ya da kestirim doğruluğuysa: temel programdaki cezalı regresyon (lasso, elastik ağ). Bu şablon tek bir katsayının çıkarımına odaklanır.
- Sonuç ikili ya da sayımsa: bu şablon yalnız doğrusal modeldir. İkili sonuçlu lojistik regresyon için temel programdaki lojistik regresyon.
- Hedef değişken içsel (araç değişken gerektiriyorsa), panel verisi ya da kümelenmiş hata yapısı varsa: bu şablonda bu sürümler yoktur.
- Kontrol sayısı küçük ve gözlemden çok azsa: tam modelle EKK (temel programdaki çoklu regresyon) daha basit ve bu şablondaki EKK satırıyla aynıdır.
Temel programla ilişki. Temel programın çoklu regresyonu bütün kontrolleri modele sokar ve klasik standart hata verir; bu şablonun "EKK, bütün kontroller" satırı aynı sonucu verir (p+1<n iken). Lasso ve elastik ağ temel programda yalnız kestirim için vardır ve seçim sonrası çıkarım üretmez.
164.2 Şablonun girdileri
| Alan (form etiketi) · ad | Tür · sekme | Varsayılan | Geçerli değerler | Kodda etkisi |
|---|---|---|---|---|
Sonuç değişkeni · y |
sayısal sütun · Değişkenler | boş | bir sayısal sütun | Bağımlı değişken (141). |
Hedef değişkenler · hedef |
sütunlar (yalnız sayısal) · Değişkenler | boş | en az 1 sütun | \alpha'sı istenen değişkenler (127, 143). |
Kontrol değişkenler · kontrol |
sütunlar · Değişkenler | boş | en az 1 sütun (sayısal, metin, faktör) | Aday kontroller (128, 146–169). |
Lasso ceza yüklemeleri · ceza |
seçim · Model | hetero |
hetero, homo |
homoscedastic (174, 182). |
Lasso sonrası EKK · lasso_sonrasi |
onay · Model | açık | açık/kapalı | post (188). |
Koşullu lasso çıkarımı · secici |
onay · Seçenekler | açık | açık/kapalı | Ek bölüm (240–269). |
Anlamlılık düzeyi \alpha · alfa |
ondalık · Seçenekler | 0,05 | 0,001–0,5 | Güven aralıkları (172–173, 265). |
Ceza sabiti c · c_sabit |
ondalık · Gelişmiş | 0,0 | 0–5; 0 = varsayılan | penalty$c (184, 252). |
Ceza olasılık düzeyi \gamma · gama |
ondalık · Gelişmiş | 0,0 | 0–0,5; 0 = 0{,}1/\log n | penalty$gamma (185). |
Tasarıma bağlı \lambda · x_bagimli_lambda |
onay · Gelişmiş | kapalı | açık/kapalı | X.dependent.lambda (183). |
Ceza yükleri için en çok yineleme · en_cok_yineleme |
tamsayı · Gelişmiş | 15 | 1–1000 | control$numIter (189). |
Ceza yükleri yakınsama toleransı · tolerans |
ondalık · Gelişmiş | 10^{-5} | 10^{-12}–0,1 | control$tol (189). |
Kısmi çıkarmada dayanıklı SH (HC1) · kismi_dayanikli |
onay · Seçenekler | kapalı | açık/kapalı | Kapalı: kısmi çıkarmanın SH'si hdm'nin klasik EKK varyansı; açık: kalıntı regresyonunda HC1 (194–203). |
Koşullu p değeri · kosullu_p |
seçim · Seçenekler | tek |
tek, iki |
tek: paket çıktısı (tek yönlü); iki: 2\min(p,1-p) (259). |
Şablona özgü denetimler (mq_hata):
- Veri yoksa "Önce Veri sekmesinde bir veri açın." (126).
- Sonuçtan farklı hedef kalmazsa "Sonuçtan farklı en az bir hedef değişken seçin." (129); sonuç ve hedeflerden farklı kontrol kalmazsa "Sonuç ve hedeflerden farklı en az bir kontrol değişkeni seçin." (130).
- Eksiksiz gözlem sayısı 10'dan azsa "En az 10 tam gözlem gerekli." (136). Eksik değer nedeniyle satır atıldıysa atılan satır sayısı, kalan ve toplam satır sayısı ile değişken başına eksik değer sayısı not olarak yazılır (137–140).
- Sonuç sabitse "Sonuç değişkeni sabit." (142); bir hedef sabitse "Hedef değişken '…' sabit." (145).
- Bütün kontroller sabitse "Kontrol değişkenlerinin hepsi sabit." (171). Sabit ya da tek düzeyli kontroller atıldıysa hangilerinin atıldığı not olarak yazılır (162–166).
rlassoEffectshata verirse "Lasso kestirimi yapılamadı: …" (190).- Koşullu çıkarım için
selectiveInferenceya daglmnetyoksa kurulum iletisi (241); çıkarım hata verirse "Koşullu lasso çıkarımı yapılamadı: …" (262).
Örnek ayar: sonuç Outcome, hedef gdpsh465, kontrol olarak öteki 60 sütun; secici açık, alfa 0,05, diğer alanlar varsayılan.
164.3 Örnek veri
growthdata.csv, hdm paketinin GrowthData veri kümesidir (Barro ve Lee, 1994): 90 ülke, 1965–1985 dönemi için. Outcome ülkenin kişi başına GSYH büyüme oranı; gdpsh465 1965 başlangıç kişi başına GSYH'nin logaritması (hedef: yakınsama katsayısı, kuram negatif beklenir); 60 kontrol eğitim, sağlık, kurumsal ve demografik göstergelerdir. Eksik değer yok.
| Değişken | Rol | Tür (veri sekmesinin algıladığı) | Özet |
|---|---|---|---|
Outcome |
sonuç | sayısal | ortalama 0,0453; sd 0,0513 |
gdpsh465 |
hedef | sayısal | ortalama 7,703; sd 0,896 |
bmp1l … ex1, tot1, … (60 sütun) |
kontrol | sayısal | ör. bmp1l: ortalama 0,169; sd 0,249 |
Bütün sütunlar sayısaldır; faktör ya da metin sütunu yoktur, dolayısıyla düzey sırası sorunu çıkmaz (kategorik kontroller için bkz. 164.8).
Bölümde kullanılan çalıştırmalar:
- Örnek ayar (sonuç
Outcome, hedefgdpsh465,seciciaçık). ceza=homo; 3.lasso_sonrasikapalı.alfa= 0,10; 5. iki hedef (gdpsh465,bmp1l).x_bagimli_lambdaaçık, iki ayrı tohum.- İlk 40 satır (kontrol sayısı 60 > gözlem sayısı 40).
- Kategorik kontrollü sentetik sütun eklenmiş veri; 9. eksik hücreli veri (164.8).
164.4 Yöntem: formüller ve hesap adımları
Hesap sırası: (1) sütunlar alınır, eksik satırlar atılır (atılan sayı yazılır); metin/faktör kontroller düzey sırasına göre gösterge değişkenlere açılır, sabit sütunlar atılır ve bildirilir; (2) hdm::rlassoEffects ile kısmi çıkarma ve çift seçim kestirilir; (3) p+1<n ise bütün kontrollerle EKK eklenir; (4) çift seçimde seçilen kontroller listelenir; (5) istenirse koşullu (polihedral) lasso çıkarımı yapılır; (6) güven aralıklarının orman grafiği çizilir.
164.4.1 Veriye dayalı cezalı (rigorous) lasso
Her kestirim, z_i yanıt (ya da hedefin kendisi) olmak üzere bir lasso regresyonuna dayanır. hdm'nin rlasso işlevi (Belloni ve ark., 2012) amaç işlevini şöyle kurar:
- z_i: o lassonun yanıtı (y ya da hedef d); x_i: ortalaması çıkarılmış kontroller (kesişim lassodan önce atılır).
- \lambda=2c\sqrt n\,\Phi^{-1}\big(1-\gamma/(2p)\big): kuramsal ceza düzeyi. Varsayılan c=1{,}1 (lasso sonrası EKK açıkken) ya da c=0{,}5 (kapalıyken,
c_sabit= 0 ise); \gamma=0{,}1/\log n (gama= 0 ise). - \hat\psi_j=\sqrt{\tfrac1n\sum_i x_{ij}^2\hat e_i^2}: ceza yükü; \hat e_i kalıntılardır. Değişen varyansa dayanıklı yükte (
ceza=hetero) \hat e_i gözlem düzeyindedir, sabit varyans yükünde (homo) tek bir \hat\sigma\sqrt{\overline{x_j^2}} kullanılır.
Neden kuramsal λ ve neden çapraz geçerleme değil?
Çapraz geçerleme tahmin hatasını en küçültecek \lambda'yı seçer; bu, kestirilen seçilmiş modelin bütün gerçek kontrolleri içereceğini garanti etmez ve geçerli çıkarım için gereken "gürültü baskınlığı" koşulunu sağlamaz. Kuramsal \lambda, \max_j|x_j^{\top}e|/n üzerindeki yüksek olasılıklı sınırı aşacak biçimde seçilir (Belloni ve ark., 2012): böylece gerçekten sıfır olan katsayılar yüksek olasılıkla sıfırda kalır.
Ceza yükleri bilinmediğinden algoritma yinelemelidir. Başlangıç kalıntıları, z ile en yüksek mutlak korelasyonlu 5 kontrolün EKK'sinden alınır. Sonra: (i) \hat\psi ile lasso çözülür (ilk yinelemede, lasso sonrası açıkken, \lambda/2 ile); (ii) seçilen kontrollerle EKK ("post-lasso") kalıntıları bulunur; (iii) kalıntı standart sapması iki yineleme arasında tolerans'tan az değişene ya da en çok en_cok_yineleme yinelemeye kadar yükler güncellenir. Lasso adımının koordinat inişi hdm'nin LassoShooting.fit işleviyle yapılır (en çok 1000 tur, \sum|\Delta b|<10^{-5} durdurma; |b|<10^{-6} sıfır sayılır).
Koddaki tercih
rlassoEffects(x = XD, y = y, index = seq_along(hedef), method = yontem, post = isTRUE(P$lasso_sonrasi), penalty = ceza_l, control = list(numIter, tol)) (187–191). XD hedefleri ve kontrolleri yan yana tutar; her hedef için kontrol kümesi öteki hedefleri de içerir (164.8). penalty listesi homoscedastic, X.dependent.lambda (açıksa \lambda tasarım matrisine bağlı, 5000 çekilişli benzetimle hesaplanır ve sonuç tohuma bağlıdır), c ve gamma'yı taşır (182–185).
164.4.2 Çift seçim
- d kontrollere regres edilir (rigorous lasso); seçilen kontrol kümesi \hat I_d.
- y kontrollere regres edilir; seçilen küme \hat I_y.
- \hat I=\hat I_d\cup\hat I_y (7 kontrol, 164.6).
- y, d ve x_{\hat I} üzerine EKK ile regres edilir; \hat\alpha bu regresyondaki d katsayısıdır.
Standart hata değişen varyansa dayanıklıdır:
- v_i: d'nin x_{\hat I} üzerine EKK kalıntısı.
- \hat\varepsilon_i: 4. adımdaki EKK kalıntısı; \xi_i serbestlik derecesi düzeltmeli hâli.
- \overline{v^2} ve \overline{v^2\xi^2}: örneklem ortalamaları.
t=\hat\alpha/\mathrm{SH}; p=2\,\Phi(-|t|) ve güven aralığı \hat\alpha\pm z_{1-\alpha/2}\,\mathrm{SH} (205–209): normal yaklaşıktır.
164.4.3 Kısmi çıkarma
- y ve d ayrı rigorous lassolarla kontrollere regres edilir; her ikisinin kalıntıları \tilde y ve \tilde d alınır (lasso sonrası açıkken post-lasso kalıntıları).
- \tilde y, \tilde d üzerine kesişimle EKK ile regres edilir; \hat\alpha eğimdir.
Bu, Frisch–Waugh–Lovell teoreminin yüksek boyutlu biçimidir. hdm'nin bu yöntemdeki standart hatası klasik EKK varyansıdır: \hat s^2/\sum(\tilde d_i-\bar{\tilde d})^2, \hat s^2 2 serbestlik dereceli artık varyans; şablon bunu varsayılan olarak aynen aktarır. Aynı regresyonda değişen varyansa dayanıklı hata daha büyüktür (HC0 0,015219; HC1 0,015391; 164.6, 164.8); "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneği açıkken şablon \mathrm{SH}=\sqrt{n/(n-2)}\,\sqrt{\sum_i(\tilde d_i-\bar{\tilde d})^2\hat e_i^2}\big/\sum_i(\tilde d_i-\bar{\tilde d})^2 hesaplar (194–203); kestirim değişmez ve satır adına "; dayanıklı SH" eklenir.
164.4.4 Bütün kontrollerle EKK
p+1<n ve tasarım matrisi tam ranklıysa şablon, kesişim, hedefler ve bütün kontroller üzerine EKK yapar; standart hata \hat s^2(X^{\top}X)^{-1}'in köşegenidir (klasik), p değeri ve güven aralığı t_{n-\mathrm{rank}} dağılımındandır (210–222). p+1\ge n ise bu satır yazılmaz ve nedeni bir notla bildirilir (223–227).
164.4.5 Koşullu (polihedral) lasso çıkarımı
Seçim sonrası çıkarımın ikinci yaklaşımı (Lee ve ark., 2016) seçilen modele koşullanır. Sabit bir \lambda için lasso çözümü (hedef dahil bütün sütunlar, standartlaştırılmış Z ve ortalaması çıkarılmış y ile)
olsun ve seçilen küme E, işaretleri s olsun. Lasso'nun bu (E,s)'i seçmesi olayı y'nin bir çokyüzlüsüne \{Ay\le b\} denktir. Seçilen j. değişkenin sınanan parametresi \eta^{\top}\mu (\eta=Z_E(Z_E^{\top}Z_E)^{-1}e_j) olduğundan, \eta^{\top}y'nin çokyüzlüye koşullu dağılımı [V^-,V^+] aralığına kesilmiş normaldir:
- A,b: seçim olayını tanımlayan matris ve vektör (Lee ve ark., 2016, Bölüm 4). Aralık uçları V^-,V^+ y'nin \eta doğrultusundaki bileşeni çıkarılarak bulunur.
- F_\delta: ortalaması \delta, standart sapması \sigma\lVert\eta\rVert olan, [V^-,V^+]'a kesilmiş normalin dağılım işlevi.
- Güven aralığı \{\delta: \alpha/2<F_\delta(\eta^{\top}y)<1-\alpha/2\} kümesidir.
Şablonda \lambda kuramsal değerdir: \lambda=c\,\hat\sigma\sqrt n\,\Phi^{-1}\big(1-\gamma/(2p)\big), c=1{,}1 (lasso sonrası açıkken), \gamma=0{,}1/\log n (251–252). \hat\sigma, p+1<n ise tam modelin artık standart sapmasıdır; aksi hâlde selectiveInference::estimateSigma (çapraz geçerlemeli lasso; rastgele katlara dayandığından tohuma bağlı olması beklenir, bu bölümde denenmedi) kullanılır (250). Lasso glmnet ile çözülür (s=\lambda/n, standardize = FALSE, thresh =10^{-14}; 253–254). Dönüştürülmüş katsayılar sütunların standart sapmasına bölünerek özgün ölçeğe getirilir (257–260).
Bu çıkarım hdm'in aksine hedefi ayrıcalıklı tutmaz: hedef, öteki kontroller gibi cezalanır ve yalnız lasso onu seçerse bir sonuç satırı üretilir. Örnek veride lasso yalnız bmp1l'i seçer (hedef gdpsh465 seçilmez), tabloda tek satır vardır ve hedef_mi sütunu boştur.
164.5 Kod adım adım
| Satırlar | Ne yapar | Neden / dikkat |
|---|---|---|
| 112–140 | hdm yüklenir; .m, .m3 ve düzey sırası işlevi .siral (117–124); hedef/kontrol kümeleri kurulur; veri alınır, eksik satırlar complete.cases ile atılır |
Atılan satır sayısı ve değişken başına eksik değer sayısı not olarak yazılır (137–140). |
| 141–145 | Sonuç ve hedef matrisi D (mq_sayisal); sabit sonuç/hedef denetimi |
|
| 146–171 | Kontroller: metin/mantıksal sütun .siral ile düzey sırasına konur (etken sütunda Veri sekmesi sırası, sayı etiketlerinde sayısal sıra, aksi hâlde harf sırası); model.matrix(~ x)[, -1] ile gösterge (ilk düzey başvuru); tek düzeyli ve sabit sütunlar atılır |
Atılan kontroller ve her kategorik kontrolün başvuru düzeyi not olarak yazılır (162–169); başvuru düzeyi lasso'nun cezasını etkileyebilir. |
| 172–186 | Anlamlılık düzeyi, ceza listesi ceza_l; birden çok hedefte öteki hedeflerin kontrol sayıldığı not |
homoscedastic, X.dependent.lambda, c, gamma. |
| 187–193 | rlassoEffects ile iki yöntem; uyarılar toplanır |
Uyarılar İngilizce paket iletisidir, "Uyarılar:" satırında çıkar (270). |
| 194–209 | Kısmi çıkarma SH'si (varsayılan hdm'nin klasik varyansı; seçenekle HC1), satır etiketleri, hedef sonuç tablosu: kestirim, SH, t, p (\Phi), GA | Satır etiketi lasso_sonrasi ve kismi_dayanikli ayarlarını yansıtır ("Kısmi çıkarma (lasso)", "(lasso sonrası; dayanıklı SH)") (202–204). |
| 210–227 | EKK karşılaştırma satırı | Yalnız p+1<n ve tam rank iken; değilse neden not edilir (223–227). |
| 231–238 | Çift seçimde seçilen kontroller | Birden çok hedefte öteki hedefler listeye girmez. |
| 240–269 | Koşullu çıkarım: Z, \hat\sigma, \lambda, glmnet, fixedLassoInf; kosullu_p ayarına göre p (259) |
Hedefin seçilmediği durumda hedef satırı yoktur; tablo başlığı p'nin tek ya da iki yönlü olduğunu yazar (265). |
| 272–280 | Orman grafiği | Eksen etiketi \alpha'ya göre (%g GA) yazılır (276). |
164.6 Elle hesap: örnek veride bağımsız yeniden hesap
Ara değerler dogrulama/secim_sonrasi_cikarim/elle_hesap.py (numpy ve scipy; hdm, glmnet ve selectiveInference kullanılmadan, rigorous lasso algoritması ve polihedral çıkarım açık yazılarak) ve r_dogrulama.R (taban R; seçim sonrası aritmetik) ile hesaplanmıştır.
Adım 1 — Bütün kontrollerle EKK. Tasarım matrisi 90 × 62, rank 62, artık serbestlik derecesi 28. \hat\alpha=-0{,}0093780, \mathrm{SH}=0{,}0298877, t=-0{,}313774, p=0{,}756019 (t_{28}), %95 GA [-0{,}070600;\ 0{,}051844].
Adım 2 — Rigorous lasso (hdm'nin algoritması). \lambda_0=2\cdot1{,}1\sqrt{90}\,\Phi^{-1}\big(1-\gamma/120\big), \gamma=0{,}1/\log90=0{,}022222. y için seçilen: bmp1l. d için seçilen: freetar, hm65, sf65, lifee065, humanf65, pop6565. Birleşim 7 kontroldür (şablonun tablosuyla aynı).
Adım 3 — Çift seçim. 4. adımdaki EKK: \hat\alpha=-0{,}0500059; dayanıklı varyans (serbestlik düzeltmeli \xi ile) \mathrm{SH}=0{,}0157914, t=-3{,}16666, p=0{,}001542, GA [-0{,}080956;\ -0{,}019055].
Adım 4 — Kısmi çıkarma. Post-lasso kalıntılarıyla: \hat\alpha=-0{,}0498115; klasik EKK \mathrm{SH}=0{,}0139364, t=-3{,}57421, p=0{,}000351, GA [-0{,}077126;\ -0{,}022497]. Aynı regresyonda dayanıklı hata (HC0) 0{,}0152194, HC1 0{,}0153913'tür; hdm'nin ve şablonun varsayılan olarak verdiği klasik hata HC0'dan %8,4 küçüktür. "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneği HC1 değerini yazar (t=-3{,}2363, p=0{,}001211).
Adım 5 — Koşullu çıkarım. Z=\mathrm{scale}(XD) (sütun standart sapması n-1 ile), \hat\sigma=0{,}0307393 (tam model), \lambda=1{,}1\cdot0{,}0307393\sqrt{90}\,\Phi^{-1}(1-\gamma/122)=1{,}143476. Lasso (koordinat inişi, 10^{-15} toleransla) yalnız bmp1l'i seçer (\hat\beta<0). Seçim olayı için \eta^{\top}y=z ve kesme sınırları V^-=-\infty, V^+=-0{,}012848 (standartlaştırılmış ölçekte, sütun standart sapmasına bölününce özgün ölçeğe geçilir). Özgün ölçekte kestirim -0{,}0755655; kesilmiş normal p değeri iki yönlü 0{,}000189, lasso işareti yönünde tek yönlü 0{,}0000944; %95 GA [-0{,}101185;\ -0{,}043013].
164.6.1 Doğrulama: MerQuR+, Python ve R
| Büyüklük | MerQuR+ | Python (bağımsız) | R (bağımsız) | En büyük fark | |
|---|---|---|---|---|---|
| Kısmi çıkarma: kestirim | −0,04981147 | −0,04981147 | −0,04981147 | 4,9e−15 | ✓ |
| Kısmi çıkarma: SH | 0,01393636 | 0,01393636 | 0,01393636 | 2,2e−15 | ✓ |
| Kısmi çıkarma: t | −3,57420955 | −3,57420955 | −3,57420955 | 9,0e−14 | ✓ |
| Kısmi çıkarma: p | 3,512875·10−4 | 3,512875·10−4 | 3,512875·10−4 | 1,0e−16 | ✓ |
| Kısmi çıkarma: GA alt | −0,07712623 | −0,07712623 | −0,07712623 | 4,5e−15 | ✓ |
| Kısmi çıkarma: GA üst | −0,0224967 | −0,0224967 | −0,0224967 | 4,2e−15 | ✓ |
| Çift seçim: kestirim | −0,05000585 | −0,05000585 | −0,05000585 | 3,2e−15 | ✓ |
| Çift seçim: SH | 0,01579138 | 0,01579138 | 0,01579138 | 4,0e−16 | ✓ |
| Çift seçim: t | −3,16665516 | −3,16665516 | −3,16665516 | 1,6e−14 | ✓ |
| Çift seçim: p | 0,00154203 | 0,00154203 | 0,00154203 | 5,0e−16 | ✓ |
| Çift seçim: GA alt | −0,08095639 | −0,08095639 | −0,08095639 | 5,1e−16 | ✓ |
| Çift seçim: GA üst | −0,01905532 | −0,01905532 | −0,01905532 | 4,1e−15 | ✓ |
| EKK, bütün kontroller: kestirim | −0,00937799 | −0,00937799 | −0,00937799 | 1,1e−12 | ✓ |
| EKK, bütün kontroller: SH | 0,02988773 | 0,02988773 | 0,02988773 | 2,3e−11 | ✓ |
| EKK, bütün kontroller: t | −0,31377391 | −0,31377391 | −0,31377391 | 2,8e−10 | ✓ |
| EKK, bütün kontroller: p | 0,75601852 | 0,75601852 | 0,75601852 | 2,1e−10 | ✓ |
| EKK, bütün kontroller: GA alt | −0,07060022 | −0,07060022 | −0,07060022 | 4,6e−11 | ✓ |
| EKK, bütün kontroller: GA üst | 0,05184424 | 0,05184424 | 0,05184424 | 4,8e−11 | ✓ |
| Çift seçimde seçilen kontrol sayısı | 7 | 7 | — | 0 | ✓ |
| Koşullu çıkarım: bmp1l kestirim (özgün ölçek) | −0,07556548 | −0,07556548 | — | 5,6e−17 | ✓ |
| Koşullu çıkarım: bmp1l p (tek yönlü, lasso işareti yönünde) | 9,436928·10−5 | 9,436928·10−5 | — | 3,8e−14 | ✓ |
| Koşullu çıkarım: bmp1l GA alt | −0,10129061 | −0,101185 | — | 1,1e−4 | ✗ |
| Koşullu çıkarım: bmp1l GA üst | −0,04283832 | −0,04301318 | — | 1,7e−4 | ✗ |
Ölçütü karşılayan: 21/23. Koşullu çıkarımın p değeri bağımsız hesapta iki yönlü (1,887386·10−4) ve tek yönlü (9,436928·10−5) olarak kurulmuştur; tabloya tek yönlü olanı girmiştir. Güven aralığı uçlarındaki fark (10^{-3} göreli), selectiveInference paketinin aralığı ızgara aramasıyla bulmasından kaynaklanır; bağımsız hesapta uçlar kök bulmayla 10^{-12} duyarlıkla alınmıştır.
Güven aralığı uçlarındaki 10^{-4} düzeyindeki fark, paketin aralığı ızgara tabanlı bir aramayla bulmasından (TG.interval.base işlevi gridrange bağımsız değişkeni alır) kaynaklanıyor görünür; bu bölümde ızgara ayrıntısı ayrıca sınanmamıştır; bağımsız hesapta uçlar kök bulmayla alınmıştır. Koşullu çıkarımın p değeri tek yönlüdür (164.7 ve 164.8).
164.7 Çıktıyı okuma
Örnek ayarın (Çalıştırma 1) çıktısı:
n = 90; hedef sayısı = 1; kontrol (gösterge) sayısı p = 60; ceza: değişen varyansa dayanıklı
Hedef katsayıları (%95 GA):
hedef yontem kestirim SH t p GA_alt GA_ust
0 gdpsh465 Kısmi çıkarma (lasso sonrası) -0.049811 0.013936 -3.574210 0.000351 -0.077126 -0.022497
1 gdpsh465 Çift seçim -0.050006 0.015791 -3.166655 0.001542 -0.080956 -0.019055
2 gdpsh465 EKK, bütün kontroller (karşılaştırma) -0.009378 0.029888 -0.313774 0.756019 -0.070600 0.051844
Çift seçimde seçilen kontroller:
hedef secilen_kontrol_sayisi secilen_kontroller
0 gdpsh465 7 bmp1l, freetar, hm65, sf65, lifee065, humanf65, pop6565
Koşullu (polihedral) lasso çıkarımı:
degisken hedef_mi kestirim p GA_alt GA_ust
0 bmp1l -0.075565 0.000094 -0.101291 -0.042838
Şekil 164.1. Hedef katsayısının üç yaklaşımla orman grafiği (örnek ayar): kısmi çıkarma ve çift seçim güven aralıkları sıfırı içermez; bütün kontrollerle EKK'nın aralığı çok geniştir ve sıfırı içerir. Eksen etiketi `alfa` ne olursa olsun "%95 GA" yazar.

| Öğe | Ne yazar | Nasıl yorumlanır |
|---|---|---|
kestirim, SH, t, p, GA_alt, GA_ust |
Hedef katsayısı ve normal yaklaşık çıkarım | Kısmi çıkarma ve çift seçim aynı büyüklüğü verir (-0{,}0498 ve -0{,}0500), ama varsayılan olarak standart hataları farklı tür (klasik ve dayanıklı) olduğundan p değerleri 0{,}0004 ve 0{,}0015'tir; dayanıklı SH seçeneği açıkken kısmi çıkarmanın p değeri 0{,}0012 olur. |
EKK, bütün kontroller |
p+1<n iken tam model | Örnekte tahmin 5 kat küçüktür (-0{,}0094) ve standart hatası 2 kat büyüktür: kontrol sayısı gözlem sayısına yakınken EKK kararsızdır. |
secilen_kontrol_sayisi, secilen_kontroller |
\hat I_d\cup\hat I_y | Seçilen kümenin kendisi çıkarımın nesnesi değildir; yalnız \alpha'nın kestirimi içindir. |
| Koşullu çıkarım tablosu | Lassonun seçtiği değişkenlerin (özgün ölçekli) katsayısı, p ve GA | Yalnız lassonun seçtiği değişkenler için; varsayılanda p tek yönlüdür (aşağıya bakınız). hedef_mi = "evet" ise satır hedeftir. |
Koşullu tablodaki varsayılan p=0{,}000094, aynı seçim olayına koşullu iki yönlü p=0{,}000189'un yarısıdır: selectiveInference::fixedLassoInf işareti bilinen seçilmiş katsayılar için lasso işareti yönünde tek yönlü p verir. Aynı tabloda güven aralığı iki yönlüdür; bu yüzden p ve aralık doğrudan karşılaştırıldığında tutarsız görünebilir. Tablo başlığı p'nin hangi türde olduğunu yazar; "Koşullu p değeri" alanı iki seçilirse tabloya 2\min(p,1-p)=0{,}000189 yazılır ve p ile aralık aynı türdedir.
Çalıştırma 4 (\alpha=0{,}10): %90 aralıklar [-0{,}072735;\ -0{,}026888] (kısmi çıkarma), [-0{,}075980;\ -0{,}024031] (çift seçim), [-0{,}060221;\ 0{,}041465] (EKK); koşullu aralık [-0{,}097287;\ -0{,}048977]; p değerleri değişmez.
Rapor cümlesi: Barro–Lee verisinde (n = 90, 60 aday kontrol) 1965 kişi başı GSYH'nin büyümeye etkisi, hdm çift seçimiyle −0,050 (SH 0,016; %95 GA −0,081 ile −0,019; p = 0,0015), kısmi çıkarmayla −0,050 (SH 0,014; p = 0,0004) bulunmuştur. Bütün kontrollerle EKK ise −0,009 (SH 0,030; p = 0,76) vermiştir; aradaki fark yüksek boyutlu kontrol kümesinde EKK'nın kararsızlığıyla açıklanır.
164.8 Sık hatalar ve tuzaklar
- Kısmi çıkarmanın standart hatası varsayılanda klasiktir, değişen varyansa dayanıklı değildir. Üstbilgi ve açıklama metni bunu söyler; örnekte kısmi çıkarma SH'si 0,013936 (klasik) iken aynı regresyonda dayanıklı hata 0,015219 (HC0) ya da 0,015391 (HC1)'dir.
ceza=heteroyalnız lasso ceza yüklerini dayanıklı kılar; çift seçimin SH'si dayanıklıdır (serbestlik düzeltmeli), kısmi çıkarmanınki varsayılanda değildir. İki yöntemin p değerlerini birbirine karşı yorumlarken bunu hesaba katın ya da "Kısmi çıkarmada dayanıklı SH (HC1)" seçeneğini açın. - Koşullu çıkarımın varsayılan p değeri tek yönlüdür, güven aralığı iki yönlü. Tablo ikisini aynı satırda gösterir; başlık p'nin türünü yazar, "Koşullu p değeri" =
ikiiki yönlü p verir (164.7). - Koşullu çıkarım yalnız lassonun seçtiği değişkenler içindir. Örnek veride hedef
gdpsh465seçilmediği için hedefin koşullu aralığı yoktur; çıkan satır başka bir değişkenindir (bmp1l) vehedef_miboştur. Çok az kontrol seçilirse tablo hiç yazılmaz ("Koşullu lasso çıkarımı yapılamadı: seçilen değişken yok"). - Çok hedefte öteki hedefler kontrol olur ve seçim listesine girmez. İki hedefle (
gdpsh465,bmp1l)gdpsh465için kısmi çıkarma kestirimi tek hedefli çalıştırmayla aynıdır (-0{,}049811), çünkübmp1lzaten tek hedefli çalıştırmada kontrol olarak vardır. Seçilen kontroller tablosundagdpsh465için 7 yerine 6 kontrol görünür: öteki hedef listeden çıkarılmıştır (231–238); birden çok hedefte çıktı bunu bir notla söyler (178–181). - p\ge n-1 iken EKK satırı yoktur; çıktı nedenini söyler. İlk 40 satırla (p=60) tabloda yalnız kısmi çıkarma ve çift seçim vardır ve "Not: kontrol sayısı gözlem sayısına yakın ya da büyük (p + 1 = … ≥ n = …); bütün kontrollerle EKK karşılaştırması hesaplanamadı." yazılır; kısmi çıkarma ve çift seçim aynı kestirimi verir (-0{,}080904).
- Tasarıma bağlı \lambda sonucu tohuma bağlar.
x_bagimli_lambdaaçıkken 5000 çekilişli benzetim vardır: kısmi çıkarma -0{,}048962 (tohum 1) ve -0{,}049811 (tohum 2). Kapalıyken sonuç belirlenimcidir. Tohum konusu Bölüm 1.3'te anlatılmıştır; \hat\sigma çapraz geçerlemeyle kestirildiğinde (p\ge n-1) koşullu çıkarımın da tohuma bağlı olması beklenir; bu durum denenmemiştir (40 satırlık çalıştırmada lasso hiçbir değişken seçmemiştir). - Lasso sonrası EKK kapalıyken satır etiketleri "lasso" der.
lasso_sonrasikapalı çalıştırmada kestirim -0{,}044693 (kısmi çıkarma) ve -0{,}046474 (çift seçim) olur ve c=0{,}5 kullanılır; satır adları "Kısmi çıkarma (lasso)" ve "Çift seçim (lasso)" olur (202–204). - Ceza yükü seçimi sonucu değiştirir.
homoile seçilen kontrol sayısı 7'den 27'ye çıkar ve kısmi çıkarma -0{,}053330 (SH 0{,}014328), çift seçim -0{,}045356 (SH 0{,}018656) olur. Veride değişen varyans varsa dayanıklı yük (hetero) gerekir. - Kategorik kontroller göstergelere açılır; başvuru düzeyi ilk düzeydir.
model.matrix(~ x)[, -1](154) ilk düzeyi atar; düzey sırası etken sütunda Veri sekmesindeki sıra, sayı etiketlerinde sayısal sıra, aksi hâlde harf sırasıdır ve çıktı her kategorik kontrolün başvuru düzeyini yazar. Dörde bölünmüş birbolgesütunuyla gösterge sayısı p=63'e çıkar ve EKK satırı -0{,}013311 olur; lasso cezası başvuru düzeyine simetrik değildir. Sabit ve tek düzeyli sütunlar atılır ve çıktı hangilerinin atıldığını söyler (sabit,tek_duzey). - Eksik değerli satırlar atılır ve bildirilir.
h65sütununda 3,Outcome'ta 1 eksik hücre ile n=86 olur; çıktı "Eksik değer nedeniyle 4 satır atıldı (86 satır kaldı, toplam 90). Değişken başına eksik değer sayısı: …" yazar. - Kontrol sütunları arasında yüksek korelasyon. Lasso birbirine çok yakın kontrollerden birini rastgele gibi seçer; seçilen kümeyi tek tek yorumlamayın.
164.9 Uzman soruları
S1. Çift seçimde neden hem y hem d için ayrı seçim yapılıyor?
y için yapılan seçim, hedefle güçlü ilişkili ama sonuçla zayıf ilişkili bir kontrolü (ihmal edilen değişken) kaçırabilir; bu kontrolün katsayısı \hat\alpha'ya yanlılık olarak geçer. d için yapılan ikinci seçim, hedefi güçlü yordayan kontrolleri de içeri alır ve yanlılığın ikinci derece küçük kalmasını sağlar (Belloni ve ark., 2014). Seçilen küme 7 kontroldür: y lassosu yalnız bmp1l'i, d lassosu 6 kontrol seçmiştir.
S2. Çift seçim ile kısmi çıkarma aynı şey mi?
Hayır, ama asimptotik olarak eşdeğerdir. Çift seçim birleşim kümesiyle tek EKK yapar; kısmi çıkarma y ve d'yi kendi seçimleriyle ayrı ayrı temizleyip kalıntıları regres eder. Örnekte kestirimler -0{,}0500 ve -0{,}0498'dir; küçük örneklemde (n=90) ayrılırlar ve standart hata türleri de farklıdır (164.8).
S3. Çıkarım neden \sqrt n yakınsayan normal yaklaşıkla yapılıyor ve n=90 yeterli mi?
Kuram, s^2\log^2p/n\to0 gibi bir seyreklik koşulu altında \hat\alpha'nın asimptotik normalliğini verir. n=90, p=60 küçük bir örneklem olduğundan normal yaklaşıkın güvenilirliği veriden denetlenemez; şablon küçük örneklem düzeltmesi (ör. t dağılımı) yapmaz. Çift seçimde yalnız serbestlik derecesi düzeltmeli kalıntı kullanılır (164.4.2).
S4. Koşullu çıkarım ile hdm çıkarımı neden farklı sorular yanıtlar?
hdm hedefi cezalamaz ve yalnız \alpha'nın çıkarımını verir; kontrollerin seçimi bir "gürültü parametresi" olarak ele alınır ve \alpha üzerindeki çıkarım seçimin bir sonucu sayılmaz (Neyman ortogonalliği). Koşullu çıkarım ise lassonun seçtiği her değişkenin katsayısı için, lassonun tam o modeli seçtiği olaya koşullanır; hedef de öteki değişkenler gibi cezalanır. İki tablo aynı değişkeni tahmin etmez: biri hedef etkisini, diğeri seçilen modeldeki katsayıları.
S5. Koşullu çıkarımda \lambda neden sabit ve \sigma tam modelden?
Polihedral kuram yalnız \lambda'nın veriden bağımsız seçildiği durumda geçerlidir. Çapraz geçerlemeyle seçilen \lambda veriye bağlı olacağından seçim olayı çokyüzlü olmaktan çıkar; bu nedenle şablon kuramsal (Belloni ve ark.) bir \lambda kullanır (191–192). \sigma bilinmediğinden tam modelden (p+1<n), aksi hâlde çapraz geçerlemeli lassodan kestirilir; ikincisinde kuram kesin değildir ve sonuç tohuma bağlıdır.
S6. Kısmi çıkarmanın standart hatası neden klasiktir?
hdm'nin rlassoEffect işlevi, kısmi çıkarmada kalıntı regresyonunun lm varyansını kullanır; dayanıklı ve klasik hatalar arasındaki fark örnekte %8,4'tür (0,015219 ve 0,013936). Çift seçimde ise serbestlik düzeltmeli dayanıklı ifade kullanılır. Bu, paketin tanımıdır; şablon varsayılanda aynen aktarır, istenirse HC1 seçeneğiyle dayanıklı hatayı kendisi hesaplar (194–203).
S7. Hedef seçilmezse koşullu çıkarım ne ifade eder?
Hiçbir şey: hedefin katsayısı için koşullu bir aralık yoktur. Lassonun seçmediği bir değişken hakkında seçim sonrası çıkarım aynı yöntemle yapılamaz. Örnekte tablo yalnız bmp1l'i gösterir; hedefin geçerli aralığı için çift seçim ya da kısmi çıkarma kullanılmalıdır.
164.10 Kaynaklar
- Barro, R. J., & Lee, J.-W. (1994). Sources of economic growth. Carnegie-Rochester Conference Series on Public Policy, 40, 1–46. https://doi.org/10.1016/0167-2231(94)90002-7
- Belloni, A., Chen, D., Chernozhukov, V., & Hansen, C. (2012). Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica, 80(6), 2369–2429. https://doi.org/10.3982/ECTA9626
- Belloni, A., Chernozhukov, V., & Hansen, C. (2014). Inference on treatment effects after selection among high-dimensional controls. The Review of Economic Studies, 81(2), 608–650. https://doi.org/10.1093/restud/rdt044
- Chernozhukov, V., Hansen, C., & Spindler, M. (2016). hdm: High-dimensional metrics. The R Journal, 8(2), 185–199. https://doi.org/10.32614/RJ-2016-040
- Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1), 1–22. https://doi.org/10.18637/jss.v033.i01
- Lee, J. D., Sun, D. L., Sun, Y., & Taylor, J. E. (2016). Exact post-selection inference, with application to the lasso. The Annals of Statistics, 44(3), 907–927. https://doi.org/10.1214/15-AOS1371
- Leeb, H., & Pötscher, B. M. (2005). Model selection and inference: Facts and fiction. Econometric Theory, 21(1), 21–59. https://doi.org/10.1017/S0266466605050036
- Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
- Tibshirani, R., Tibshirani, R., Taylor, J., Loftus, J., Reid, S., & Markovic, J. (2019). selectiveInference: Tools for post-selection inference (R package version 1.2.5). https://CRAN.R-project.org/package=selectiveInference