MerQuR+Başvuru Kitabı

55. Türetilmiş parametre: delta yöntemi ve bootstrap

Şablon kimliği: delta_yontemi · Kategori: yeniden_ornekleme · Dil: Python · Dosya: pro/sablonlar/yeniden_ornekleme/delta_yontemi.py (satır 1–185; üstbilgi 1–58) · Örnek veri: _ornek/azot_verim.csv · Paketler: numpy 2.4.6, pandas 2.3.3, scipy 1.16.3, matplotlib 3.10.9

55.1 Ne işe yarar

Bir regresyon modelinin katsayıları çoğu zaman asıl sorunun yanıtı değildir; yanıt, katsayıların bir fonksiyonudur. İkinci derece doz-yanıt eğrisinde "verimi en yükseğe çıkaran doz kaçtır ve bu dozun belirsizliği nedir?" sorusunun yanıtı -b/2c oranıdır; regresyon çıktısı ise yalnız a, b ve c'nin standart hatalarını verir. Şablon, böyle bir türetilmiş parametre için nokta kestirimini, standart hatasını ve güven aralığını iki ayrı yoldan hesaplar ve yan yana koyar.

y_i=a+b\,x_i+c\,x_i^2+\varepsilon_i,\qquad x^*=-\frac{b}{2c},\qquad y^*=a-\frac{b^2}{4c}
  • y_i, x_i: i. gözlemin yanıtı ve açıklayıcısı (i=1,\dots,n).
  • a, b, c: sabit terim, doğrusal ve ikinci derece katsayı; en küçük karelerle kestirilir.
  • \varepsilon_i: hata; ortalaması sıfır, varyansı \sigma^2, gözlemler arasında bağımsız.
  • x^*: parabolün tepe noktasının yatay konumu (eğimin sıfır olduğu yer). c<0 ise en büyük, c>0 ise en küçük yanıtın konumudur.
  • y^*: tepe noktasındaki beklenen yanıt, yani a+b\,x^*+c\,x^{*2}.

Delta yöntemi, türetilmiş parametreyi kestirim noktası çevresinde doğrusal sayarak varyansını katsayıların kovaryans matrisinden çıkarır; hızlıdır ve kapalı formüle dayanır. Bootstrap, veriyi yeniden örnekleyip modeli her seferinde yeniden kurar ve parametrenin dağılımını doğrudan gözler; doğrusallık varsayımı yapmaz. İki aralığın örtüşmesi delta yaklaşımının yeterli olduğunu, ayrışması ise parametrenin örnekleme dağılımının çarpık olduğunu gösterir.

Ne zaman kullanılır? Yanıt ile açıklayıcı arasındaki ilişki gözlenen aralıkta tek tepeli (ya da tek çukurlu) ve ikinci derece eğriyle iyi betimleniyorsa; ilgi katsayılarda değil en uygun düzeyde (doz, sıcaklık, yaş, sıklık) ya da o düzeydeki yanıttaysa; delta yönteminin yeterliliği sınanmak isteniyorsa.

Ne zaman kullanılmaz?

  • İlişki S biçimliyse ya da bir platoya ulaşıyorsa: dort_parametreli_lojistik (Bölüm 33) ya da temel programdaki Doğrusal Olmayan Regresyon.
  • Eğri bir noktada kırılıyorsa (eşik, plato başlangıcı): parcali_regresyon (Bölüm 42).
  • İki ya da daha çok etkenin birlikte en uygun düzeyi aranıyorsa: yanit_yuzeyi_tasarim (Bölüm 14).
  • Türetilmiş parametre bir regresyon katsayısı fonksiyonu değil, verinin herhangi bir istatistiğiyse (oran, değişim katsayısı, iki medyanın farkı): bootstrap_ozel (Bölüm 53) ya da temel programdaki Bootstrap Güven Aralığı.
  • Gözlemler bağımsız değilse (zaman serisi, aynı parselin yinelenen ölçümleri): bagimli_bootstrap (Bölüm 51).

Temel programla ilişki. Temel programdaki Bootstrap Güven Aralığı bir değişkenin özet istatistikleri (ortalama, medyan, standart sapma, oran gibi) içindir; regresyon katsayılarının bir fonksiyonuna delta yöntemi uygulayan bir analiz temel programda yoktur. Bu şablon iki türetilmiş parametreyi hazır sunar; başka bir fonksiyon için koddaki g ve grad işlevleri değiştirilir (55.5).

55.2 Şablonun girdileri

Form, üstbilgideki yedi [[param]] bloğundan kurulur (delta_yontemi.py:10–57).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Yanıt (y) · y sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun Yanıt vektörü (72–73).
Açıklayıcı (x) · x sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun; en az 3 farklı değer Tasarım matrisi [1,\ x,\ x^2] (82–87; x en büyük mutlak değerine bölünerek).
Türetilmiş parametre · parametre seçim · Model tepe_x tepe_x, tepe_y g ve grad işlevlerinin dalı (93, 98–100); başlık ve şekil (140–142, 169).
Bootstrap sayısı · B tamsayı · Seçenekler 2000 200–100000 Yeniden örnekleme sayısı (121).
Güven düzeyi · guven ondalık · Seçenekler 0,95 0,5–0,999 \alpha=1-\text{güven}; iki aralıkta da kullanılır (116, 138).
Delta GA'sı kritik değeri · kritik seçim · Seçenekler t t, normal Delta aralığının çarpanı: t_{n-3} ya da z (117).
Bootstrap türü · bootstrap_turu seçim · Seçenekler vaka vaka, artik Yeniden örneklenen şey: (x,y) çiftleri ya da kalıntılar (123, 127–132).

Örnek ayar (ornek_param, satır 9): y = verim, x = azot_doz, B = 999 (varsayılan 2000 yerine); öteki alanlar varsayılandadır.

Şablonun kendi denetimleri.

Koşul İleti Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 68
Yanıt ve açıklayıcı aynı sütun "x ve y farklı sütunlar olmalı." 70
Tam gözlem sayısı 6'dan az "En az 6 tam gözlem gerekli." 76
x'te 3'ten az farklı değer "x'te en az 3 farklı değer gerekli (ikinci derece model)." 78
\lvert\hat c\rvert\le10^{-12}\,\operatorname{erim}(y)/\operatorname{erim}(x)^2 ya da katsayılardan biri sonlu değil "İkinci derece terim sıfıra çok yakın; tepe noktası tanımsız." 109–111
Geçerli bootstrap kopyası B'nin yarısından az "Bootstrap örneklerinin çoğunda model kurulamadı." 131

Satır temizliği (72): iki sütun pd.to_numeric(errors="coerce") ile sayıya çevrilir; sayıya çevrilemeyen ya da eksik olan satırlar atılır. Sütunun veri sekmesindeki türü "kategorik" olsa da değerler doğru okunur. Kalan gözlem sayısı çıktının ilk satırında n olarak yazılır.

Koşul sağlandığında çalıştırmayı durdurmayan tek uyarı satır 161–163'tedir: \lvert\hat c\rvert<2\operatorname{SH}(\hat c) ise "c anlamlı değil; tepe noktası kestirimi kararsız olabilir" yazılır.

55.3 Örnek veri

Dosya: _ornek/azot_verim.csv. Şablonun örnek verisi bir azot dozu denemesi düzenindedir: 9 doz düzeyi (0; 1,5; 3; …; 12) × 5 parsel = 45 gözlem. Dosyada ve üstbilgide kaynak belirtilmemiştir. Eksik değer yoktur.

Değişken Rol Tür (veri sekmesi) Özet
azot_doz Açıklayıcı (x) sayısal 0–12, 1,5 aralıklı 9 düzey; her düzeyde 5 gözlem; ortalama 6.
verim Yanıt (y) sayısal 19,00–37,12; ortalama 30,483; standart sapma 4,593.

Doz düzeylerine göre verim ortalamaları eğrinin biçimini modelden bağımsız gösterir:

Doz 0 1,5 3 4,5 6 7,5 9 10,5 12
Ortalama verim 20,914 26,300 30,040 31,408 33,664 35,158 34,942 33,016 28,902

Ortalama 7,5 dozunda en yüksektir ve iki yana doğru düşer; tepe noktası deney aralığının içindedir. Bu, yöntemin sağlıklı çalıştığı durumdur. Tepe noktasının aralığın kenarına ya da dışına düştüğü durum 55.8'de ayrıca gösterilir.

Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) parametre = tepe_y; (3) kritik = normal; (4) guven = 0,90; (5) bootstrap_turu = artik; (6) yalnız ilk dört doz düzeyi (0–4,5; 20 gözlem); (7) B=2000 ve farklı bir tohum.

55.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) ikinci derece modeli en küçük karelerle kestir, katsayıların kovaryans matrisini kur; (2) türetilmiş parametreyi ve gradyanını kestirim noktasında hesapla; (3) delta standart hatasını ve aralığını bul; (4) veriyi B kez yeniden örnekle, her seferinde modeli kur ve parametreyi hesapla; (5) bootstrap dağılımının standart sapmasını ve yüzdeliklerini al; (6) iki aralığı tabloya ve şekle koy.

55.4.1 İkinci derece model ve kovaryans matrisi

\hat{\boldsymbol\beta}=(\mathbf X^{\top}\mathbf X)^{-1}\mathbf X^{\top}\mathbf y,\qquad s^2=\frac{\sum_i (y_i-\hat y_i)^2}{n-3},\qquad \hat{\mathbf V}=s^2(\mathbf X^{\top}\mathbf X)^{-1}
  • \mathbf X: n\times3 tasarım matrisi; satırları (1,\ x_i,\ x_i^2).
  • \hat{\boldsymbol\beta}=(\hat a,\hat b,\hat c)^{\top}: en küçük kareler kestirimi.
  • s^2: kalıntı varyansı; serbestlik derecesi n-3 (üç katsayı kestirildi).
  • \hat{\mathbf V}: katsayıların 3\times3 kovaryans matrisi. Köşegeni standart hataların karesidir; köşegen dışı öğeler katsayıların birlikte nasıl oynadığını gösterir.

Koddaki tercih

Katsayılar np.linalg.lstsq(Xs, y, rcond=None) ile bulunur (satır 82–87): bu fonksiyon tekil değer ayrışımına dayanır. x önce en büyük mutlak değerine bölünür (x/s ve (x/s)^2 sütunları), böylece x çok büyük birimlerle ölçülmüş olsa da tasarım matrisi iyi koşulludur; katsayılar \hat b=\hat b_s/s, \hat c=\hat c_s/s^2 ile özgün birime, kovaryans matrisi \mathbf D\mathbf V_s\mathbf D (\mathbf D=\operatorname{diag}(1,\,1/s,\,1/s^2)) ile özgün birime döndürülür. Kovaryans için ölçeklenmiş (\mathbf X_s^{\top}\mathbf X_s) doğrudan tersine çevrilir (np.linalg.inv, satır 107). Katsayı tablosundaki t ve p değerleri t_{n-3} dağılımından, iki yönlü hesaplanır (143–145).

Neden köşegen dışı öğeler önemli?

x ile x^2 aynı yönde büyür; bu yüzden \hat b ile \hat c güçlü biçimde ters ilişkilidir (örnek veride korelasyon -0{,}962). Eğri biraz daha dik başlarsa (\hat b büyürse) daha hızlı da bükülür (\hat c daha negatif olur) ve tepe noktası neredeyse yerinde kalır. Türetilmiş parametrenin varyansı bu ilişkiyi hesaba katmak zorundadır; yalnız iki standart hatadan kurulan bir hesap belirsizliği birkaç kat büyütür (55.6, Adım 4).

55.4.2 Türetilmiş parametre ve gradyanı

g_x(\boldsymbol\beta)=-\frac{b}{2c},\qquad \nabla g_x=\Big(0,\ -\frac{1}{2c},\ \frac{b}{2c^2}\Big)
g_y(\boldsymbol\beta)=a-\frac{b^2}{4c},\qquad \nabla g_y=\Big(1,\ -\frac{b}{2c},\ \frac{b^2}{4c^2}\Big)
  • g_x: tepe noktasının konumu. Eğrinin türevi b+2cx sıfıra eşitlenerek bulunur.
  • g_y: tepe değeri; x^* modelde yerine konur.
  • \nabla g: g'nin a, b ve c'ye göre kısmi türevlerinden oluşan vektör; her katsayıdaki küçük bir değişimin parametreyi ne kadar oynattığını ölçer.
  • \nabla g_y'nin ikinci ve üçüncü öğesi x^* ve x^{*2}'dir: tepe değeri, eğrinin x^* noktasındaki kestirimidir ve gradyanı o noktanın tasarım satırıdır.

Tepe konumu a'ya bağlı değildir (gradyanın ilk öğesi sıfır): eğriyi yukarı ya da aşağı kaydırmak tepe noktasının yerini değiştirmez.

55.4.3 Delta yöntemi

g, kestirim noktası çevresinde birinci dereceden Taylor açılımıyla doğrusallaştırılır: g(\hat{\boldsymbol\beta})\approx g(\boldsymbol\beta)+\nabla g^{\top}(\hat{\boldsymbol\beta}-\boldsymbol\beta). Doğrusal bir bileşimin varyansı karesel biçimdir:

\widehat{\operatorname{Var}}\big[g(\hat{\boldsymbol\beta})\big]=\nabla g^{\top}\,\hat{\mathbf V}\,\nabla g,\qquad \operatorname{SH}_\Delta=\sqrt{\nabla g^{\top}\hat{\mathbf V}\nabla g},\qquad \text{GA}=g(\hat{\boldsymbol\beta})\mp q\,\operatorname{SH}_\Delta
  • \nabla g: 55.4.2'deki gradyan, \hat{\boldsymbol\beta}'da hesaplanır.
  • q: kritik değer. kritik = t ise t_{n-3} dağılımının 1-\alpha/2 yüzdeliği; normal ise standart normalin aynı yüzdeliği.
  • Aralık her zaman kestirim çevresinde simetriktir.

Neden varsayılan kritik değer t_{n-3}?

Delta yönteminin kuramsal dayanağı asimptotiktir ve normal dağılımı gösterir. Ancak \hat{\mathbf V} içindeki s^2 veriden kestirilmiştir; doğrusal bir katsayı bileşimi için tam dağılım t_{n-3}'tür ve g yaklaşık doğrusalsa aynı düzeltme burada da yerindedir. t aralığı küçük örneklemde daha geniştir; n büyüdükçe iki seçenek birleşir (örnek veride çarpanlar 2,0181 ve 1,9600). Normal seçeneği, z kritik değeri kullanan yazılım çıktılarıyla karşılaştırma içindir.

Delta aralığının zayıf noktası

Yaklaşım, g'nin \hat{\boldsymbol\beta}'nın oynadığı bölgede neredeyse doğrusal olmasına dayanır. x^*=-b/2c bir orandır; payda c sıfıra yaklaştıkça oran hızla büyür ve doğrusallık bozulur. \hat c kendi standart hatasının birkaç katı uzaklıkta değilse simetrik delta aralığı gerçek belirsizliği yansıtmaz: örnekleme dağılımı tepe noktasından uzağa doğru uzun kuyrukludur. Şablonun satır 153'teki uyarısı (\lvert\hat c\rvert<2\operatorname{SH}) bu durumu işaret eder; uyarı çıkmasa da bootstrap aralığı delta aralığından belirgin biçimde ayrışıyorsa delta aralığına güvenilmez (55.8).

55.4.4 Bootstrap

İki yeniden örnekleme düzeni vardır.

Vaka (çift) bootstrap'ı. n gözlemden yerine koyarak n tane (x_i,y_i) çifti çekilir; model bu örneklemde yeniden kurulur ve g(\hat{\boldsymbol\beta}^{*}) hesaplanır.

Artık bootstrap'ı. x değerleri yerinde kalır; kalıntılar e_i=y_i-\hat y_i yerine koyarak çekilir ve uydurulan değerlere eklenir:

y_i^{*}=\hat y_i+e^{*}_i,\qquad e^{*}_i\in\{e_1,\dots,e_n\}
  • \hat y_i: özgün modelin i. gözlem için uydurduğu değer; e_i: kalıntısı.
  • e^{*}_i: n kalıntı arasından yerine koyarak çekilen değer; y_i^{*}: yeni yanıt. x_i değişmez.

Her iki düzende işlem B kez yinelenir. Bootstrap standart hatası kopyaların standart sapmasıdır; güven aralığı yüzdelik aralığıdır:

\operatorname{SH}_{\text{boot}}=\sqrt{\frac{1}{B'-1}\sum_{r=1}^{B'}\big(g^{*}_r-\bar g^{*}\big)^2},\qquad \text{GA}=\big[\,Q_{\alpha/2}(g^{*}),\ Q_{1-\alpha/2}(g^{*})\,\big]
  • g^{*}_r: r. bootstrap örnekleminden hesaplanan türetilmiş parametre.
  • B': geçerli kopya sayısı; atılan kopya yoksa B'=B.
  • Q_p: kopyaların p yüzdeliği; sıralı değerler arasında doğrusal ara değerle bulunur (np.quantile varsayılanı): h=(B'-1)p, Q_p=g^{*}_{(\lfloor h\rfloor+1)}+(h-\lfloor h\rfloor)\big(g^{*}_{(\lfloor h\rfloor+2)}-g^{*}_{(\lfloor h\rfloor+1)}\big).
  • Bootstrap satırındaki "tahmin" özgün verinin kestirimidir; kopyaların ortalaması değildir.

Hangi bootstrap türü?

Vaka bootstrap'ı x'i de rastgele sayar ve hata varyansının x'e göre değişmesine karşı dayanıklıdır; gözlemsel veride doğal seçimdir. Tasarlanmış denemede x düzeyleri araştırmacı tarafından sabitlenmiştir; vaka bootstrap'ı her kopyada düzey başına gözlem sayısını değiştirir ve bu, gerçekte olmayan bir değişkenlik ekler. Artık bootstrap'ı tasarımı korur, ama hataların her dozda aynı dağıldığını varsayar. Örnek veri bir doz denemesidir; iki türün sonuçları 55.6'da karşılaştırılır.

Koddaki tercih

Rastgele sayılar np.random.default_rng(tohum) ile üretilir (satır 71); her kopya için rng.integers(0, n, n) ile n indis çekilir (126) ve aynı indisler vaka düzeninde satırları, artık düzeninde kalıntıları seçer. Vaka düzeninde üçten az farklı x değeri içeren kopya atlanır (124–125); her iki düzende \lvert\hat c^{*}\rvert\le10^{-12} olan kopyanın değeri boş bırakılır (127–128). Geçerli kopya sayısı bootstrap satırının adında "B = …" olarak yazılır (141–142). Kalıntılar artık düzeninde ölçeklenmeden kullanılır.

Tohum ve yinelenebilirlik

Şablonun formunda tohum alanı yoktur. Kod panelindeki Tohum alanı boşsa MerQuR+ her çalıştırmaya kendi tohumunu atar; kullanılan tohumu künyeye ve çalıştırma kaydına yazar (Bölüm 1.3). Aynı tohum girildiğinde ya da kayıtlı adım yeniden oynatıldığında aynı sonuç elde edilir, yeni bir çalıştırmada ise bootstrap satırı Monte Carlo hatası kadar değişir. Delta satırı ve katsayı tablosu rastgelelik içermez ve her zaman aynıdır. Bu bölümdeki bootstrap sayıları, tohum verilmediğinde kodun kullandığı değerle (2026) elde edilmiştir.

55.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–58 Üstbilgi: kimlik, açıklama, örnek veri ve ayar, yedi parametre. Form buradan kurulur (Bölüm 1.2).
59–78 İçe aktarmalar, dil yardımcısı _m, veri denetimi, rastgele sayı üreteci, sayıya çevirme ve eksik satırların atılması, n ve farklı x denetimi. Üreteç veri okunmadan önce kurulur; tohum çalıştırmanın tohumudur.
81–88 uydur(xx, yy): ölçeklenmiş tasarım matrisini kurar, katsayıları özgün birimde döndürür. Bootstrap döngüsü de aynı işlevi çağırır.
90–100 g(beta) ve grad(beta): türetilmiş parametre ve analitik gradyanı. Başka bir parametre için değiştirilecek yer burasıdır.
103–118 Özgün verinin kestirimi, kalıntı varyansı, \hat{\mathbf V}, göreli eşik ve \hat c denetimi (109–111), delta SH ve aralığı. Kritik değer satır 117'de seçilir.
120–138 Bootstrap döngüsü, geçerli kopyaların süzülmesi, yüzdelik aralığı. Geçerli kopya B/2'nin altındaysa durur.
140–163 Başlık (c > 0 ise "çukur"), katsayı tablosu, sonuç tablosu, metin satırları, \hat c uyarısı. Metin mq.sayi ile yuvarlanır (\lvert\hat c\rvert<10^{-3} ise anlamlı basamakla); tablo tam hassasiyettedir.
165–185 İki panelli şekil, tabloların ve şeklin kaydı. Sağ paneldeki eğri delta SH'li normal yoğunluktur.

Kendi parametrenizi yazmak. Satır 91–100'deki iki işlev şablonun değiştirilmek üzere bırakılmış kısmıdır:

def g(beta):
    a, b, c = beta
    return -b / (2 * c) if P["parametre"] == "tepe_x" else a - b * b / (4 * c)

Örneğin "verimin, en yüksek değerinin %95'ine ulaştığı en düşük doz" istenirse g bu dozun kapalı ifadesini, grad de onun üç kısmi türevini döndürmelidir. Gradyan elle türetilemiyorsa sonlu farkla da yazılabilir; bootstrap aralığı gradyana hiç bağlı değildir ve g'nin doğru yazıldığının bağımsız denetimini sağlar. Model ikinci dereceden farklıysa uydur işlevinin tasarım matrisi (satır 82) ve serbestlik derecesindeki 3 sayısı (102, 111, 138) birlikte değiştirilir.

55.6 Elle hesap: örnek veride bağımsız yeniden hesap

Ara değerler dogrulama/delta_yontemi/elle_hesap.py ile, şablonun kodu, np.linalg.lstsq ve np.quantile kullanılmadan hesaplanmıştır: katsayılar merkezlenmiş güç toplamlarının normal denklemlerinden (Cholesky ayrışımı), gradyan hem analitik hem sayısal türevle, yüzdelikler sıralı değerlerden doğrudan. R tarafında (r_dogrulama.R) model lm ile kurulmuş, delta standart hatası car::deltaMethod ile alınmıştır.

Adım 1 — Güç toplamları ve katsayılar. n=45; \sum x=270, \sum x^2=2295, \sum x^3=21870, \sum x^4=222041{,}25; \sum y=1371{,}72, \sum xy=8722{,}725, \sum x^2y=73936{,}4625. Normal denklemlerin çözümü:

\hat a=20{,}906764,\qquad \hat b=3{,}700329,\qquad \hat c=-0{,}247570

Adım 2 — Kalıntı varyansı ve kovaryans matrisi. Kalıntı kareler toplamı 91{,}019942; s^2=91{,}019942/42=2{,}167141.

\hat{\mathbf V}=\begin{pmatrix}0{,}286325&-0{,}089312&0{,}005837\\-0{,}089312&0{,}043239&-0{,}003336\\0{,}005837&-0{,}003336&0{,}000278\end{pmatrix}

Standart hatalar: \operatorname{SH}(\hat a)=0{,}535094, \operatorname{SH}(\hat b)=0{,}207939, \operatorname{SH}(\hat c)=0{,}016673. \hat c için t=-0{,}247570/0{,}016673=-14{,}849 (p=2{,}6\times10^{-18}): eğrilik çok belirgindir.

Adım 3 — Tepe konumu ve gradyanı.

\hat x^*=-\frac{3{,}700329}{2\times(-0{,}247570)}=7{,}473298
\nabla g_x=\Big(0,\ -\frac{1}{2\times(-0{,}247570)},\ \frac{3{,}700329}{2\times0{,}247570^2}\Big)=(0;\ 2{,}019631;\ 30{,}186609)

Sayısal türev (merkezi fark) aynı değerleri verir: 2{,}0196309 ve 30{,}1866089.

Adım 4 — Delta varyansı. Gradyanın ilk öğesi sıfır olduğundan karesel biçim üç terime iner:

\begin{aligned}\nabla g_x^{\top}\hat{\mathbf V}\,\nabla g_x&=\underbrace{2{,}019631^2\times0{,}043239}_{0{,}176366}+\underbrace{30{,}186609^2\times0{,}000278}_{0{,}253297}\\&\quad+\underbrace{2\times2{,}019631\times30{,}186609\times(-0{,}003336)}_{-0{,}406723}=0{,}022940\end{aligned}

\operatorname{SH}_\Delta=\sqrt{0{,}022940}=0{,}151460. İlk iki terimin toplamı 0{,}429663'tür; kovaryans terimi bunun %95'ini geri alır. \hat b ile \hat c bağımsız sayılsaydı standart hata \sqrt{0{,}429663}=0{,}655 çıkardı: gerçek değerin 4,3 katı.

Adım 5 — Delta güven aralığı. t_{42;\,0{,}975}=2{,}018082:

7{,}473298\mp2{,}018082\times0{,}151460=[7{,}167640;\ 7{,}778956]

Normal kritik değerle (1{,}959964) [7{,}176443;\ 7{,}770154]; %90 düzeyinde (t_{42;\,0{,}95}=1{,}681952) [7{,}218550;\ 7{,}728046].

Adım 6 — Vaka bootstrap'ı (B=999). 999 kopyanın hiçbiri atılmamıştır. Kopyaların ortalaması 7{,}492994, ortancası 7{,}476276, standart sapması 0{,}163358; en küçük 7{,}1078, en büyük 8{,}3821; çarpıklık katsayısı 0{,}98. Yüzdelikler: h=998\times0{,}025=24{,}95; sıralı 25. ve 26. değerler 7{,}218087 ve 7{,}218841:

Q_{0{,}025}=7{,}218087+0{,}95\times(7{,}218841-7{,}218087)=7{,}218803

Aynı yolla h=998\times0{,}975=973{,}05; sıralı 974. ve 975. değerler arasından Q_{0{,}975}=7{,}927201. Yüzdelik aralığı [7{,}218803;\ 7{,}927201].

Adım 7 — İki aralığın karşılaştırılması.

Yöntem SH Alt Üst Kestirimin altı Kestirimin üstü
Delta (t) 0,1515 7,1676 7,7790 0,3057 0,3057
Vaka bootstrap'ı 0,1634 7,2188 7,9272 0,2545 0,4539
Artık bootstrap'ı 0,1437 7,2169 7,7580 0,2564 0,2847
Fieller — 7,1913 7,8108 0,2820 0,3375

Vaka bootstrap'ı aralığı sağa doğru uzundur: üst kol alt kolun 1,8 katıdır. Bu, bir oranın beklenen davranışıdır; \hat c sıfıra doğru oynadığında x^* hızla büyür, öteki yöne oynadığında yavaşça küçülür. Delta aralığı bu asimetriyi göremez. Tabloya karşılaştırma için Fieller aralığı da eklenmiştir (şablon hesaplamaz; 55.9, S4): oranlar için kapalı biçimli, asimetriye izin veren aralıktır ve iki yöntemin arasında kalır. Artık bootstrap'ı tasarımı sabit tuttuğu için daha dar ve neredeyse simetriktir.

Adım 8 — Tepe değeri (çalıştırma 2). \hat y^*=20{,}906764-3{,}700329^2/(4\times(-0{,}247570))=34{,}733594; \nabla g_y=(1;\ 7{,}473298;\ 55{,}850188); varyans 0{,}100880, \operatorname{SH}_\Delta=0{,}317616; %95 GA [34{,}092619;\ 35{,}374569]. Vaka bootstrap'ı: SH 0{,}315329, [34{,}090487;\ 35{,}339084]. Burada iki aralık neredeyse çakışır: tepe değeri katsayıların bir oranı olmaktan çok eğrinin bir noktadaki yüksekliğidir ve katsayılara göre neredeyse doğrusaldır.

55.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun tablolarından tam hassasiyetle alınmıştır (çalıştırmalar 1–5).

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
a kestirimi 20,90676364 20,90676364 20,90676364 5,1e−16 ✓
SH(a) 0,53509379 0,53509379 0,53509379 1,1e−15 ✓
b kestirimi 3,70032872 3,70032872 3,70032872 5,2e−15 ✓
SH(b) 0,20793891 0,20793891 0,20793891 2,8e−16 ✓
c kestirimi −0,24756999 −0,24756999 −0,24756999 1,2e−15 ✓
SH(c) 0,0166725 0,0166725 0,0166725 1,7e−17 ✓
t (c) −14,84900104 −14,84900104 −14,84900104 5,7e−15 ✓
p (c) 2,573354·10−18 2,573354·10−18 2,573354·10−18 5,3e−31 ✓
x^* kestirimi 7,47329832 7,47329832 7,47329832 1,3e−15 ✓
x^*: delta SH 0,1514596 0,1514596 0,1514596 8,9e−16 ✓
x^*: delta %95 GA alt (t) 7,16764047 7,16764047 7,16764047 1,2e−15 ✓
x^*: delta %95 GA üst (t) 7,77895617 7,77895617 7,77895617 9,1e−16 ✓
x^*: delta %95 GA alt (z) 7,17644296 7,17644296 7,17644296 1,2e−15 ✓
x^*: delta %95 GA üst (z) 7,77015369 7,77015369 7,77015369 9,1e−16 ✓
x^*: delta %90 GA alt (t) 7,21855049 7,21855049 7,21855049 1,1e−15 ✓
x^*: delta %90 GA üst (t) 7,72804616 7,72804616 7,72804616 1,0e−15 ✓
x^*: vaka bootstrap SH 0,16335775 0,16335775 0,16335775 2,5e−15 ✓
x^*: vaka bootstrap %95 GA alt 7,21880308 7,21880308 7,21880308 2,5e−15 ✓
x^*: vaka bootstrap %95 GA üst 7,92720102 7,92720102 7,92720102 9,0e−16 ✓
x^*: vaka bootstrap %90 GA alt 7,2611353 7,2611353 7,2611353 2,2e−15 ✓
x^*: vaka bootstrap %90 GA üst 7,79130445 7,79130445 7,79130445 3,0e−15 ✓
x^*: artık bootstrap SH 0,14367977 0,14367977 0,14367977 6,1e−16 ✓
x^*: artık bootstrap %95 GA alt 7,21689747 7,21689747 7,21689747 1,6e−15 ✓
x^*: artık bootstrap %95 GA üst 7,75804554 7,75804554 7,75804554 1,5e−15 ✓
y^* kestirimi 34,73359383 34,73359383 34,73359383 2,3e−15 ✓
y^*: delta SH 0,3176161 0,3176161 0,3176161 5,0e−16 ✓
y^*: delta %95 GA alt (t) 34,09261859 34,09261859 34,09261859 2,3e−15 ✓
y^*: delta %95 GA üst (t) 35,37456907 35,37456907 35,37456907 2,2e−15 ✓
y^*: vaka bootstrap SH 0,31532932 0,31532932 0,31532932 3,3e−15 ✓
y^*: vaka bootstrap %95 GA alt 34,09048732 34,09048732 34,09048732 4,2e−16 ✓
y^*: vaka bootstrap %95 GA üst 35,33908359 35,33908359 35,33908359 1,0e−15 ✓

Ölçütü karşılayan: 31/31. Python: merkezlenmiş normal denklemler (Cholesky), analitik gradyan, kendi yüzdelik işlevi (np.linalg.lstsq ve np.quantile kullanılmadan). R: lm, car::deltaMethod, quantile(type = 7). Bootstrap satırlarında üç hesap aynı çekilişleri kullanır (şablonun tohumsuz çalıştırmadaki akışı, default_rng(2026)); kestirim ve yüzdelik kodu bağımsızdır.

Bootstrap satırlarındaki eşitlik aynı rastgele çekilişlerin kullanılmasına dayanır; farklı bir tohumla aralık Monte Carlo hatası kadar değişir. B=999 ve tohum 7 ile vaka bootstrap'ı aralığı [7{,}2284;\ 7{,}8576], B=2000 ile [7{,}2141;\ 7{,}9238] bulunur: üst sınır ikinci ondalıkta oynar, asimetri her seferinde korunur.

55.7 Çıktıyı okuma

Örnek ayarın konsol metni:

Model: verim = a + b·azot_doz + c·azot_doz²   (n = 45)
c = -0,24757 (SH = 0,01667); eğri tepe (maksimum) biçimli.
Tepe noktası konumu (x*) = 7,4733
  Delta yöntemi %95 GA: [7,1676; 7,7790]
  Bootstrap   %95 GA: [7,2188; 7,9272]

Tablolar (dört ondalığa yuvarlanmış):

Delta ve bootstrap GA
                            yontem  tahmin      SH  ga_alt  ga_ust
                     Delta yöntemi  7.4733  0.1515  7.1676  7.7790
Vaka bootstrap (yüzdelik, B = 999)  7.4733  0.1634  7.2188  7.9272

Model katsayıları
    terim  kestirim      SH         t       p
a (sabit)   20.9068  0.5351   39.0712  0.0000
    b (x)    3.7003  0.2079   17.7953  0.0000
   c (x²)   -0.2476  0.0167  -14.8490  0.0000
Öğe Ne yazar Nasıl yorumlanır
Model satırı Denklem ve kullanılan gözlem sayısı n, eksik ve sayıya çevrilemeyen satırlar atıldıktan sonraki sayıdır.
c satırı \hat c, standart hatası ve eğrinin biçimi \hat c<0: tepe (en büyük); \hat c>0: çukur (en küçük). Çukur biçimli eğride x^* ve y^* en küçük yanıtın konumu ve değeridir ve parametre adı "Çukur noktası konumu (x)" / "Çukur değeri (y)" olarak yazılır.
Parametre satırı \hat x^* ya da \hat y^* x'in ya da y'nin birimindedir. Önce gözlenen x aralığının içinde olup olmadığına bakılır.
Delta yöntemi satırı Kestirim, delta SH, simetrik GA Kritik değer seçimine göre t_{n-3} ya da z.
Bootstrap satırı Aynı kestirim, kopyaların standart sapması, yüzdelik GA; adında tür ve geçerli B Aralık asimetrik olabilir. Addaki B istenenden küçükse kopyaların bir bölümü atılmıştır.
Katsayı tablosu a, b, c; SH, t, p c satırı eğriliğin sınamasıdır; anlamlı değilse tepe noktası yorumlanmaz.
Uyarı satırı "c anlamlı değil…" \lvert t_c\rvert<2 iken çıkar.

Şekil 55.1. Şablonun şekli (örnek ayar). Solda gözlemler, uydurulan ikinci derece eğri, kestirilen tepe konumu (dikey çizgi) ve delta güven aralığı (gölgeli bant). Sağda 999 bootstrap kopyasının dağılımı ve delta yönteminin öngördüğü normal yoğunluk (ortalama \hat x^*, standart sapma \operatorname{SH}_\Delta). Histogramın sağ kuyruğu normal eğrinin dışına taşar; bootstrap aralığının üst sınırını yukarı çeken budur.

İki aralık ayrıştığında. Aralıklar yakınsa (örnek verideki tepe değeri gibi) delta sonucu raporlanır; kısa ve yinelenebilirdir. Bootstrap aralığı belirgin biçimde asimetrikse ya da çok daha genişse bootstrap aralığı raporlanır ve delta SH'si yalnız büyüklük fikri vermek için anılır. Örnek veride tepe konumu için fark ılımlıdır; iki aralık da 7,2–7,8 arasını kapsar ve uygulamadaki karar ("doz 7 ile 8 arasında") değişmez.

Rapor cümlesi (örnek ayar):

Verim ile azot dozu arasındaki ilişki ikinci derece regresyonla modellendi (n = 45; ikinci derece katsayı c = −0,248, SH = 0,017, p < 0,001). En yüksek verimi veren doz x* = 7,47 olarak kestirildi; delta yöntemiyle standart hata 0,15 ve %95 güven aralığı [7,17; 7,78], vaka bootstrap'ıyla (B = 999, yüzdelik yöntemi) %95 güven aralığı [7,22; 7,93] bulundu. Bu dozda beklenen verim 34,73'tür (delta %95 GA [34,09; 35,37]).

55.8 Sık hatalar ve tuzaklar

  • Tepe noktasını veri aralığının dışında yorumlamak. İkinci derece eğri her zaman bir tepe noktası verir; noktanın gözlenen dozların içinde olması gerekmez. Yalnız ilk dört doz düzeyi (0–4,5) kullanıldığında \hat x^*=4{,}88 bulunur: en yüksek gözlenen dozun ötesindedir, yani eğrinin hiç gözlenmemiş bir bölgesine uzatılmasıdır. Şablon bunu bildirmez; \hat x^* her zaman verinin en küçük ve en büyük x değeriyle karşılaştırılır.
  • İki aralık çok farklıyken delta aralığını raporlamak. Aynı kısaltılmış veride \hat c'nin t değeri -2{,}94'tür (uyarı eşiğinin üstünde, uyarı çıkmaz); delta aralığı [2{,}93;\ 6{,}83], bootstrap aralığı [3{,}72;\ 9{,}82], bootstrap SH'si 5{,}97'dir (delta SH 0{,}92). Delta aralığının alt sınırı, verim ortalamalarının hâlâ arttığı bir dozdur; üst sınırı bootstrap aralığının üst sınırının çok altında kalır. Böyle bir tabloda sonuç "tepe noktası bu veriyle belirlenemiyor" olmalıdır.
  • Bootstrap SH'sini aralık yerine kullanmak. Dağılım ağır kuyrukluyken standart sapma birkaç uç kopyayla şişer (yukarıdaki örnek); \hat x^*\mp2\operatorname{SH}_{\text{boot}} biçiminde bir aralık kurulmaz, yüzdelik aralığı kullanılır.
  • Bootstrap sayısını küçük tutmak. %95 yüzdelik aralığının uçları dağılımın en seyrek bölgesinden kestirilir. B=999 ile üst sınır çalıştırmadan çalıştırmaya ikinci ondalıkta oynar (55.6.1). Raporlanacak aralık için varsayılan 2000 ya da daha büyük bir değer seçilir.
  • Bootstrap satırının her çalıştırmada aynı kalmasını beklemek. Yeni çalıştırma yeni tohum demektir; sonuç kayıtlı adımdan yinelenir.
  • Tasarlanmış denemede vaka bootstrap'ını sorgusuz kullanmak. Dozlar sabitse vaka bootstrap'ı tasarımı her kopyada bozar ve aralığı genişletir (0,71 genişliğe karşı artık düzeninde 0,54). Hata varyansının dozlar arasında benzer olduğu görülüyorsa artık bootstrap'ı tasarıma daha uygundur; varyans dozla değişiyorsa vaka bootstrap'ı korunur.
  • x'i çok büyük birimlerle vermek. c'nin büyüklüğü x biriminin karesiyle küçülür; bu yüzden eşik c'nin eğriye katkısına (erimine) göre göreli kurulur ve sonuç x'in birimine bağlı değildir: x on milyon katına çıkarılırsa x^* ve delta SH tam on milyon katı olur (t değerleri aynı kalır). Metindeki c çok küçük olduğunda anlamlı basamakla yazılır. Yine de okunabilirlik için açıklayıcı uygun birimde verilir (kg yerine ton, TL yerine bin TL).
  • İkinci derece modeli sınamadan tepe noktası aramak. Eğri plato yapıyorsa ya da asimetrikse parabol tepe noktasını yanlış yere koyar. Katsayı tablosundan önce saçılım grafiğine ve sol paneldeki eğrinin gözlemlerle uyumuna bakılır.

55.9 Uzman soruları

S1. Delta standart hatası neden yalnız SH(b) ve SH(c)'den hesaplanamaz?

Çünkü \hat b ile \hat c güçlü biçimde ilişkilidir. Örnek veride kovaryansları -0{,}003336, korelasyonları -0{,}962'dir. Karesel biçimin üç terimi 0{,}1764+0{,}2533-0{,}4067=0{,}0229'dur: kovaryans terimi, iki varyans teriminin toplamını neredeyse siler. İlişki yok sayılırsa standart hata 0{,}655 çıkar; doğrusu 0{,}151'dir. Bu nedenle delta yöntemi için katsayıların tam kovaryans matrisi gerekir; yayımlanmış bir tablodaki standart hatalardan tepe noktasının belirsizliği hesaplanamaz.

S2. Kritik değer neden t, serbestlik derecesi neden n − 3?

Kalıntı varyansı üç katsayı kestirildikten sonra n-3 serbestlik derecesiyle kestirilir ve \hat{\mathbf V}'ye çarpan olarak girer. g doğrusal olsaydı (g(\hat{\boldsymbol\beta})-g(\boldsymbol\beta))/\operatorname{SH} tam olarak t_{n-3} dağılırdı; delta yöntemi g'yi doğrusal saydığına göre aynı başvuru dağılımı tutarlıdır. Örnek veride fark küçüktür (2{,}018 ve 1{,}960; aralık genişliği 0{,}611 ve 0{,}594). Normal seçeneği car::deltaMethod gibi z kullanan araçlarla aynı sayıyı verir: [7{,}1764;\ 7{,}7702].

S3. Bootstrap aralığı neden asimetrik, delta aralığı neden simetrik?

Delta aralığı tanım gereği simetriktir: kestirime aynı miktar eklenir ve çıkarılır. Bootstrap ise x^*=-b/2c'nin gerçek biçimini izler. \hat c^{*} sıfıra yaklaşan kopyalarda oran hızla büyür; uzaklaşan kopyalarda yavaşça küçülür. Örnek veride 999 kopyanın çarpıklığı 0{,}98'dir; kestirimin altındaki kol 0{,}25, üstündeki kol 0{,}45'tir. Tepe değeri y^* için aynı etki yoktur (çarpıklık -0{,}22; iki aralık üçüncü ondalıkta ayrışır).

S4. Oranlar için Fieller aralığı varken neden delta ve bootstrap?

Fieller (1954) aralığı b+2c\theta doğrusal bileşiminin t sınamasını tersine çevirir: (\hat b+2\hat c\theta)^2\le t^2\,\widehat{\operatorname{Var}}(\hat b+2\hat c\theta) eşitsizliğini sağlayan \theta değerleridir. Normal hatalar altında kesindir ve asimetriktir; örnek veride [7{,}1913;\ 7{,}8108] verir (bağımsız hesap), delta ile bootstrap arasındadır. \hat c anlamlı değilken aralık sınırsız olur ya da iki parçaya ayrılır; bu, verinin tepe noktasını belirlemediğinin dürüst ifadesidir. Şablon Fieller'i hesaplamaz; çünkü yalnız iki katsayının oranına uygulanır, şablonun amacı ise kullanıcının yazacağı herhangi bir g için çalışan iki genel yöntemi sunmaktır. Hirschberg ve Lye (2010), \hat c'nin t değeri büyükken delta ile Fieller'in yakın olduğunu gösterir; burada t=-14{,}8'dir ve üç yöntem aynı sonuca götürür.

S5. Yüzdelik aralığı yerine BCa ya da studentleştirilmiş aralık kullanılmalı mıydı?

Yüzdelik aralığı en yalın bootstrap aralığıdır; dağılım çarpıkken ve kestirici yanlıyken kapsama olasılığı adlandırılan düzeyin biraz altında kalabilir. BCa aralığı yanlılığı ve ivmeyi düzeltir, studentleştirilmiş aralık her kopyada bir standart hata ister (burada delta SH'si kullanılabilirdi). Şablon yüzdelik aralığını uygular; amaç delta yaklaşımını sınamaktır ve bunun için dağılımın biçimi yeterlidir. Örnek veride kopyaların ortancası (7{,}4763) özgün kestirime (7{,}4733) çok yakındır; yanlılık düzeltmesi aralığı belirgin değiştirmez. Daha ince bir aralık gerekiyorsa bootstrap_ozel (Bölüm 53) kullanılır.

S6. Artık bootstrap'ının standart hatası neden delta standart hatasından küçük?

Artık bootstrap'ında yeniden örneklenen kalıntıların varyansı \sum e_i^2/n'dir; delta yöntemi ise s^2=\sum e_i^2/(n-3) kullanır. Oranların karekökü \sqrt{42/45}=0{,}966'dır; gözlenen oran 0{,}1437/0{,}1515=0{,}949'dur (kalan fark Monte Carlo hatası ve doğrusal olmayan kısımdır). Kod kalıntıları ölçeklemez; küçük örneklemde artık bootstrap aralığı bu yüzden biraz dardır. n=45'te etki %3 dolayındadır; n=10'da %16'ya çıkar.

S7. Kaç bootstrap kopyası yeterli?

Standart hata için birkaç yüz kopya yeter; %95 yüzdelik aralığının uçları için daha fazlası gerekir, çünkü uçlar kopyaların yalnız %2,5'ine dayanır. Bu veride üç çalıştırmanın üst sınırları 7{,}927 (B=999), 7{,}858 (B=999, başka tohum) ve 7{,}924 (B=2000) bulunmuştur; oynama 0{,}07'dir ve aralığın genişliğinin onda biri kadardır. Yayına girecek aralık için B\ge2000, uçların üçüncü anlamlı basamağı isteniyorsa B\ge10000 seçilir.

S8. Vaka bootstrap'ında bazı kopyalar atılırsa sonuç yanlı olur mu?

Üçten az farklı x içeren ya da ikinci derece katsayısı sayısal olarak sıfır çıkan kopyada tepe noktası tanımsızdır ve kopya atlanır. Kalan kopyalar, "model kurulabildi" koşuluna bağlı bir dağılımı gösterir. Atılan kopya azsa (binde birkaç) etkisi önemsizdir; çoksa bu, verinin ikinci derece modeli taşımadığının işaretidir ve şablon yarıdan fazlası atıldığında durur. Kaç kopyanın kullanıldığı bootstrap satırının adındaki B değerinden okunur; örnek veride 9 doz düzeyi bulunduğundan atılan kopya yoktur.

55.10 Kaynaklar

  • Davison, A. C., & Hinkley, D. V. (1997). Bootstrap methods and their application. Cambridge University Press. https://doi.org/10.1017/CBO9780511802843
  • Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statistics, 7(1), 1–26. https://doi.org/10.1214/aos/1176344552
  • Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1201/9780429246593
  • Fieller, E. C. (1954). Some problems in interval estimation. Journal of the Royal Statistical Society: Series B (Methodological), 16(2), 175–185. https://doi.org/10.1111/j.2517-6161.1954.tb00159.x
  • Fox, J., & Weisberg, S. (2019). An R companion to applied regression (3rd ed.). Sage. (car paketi: https://doi.org/10.32614/CRAN.package.car)
  • Freedman, D. A. (1981). Bootstrapping regression models. The Annals of Statistics, 9(6), 1218–1228. https://doi.org/10.1214/aos/1176345638
  • Harris, C. R., Millman, K. J., van der Walt, S. J., et al. (2020). Array programming with NumPy. Nature, 585(7825), 357–362. https://doi.org/10.1038/s41586-020-2649-2
  • Hirschberg, J., & Lye, J. (2010). A geometric comparison of the delta and Fieller confidence intervals. The American Statistician, 64(3), 234–241. https://doi.org/10.1198/tast.2010.08130
  • Hunter, J. D. (2007). Matplotlib: A 2D graphics environment. Computing in Science & Engineering, 9(3), 90–95. https://doi.org/10.1109/MCSE.2007.55
  • McKinney, W. (2010). Data structures for statistical computing in Python. Proceedings of the 9th Python in Science Conference, 56–61. https://doi.org/10.25080/Majora-92bf1922-00a
  • Oehlert, G. W. (1992). A note on the delta method. The American Statistician, 46(1), 27–29. https://doi.org/10.1080/00031305.1992.10475842
  • Virtanen, P., Gommers, R., Oliphant, T. E., et al. (2020). SciPy 1.0: Fundamental algorithms for scientific computing in Python. Nature Methods, 17(3), 261–272. https://doi.org/10.1038/s41592-019-0686-2