MerQuR+Başvuru Kitabı

32. Tek değişkenli dağılım uydurma: ML, moment, kantil ve en küçük uzaklık kestirimi, iyi uyum (KS, CvM, AD), AIC/BIC, parametrik bootstrap, sansürlü veri

Şablon kimliği: dagilim_uydurma · Kategori: model · Dil: R · Dosya: pro/sablonlar/model/dagilim_uydurma.R (satır 1–630; üstbilgi 1–234) · Örnek veri: _ornek/dagilim_uydurma_groundbeef.csv · Paketler: fitdistrplus 1.2-6 (fitdist, fitdistcens, bootdist, gofstat), actuar 3.3-7 (Gumbel, log-lojistik, Pareto II, Burr), stats

32.1 Ne işe yarar

Şablon, sürekli tek bir değişkene birden çok aday olasılık dağılımını birlikte uydurur ve karşılaştırır. Cevapladığı soru şudur: "Bu veriyi hangi parametrik dağılım en iyi temsil eder, parametreleri nedir ve o dağılımdan türetilen bir kantil (yüzdelik) ne kadar belirsizdir?" Model, gözlemlerin aynı dağılımdan bağımsız çekildiğidir:

X_1,\dots,X_n \overset{\text{bağımsız}}{\sim} F(\,\cdot\,;\boldsymbol\theta),\qquad \hat{\boldsymbol\theta}=\arg\max_{\boldsymbol\theta}\ \ell(\boldsymbol\theta)=\arg\max_{\boldsymbol\theta}\sum_{i=1}^{n}\ln f(x_i;\boldsymbol\theta)
  • F: aday dağılımın birikimli dağılım fonksiyonu (BDF); f: yoğunluğu; \boldsymbol\theta: parametre vektörü (adaya göre bir, iki ya da üç parametre).
  • \ell: log-olabilirlik. En çok olabilirlik (ML) varsayılan kestirim yöntemidir; şablon ayrıca moment eşleştirme, kantil eşleştirme ve en küçük uzaklık kestirimlerini sunar (32.4.3–32.4.5).
  • Her aday aynı veriye ayrı ayrı uydurulur; adaylar arasında seçim, iyi uyum istatistikleri (KS, CvM, AD), bilgi ölçütleri (AIC, BIC) ve dört grafikle yapılır.

Yaklaşım ve adlandırma Delignette-Muller ve Dutang'ın (2015) fitdistrplus paketini izler. Tipik kullanım alanları: risk değerlendirmesinde bir maruziyetin dağılımı ve yüksek yüzdelikleri, ekotoksikolojide türlerin %5'ini etkileyen tehlikeli derişim (HC5), hidrolojide tekerrür değerleri, dayanım ve ömür verileri.

Ne zaman kullanılır? Tek bir sürekli değişkenin dağılım biçimi sorulduğunda; benzetim ya da risk modeli için bir girdi dağılımı gerektiğinde; verinin ölçülmemiş bölgesine (kuyruk) ilişkin bir kantil kestirilecekse; ölçüm sınırının altında kalan ya da yalnız bir aralıkla bilinen (sansürlü) gözlemler varsa.

Ne zaman kullanılmaz?

  • Yalnız "veri normal mi?" sorulacaksa: temel programdaki Normallik Testleri (p değerli sınamalar).
  • Dağılım açıklayıcı değişkenlere bağlıysa (ortalama gruplara ya da bir ortak değişkene göre değişiyorsa): tek değişkenli uydurma karışımı tek dağılım sanar; temel programdaki Gamma / Ters Gauss / Tweedie GLM, süre verisinde Parametrik Sağkalım (AFT), konum–ölçek–biçim modeli için gamlss şablonu.
  • Tek bir dağılımın olabilirlik yüzeyi, profil olabilirlik güven aralığı ya da kendi yazdığınız bir olabilirlik gerekiyorsa: ozel_olabilirlik şablonu (Bölüm 39).
  • Amaç blok en büyükleri ya da eşik aşımlarıyla uç değer çıkarımıysa: uc_deger şablonu (genelleştirilmiş uç değer ve genelleştirilmiş Pareto).
  • Veri kesikli sayımsa (Poisson, negatif binom): bu şablonun adayları süreklidir; temel programdaki Poisson / Negatif Binomial Regresyon (yalnız sabit terimli model).
  • Normal olmayan bir sürecin yeterlilik indeksleri isteniyorsa: yeterlilik_normal_disi şablonu.

Temel programla ilişki. Temel programda birden çok dağılımı aynı veriye uydurup karşılaştıran bir analiz yoktur. Normallik Testleri tek bir dağılımı (normal) p değeriyle sınar; Parametrik Sağkalım (AFT) dağılımları regresyon bağlamında ve sağ sansürle karşılaştırır. Bu şablon on bir adayı, dört kestirim yöntemini, sol/sağ/aralık sansürünü ve kantiller için bootstrap güven aralıklarını tek çıktıda toplar; buna karşılık iyi uyum istatistikleri için p değeri vermez (32.9, S3).

32.2 Şablonun girdileri

Form otuz iki [[param]] bloğundan kurulur (dagilim_uydurma.R:10–233).

Alan (form etiketi) · ad Tür · sekme Varsayılan Geçerli değerler Kodda etkisi
Değişken (sansürlü veride sol sınır) · x sayısal sütun · Değişkenler ilk sayısal sütun sayısal sütun Veri; sansürlü düzende sol sınır (281, 295).
Sağ sınır sütunu · sag sayısal sütun · Değişkenler boş sayısal sütun; isteğe bağlı Seçilirse sansürlü düzen (247, 279–293).
Frekans ağırlığı · agirlik sayısal sütun · Değişkenler boş negatif olmayan tam sayılar; isteğe bağlı Her satır ağırlığı kadar yinelenir (268–277).
Normal, Lognormal, Gamma, Weibull, Üstel, Lojistik, Gumbel, Beta, Log-lojistik, Pareto II, Burr · d_norm, d_lnorm, d_gamma, d_weibull, d_exp, d_logis, d_gumbel, d_beta, d_llogis, d_pareto, d_burr onay (11 kutu) · Model Lognormal, Gamma, Weibull açık; ötekiler kapalı açık / kapalı Aday kümesi (312).
Kestirim yöntemi · yontem seçim · Model mle mle, mme, qme, mge fitdist(method = …) (377–388).
En küçük uzaklık ölçütü · mge_olcut seçim · Model CvM CvM, KS, AD, ADR, ADL, AD2R, AD2L, AD2 gof = …; yalnız mge (385).
Kantil eşleştirme olasılıkları · qme_olasilik metin · Model boş virgülle ayrılmış, (0, 1) içinde Sayısı adayın parametre sayısına eşitse kullanılır; değilse i/(k+1) (382).
Kestirilecek kantillerin olasılıkları · kantil_p metin · Seçenekler 0.05, 0.5, 0.95 virgülle ayrılmış, (0, 1) içinde Kantil tablosu (553–571).
Bootstrap tekrar sayısı · B tamsayı · Seçenekler 1000 0–10000 0 ise bootstrap yapılmaz (484).
Rastgele sayı tohumu · tohum tamsayı · Gelişmiş 2015 1–2147483647 Her adaydan önce set.seed (486).
Güven düzeyi · guven ondalık · Seçenekler 0,95 0,5–0,999 Yüzdelik GA'ların düzeyi (511).
Grafiklerde logaritmik x ekseni · log_x onay · Çıktı kapalı açık / kapalı BDF ve Q-Q; yalnız veri pozitifse (577).
Bootstrap türü · boot_yontem seçim · Seçenekler param param, nonparam bootdist(bootmethod = …); sansürlü veride her zaman yeniden örnekleme (482).
Deneysel kantil türü · qme_tur tamsayı · Gelişmiş 7 1–9 Kantil eşleştirme ve kantil tablosunun deneysel satırı (342, 383, 568).
En iyileme algoritması · optim_yontem seçim · Gelişmiş varsayilan varsayilan, Nelder-Mead, BFGS, CG, L-BFGS-B, SANN optim.method (374).
Göreli yakınsama ölçütü · reltol seçim · Gelişmiş 1e-12 1e-16 … 1e-3 (sekiz değer) optim reltol (343–360).
En çok yineleme · maxit tamsayı · Gelişmiş 5000 10–100000 optim maxit (343–360).
Uydurma süre sınırı (sn) · uydurma_sure tamsayı · Gelişmiş 90 5–1800 Bütün adaylar için toplam süre (400).
Bootstrap süre sınırı (sn) · boot_sure tamsayı · Gelişmiş 150 5–3600 Bütün adaylar için toplam süre (483–500).
Sıralama konumu sabiti a · a_ppoints ondalık · Çıktı 0,5 0–1 Grafiklerde (i-a)/(n+1-2a) (580).
Histogram sınıf sayısı · hist_sinif tamsayı · Çıktı 0 0–200 0 ise Sturges kuralı (584–594).
Bootstrap kestirimlerinin saçılım grafiği · sekil_bootstrap onay · Çıktı açık açık / kapalı İkinci şekil (615).

Örnek ayar (satır 9): x = serving, Weibull, Gamma ve Lognormal açık; öteki alanlar varsayılandadır (ML, B = 1000, tohum 2015). Güven düzeyi bu şablonda oran olarak girilir (0,95).

Şablonun kendi denetimleri (çalıştırmayı durduranlar).

Koşul İleti (özet) Satır
Veri açık değil "Önce Veri sekmesinde bir veri açın." 237
fitdistrplus ya da actuar kurulu değil "'…' R paketi kurulu değil." 238–239
Sol ve sağ sınır aynı sütun "Sol ve sağ sınır sütunları farklı olmalı." 248
Kantil ya da eşleştirme olasılığı (0, 1) dışında "… olasılıkları 0 ile 1 arasında olmalı." 261, 263
Ağırlık sütunu değişkenin ya da sınırın kendisi "Ağırlık sütunu değişken ya da sınır sütunu olamaz." 270
Ağırlık sayısal değil, negatif ya da kesirli "Frekans ağırlıkları negatif olmayan tam sayılar olmalı." 272
Ağırlıkların toplamı 1 000 000'u aşıyor "Ağırlıkların toplamı çok büyük." 274
Değişken ya da sağ sınır sayısal türde değil "'…' sayısal olmalı." 278, 280
Sonsuz değer var "Değişkende / sınırlarda sonsuz değer var." 285–286, 298
Bir satırda sol sınır sağ sınırdan büyük "Bazı satırlarda sol sınır sağ sınırdan büyük." 287
n < 5 "En az 5 gözlem gerekli." 290, 300
Değişken sabit; sansürlü veride sınırlarda tek değer "Değişken sabit; dağılım uydurulamaz."; "Sınırlarda en az iki farklı değer olmalı." 301, 292
Hiç aday seçilmedi "En az bir aday dağılım seçin." 313
Seçilen bütün adaylar destek dışı "Seçilen adayların hiçbiri bu veriye uygun değil." 325
Hiçbir aday uydurulamadı "Seçilen dağılımların hiçbiri uydurulamadı." 462
Durdurmayan notlar çıktının başına yazılır: sansürlü veride yöntemin ML'ye çevrilmesi (251), ağırlığı 0 ya da eksik satırlar (275), iki sınırı da boş satırlar (283), eksik değerler (296), sıfır ya da negatif değer yüzünden atlanan pozitif destekli adaylar (317), Beta'nın atlanması (321), bir adayın uydurulamaması (454), yakınsama ölçütüne ulaşılamaması (457), bootstrap süre sınırı (488, 502–503) ve yakınsamayan bootstrap örnekleri (507). Veri sekmesinde "kategorik" türde duran ama sayı içeren bir sütun, değişken ya da sağ sınır olarak seçildiğinde sayı olarak okunur (Bölüm 1.3); sayıya çevrilemeyen değer varsa ileti hangi sütunda kaç değerin sayı olmadığını söyler.

32.3 Örnek veri

Dosya: _ornek/dagilim_uydurma_groundbeef.csv. Fransa'da yapılan bir tüketim araştırmasında beş yaşından küçük çocukların tükettiği kıyma köftesi porsiyonlarının büyüklüğü (gram); fitdistrplus paketinin groundbeef verisidir (Delignette-Muller ve Cornu, 2008). 254 gözlem, eksik değer yok.

Değişken Rol Tür (veri sekmesi) Özet
serving Değişken sayısal 10–200 g; ortalama 73,646; standart sapma 35,885; medyan 79. Yalnız 33 farklı değer vardır; gözlemlerin %78'i 10 g'ın katıdır (porsiyonlar yuvarlanarak bildirilmiştir).

Kategorik değişken olmadığından düzey sırası bu şablonda rol oynamaz.

Bölümde iki yayımlanmış veri daha kullanılır (ikisi de fitdistrplus paketinden): dagilim_uydurma_endosulfan.csv, 104 taksonda endosulfanın akut toksisite değeri (ATV, µg/L; 0,1–39891,8; Hose ve Van den Brink, 2004) ve dagilim_uydurma_salinity.csv, 108 nehir omurgasızının tuzluluk toleransı (left, right sütunlarıyla sansürlü; Kefford ve ark., 2006).

Bu bölümde kullanılan çalıştırmalar: (1) örnek ayar; (2) örnek ayar, B = 0 ile moment eşleştirme, kantil eşleştirme (varsayılan olasılıklar ve 0,25; 0,75), en küçük uzaklık (CvM, KS, AD); (3) güven düzeyi 0,90 ve yeniden örneklemeli bootstrap; (4) on aday birlikte (Beta dışında hepsi); (5) endosulfan verisinde lognormal, log-lojistik, Pareto II ve Burr, kantil 0,05; aynı veride sol kuyruk Anderson–Darling ölçütleriyle en küçük uzaklık; (6) tuzluluk verisinde sansürlü uydurma; (7) aynı porsiyon verisinin 33 satırlık frekans tablosu (dogrulama/dagilim_uydurma/gb_frekans.csv) ve başka birimlerle yazılmış kopyaları (kurgusal; × 10, × 100, × 1000, ÷ 100, ÷ 1000); (8) _ornek/bitki_ortusu.csv verisinin örtü oranı sütununda Beta adayı.

32.4 Yöntem: formüller ve hesap adımları

Hesap sırası: (1) veriyi oku, ağırlık varsa satırları yinele, eksikleri at; (2) destek dışı adayları ele; (3) her adayı seçilen yöntemle uydur; (4) betimsel istatistikleri yaz; (5) bootstrap yap; (6) parametre tablosunu, (7) iyi uyum ve bilgi ölçütleri tablosunu, (8) kantil tablosunu ve (9) grafikleri üret.

32.4.1 Aday dağılımlar ve parametreleştirme

Aday Parametreler (tablodaki ad) F(x) Destek
Normal mean \mu, sd \sigma \Phi\big(\tfrac{x-\mu}{\sigma}\big) bütün sayılar
Lognormal meanlog \mu, sdlog \sigma \Phi\big(\tfrac{\ln x-\mu}{\sigma}\big) x>0
Gamma shape a, rate r P(a,\,rx) (düzenlenmiş eksik gama) x>0
Weibull shape k, scale \lambda 1-e^{-(x/\lambda)^{k}} x>0
Üstel rate r 1-e^{-rx} x>0
Lojistik location m, scale s \big(1+e^{-(x-m)/s}\big)^{-1} bütün sayılar
Gumbel (en büyük değer) alpha \alpha, scale s \exp\big(-e^{-(x-\alpha)/s}\big) bütün sayılar
Beta shape1 a, shape2 b I_x(a,b) (düzenlenmiş eksik beta) 0<x<1
Log-lojistik shape k, scale \lambda \big(1+(x/\lambda)^{-k}\big)^{-1} x>0
Pareto II (Lomax) shape a, scale \theta 1-\big(\tfrac{\theta}{x+\theta}\big)^{a} x>0
Burr shape1 a, shape2 \gamma, rate r 1-\big(1+(rx)^{\gamma}\big)^{-a} x>0
  • \Phi: standart normal BDF. Gamma oran ile parametrelenir; ortalama a/r'dir, ölçek 1/r'dir.
  • Gumbel, log-lojistik, Pareto II ve Burr actuar paketinin (Dutang, Goulet ve Pigeon, 2008) tanımlarını kullanır. Pareto II'nin desteği sıfırdan başlar (kaydırılmış Pareto); Burr, \gamma=1 iken Pareto II'ye, a=1 iken log-lojistiğe iner.
  • Parametre sayısı k: üstelde 1, Burr'da 3, ötekilerde 2.

Koddaki tercih

actuar'ın d, p, q, r, m fonksiyonları fitdistrplus'ın adla bulabilmesi için genel ortama kopyalanır (satır 242–243). Veride sıfır ya da negatif değer varsa pozitif destekli yedi aday (satır 310) not düşülerek atlanır; Beta yalnız bütün değerler (0, 1) içindeyse uydurulur (320–323). Sansürlü düzende bu denetim sınır değerleri üzerinden yapılır (291–293): sol sınırı 0 olan bir aralık da "sıfır değer" sayılır; ölçüm sınırının altındaki gözlemlerde sol sınır 0 yazılmaz, boş bırakılır.

32.4.2 En çok olabilirlik

Log-olabilirlik \ell(\boldsymbol\theta)=\sum_i\ln f(x_i;\boldsymbol\theta) en büyüklenir. Üç örnek adayda çözüm şöyledir:

\text{Lognormal:}\quad \hat\mu=\frac1n\sum_i\ln x_i,\qquad \hat\sigma^2=\frac1n\sum_i(\ln x_i-\hat\mu)^2
\text{Gamma:}\quad \ln\hat a-\psi(\hat a)=\ln\bar x-\overline{\ln x},\qquad \hat r=\hat a/\bar x
\text{Weibull:}\quad \frac{\sum_i x_i^{\hat k}\ln x_i}{\sum_i x_i^{\hat k}}-\frac{1}{\hat k}-\overline{\ln x}=0,\qquad \hat\lambda=\Big(\frac1n\sum_i x_i^{\hat k}\Big)^{1/\hat k}
  • \bar x: aritmetik ortalama; \overline{\ln x}: logaritmaların ortalaması; \psi: digama fonksiyonu.
  • Lognormalde varyans n'ye bölünür (n-1'e değil); ML kestirimi budur.
  • Gamma ve Weibull denklemlerinin kapalı çözümü yoktur; tek bilinmeyenli denklem sayısal olarak çözülür (Choi ve Wette, 1969; Cohen, 1965).

Standart hatalar gözlenen bilgi matrisinden gelir:

\widehat{\operatorname{Kov}}(\hat{\boldsymbol\theta})=\big[-\mathbf H(\hat{\boldsymbol\theta})\big]^{-1},\qquad \mathbf H=\frac{\partial^2\ell}{\partial\boldsymbol\theta\,\partial\boldsymbol\theta^{\top}},\qquad \operatorname{SH}(\hat\theta_j)=\sqrt{\big[-\mathbf H^{-1}\big]_{jj}}
  • \mathbf H: log-olabilirliğin çözümdeki ikinci türev matrisi (Hessian). Gamma için -\mathbf H=n\begin{pmatrix}\psi'(a)&-1/r\\-1/r&a/r^2\end{pmatrix}; \psi' trigama fonksiyonudur.
  • SH yalnız ML'de verilir; öteki yöntemlerde sütun boştur ve belirsizlik bootstrap'tan okunur.

Koddaki tercih

fitdistrplus::fitdist(method = "mle") log-olabilirliği doğrudan değil, eksi ortalama log-yoğunluğu -\ell/n en küçükler; en iyileyici stats::optim'dir. Varsayılan algoritma birden çok parametrede Nelder–Mead (Nelder ve Mead, 1965), tek parametrede BFGS'dir. Şablon control = list(reltol = 1e-12, maxit = 5000, parscale, ndeps) verir (satır 350–360, kontrol_d); denetim listesi normal, lognormal ve üstel dahil bütün adaylara verilir (387). parscale konum, ölçek ve oran parametrelerini verinin standart sapmasıyla (pozitif destekli adaylarda geometrik ortalamasıyla; ağır kuyrukta standart sapma parametreden çok büyük kalır) ölçekler, şekil parametrelerini ölçeklemez (347–349); böylece arama adımı verinin biriminden bağımsızdır. abstol ML'de konmaz; yalnız amacı tam 0'a inen kantil ve moment eşleştirmede (kareler toplamı) verinin birimiyle ölçeklenerek konur (356–357). L-BFGS-B'de reltol yerine factr = reltol / 2,2e-16 verilir (358). Pareto II, Burr, log-lojistik ve Gumbel için birden çok başlangıç noktası denenir ve log-olabilirliği en büyük olan alınır (329–339, 396–443). SH, paketin optim(hessian = TRUE) matrisinden değil, şablonun kendi Hesse matrisinden gelir: log-olabilirliğin kestirimdeki merkezî ikinci farkları (hesse_yenile, 421–433) parametrenin büyüklüğünün 10^{-3}'ü kadar adımla alınır, SH bunun tersinden hesaplanır. ML kestiriminin en büyük noktada olup olmadığı ayrıca denetlenir (duragan, 435–442): log-olabilirliğin gradyanı g ve kovaryans V ile Newton adımı Vg herhangi bir parametrede standart hatanın %1'ini aşıyorsa not düşülür (458–459).

Neden reltol = 10⁻¹²?

Nelder–Mead, simpleksin köşelerindeki amaç değerleri birbirine göreli reltol kadar yaklaşınca durur. Paketin varsayılanı 10^{-8}'dir; amaç çözüm çevresinde ikinci dereceden düz olduğundan bu, parametrelerde ancak 10^{-4} dolayında doğruluk verir. Porsiyon verisinde gamma şekli 10^{-8} ile 4,008670, 10^{-12} ile 4,008361 çıkar; denklemin kesin kökü 4,008339'dur. 10^{-12} ile parametreler yaklaşık altı anlamlı basamakta doğrudur; yedinci basamak en iyileyicinin durduğu yere bağlıdır (32.6.1).

Kestirimler ve SH verinin biriminden bağımsızdır

Aynı veri başka birimle girildiğinde şekil parametreleri, SH'leri, log-olabilirlik farkları ve adaylar aynı kalır; ölçek parametreleri birim çarpanıyla, oran parametreleri çarpanın tersiyle değişir. Porsiyon verisinde gamma şeklinin SH'si gram ölçeğinde 0,341915'tir (analitik değer 0,341913); veri 10, 100, 1000 ile çarpıldığında 0,341915, 100 ve 1000'e bölündüğünde 0,341913 çıkar, Weibull ölçeği (83,3466) ve SH'si (2,5271) çarpanla orantılı değişir, gamma ve üstel adaylar her birimde uydurulur. Bunu sağlayan iki şeydir: parscale ve şablonun kendi Hesse matrisi (32.4.2). Paketin optim Hessian'ı kullanılsaydı sonlu fark adımı birime bağlı kalırdı.

Log-olabilirlik pozitif olabilir; arama yine de yürür

Amaç -\ell/n olduğundan, yoğunluk ortalamada 1'den büyükse (çok küçük birimle yazılmış veri, (0, 1) aralığındaki oranlar) log-olabilirlik pozitiftir; bu hata değildir. abstol ML'de verilmediğinden en iyileyici bu durumda da yakınsamaya kadar çalışır. Örtü oranı verisinde Beta kestirimi 3,7776; 3,3440'tır (log-olabilirlik 27,1125; bağımsız ML ile aynı). Porsiyon verisi kilogramla (÷ 1000) yazıldığında log-olabilirlik 500,94 olur ve kestirimler gram ölçeğindekilerle aynıdır.

32.4.3 Moment eşleştirme

Dağılımın kuramsal ham momentleri örneklem momentlerine eşitlenir:

E_{\boldsymbol\theta}\big(X^{j}\big)=\frac1n\sum_{i=1}^{n}x_i^{\,j},\qquad j=1,\dots,k
  • k: adayın parametre sayısı; ilk k ham moment kullanılır. Örneklem varyansı burada n'ye bölünür.
  • Gamma: \hat a=\bar x^2/v, \hat r=\bar x/v; lognormal: \hat\sigma^2=\ln(1+v/\bar x^2), \hat\mu=\ln\bar x-\hat\sigma^2/2; v=\tfrac1n\sum(x_i-\bar x)^2.
  • Weibull'da \Gamma(1+2/k)/\Gamma(1+1/k)^2=\overline{x^2}/\bar x^2 denklemi k için, ardından \lambda=\bar x/\Gamma(1+1/k) çözülür.

Koddaki tercih

Normal, lognormal, gamma, üstel, lojistik ve beta için paketin kapalı biçimli çözümü kullanılır (satır 311); ötekilerde order = 1:k ve memp = function(x, order) mean(x^order) verilerek momentler sayısal olarak eşleştirilir (380). Momenti olmayan parametre bölgelerine düşen adaylar (ağır kuyruklu Pareto II, Burr) uydurulamayabilir ve atlanır.

32.4.4 Kantil eşleştirme

F^{-1}(p_j;\boldsymbol\theta)=Q_n(p_j),\qquad j=1,\dots,k
  • Q_n(p): deneysel kantil; varsayılan Hyndman ve Fan'ın (1996) 7. türüdür: sıralı verinin (n-1)p+1. konumunda doğrusal ara değerleme.
  • p_j: eşleştirilen olasılıklar; verilmezse j/(k+1), yani iki parametrede 1/3 ve 2/3.
  • İki parametrede çözüm kapalıdır. Weibull: \hat k=\dfrac{\ln(-\ln(1-p_2))-\ln(-\ln(1-p_1))}{\ln Q_2-\ln Q_1}, \hat\lambda=Q_1/(-\ln(1-p_1))^{1/\hat k}; lognormal: \hat\sigma=\dfrac{\ln Q_2-\ln Q_1}{z_{p_2}-z_{p_1}}, \hat\mu=\ln Q_1-z_{p_1}\hat\sigma.

Koddaki tercih

fitdist(method = "qme", probs = p, qtype = qme_tur) (satır 381–383). "Kantil eşleştirme olasılıkları" alanına yazılan değerlerin sayısı adayın parametre sayısına eşit değilse o aday için j/(k+1) kullanılır ve bir not düşülür (446–447). Üstel dağılımda tek parametre sınırlı Brent aramasıyla bulunur (389–393). Kantil eşleştirmede (ve sayısal moment eşleştirmede) abstol konur: eşleşme tam olduğunda amaç sıfıra iner ve arama orada durur; değer verinin birimiyle ölçeklenir (1e-20 × SS², 355).

32.4.5 En küçük uzaklık (en büyük iyi uyum)

Kestirim, deneysel dağılım fonksiyonu ile adayın BDF'si arasındaki bir uzaklığı en küçükler. F_i=F(x_{(i)};\boldsymbol\theta) sıralı gözlemlerdeki kuramsal BDF değerleri olmak üzere:

D_{\mathrm{KS}}=\max_i\Big\{\frac in-F_i,\ F_i-\frac{i-1}{n}\Big\},\qquad W^2=\frac{1}{12n}+\sum_{i=1}^{n}\Big(F_i-\frac{2i-1}{2n}\Big)^2
A^2=-n-\frac1n\sum_{i=1}^{n}(2i-1)\big[\ln F_i+\ln(1-F_{n+1-i})\big]
A^2_{L}=-\frac{3n}{2}+2\sum_i F_i-\frac1n\sum_i(2i-1)\ln F_i,\qquad A^2_{2L}=2\sum_i\ln F_i+\frac1n\sum_i\frac{2i-1}{F_i}
  • D_{\mathrm{KS}}: Kolmogorov–Smirnov; W^2: Cramér–von Mises (CvM); A^2: Anderson–Darling (AD; Anderson ve Darling, 1952). Hesap biçimleri Stephens'ınkidir (1974).
  • A^2_L (ADL) ve A^2_{2L} (AD2L): Luceño'nun (2006) sol kuyruğa ağırlık veren Anderson–Darling türevleri; sağ kuyruk karşılıkları ADR ve AD2R, iki kuyruklu ikinci derece biçimi AD2'dir.
  • KS en büyük tek farka, CvM farkların karelerinin toplamına bakar; AD kareleri 1/[F(1-F)] ile ağırlıklandırarak kuyrukları öne çıkarır.

Neden kuyruk ağırlıklı ölçütler?

ML bütün gözlemlere eşit ağırlık verir; ilgilenilen büyüklük bir kuyruk kantiliyse (HC5 gibi) orta bölgeye iyi, kuyruğa kötü uyan bir çözüm seçebilir. Endosulfan verisinde lognormal HC5, ML ile 0,0726, sol kuyruk AD ile 0,1959, ikinci derece sol kuyruk AD ile 0,2588 çıkar; deneysel %5 kantili 0,2'dir.

32.4.6 İyi uyum istatistikleri ve bilgi ölçütleri

Uydurma hangi yöntemle yapılmış olursa olsun 32.4.5'teki D_{\mathrm{KS}}, W^2 ve A^2 kestirilen parametrelerde hesaplanıp tabloya yazılır (fitdistrplus::gofstat). Bilgi ölçütleri:

\mathrm{AIC}=-2\ell+2k,\qquad \mathrm{BIC}=-2\ell+k\ln n,\qquad \Delta\mathrm{AIC}=\mathrm{AIC}-\min_{\text{adaylar}}\mathrm{AIC}
  • \ell: kestirilen parametrelerdeki log-olabilirlik. Yöntem ML değilse bu değer en büyük olabilirlik değildir; şablon bunu bir notla belirtir (satır 544).
  • AIC (Akaike, 1974) ve BIC (Schwarz, 1978) küçük olan adayı yeğler; sıra sütunları (AIC_sira, BIC_sira) en küçüğe 1 verir.
  • KS, CvM ve AD parametre sayısını cezalandırmaz; üç parametreli Burr iki parametreli adaylardan hemen her zaman daha küçük uzaklık verir.

İstatistik var, p değeri yok

Parametreler aynı veriden kestirildiğinde KS, CvM ve AD'nin sıfır dağılımı dağılımdan dağılıma ve bazen parametreden parametreye değişir; standart tablolar geçerli olmaz. Şablon yalnız istatistikleri verir. İstatistikler aynı veri üzerinde adayları sıralamak için kullanılır; "uyum reddedildi / reddedilmedi" kararı bu tablodan çıkarılmaz. Yalnız bir aday uydurulduğunda da üç sütun dolu gelir (gofstat tek aday için uyum nesnesinin kendisiyle çağrılır, 534–535).

32.4.7 Kantiller ve bootstrap güven aralıkları

Kestirilen kantil \hat q_p=F^{-1}(p;\hat{\boldsymbol\theta})'dır. Belirsizlik bootstrap ile ölçülür (Efron, 1979):

x^{*(b)}_1,\dots,x^{*(b)}_n\sim F(\,\cdot\,;\hat{\boldsymbol\theta})\ \ \longrightarrow\ \ \hat{\boldsymbol\theta}^{*(b)},\quad b=1,\dots,B;\qquad \mathrm{GA}=\big[\,Q_{\alpha/2}(\hat\theta^{*}),\ Q_{1-\alpha/2}(\hat\theta^{*})\,\big]
  • Parametrik bootstrap: kestirilen dağılımdan n gözlemlik B örnek üretilir ve her birine aynı yöntemle yeniden uydurma yapılır. Parametrik olmayan (yeniden örneklemeli) bootstrap: örnekler veriden yerine koyarak çekilir.
  • GA yüzdelik aralıktır: B kestirimin \alpha/2 ve 1-\alpha/2 kantilleri (tür 7). Kantiller için önce her bootstrap kestiriminden F^{-1}(p;\hat{\boldsymbol\theta}^{*(b)}) hesaplanır, sonra aynı yüzdelikler alınır.
  • boot_medyan: bootstrap kestirimlerinin medyanı; kestirimden belirgin sapması yanlılık işaretidir.

Koddaki tercih

fitdistrplus::bootdist 100'lük parçalarla çağrılır ve süre sınırı parçalar arasında denetlenir (satır 490–501); rastgele sayı dizisi tek çağrıdakiyle aynıdır. Tohum her adaydan önce yeniden kurulur (486): adayların bootstrap örnekleri aynı rastgele sayılardan türer. En az 10 geçerli bootstrap kestirimi yoksa aralık yazılmaz (508). Sansürlü veride bootstrap her zaman satırların yeniden örneklenmesidir (bootdistcens, 428, 440). Frekans ağırlığı satırları yineleyerek uygulandığından (276) bootstrap ve iyi uyum istatistikleri genişletilmiş veride hesaplanır.

32.4.8 Sansürlü veri

Sağ sınır sütunu seçildiğinde her satır bir aralıktır ve olabilirlik katkısı gözlemin türüne göre değişir:

\ell(\boldsymbol\theta)=\sum_{\text{kesin}}\ln f(x_i)+\sum_{\text{sol}}\ln F(R_i)+\sum_{\text{sağ}}\ln\big[1-F(L_i)\big]+\sum_{\text{aralık}}\ln\big[F(R_i)-F(L_i)\big]
Sol sınır L Sağ sınır R Tür Anlamı
dolu dolu, L=R kesin Değer tam ölçülmüştür.
boş dolu sol sansürlü Değer R'den küçüktür (ölçüm sınırı altı).
dolu boş sağ sansürlü Değer L'den büyüktür.
dolu dolu, L<R aralık sansürlü Değer L ile R arasındadır.

Koddaki tercih

fitdistrplus::fitdistcens yalnız ML uygular; başka bir yöntem seçilmişse şablon ML'ye çevirir ve not düşer (satır 250–253). Sansürlü veride betimsel tablo yerine sansür yapısı (kesin, sol, sağ, aralık sayıları) yazılır (468–471); KS, CvM ve AD tanımlı olmadığından tablo yalnız log-olabilirlik, AIC ve BIC içerir (545–547). Grafiklerde deneysel BDF, parametrik olmayan en çok olabilirlik kestiricisidir (NPMLE; Turnbull); gri dikdörtgenler kestiricinin tek olmadığı bölgeleri gösterir.

32.4.9 Betimsel istatistikler

G_1=\frac{\sqrt{n(n-1)}}{n-2}\cdot\frac{m_3}{m_2^{3/2}},\qquad \text{basıklık}=\frac{n-1}{(n-2)(n-3)}\Big[(n+1)\frac{m_4}{m_2^{2}}-3(n-1)\Big]+3
  • m_j=\tfrac1n\sum(x_i-\bar x)^j: j. merkezî moment. G_1: yanlılığı düzeltilmiş çarpıklık.
  • Basıklık "+3" ile yazılır: normal dağılımda 3'tür (fazla basıklık değil).
  • Çarpıklık pozitifse sağa çarpık adaylar (gamma, lognormal, Weibull) doğal seçenektir.

32.5 Kod adım adım

Satırlar Ne yapar Neden / dikkat
1–234Üstbilgi: açıklama, örnek veri ve ayar, 32 parametre. Form buradan kurulur (Bölüm 1.2).
235–265Dil seçici .m; paket denetimi; actuar fonksiyonlarının genel ortama alınması; sansür düzeninin belirlenmesi; olasılık metinlerinin ayrıştırılması. sayi_ayir noktalı virgülü de ayırıcı sayar; ondalık ayırıcı noktadır (254–259).
267–303Frekans ağırlığı (satır yineleme); sayısallık denetimi; sansürlü ve sansürsüz veri hazırlığı. Ağırlığı 0 ya da boş satır düşer (273–276).
305–363Aday adları, destek denetimi, başlangıç değerleri, optim denetim listesi, parametre sayıları. L-BFGS-B'de reltol ve abstol çıkarılır, yerine factr verilir (358).
365–462Süre sınırlı çalıştırıcı sinirli; tek uydurma uydur1; çok başlangıçlı uydur; adayların döngüsü. Bir başlangıç en çok 30 sn sürer; hata veren aday atlanır (402–403, 454).
465–478Betimsel istatistikler ya da sansür yapısı tablosu. Çarpıklık ve basıklık 32.4.9'daki formüllerle (475–476).
480–511Bootstrap: aday başına tohum, 100'lük parçalar, süre sınırı, eksik kestirimlerin ayıklanması. a2 = (1 − guven)/2 (511).
513–550Parametre tablosu; log-olabilirlik, AIC, BIC, ΔAIC, sıralar; gofstat; notlar; en uygun aday satırı. SH yalnız ML'de (517).
552–571Kantil tablosu: kestirim, bootstrap GA, deneysel kantil satırı. Deneysel satır yalnız sansürsüz veride (567).
573–630Grafikler: yoğunluk, Q-Q, BDF, P-P (sansürlüde BDF, Q-Q, P-P); bootstrap saçılımı. Bootstrap saçılımı AIC'si en küçük aday içindir (616).

Kritik satırlar, uydurmanın denetim listesidir:

kontrol_d <- function(d) {
  k <- list(reltol = as.numeric(pr("reltol", 1e-12)), maxit = as.integer(pr("maxit", 5000)), parscale = unname(PARSCALE[[d]]))
  …   # ndeps; abstol (yalnız kantil ve moment eşleştirmede, verinin birimiyle ölçeklenir); L-BFGS-B'de factr bu listeye eklenir
  k
}

32.6 Elle hesap: örnek veride bağımsız yeniden hesap

Değerler dogrulama/dagilim_uydurma/elle_hesap.py ile hesaplanmıştır. Betik fitdistrplus'ı ve şablon kodunu kullanmaz: yoğunlukları, BDF'leri ve kantilleri scipy.special fonksiyonlarıyla açıkça yazar; ML kestirimlerini 32.4.2'deki denklemlerin kökünden, standart hataları analitik bilgi matrisinden alır. R tarafında (r_dogrulama.R) aynı büyüklükler uniroot, nlminb ve numDeriv::hessian ile; iyi uyum istatistikleri stats::ks.test ve goftest paketiyle; sansürlü uydurma survival::survreg ile hesaplanmıştır.

Adım 1 — Betimsel istatistikler. n=254, \bar x=73{,}6457, s=35{,}8849. Merkezî momentler m_2=1282{,}654; m_3=33576{,}64; m_4=5786271{,}5.

G_1=\frac{\sqrt{254\cdot253}}{252}\cdot\frac{33576{,}64}{1282{,}654^{1{,}5}}=1{,}005950\cdot0{,}730925=0{,}735274
\text{basıklık}=\frac{253}{252\cdot251}\big[255\cdot3{,}517060-3\cdot253\big]+3=3{,}551384

Dağılım sağa çarpıktır ve normalden biraz sivridir.

Adım 2 — Weibull ML. Başlangıç k^{(0)}=1{,}2/s_{\ln x}=2{,}231857; şekil denklemi Newton yöntemiyle çözülür.

Yineleme k Denklemin değeri \lambda=(\overline{x^{k}})^{1/k}
0 2,231857 0,016411 83,705558
1 2,184938 −0,000243 83,341422
2 2,185612 -5{,}2\times10^{-8} 83,346668
3 2,185612 -2{,}4\times10^{-15} 83,346669

\hat k=2{,}185612; \hat\lambda=83{,}346669.

Adım 3 — Gamma ML. \ln\bar x-\overline{\ln x}=4{,}299265-4{,}169370=0{,}129895. \ln a-\psi(a)=0{,}129895 denkleminin kökü \hat a=4{,}008339; \hat r=4{,}008339/73{,}645669=0{,}054427.

Adım 4 — Lognormal ML. \hat\mu=\overline{\ln x}=4{,}169370; \hat\sigma=0{,}536610.

Adım 5 — Standart hatalar. Bilgi matrisinin tersinden:

Aday Parametre Kestirim SH (analitik)
Lognormal meanlog 4,169370 \hat\sigma/\sqrt n=0{,}033670
Lognormal sdlog 0,536610 \hat\sigma/\sqrt{2n}=0{,}023808
Gamma şekil 4,008339 0,341913
Gamma oran 0,054427 0,004946
Weibull şekil 2,185612 0,104566
Weibull ölçek 83,346669 2,527122

Adım 6 — Log-olabilirlik ve bilgi ölçütleri. k=2, \ln 254=5{,}537334.

Aday \ell AIC BIC ΔAIC
Gamma −1253,6251 2511,2502 2518,3249 0
Weibull −1255,2247 2514,4494 2521,5241 3,1992
Lognormal −1261,3193 2526,6386 2533,7133 15,3884

Adım 7 — İyi uyum istatistikleri. Sıralı gözlemlerde F_i hesaplanıp 32.4.5'teki formüllere konur.

Aday KS CvM AD
Lognormal 0,149309 0,827736 4,543654
Gamma 0,128048 0,693676 3,567091
Weibull 0,139626 0,683960 3,573072

Gamma KS ve AD'de, Weibull CvM'de en küçüktür; ikisi lognormalden belirgin iyidir.

Adım 8 — Kantiller. Weibull için q_{0{,}05}=83{,}346669\cdot(-\ln 0{,}95)^{1/2{,}185612}=21{,}4137.

Olasılık Lognormal Gamma Weibull Deneysel (tür 7)
0,05 26,7551 25,1924 21,4137 24,65
0,50 64,6747 67,6202 70,4790 79
0,95 156,3370 142,6771 137,6912 130
Adım 9 — Parametrik bootstrap. Tohum 2015 ile R'nin rastgele sayı dizisi Python'da yeniden kurulmuş (r_rng.py), şablonun Weibull kestiriminden 1000\times254 değer üretilmiş ve her örneğe Adım 2'deki denklem uygulanmıştır. İlk bootstrap örneğinin kestirimi (2{,}352260;\ 85{,}032030)'dur. 1000 kestirimin yüzdelikleri: şekil için %95 GA [1{,}997563;\ 2{,}417902], ölçek için [78{,}602841;\ 87{,}996388]; %5 kantili için [18{,}0565;\ 25{,}0297]. Gamma için R'de aynı tohumla: şekil [3{,}477541;\ 4{,}882065], oran [0{,}046639;\ 0{,}066511]. Gamma şeklinin Wald aralığı 4{,}008339\pm1{,}959964\cdot0{,}341913=[3{,}3382;\ 4{,}6785]'tir; bootstrap aralığı sağa kaymıştır, çünkü şekil kestiricisinin dağılımı sağa çarpıktır.

Adım 10 — Öteki kestirim yöntemleri.

Yöntem Lognormal (meanlog; sdlog) Gamma (şekil; oran) Weibull (şekil; ölçek)
En çok olabilirlik 4,169370; 0,536610 4,008339; 0,054427 2,185612; 83,346669
Moment eşleştirme 4,193126; 0,460736 4,228486; 0,057417 2,167376; 83,158764
Kantil eşleştirme (1/3; 2/3) 4,147025; 0,545593 3,638866; 0,051889 2,120767; 76,529822
En küçük uzaklık (CvM) 4,205778; 0,547554 3,583071; 0,047708 2,093160; 82,660258

Kantil eşleştirmede Q_n(1/3)=50 ve Q_n(2/3)=80'dir; Weibull için \hat k=\dfrac{\ln(-\ln\tfrac13)-\ln(-\ln\tfrac23)}{\ln 80-\ln 50}=\dfrac{0{,}094048-(-0{,}902720)}{0{,}470004}=2{,}120767. CvM ölçütüyle Weibull uzaklığı 0,683960'tan 0,655667'ye iner; log-olabilirlik buna karşılık −1255,2247'den −1255,6236'ya düşer.

Adım 11 — Yayımlanmış veriyle karşılaştırma (endosulfan, n=104).

Aday Kestirim \ell KS CvM AD HC5
Lognormal 2,553816; 3,147240 −532,4052 0,167250 0,637359 3,472118 0,072590
Log-lojistik 0,566898; 8,701897 −532,6229 0,119467 0,382391 2,831632 0,048296
Pareto II 0,345696; 1,067007 −522,0558 0,084852 0,139239 0,892208 0,170668
Burr 0,206175; 1,539748; 1,496338 −519,8655 0,061543 0,068065 0,524054 0,294034

Delignette-Muller ve Dutang'ın (2015) yayımladığı değerler KS 0,1672; 0,1196; 0,08488; 0,06155, AD 3,4721; 2,8316; 0,89206; 0,52393 ve Burr HC5 0,2939'dur. Yayımdaki log-lojistik CvM (0,3827) ve Burr HC5 (0,2939) ile buradaki değerler (0,38239; 0,29403) arasındaki dördüncü basamak farkı, yayımın paket varsayılanı reltol = 1e-8 ile hesaplanmış olmasından gelir: bu ayarda en iyileyici köke ancak dördüncü basamakta yaklaşır (şablon da reltol = 1e-8 seçildiğinde 0,38250 ve 0,29400 verir).

Adım 12 — Sansürlü veri (tuzluluk, n=108: 19 kesin, 60 sağ sansürlü, 29 aralık sansürlü). 32.4.8'deki olabilirlik doğrudan en büyüklenmiştir. Lognormal: \hat\mu=3{,}385371 (SH 0,064863), \hat\sigma=0{,}496138 (0,054553), \ell=-139{,}0550. Log-lojistik: şekil 3,420475 (0,415807), ölçek 29,932185 (1,945051), \ell=-140{,}0717. Yayımlanmış değerler 3,3854 (0,06487); 0,4961 (0,05455) ve 3,421 (0,4158); 29,930 (1,9447)'dir.

32.6.1 Doğrulama: MerQuR+, Python ve R

MerQuR+ sütunu şablonun tablolarından tam hassasiyetle alınmıştır. Bootstrap satırlarında bağımsız hesaplar, şablonun kestirdiği parametrelerden aynı tohumla benzetim yapar.

Büyüklük MerQuR+ Python (bağımsız) R (bağımsız) En büyük fark
Betimsel: ortalama 73,64566929 73,64566929 73,64566929 3,9e−16 ✓
Betimsel: standart sapma 35,88486806 35,88486806 35,88486806 1,2e−15 ✓
Betimsel: çarpıklık 0,73527449 0,73527449 0,73527449 4,4e−16 ✓
Betimsel: basıklık 3,55138381 3,55138381 3,55138381 7,5e−16 ✓
Lognormal: meanlog 4,16937009 4,16937009 4,16937009 1,1e−15 ✓
Lognormal: sdlog 0,53660951 0,53660951 0,53660951 2,2e−16 ✓
Lognormal: SH(meanlog) 0,03366988 0,03366988 0,03366988 1,7e−13 ✓
Lognormal: SH(sdlog) 0,02380817 0,0238082 0,0238082 2,7e−8 ✓
Lognormal: log-olabilirlik −1261,31929868 −1261,31929868 −1261,31929868 2,7e−15 ✓
Lognormal: KS 0,14930898 0,14930898 0,14930898 4,2e−16 ✓
Lognormal: CvM 0,82773578 0,82773578 0,82773578 4,8e−15 ✓
Lognormal: AD 4,54365416 4,54365416 4,54365416 3,7e−14 ✓
Lognormal: kantil (0,05) 26,75512343 26,75512343 26,75512343 1,2e−15 ✓
Lognormal: kantil (0,50) 64,6747 64,6747 64,6747 1,3e−15 ✓
Lognormal: kantil (0,95) 156,33704067 156,33704067 156,33704067 2,4e−15 ✓
Gamma: şekil 4,00836111 4,00833903 4,00833903 5,5e−6 ✗
Gamma: oran 0,05442766 0,05442736 0,05442736 3,1e−7 ✓
Gamma: SH(şekil) 0,34191468 0,34191282 0,34191282 1,9e−6 ✗
Gamma: SH(oran) 0,00494614 0,00494611 0,00494611 2,5e−8 ✓
Gamma: log-olabilirlik −1253,62511369 −1253,62511369 −1253,62511369 1,7e−12 ✓
Gamma: AIC 2511,25022738 2511,25022738 2511,25022738 1,7e−12 ✓
Gamma: BIC 2518,32489592 2518,32489591 2518,32489591 1,7e−12 ✓
Gamma: KS 0,12804865 0,1280479 0,1280479 7,6e−7 ✓
Gamma: CvM 0,69367882 0,69367629 0,69367629 2,5e−6 ✗
Gamma: AD 3,56710754 3,56709098 3,56709098 4,6e−6 ✗
Gamma: kantil (0,05) 25,19247612 25,19238257 25,19238257 3,7e−6 ✗
Gamma: kantil (0,50) 67,62020501 67,62018054 67,62018054 3,6e−7 ✓
Gamma: kantil (0,95) 142,67687763 142,67710277 142,67710277 1,6e−6 ✗
Weibull: şekil 2,1856132 2,18561233 2,18561233 4,0e−7 ✓
Weibull: ölçek 83,34660792 83,34666883 83,34666883 7,3e−7 ✓
Weibull: SH(şekil) 0,10456659 0,10456642 0,10456642 1,6e−7 ✓
Weibull: SH(ölçek) 2,52711851 2,5271217 2,5271217 1,3e−6 ✗
Weibull: log-olabilirlik −1255,22471986 −1255,22471986 −1255,22471986 3,4e−13 ✓
Weibull: KS 0,13962535 0,13962564 0,13962564 2,8e−7 ✓
Weibull: CvM 0,68395879 0,68395998 0,68395998 1,2e−6 ✗
Weibull: AD 3,57306891 3,57307185 3,57307185 8,2e−7 ✓
Weibull: kantil (0,05) 21,4137278 21,41373189 21,41373189 1,9e−7 ✓
Weibull: kantil (0,50) 70,47897977 70,47902658 70,47902658 6,6e−7 ✓
Weibull: kantil (0,95) 137,691116 137,6912441 137,6912441 9,3e−7 ✓
Deneysel kantil (0,05; tür 7) 24,65 24,65 24,65 0 ✓
Bootstrap, Weibull: GA alt (şekil) 1,99756278 1,99756296 1,99756296 8,8e−8 ✓
Bootstrap, Weibull: GA üst (şekil) 2,41790072 2,4179018 2,4179018 4,5e−7 ✓
Bootstrap, Weibull: GA alt (ölçek) 78,60275605 78,60284097 78,60284097 1,1e−6 ✗
Bootstrap, Weibull: GA üst (ölçek) 87,99638349 87,99638761 87,99638761 4,7e−8 ✓
Bootstrap, Weibull: medyan (şekil) 2,19297169 2,19296872 2,19296872 1,4e−6 ✗
Bootstrap, Lognormal: GA alt (meanlog) 4,1078711 4,10787069 4,10787069 9,9e−8 ✓
Bootstrap, Lognormal: GA üst (meanlog) 4,23691091 4,23691081 4,23691081 2,3e−8 ✓
Bootstrap, Lognormal: GA alt (sdlog) 0,48809697 0,48809686 0,48809686 1,1e−7 ✓
Bootstrap, Lognormal: GA üst (sdlog) 0,58431463 0,58431506 0,58431506 4,3e−7 ✓
Bootstrap, Lognormal: medyan (meanlog) 4,17015155 4,1701518 4,1701518 5,9e−8 ✓
Bootstrap, Gamma: GA alt (şekil) 3,47755717 — 3,47754109 4,6e−6 ✗
Bootstrap, Gamma: GA üst (şekil) 4,88208553 — 4,88206494 4,2e−6 ✗
Bootstrap, Gamma: GA alt (oran) 0,04663917 — 0,04663907 9,9e−8 ✓
Bootstrap, Gamma: GA üst (oran) 0,06651166 — 0,06651123 4,3e−7 ✓
Bootstrap, Gamma: medyan (şekil) 4,03305549 — 4,03304359 2,9e−6 ✗
Bootstrap, Weibull: kantil 0,05 GA alt 18,05649387 18,05649911 18,05649911 2,9e−7 ✓
Bootstrap, Weibull: kantil 0,95 GA üst 146,36399123 146,36393718 146,36393718 3,7e−7 ✓
Bootstrap, Weibull: %90 GA alt (şekil) 2,02193863 2,0219368 2,0219368 9,1e−7 ✓
Yeniden örneklemeli bootstrap, Weibull: GA alt (şekil) 2,01488932 2,01489251 2,01489251 1,6e−6 ✗
Yeniden örneklemeli bootstrap, Weibull: GA üst (ölçek) 88,49070915 88,49064685 88,49064685 7,0e−7 ✓
Moment eşleştirme, Lognormal: meanlog 4,19312647 4,19312647 4,19312647 1,1e−15 ✓
Moment eşleştirme, Lognormal: sdlog 0,46073608 0,46073608 0,46073608 4,4e−16 ✓
Moment eşleştirme, Gamma: şekil 4,22848617 4,22848617 4,22848617 8,4e−16 ✓
Moment eşleştirme, Gamma: oran 0,05741663 0,05741663 0,05741663 9,7e−17 ✓
Moment eşleştirme, Weibull: şekil 2,16737644 2,16737644 2,16737644 2,4e−9 ✓
Moment eşleştirme, Weibull: ölçek 83,15876401 83,15876413 83,15876413 1,4e−9 ✓
Kantil eşleştirme (1/3; 2/3), Lognormal: meanlog 4,14702482 4,14702482 4,14702482 5,5e−10 ✓
Kantil eşleştirme (1/3; 2/3), Lognormal: sdlog 0,54559302 0,54559304 0,54559304 1,5e−8 ✓
Kantil eşleştirme (1/3; 2/3), Gamma: şekil 3,63886729 3,63886645 3,63886645 2,3e−7 ✓
Kantil eşleştirme (1/3; 2/3), Gamma: oran 0,05188931 0,0518893 0,0518893 1,4e−8 ✓
Kantil eşleştirme (1/3; 2/3), Weibull: şekil 2,12076663 2,12076721 2,12076721 2,7e−7 ✓
Kantil eşleştirme (1/3; 2/3), Weibull: ölçek 76,52982454 76,52982241 76,52982241 2,8e−8 ✓
Kantil eşleştirme (0,25; 0,75), Weibull: şekil 2,26868642 2,2686864 2,2686864 8,8e−9 ✓
En küçük uzaklık (CvM), Lognormal: meanlog 4,20577775 4,20577762 4,20577762 3,1e−8 ✓
En küçük uzaklık (CvM), Lognormal: sdlog 0,54755435 0,54755417 0,54755417 1,9e−7 ✓
En küçük uzaklık (CvM), Gamma: şekil 3,58307118 3,58307063 3,58307062 1,6e−7 ✓
En küçük uzaklık (CvM), Gamma: oran 0,04770753 0,04770752 0,04770752 9,6e−9 ✓
En küçük uzaklık (CvM), Weibull: şekil 2,0931603 2,09315986 2,09315986 2,1e−7 ✓
En küçük uzaklık (CvM), Weibull: ölçek 82,66025275 82,66025773 82,66025772 6,0e−8 ✓
En küçük uzaklık (CvM), Weibull: CvM 0,65566717 0,65566717 — 5,0e−13 ✓
En küçük uzaklık (AD), Weibull: şekil 2,12544184 2,12544158 2,12544158 1,3e−7 ✓
En küçük uzaklık (AD), Weibull: ölçek 82,89095178 82,89095458 82,89095457 3,4e−8 ✓
Endosulfan, Lognormal: meanlog 2,55381626 2,55381626 2,55381626 1,2e−15 ✓
Endosulfan, Lognormal: sdlog 3,14724036 3,14724036 3,14724036 1,7e−15 ✓
Endosulfan, Lognormal: log-olabilirlik −532,40520199 −532,40520199 −532,40520199 4,3e−16 ✓
Endosulfan, Lognormal: KS 0,16724976 0,16724976 0,16724976 5,0e−16 ✓
Endosulfan, Lognormal: CvM 0,63735929 0,63735929 0,63735929 1,1e−16 ✓
Endosulfan, Lognormal: AD 3,47211792 3,47211792 3,47211792 7,4e−15 ✓
Endosulfan, Lognormal: HC5 0,07258961 0,07258961 0,07258961 4,2e−17 ✓
Endosulfan, Log-lojistik: şekil 0,5668973 0,56689791 0,56689791 6,0e−7 ✓
Endosulfan, Log-lojistik: ölçek 8,70193592 8,70189663 8,70189662 4,5e−6 ✗
Endosulfan, Log-lojistik: log-olabilirlik −532,62290912 −532,62290912 −532,62290912 3,3e−13 ✓
Endosulfan, Log-lojistik: KS 0,1194681 0,11946748 0,11946748 6,2e−7 ✓
Endosulfan, Log-lojistik: CvM 0,38239293 0,38239112 0,38239112 1,8e−6 ✗
Endosulfan, Log-lojistik: AD 2,83162946 2,83163248 2,83163248 1,1e−6 ✗
Endosulfan, Log-lojistik: HC5 0,04829587 0,04829592 0,04829592 5,0e−8 ✓
Endosulfan, Pareto II: şekil 0,34569602 0,34569609 0,34569609 7,4e−8 ✓
Endosulfan, Pareto II: ölçek 1,06701004 1,06700721 1,06700721 2,7e−6 ✗
Endosulfan, Pareto II: log-olabilirlik −522,0557869 −522,0557869 −522,0557869 1,5e−13 ✓
Endosulfan, Pareto II: KS 0,08485276 0,0848523 0,0848523 4,6e−7 ✓
Endosulfan, Pareto II: CvM 0,13923982 0,13923882 0,13923882 1,0e−6 ✓
Endosulfan, Pareto II: AD 0,89220904 0,89220757 0,89220756 1,5e−6 ✗
Endosulfan, Pareto II: HC5 0,17066822 0,17066773 0,17066773 4,9e−7 ✓
Endosulfan, Burr: şekil 1 0,20617526 0,20617451 0,20617451 7,5e−7 ✓
Endosulfan, Burr: şekil 2 1,53974563 1,53974799 1,53974799 1,5e−6 ✗
Endosulfan, Burr: oran 1,49632938 1,49633782 1,49633781 5,6e−6 ✗
Endosulfan, Burr: log-olabilirlik −519,86545549 −519,86545549 −519,86545549 3,8e−13 ✓
Endosulfan, Burr: KS 0,06154325 0,06154292 0,06154292 3,3e−7 ✓
Endosulfan, Burr: CvM 0,0680649 0,06806452 0,06806452 3,8e−7 ✓
Endosulfan, Burr: AD 0,5240575 0,52405445 0,52405445 3,1e−6 ✗
Endosulfan, Burr: HC5 0,29403471 0,29403421 0,29403421 5,0e−7 ✓
Endosulfan, lognormal, en küçük uzaklık (ADL): HC5 0,19588515 0,19588521 0,19588521 6,3e−8 ✓
Endosulfan, lognormal, en küçük uzaklık (AD2L): HC5 0,25877389 0,25877382 0,25877382 6,4e−8 ✓
Sansürlü, Lognormal: meanlog 3,38537133 3,38537099 3,38537099 1,0e−7 ✓
Sansürlü, Lognormal: SH(meanlog) 0,06486326 0,06486324 0,06486324 1,9e−8 ✓
Sansürlü, Lognormal: sdlog 0,49613834 0,49613804 0,49613804 3,0e−7 ✓
Sansürlü, Lognormal: SH(sdlog) 0,05455272 0,05455272 0,05455273 1,0e−8 ✓
Sansürlü, Lognormal: log-olabilirlik −139,05495585 −139,05495585 −139,05495585 1,6e−13 ✓
Sansürlü, Log-lojistik: şekil 3,42047495 3,42047454 3,42047454 1,2e−7 ✓
Sansürlü, Log-lojistik: SH(şekil) 0,4158062 0,41580651 0,4158065 3,2e−7 ✓
Sansürlü, Log-lojistik: ölçek 29,93217135 29,93218505 29,93218505 4,6e−7 ✓
Sansürlü, Log-lojistik: SH(ölçek) 1,94504748 1,94505135 1,94505133 2,0e−6 ✗
Sansürlü, Log-lojistik: log-olabilirlik −140,07165709 −140,07165709 −140,07165709 1,8e−13 ✓

Ölçütü karşılayan: 100/123. Python: skor denkleminin kökü (Weibull, gamma), kapalı biçim (lognormal) ya da sayısal türevli Newton; SH analitik gözlenen bilgi matrisinden; bootstrap, R'nin rastgele sayı dizisinin Python'da yeniden kurulmasıyla. R: uniroot, nlminb, numDeriv::hessian, goftest, stats::ks.test, sansürlü veride survival::survreg; fitdistrplus ve actuar kullanılmadan. Bootstrap satırlarında benzetim şablonun kendi kestirimlerinden yapılır. ✗ işaretli satırların nedenleri 32.6.1'de açıklanır.

Ölçütü (10^{-6}) aşan satırlar tek nedene dayanır: en iyileyicinin durma noktası. Nelder–Mead'in reltol'ü parametrelerde yaklaşık altı anlamlı basamak sağlar; gamma şekli, log-lojistik ölçeği, Pareto II ölçeği ve Burr parametreleri kökten 10^{-6}–6 imes10^{-6} göreli uzaklıkta kalır; bunlardan türeyen kantil, iyi uyum, SH ve bootstrap sınırları da aynı ölçüde sapar. Hesse matrisi şablonda analitik değere beş basamakta yaklaşan merkezî farklarla kurulduğundan (gamma şeklinin SH'si 0,341915 ↔ 0,341913) SH'lerdeki fark da yalnız kestirimin durma noktasından gelir. Aşan satırların en büyük farkı raporlanan basamak sayısının (üç–dört anlamlı basamak) çok altındadır.

32.7 Çıktıyı okuma

Örnek ayarın metin çıktısı:

Tek değişkenli dağılım uydurma: 'serving', n = 254, yöntem: en çok olabilirlik
AIC'ye göre en uygun aday: Gamma

"Parametre kestirimleri" tablosu (altı ondalığa yuvarlanmış):

dagilim parametre kestirim SH boot_medyan GA_alt GA_ust
Lognormal meanlog 4,169370 0,033670 4,170152 4,107871 4,236911
Lognormal sdlog 0,536610 0,023808 0,535300 0,488097 0,584315
Gamma shape 4,008361 0,341915 4,033055 3,477557 4,882086
Gamma rate 0,054428 0,004946 0,054819 0,046639 0,066512
Weibull shape 2,185613 0,104567 2,192972 1,997563 2,417901
Weibull scale 83,346608 2,527119 83,234363 78,602756 87,996383

"İyi uyum istatistikleri ve bilgi ölçütleri" tablosu:

dagilim k logLik AIC BIC dAIC AIC_sira BIC_sira KS CvM AD
Lognormal 2 −1261,3193 2526,6386 2533,7133 15,3884 3 3 0,149309 0,827736 4,543654
Gamma 2 −1253,6251 2511,2502 2518,3249 0 1 1 0,128049 0,693679 3,567108
Weibull 2 −1255,2247 2514,4494 2521,5241 3,1992 2 2 0,139625 0,683959 3,573069

"Kestirilen kantiller" tablosundan Gamma satırları: 0,05 → 25,1925 (GA 22,2257–28,9329); 0,50 → 67,6202 (63,3719–72,0958); 0,95 → 142,6769 (131,6114–153,5991). Son üç satır deneysel kantillerdir (24,65; 79; 130) ve GA taşımaz.

Öğe Ne yazar Nasıl yorumlanır
Başlık satırı Değişken, n, yöntem; sansürlü veride "(sansürlü veri)" n ağırlıklar uygulandıktan ve eksikler atıldıktan sonraki sayıdır.
Notlar Atlanan adaylar, çevrilen yöntem, süre sınırı Atlanan aday karşılaştırmada yoktur; "en uygun aday" yalnız kalanlar arasındadır.
Betimsel tablo n, en küçük, en büyük, medyan, ortalama, SS, çarpıklık, basıklık Çarpıklık 0,74: sağa çarpık adaylar yerindedir.
kestirim, SH Parametre ve Hessian'dan SH (yalnız ML) Gamma şekli 4,01 (SH 0,34); oran 0,0544, yani ölçek 1/0{,}0544=18{,}4 g.
boot_medyan, GA_alt, GA_ust Bootstrap kestirimlerinin medyanı ve yüzdelik sınırları Gamma şekli için %95 GA 3,48–4,88; medyan (4,03) kestirimin biraz üstündedir: kestirici sağa çarpıktır.
logLik, AIC, BIC, dAIC Log-olabilirlik ve bilgi ölçütleri ΔAIC 3,2: Weibull, gammaya yakın bir seçenektir; lognormal (15,4) belirgin geridedir.
KS, CvM, AD Uzaklık istatistikleri Küçük olan iyidir; p değeri yoktur. CvM'de Weibull, KS ve AD'de gamma öndedir.
Kantil tablosu \hat q_p ve bootstrap GA; deneysel kantil Çocukların %95'inin porsiyonu gammaya göre 143 g'ın altındadır (GA 132–154).
"AIC'ye göre en uygun aday" AIC'si en küçük aday Tek başına karar ölçütü değildir; grafikler ve ΔAIC ile birlikte okunur.

Şekil 32.1. Şablonun birinci şekli (örnek ayar; fitdistrplus 1.2-6). Sol üst: histogram (Sturges sınıfları) ve üç adayın kuramsal yoğunlukları. Sağ üst: Q-Q grafiği; sağ kuyrukta lognormal noktaları köşegenin altına düşer (ağır kuyruk öngörür). Sol alt: deneysel ve kuramsal BDF; basamaklı görünüm porsiyonların yuvarlanarak bildirilmesinden gelir. Sağ alt: P-P grafiği.

Şekil 32.2. Şablonun ikinci şekli: AIC'si en küçük adayın (gamma) 1000 bootstrap kestirimi; çarpı, özgün kestirimdir. Şekil ile oran güçlü biçimde ilişkilidir: ikisi birlikte artınca ortalama (a/r) değişmez.

Şekil 32.3. Sansürlü veride (tuzluluk toleransı) BDF karşılaştırması. Basamaklı eğri parametrik olmayan en çok olabilirlik kestiricisidir; gri dikdörtgenler kestiricinin tek olmadığı aralıklardır.

Rapor cümlesi:

Porsiyon büyüklüğüne (n = 254) lognormal, gamma ve Weibull dağılımları en çok olabilirlikle uyduruldu. AIC'ye göre en uygun aday gamma dağılımıydı (şekil = 4,01; SH = 0,34; oran = 0,054; AIC = 2511,3); Weibull ona yakındı (ΔAIC = 3,2), lognormal belirgin geride kaldı (ΔAIC = 15,4). İyi uyum istatistikleri aynı sıralamayı destekledi (Anderson–Darling: 3,57; 3,57; 4,54). Gamma dağılımına göre porsiyonların %95'i 142,7 g'ın altındadır (1000 tekrarlı parametrik bootstrap, %95 GA 131,6–153,6).

32.8 Sık hatalar ve tuzaklar

  • Birimi gözardı ederek ölçek parametrelerini okumak. Aynı porsiyon verisi miligramla (× 1000) yazıldığında şekil parametreleri ve SH'leri aynıdır (gamma şekli 4,008361; SH 0,341915), Weibull ölçeği 83 346,6 (SH 2527,1) ve gamma oranı 0,000054 olur; ölçek parametreleri birim çarpanıyla, oran parametreleri çarpanın tersiyle değişir. Sonuç yorumlanırken parametrenin birimi (g, mg, kg) birlikte yazılır. Endosulfan verisi gibi dört büyüklük mertebesine yayılan veride ölçek parametreli adaylar (Weibull, lognormal, log-lojistik) ya da logaritması alınmış veri okumayı kolaylaştırır; uydurmanın kendisi birimden etkilenmez (32.4.2).
  • Pozitif log-olabilirliği hata sanmak. Yoğunluğun 1'i aştığı veride (kilogramla yazılmış porsiyonlar, (0, 1) aralığındaki oranlar) log-olabilirlik pozitiftir (kilogram biriminde gamma için 500,94); bu bir hata değildir ve kestirimler başka birimdekilerle aynıdır (gamma şekli 4,008341; Weibull şekli 2,185610). Beta adayı yalnız (0, 1) verisinde çalışır ve örtü oranı verisinde 3,7776; 3,3440 verir.
  • Tek aday seçip iyi uyum istatistiğini sınama sanmak. Tek aday uydurulduğunda da KS, CvM ve AD yazılır (lognormal için KS 0,149309), ama tek adayla karşılaştırma yapılamaz; p değeri yoktur (32.4.6).
  • İstatistikleri sınama gibi okumak. KS = 0,128 "uyum iyi" ya da "kötü" demek değildir; p değeri yoktur. Porsiyon verisinde bütün adayların KS'si yüksektir, çünkü veri yuvarlanmıştır: 254 gözlemde 33 farklı değer vardır ve deneysel BDF basamaklıdır. Yuvarlanmış veri için doğru model aralık sansürüdür (her değer, yuvarlama genişliği kadar bir aralık olarak verilir).
  • AD'yi adaylar arasında tek ölçüt almak. AD'nin ağırlığı 1/[F(1-F)] adayın kendi BDF'sine bağlıdır; şablon farklı parametre sayılı adaylar varken bunu bir notla hatırlatır. Karar AIC/BIC, grafikler ve ilgilenilen bölge (kuyruk mu, gövde mi) birlikte düşünülerek verilir.
  • ML dışı yöntemde AIC'yi ML gibi yorumlamak. Moment, kantil ya da en küçük uzaklık kestirimlerinde log-olabilirlik en büyük değerinde değildir; AIC farkları ML'dekinden başka olur (CvM ile gamma–Weibull ΔAIC 1,98; ML ile 3,20).
  • Ölçüm sınırı altını 0 ile kodlamak. Sansürlü düzende sol sınırı 0 olan satır pozitif destekli bütün adayların atlanmasına yol açar. Sol sansürlü gözlemde sol sınır boş bırakılır; sağ sınıra ölçüm sınırı yazılır.
  • Frekans tablosunu ağırlıksız çalıştırmak. 33 satırlık frekans tablosu ağırlık sütunu seçilmeden verilirse n=33 olur ve her değer bir kez sayılır. Ağırlık seçildiğinde sonuçlar 254 satırlık veriyle bootstrap dahil aynıdır. Ağırlık frekanstır; örnekleme ağırlığı (kesirli) kabul edilmez.
  • En iyileme algoritmasını gerekmedikçe değiştirmek. Varsayılan Nelder–Mead bu amaç için en güvenilir olandır. Porsiyon verisinde L-BFGS-B gamma şeklini 4,008339'da, BFGS 4,008339'da, eşlenik gradyan 4,008340'ta bırakır (kök 4,008339); benzetilmiş tavlama 4,2118'de kalır ve şablon bunu, en büyük noktaya ulaşılmadığı notuyla bildirir (durağanlık denetimi, 32.4.2). Algoritma değiştirildiğinde log-olabilirlik, varsayılanla elde edilen değerle karşılaştırılır.
  • Sınıra yaslanan kestirimi fark etmemek. Porsiyon verisinde Pareto II şekli 1{,}4\times10^{11} çıkar, SH boştur ve log-olabilirlik üstelinkiyle aynıdır (−1346,0134): Pareto II bu veride üstel dağılıma yozlaşmıştır. SH'si boş, parametresi olağanüstü büyük bir aday sonuç olarak raporlanmaz.
  • Histogram sınıf sayısı. Birinci şeklin sol üst paneli histogram ve kuramsal yoğunluklardır; sınıf sayısı "Histogram sınıf sayısı" alanıyla verilir (0 = Sturges kuralı, 583–593). Veri aralığın çoğunu tek değerde toplamışsa (yuvarlanmış veri) sınıf sayısı elle artırılınca yoğunluk eğrileriyle birlikte okunması kolaylaşır.
  • Ondalık virgülle olasılık yazmak. Olasılık alanlarında ayırıcı virgül ya da noktalı virgüldür; ondalık ayırıcı noktadır (0.05, 0.5). 0,05 yazılırsa 0 ve 5 olarak okunur ve aralık denetimi durdurur.

32.9 Uzman soruları

S1. Standart hatalar nereden geliyor; analitik bilgi matrisiyle aynı mı?

Şablonun kestirimde log-olabilirliğin merkezî ikinci farklarından kurduğu gözlenen bilgi matrisinden (hesse_yenile); adım parametrenin büyüklüğüyle orantılıdır, bu yüzden SH verinin biriminden bağımsızdır. Örnek veride Weibull SH'leri analitik değerle altı basamak (0,104567 ↔ 0,104566; 2,52712), gamma SH'leri beş basamak (0,341915 ↔ 0,341913; 0,004946 ↔ 0,004946) uyuşur; kalan fark, en iyileyicinin kestirimi köke altı basamakta yaklaştırmasındandır (32.4.2).

S2. Aynı tohumla R'de `bootdist(fitdist(x, "gamma"), niter = 1000)` aynı aralığı verir mi?

Aynı kestirimden başlanırsa evet. Şablon bootstrap'ı 100'lük parçalarla yürütür; rastgele sayılar ardışık çekildiğinden dizi tek çağrıdakiyle aynıdır. Fark, başlangıç kestiriminden gelir: şablon reltol = 1e-12 ile uydurur, paket varsayılanı 10^{-8}'dir ve benzetimin parametreleri altıncı basamakta ayrışır. Tohum her adaydan önce yeniden kurulduğu için aday sırası ya da sayısı bir adayın aralığını değiştirmez.

S3. KS, CvM ve AD için neden p değeri verilmiyor?

Parametreler veriden kestirildiğinde istatistiklerin sıfır dağılımı artık dağılımdan bağımsız değildir: normal ve üstel için Stephens'ın (1974) düzeltmeli tabloları vardır, gamma ve Weibull'da dağılım şekil parametresine de bağlıdır, Burr gibi adaylar için tablo yoktur. Tam belirlenmiş dağılım tablolarını kullanmak testi aşırı tutucu yapar. Doğru yol parametrik bootstrap'tır: kestirilen dağılımdan örnek üret, yeniden uydur, istatistiği yeniden hesapla. Şablon bootstrap'ı parametreler ve kantiller için yapar; istatistiğin bootstrap dağılımı gerekiyorsa bootstrap_ozel şablonuyla kurulur.

S4. AIC gammayı, CvM Weibull'u seçiyor. Hangisi?

İki ölçüt farklı şeyi ölçer. AIC, olabilirlik üzerinden bütün gözlemlerin yoğunluğa uyumunu; CvM, BDF'ler arasındaki farkın karesini, yani gövdedeki uyumu özetler. Örnek veride farklar küçüktür (ΔAIC 3,2; CvM 0,6937 ↔ 0,6840) ve iki aday uygulamada eşdeğerdir: %50 kantilleri 67,6 ve 70,5, %95 kantilleri 142,7 ve 137,7'dir. Sonuç bir kuyruk kantiline dayanıyorsa iki adayın kantilleri birlikte verilir ve fark duyarlılık olarak raporlanır.

S5. Yuvarlanmış (bağlı değerli) veri sonuçları nasıl etkiler?

ML kestirimleri az etkilenir; iyi uyum istatistikleri çok etkilenir. Deneysel BDF her yuvarlak değerde sıçradığından KS'nin en büyük farkı sıçramanın büyüklüğünce şişer; porsiyon verisinde en kalabalık iki değer (80 g ve 50 g) 254 gözlemin 103'ünü taşır. Bağlı değerler kantil eşleştirmeyi de kabalaştırır: Q_n(1/3)=50 ve Q_n(2/3)=80 tam yuvarlak değerlerdir ve tür 6 ile tür 7 aynı sonucu verir. Yuvarlamanın genişliği biliniyorsa veri aralık sansürlü olarak verilir.

S6. Parametrik ve yeniden örneklemeli bootstrap ne zaman ayrışır?

Model doğruysa ikisi yakındır; ayrışma model yanlışlığının işaretidir. Örnek veride Weibull şekli için parametrik aralık 1,998–2,418, yeniden örneklemeli aralık 2,015–2,407'dir; ölçek için 78,60–88,00 ve 78,46–88,49. Parametrik bootstrap kestirilen dağılımın doğruluğunu varsayar ve kuyruk kantilleri için daha dar, yeniden örneklemeli bootstrap veride görülmeyen değer üretemediği için uç kantillerde yetersiz kalır. Sansürlü veride yalnız yeniden örnekleme vardır.

S7. Kuyruk kantili (HC5) için hangi yöntem ve hangi aday?

Endosulfan verisinde HC5 adaya ve yönteme göre dört kattan fazla değişir: lognormal ML 0,0726; log-lojistik ML 0,0483; Pareto II 0,1707; Burr 0,2940; lognormal sol kuyruk AD 0,1959; ikinci derece 0,2588; deneysel %5 kantili 0,2. ML lognormal gövdeye iyi uyar, sol kuyruğu olduğundan ağır öngörür. Üç yol vardır: kuyruğu serbest bırakan bir aday (Burr; AIC 1045,7 ile en küçük), kuyruk ağırlıklı en küçük uzaklık kestirimi (ADL, AD2L) ya da sonucu adaylar arası aralıkla raporlamak. Hangisi seçilirse seçilsin kantilin bootstrap aralığı birlikte verilir.

S8. Sansürlü veride neden KS, CvM ve AD yok; uyum nasıl değerlendirilir?

Bu istatistikler her gözlemin tam yerini gerektirir; sansürlü gözlemin deneysel BDF'deki konumu tek değildir. Karşılaştırma AIC/BIC ile, görsel değerlendirme Turnbull kestiricisine karşı çizilen BDF, Q-Q ve P-P grafikleriyle yapılır. Tuzluluk verisinde lognormal (AIC 282,11) log-lojistikten (284,14) biraz iyidir; %5 kantilleri 13,06 ve 12,66'dır. Sansür oranı yüksekken (burada %56 sağ sansür) üst kantiller modelin kuyruk varsayımına dayanır ve dikkatle raporlanır.

S9. Gamma neden "oran" ile, Weibull "ölçek" ile parametreleniyor; başka yazılımlarla nasıl eşlenir?

Şablon R'nin dgamma(shape, rate) ve dweibull(shape, scale) tanımlarını aynen kullanır. Ölçekle çalışan bir kaynakla karşılaştırırken gamma ölçeği 1/r'dir: 0,054427 → 18,373 g; SH delta yöntemiyle \operatorname{SH}(r)/r^2 olur. Lognormalde ML'nin \hat\sigma'sı n paydalıdır; n-1 paydalı standart sapma veren bir kaynakla \sqrt{(n-1)/n} çarpanı kadar fark eder. actuar'ın Burr dağılımı oranla, Pareto II'si sıfırdan başlayan destekle tanımlıdır; "Pareto" adını eşikli (tip I) biçim için kullanan kaynaklarla doğrudan karşılaştırılmaz.

S10. Yakınsama ölçütünü 10⁻¹⁶ yapmak sonucu iyileştirir mi?

Belirgin biçimde hayır. Amaç -\ell/n çift duyarlıkta yaklaşık 16 basamakla hesaplanır; çözüm çevresinde amaç ikinci dereceden düz olduğundan parametrelerde ulaşılabilecek doğruluk bunun karekökü, yani 7–8 basamaktır ve Nelder–Mead buna 10^{-12}'de zaten yaklaşmıştır. Daha kesin kestirim, en iyileme yerine skor denkleminin kökünü bulmakla elde edilir (32.6, Adım 2–3).

32.10 Kaynaklar

  • Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723. https://doi.org/10.1109/TAC.1974.1100705
  • Anderson, T. W., & Darling, D. A. (1952). Asymptotic theory of certain "goodness of fit" criteria based on stochastic processes. The Annals of Mathematical Statistics, 23(2), 193–212. https://doi.org/10.1214/aoms/1177729437
  • Choi, S. C., & Wette, R. (1969). Maximum likelihood estimation of the parameters of the gamma distribution and their bias. Technometrics, 11(4), 683–690. https://doi.org/10.1080/00401706.1969.10490731
  • Cohen, A. C. (1965). Maximum likelihood estimation in the Weibull distribution based on complete and on censored samples. Technometrics, 7(4), 579–588. https://doi.org/10.1080/00401706.1965.10490300
  • Delignette-Muller, M. L., & Cornu, M. (2008). Quantitative risk assessment for Escherichia coli O157:H7 in frozen ground beef patties consumed by young children in French households. International Journal of Food Microbiology, 128(1), 158–164. https://doi.org/10.1016/j.ijfoodmicro.2008.05.040
  • Delignette-Muller, M. L., & Dutang, C. (2015). fitdistrplus: An R package for fitting distributions. Journal of Statistical Software, 64(4), 1–34. https://doi.org/10.18637/jss.v064.i04
  • Dutang, C., Goulet, V., & Pigeon, M. (2008). actuar: An R package for actuarial science. Journal of Statistical Software, 25(7), 1–37. https://doi.org/10.18637/jss.v025.i07
  • Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statistics, 7(1), 1–26. https://doi.org/10.1214/aos/1176344552
  • Hose, G. C., & Van den Brink, P. J. (2004). Confirming the species-sensitivity distribution concept for endosulfan using laboratory, mesocosm, and field data. Archives of Environmental Contamination and Toxicology, 47(4), 511–520. https://doi.org/10.1007/s00244-003-3212-5
  • Hyndman, R. J., & Fan, Y. (1996). Sample quantiles in statistical packages. The American Statistician, 50(4), 361–365. https://doi.org/10.1080/00031305.1996.10473566
  • Kefford, B. J., Nugegoda, D., Metzeling, L., & Fields, E. J. (2006). Validating species sensitivity distributions using salinity tolerance of riverine macroinvertebrates in the southern Murray–Darling Basin (Victoria, Australia). Canadian Journal of Fisheries and Aquatic Sciences, 63(8), 1865–1877. https://doi.org/10.1139/f06-080
  • Luceño, A. (2006). Fitting the generalized Pareto distribution to data using maximum goodness-of-fit estimators. Computational Statistics & Data Analysis, 51(2), 904–917. https://doi.org/10.1016/j.csda.2005.09.011
  • Nelder, J. A., & Mead, R. (1965). A simplex method for function minimization. The Computer Journal, 7(4), 308–313. https://doi.org/10.1093/comjnl/7.4.308
  • R Core Team. (2026). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/
  • Schwarz, G. (1978). Estimating the dimension of a model. The Annals of Statistics, 6(2), 461–464. https://doi.org/10.1214/aos/1176344136
  • Stephens, M. A. (1974). EDF statistics for goodness of fit and some comparisons. Journal of the American Statistical Association, 69(347), 730–737. https://doi.org/10.1080/01621459.1974.10480196